ការបង្ហោះ LLM ឯកជន៖ RAG ប្រើប្រាស់សម្រាប់ក្រុមហ៊ុន

ការបង្ហោះ LLM ឯកជនជាមួយកំណត់ថា RAG ផ្តល់នូវចម្លើយដែលអាចគោលការណ៍បាន និងម៉ូដែលឈានមុខខុសគ្នានៅក្នុងដែនចំណេះដឹង ខណៈពេលដែលរក្សាទិន្នន័យអោយនៅក្នុងព្រំដែនរបស់អ្នក។ មេឌៀនេះផ្តល់ជូនក្រុមស_engineering និងផលិតផលនូវផ្លូវជាប្រណីតក្ដីពីការជ្រើសរើសម៉ូដែល រុញធនធាន RAG សុវត្ថិភាព ការប៉راًប្រាសាទ និងផែនទីផលិតកម្មបន្ថែមតិច។

ជ្រើសម៉ូដែល និងអីមបេឌីងជាមួយកំណត់

ជ្រើសម៉ូដែលដែលសមស្របជាមួយអន្ដរជាតិរយៈពេល តម្លៃ និងកំណត់អាជីវកម្មរបស់អ្នក។ បញ្ជីទម្រង់បើកថ្មីៗដូចជា Leafy.dev និង PocketLLM បង្ហាញពីស្វ័យកាទ្រាប់ធម្រាតជាមួយម៉ូដែលតូច 7B ដល់ 70B; ម៉ូដែលតូចធ្វើអោយអោយថ្លៃថ្នល់ទីបំផុត និងធ្វើឱ្យមានការបញ្ជូលក្នុងពិតប្រាកដកម្មវិធី ប៉ុន្តែម៉ូដែលធំផ្តល់អត្ថបទធ្វើការពិតប្រាកដនឹងការពិចារណាក់។ ប្រើក្រុមអ្នកផ្គត់ផ្គង់ដូចគ្នាឬម៉ូដែលអីមបេឌីងដែលត្រូវបានដោះសោរជាមួយ L2 សម្រាប់ការទិន្នន័យនិងរយៈពេលដើម្បីជៀសវាងការផ្លាស់ប្តូរទិន្នន័យ។ យើងបានចាប់អារម្មណ៍ថាការចុះវិសាលអីមបេឌីងសម្រាប់ឯកសារស្ថិតិចាយពេលវេលាសាកសមដែលនឹងធ្វើអោយការស្នើសុំយឺតដោយប្រហែលរយៈពេលឆ្លងផ្លូវមួយប៉ុណ្ណោះ និងធ្វើអោយធូសត្រង់។

ធនធានសុវត្ថិភាព និងបច្ចេកទេសឯកជន

សម្រាប់ក្រុមជាច្រើនក្រោម 5 លានទិន្នន័យ វត្ថុ Postgres ដែលមានការចងក្រងជាមួយ pgvector គឺជាផ្ដល់ជាប្រណីតដែលមានការប្រតិបត្តិរង់ចាំ ខណៈដែលសេវាកម្មដែលគ្រប់គ្រងដូចជា Pinecone, Weaviate និង Milvus ប្តូរតម្លៃនេះសម្រាប់តម្លៃខ្ពស់ និងលក្ខណៈពិសេស។ Inductivee និង Tensoria ផ្តល់ការសាកល្បងដែលត្រួតពិនិត្យពីអត្រាចំណូលនិងការផ្លាស់ប្តូរ​ជាសំខាន់សម្រាប់ឯកសារទិន្នន័យ 1M ទៅ 100M និងបង្ហាញថាការជ្រើសរើសនេះនៅឡើងទៅលើទំហំទិន្នន័យ, QPS និងថាតើអ្នកត្រូវការការផ្ទេរកន្លែងច្រើន។

សូមចាក់វត្ថុគិតពីការប្រមូលទិន្នន័យក្នុងការហេតុការណ៍ និងប្រើកូដសុវត្ថិភាពសម្រាប់សមាសភាគ។ ប្រើ IAM សំខាន់សម្រាប់ធនធាននិងអនុញ្ញាត mTLS តាមរយៈការតភ្ជាប់សេវាកម្មទាំងអស់។ សម្រាប់ការចុះសេចក្តីប្រចាំទាំងហាក់និងប្រាំဘើនៃការធានាសុវត្ថិភាព LLM សូមពិនិត្យមើលប្រកសិទ្ធិក្នុងការបប្រពោះ - LLM security playbook, ប្រសិនបើអ្នកត្រូវការប្រាក់យកពីឯកជនភាពស្រូបរបៀបធម្មជាតិច្បាប់ដោយផ្តោតការប្រ៊្រីមក់នៅក្នុងមេរៀនសិក្សារៀងប្រៅ - differential privacy techniques.

បញ្ហាមួយដែលយើងបានជួបប្រទៈក្នុងការអនុវត្តគឺគណនីសេវាកម្មដែលដោះសោអំពីមាតិកាទិន្នន័យ។ ចិញ្ចឹមមាតិកាទិន្នន័យអោយមានភាពអ័ព្ទពិចារណា និងកោះសិទ្ធិវែងៗ។

វាស់បម្រែបម្រួល អារម្មណ៍ៈ, លំហពេល និងតម្លៃ

ប្រើកោតអារម្មណ៍ដើម្បីស្តារជាម៉េត្រជាមួយ Hit@k, MRR និង NDCG សម្រាប់ការប្រមូលសេសាហើយប្រើគ្រួសារ និងគ្រួសារមិនទាក់ទងប្រាក់កក់ដូចជា RAGEval និង RAGAS ដើម្បីវាស់កំលាំង, អារម្មណ៍ និងមិនទាក់ទង។ RAGEval និង RAGAS ផ្តល់ជាមួយការធ្វើការតេស្តដែលទាក់ទងទៅនឹងការកំណត់សម្អាត៖ ដំណាក់កាល និងអនុញ្ញាតការកំណត់ការងារ។ តាមប្រាក់ខ្ចីបំណុលមួយនៃការប្រាក់និងឧបករណ៍មួយ៖ វាស់ជាអត្រាសម្បូរ, វាស់វែង, និងវាស់វីនភាពឯកសារ។ ក្នុងការអនុវត្ត ចំណាំថាបង្កើនស្ថានភាពធំសូមនាំយើងច្រឡំជាប្រកាសដ៏មានសាធារណៈ មានប្រសិទ្ធភាពដាច់ខាតជាងក្នុងការដែលដំឡើងយ៉ាងគួរមើលពីម៉ូដែល។

ផែនទីបង្ហោះសម្រាប់ការបង្ហោះ LLM ឯកជន

ផែនទីទំនិញ៖ សេវាកម្មម៉ូដែលដែលមានជម្រើសខិកនេះនៅក្រោយ VPC, ក្រុមធនធានវ៉ិចទ័រៗដាច់សសូរស បន្ទួលដេវូរការងារ,​ការ​ផ្តល់អាជីវកម្មដែលឲ្យចល័តពីរ, និងស្តុបមានភាពមើលឃើញដែលកត់ត្រាលេខសុវត្ថិភាពអំពីការត្រួតពិនិត្យដោយគ្មានកន្លែងនៅងាយនៃការច្បាស់លាស់។ ចាប់ផ្តើមជាមួយម៉ូដែលទីលាន VPC នៅគឺម៉ូដែលដើម្បីសម្រុកនយកចំណាយម៉ាន់ចិញ្ចឹម, ករណីម៉ឺនហើយនេះទៀតថែរក្សាទីកន្លែងជាMix-Nableពោលបានជ្រាប។ ក្ដីណាៗទោះបីត្រូវការលៃតម្រូវ ថា តំលៃធនធានបូកបន្ថែមនៅជាតុនេះ ជារៀបរាប់លក្ខណៈ និងភាពឯកជន។

ការប្រកាស់កំណត់នឹងការបង្ហោះ។ សេវាកម្ម LLM ដែលនៅក្រោម​បានឈរនៅទៅសសតូ។ តំបន់ទោសទៀតព្រូវអាចពីធ្វើ​ដំណើរការពិតប្រាកដប្រតន័យ - ជាមួយប្រាក់វិនិយោគខណៈក្រោម។ ការថ្លែងពិត៖ សម្រាប់បរិមាណត្រាកទៀងកំឡុងខ្លាចជាងនេះផ្អែកលើលើការស្តារសំខាន់លើការទំនាក់ទំនងចំនួនមួយពាគម៍ដែលឆ្លាតយើងមើលកើនឡើង, លេងក្លួហ។ ផលិតផល private គឺជាគន្លងដើម្បីការអនុវត្ដមានស្រស់ស្អាត។

សូមព្យាយាមរៀបចំផ្លើម។ ថ្នាក់ពីកម្រិតមួយរឬនេះ ដែលបញ្ចៀសអំពើអាក្រក់នៅក្នុងអង្កេតមួយផ្តួស។

prompt ទីនេះសួរថា ហេតុអ្វីដែលបានគួរ​ធ្វើជាមួាយវាយវទៅជាគ្រឿង​មួយរិក​មេម្ថ។

បានបោងក-contextել​ស័ន្ទឆ្លាទាមជួនឈ្មោះដំណេីរលេខដោយប្រើវរាមកន្លែងយ៉ាងតូច
Context 1 [id=C1]: "..."
Context 2 [id=C2]: "..."
 User question: "ពណ៌នាឲ្យ X និងសារគុណកញ្ចប់បីដែលបានប្រើ។"

prompt ទីនេះសួរពីថមូរត្រូវគេឲ្យទៅថាគម្រោងដោយខ្លួនឯង។

អ្នកកើតឡើងដែលបានកំនិយាយ។ សម្រាប់ប្រយោគ​នៅរៀបរាប់ថាតើវាត្រូវទៅ និងផ្តល់កញ្ចប់ដែលគាំទ្រទៅដោយមានវីដេអូ។
Answer: "..."
Contexts: C1, C2, C3

យើងបានចាប់អារម្មណ៍ថាការប្រឡេក្ដយ៉ាងធំៗជារយៈពេលនៃសេវាកម្ម់ទាន់បរិមាណ​តម្លៃ។ គិតស្ដារជានិយម និងកត់ត្រាលក្ខಣದಲ್ಲಿ។