निजी LLM तैनाती: व्यवसायों के लिए व्यावहारिक RAG

निजी llm तैनाती जिसमें पुनर्प्राप्ति-संवर्धित पीढ़ी ऑडिट योग्य, डोमेन-सटीक उत्तर प्रदान करती है जबकि डेटा को आपके परिघटन के अंदर बनाए रखती है। यह मार्गदर्शिका इंजीनियरिंग और उत्पाद टीमों को मॉडल चयन से लेकर एक सुरक्षित RAG पाइपलाइन, मूल्यांकन और एक न्यूनतम उत्पादन ब्लूप्रिंट तक एक संक्षिप्त, व्यावहारिक मार्ग देती है।

मॉडल और एम्बेडिंग को सीमाओं के साथ चुनें

एक ऐसे मॉडल का चयन करें जो आपकी लेटेंसी, लागत और लाइसेंस सीमाओं से मेल खाता हो। हाल के ओपन-वेट सूचियों जैसे Leafy.dev और PocketLLM में छोटे 7B मॉडल से लेकर 70B परिवारों तक एक विस्तृत स्पेक्ट्रम है; छोटे मॉडल होस्टिंग की लागत को कम करते हैं और ऑन-प्रेम अनुमान को संचालन के लिए व्यावहारिक बनाते हैं, बड़े मॉडल बिना किसी पूर्ववर्ती तर्क में सुधार करते हैं। इंडेक्सिंग और रनटाइम के लिए एक ही विक्रेता या L2-संगत एम्बेडिंग मॉडल का उपयोग करें ताकि वेक्टर ड्रिफ्ट से बचा जा सके। हमने देखा कि स्थिर डॉक्यूमेंट्स के लिए एम्बेडिंग को पूर्व-गणना करने से क्वेरी की लेटेंसी लगभग एक ही फॉरवर्ड पास के समय से कम हो जाती है और रोलबैक को सरल बनाती है।

सुरक्षित वेक्टर स्टोर्स और गोपनीयता तकनीकें

5 मिलियन वेक्टर से कम कई टीमों के लिए, pgvector के साथ एम्बेडेड Postgres एक परिचालन रूप से सरल डिफ़ॉल्ट है, जबकि Pinecone, Weaviate और Milvus जैसी प्रबंधित सेवाएं उच्च लागत और विशेषीकृत सुविधाओं के लिए कम संचालन की पेशकश करती हैं। Inductivee और Tensoria बेंचमार्क 1M से 100M वेक्टर डेटा सेट के लिए थ्रूपुट और लागत में अंतर पर चर्चा करते हैं और दिखाते हैं कि चयन वेक्टर के आकार, QPS और क्या आपको मल्टी-रीजन रिप्लिकेशन की आवश्यकता है, इस पर निर्भर करता है।

आराम में वेक्टर को एन्क्रिप्ट करें और कुंजियों के लिए लिफाफा एन्क्रिप्शन का उपयोग करें। वेक्टर स्टोर पर कड़े IAM को लागू करें और सभी सेवा कनेक्शन के लिए mTLS की आवश्यकता करें। खतरे के मॉडलिंग और रेड-टीमिंग मार्गदर्शन के लिए हमारे LLM सुरक्षा प्लेबुक LLM सुरक्षा प्लेबुक का परामर्श करें। यदि आपको औपचारिक गोपनीयता गारंटी की आवश्यकता है, तो हमारे ट्यूटोरियल डिफरेंशियल प्राइवेसी तकनीकें में अंतरात्मक गोपनीयता विकल्पों और सुरक्षित एकत्रण की समीक्षा करें।

हमने व्यवहार में एक समस्या का अनुभव किया है जो सेवा खातों की गलत कॉन्फ़िगरेशन के कारण वेक्टर मेटाडेटा को उजागर करती है। मेटाडेटा को उच्च संवेदनशीलता के रूप में मानें और इसे वेक्टर के समान नियंत्रण के पीछे बंद करें।

प्रासंगिकता, भ्रांति, लेटेंसी और लागत को मापें

पुनर्प्राप्ति मैट्रिक्स जैसे Hit@k, MRR और NDCG का उपयोग करें और संदर्भित और संदर्भ-मुक्त मूल्यांकन ढांचे जैसे RAGEval और RAGAS का उपयोग करें ताकि पूर्णता, भ्रांति और अप्रासंगिकता का मूल्यांकन किया जा सके। RAGEval और RAGAS डोमेन कार्यों के लिए परिदृश्य-विशिष्ट परीक्षण प्रदान करते हैं और पैमाने के मूल्यांकन के लिए स्वत: LLM-न्यायाधीश जांच का सुझाव देते हैं। तीन उत्पादन संकेतों की निगरानी करें: पुनर्प्राप्ति सटीकता, उत्तर की सत्यता और पूंछ की लेटेंसी। व्यवहार में, पुनर्प्राप्ति की रीकॉल बढ़ाने से अक्सर भ्रांति को मॉडल के आकार में वृद्धि से अधिक प्रभावी ढंग से कम किया जाता है।

निजी llm तैनाती के लिए तैनाती ब्लूप्रिंट

न्यूनतम ब्लूप्रिंट: VPC के पीछे कंटेनरयुक्त मॉडल सेवा, एक अलग वेक्टर स्टोर क्लस्टर जो लॉक्ड नेटवर्क ACL के साथ है, एक प्रमाणीकरण प्रॉक्सी जो अल्पकालिक टोकन जारी करती है, और एक अवलोकनात्मक स्टैक जो ऑडिट के लिए उत्तरों के साथ पुनर्प्राप्ति आईडी लॉग करता है। लेटेंसी भविष्यवाणी के लिए एकल-क्षेत्र VPC-स्थापित मॉडल के साथ शुरू करें, फिर केवल आवश्यकता पड़ने पर क्रॉस-क्षेत्र रिप्लिकेशन जोड़ें। छोटी तैनातियों पर उच्च निश्चित लागत की अपेक्षा करें, लेकिन बेहतर नियंत्रण और गोपनीयता प्राप्त करें।

स्पष्ट आपत्ति विक्रेता नवाचार है। क्लाउड-होस्टेड LLM सेवाएं अधिक तेजी से आगे बढ़ेंगी, और जब आप इंजीनियरिंग को विभाजित करते हैं तो वे सस्ती भी हो सकती हैं। मेरी गणना: महीन हजारों मासिक क्वेरियों के भारी प्रश्न वॉल्यूम के लिए, प्रबंधित अनुमान अक्सर कुल स्वामित्व लागत पर जीतता है। फिर भी, नियंत्रित डेटा या सख्त निवास नियमों के लिए, निजी तैनाती एकमात्र व्यवहार्य विकल्प है।

खुद प्रयास करें: निम्नलिखित दो प्रम्पट दिखाते हैं कि कैसे आधार रेखा को उजागर करना और unsupported कथनों का पता लगाना है।

यह प्रम्पट मॉडल से पूछता है कि वह प्रदान किए गए संदर्भ का उपयोग करते हुए एक प्रश्न का उत्तर दे और यह भी सूचीबद्ध करे कि उसने किन स्रोत आईडी का उपयोग किया। संक्षिप्त उत्तर और स्रोत संदर्भों की अपेक्षा करें।

दी गई निम्नलिखित संदर्भ स्निप्पेट्स के साथ आईडी-संख्यांकित, उपयोगकर्ता प्रश्न का उत्तर दें और आपने उपयोग किए गए शीर्ष तीन संदर्भ आईडी की संख्या वाली सूची शामिल करें और प्रत्येक के लिए सटीक उद्धृत साक्ष्य दें।
 संदर्भ 1 [id=C1]: "..."
 संदर्भ 2 [id=C2]: "..."
 उपयोगकर्ता प्रश्न: "X को स्पष्ट करें और शीर्ष 3 समर्थन स्निप्पेट्स का संदर्भ दें।"

यह प्रम्पट मॉडल से अनुरोध करता है कि वह अपने उत्तर में unsupported दावों को चिह्नित करे। यदि समर्थन और उपलब्ध संदर्भ आईडी में उपलब्ध हो तो समर्थन के लिए हाँ या नहीं के लिए प्रत्येक वाक्य को चिह्नित करें।

आपने यह उत्तर बनाया। प्रत्येक वाक्य के लिए, यह मार्क करें कि क्या यह दिए गए संदर्भों द्वारा पूरी तरह से समर्थित है और समर्थन संदर्भ आईडी दें या UNSUPPORTED अंकित करें।
उत्तर: "..."
संदर्ब: C1, C2, C3

हमने देखा है कि पुनर्प्राप्ति पैरामीटर के छोटे, पुनरावृत्त प्रयोग विश्वासयोग्यता में सबसे बड़े सुधार को खोजते हैं। मूल्यांकन को पुनरावृत्त रखें और जड़ कारण विश्लेषण के लिए उत्तरों के साथ पुनर्प्राप्ति आईडी को दर्ज करें।