Maxfiy LLMni Ishga Tushirish: Korxonalar uchun Amaliy RAG

Maxfiy lLMni ishga tushirish, ma'lumotlarni sizning perimetringiz ichida saqlagan holda, tekshiriladigan va soha bo'yicha aniq javoblarni taqdim etadigan retrieval-augmented generation (RAG) yordamida amalga oshiriladi. Ushbu qo'llanma muhandislik va mahsulot jamoalariga model tanlashdan tortib xavfsiz RAG trubkasi, baholash va minimal ishlab chiqarish rejasigacha bo'lgan qisqa va amaliy yo'lni beradi.

Model va kiritishlarni cheklovlar bilan tanlang

Sizning kechikish, xarajat va litsenziya cheklovlaringizga mos keladigan modelni tanlang. Yaqinda e'lon qilingan ochiq vazn ro'yxatlari, masalan Leafy.dev va PocketLLM, kichik 7B modellaridan tortib 70B oilasigacha keng spektrni ko'rsatadi; kichik modellar joylashtirish xarajatlarini kamaytiradi va on-prem inference'ni amalda qo'llashni osonlashtiradi, kattaroq modellar esa tayyor reasoningni yaxshilaydi. Indeksatsiya va ish vaqti uchun bir xil o'zgaruvchidan yoki L2 mos keladigan embedding modelidan foydalaning, shunda vektorlar o'tishidan qochasiz. Biz stsenariy hujjatlari uchun oldindan kiritilgan embeddinglar so'rov kechikishini bir martalik oldinga o'tish vaqtiga qadar qisqartiradi va qaytishlarni soddalashtiradi.

Xavfsiz vektor do'konlari va maxfiylik texnikalari

5 milliondan kam vektorlar uchun ko'p jamoalar uchun embedded Postgres bilan pgvector operatsion jihatdan oddiy standart bo'lib xizmat qiladi, boshqariladigan xizmatlar, masalan Pinecone, Weaviate va Milvus, yuqori narx va maxsus xususiyatlarga haqida pastki operatsiyalarni taklif qiladi. Inductivee va Tensoria benchmarklari 1M dan 100M gacha bo'lgan vektor ma'lumotlar to'plamlari uchun o'tkazish va xarajat farqlarini muhokama qiladi va tanlovning vektor hajmi, QPS va ko'p mintaqaviy replikatsiyaga muhtojligingizga bog'liqligini ko'rsatadi.

Vektorlarni saqlashda shifrlang va kalitlar uchun envelope shifrlashdan foydalaning. Vektor do'koni uchun qat'iy IAMni qo'llang va barcha xizmat aloqalari uchun mTLS talab qiling. Tahdid modeling va red-teaming qo'llanmasi uchun bizning LLM xavfsizlik o'yin kitobimizga murojaat qiling LLM xavfsizlik o'yin kitobi. Agar sizga rasmiy maxfiylik kafolatlari kerak bo'lsa, bizning darsligimizda разных differential privacy imkoniyatlarini ko'rib chiqing va xavfsiz agregatsiyani differential privacy texnikalari ko'rsating.

Amaldagi muammolardan biri, vektor metadataasini ochiq qoldirayotgan faoliyatni noto'g'ri o'rnatilgan xizmat hisoblarini ko'rdik. Metadata'ni yuqori sezgirlikda deb hisoblang va uni vektorlar bilan bir xil nazorat ostiga olib qo'ying.

Relevance, hallutsinatsiya, kechikish va xarajatlarni o'lchash

Retrieval metriclaridan, masalan Hit@k, MRR va NDCG, retreiver uchun foydalaning va to'liq, hallutsinatsiya va muammo bo'lmagan holatni baholash uchun RAGEval va RAGAS kabi manbali va manbasiz baholash usullaridan foydalaning. RAGEval va RAGAS maxsus testlar taklif etadi. Bir nechta domen vazifalari uchun va ko'paytirish baholashida avtomatlashtirilgan LLM-judji tekshirishni taklif qiladi. Uchta ishlab chiqarish signalini kuzatib boring: retrieval aniqligi, javob ishonchliligi va oxirgi kechikish. Amalda, retreiver recallni oshirish ko'pincha hallutsinatsiyani model hajmini oshirishdan samaraliroq kamaytiradi.

Maxfiy lLMni ishga tushirish uchun reja

Minimal reja: VPC orqasida konteynerlashgan model xizmatini, bloklangan tarmoq ACLlari bilan alohida vektor do'kon klasteri, qisqa muddatli tokenlarni beruvchi autentifikatsiya proxy va tekshiruv uchun hisobotidatlarni olish uchun javoblar bilan birga retrival id'larni yozib oluvchi ob'ektivlik to'plami. Latensiyani yaxlitlash uchun bitta mintaqali VPC-hosted modeldan boshlang, so'ngra faqat zarurat tug'ilganda ko'prik replikatsiyasini qo'shing. Kichik ishga tushirishlarda yuqori fixlil xarajatni kuting, ammo yaxshiroq nazorat va maxfiylikni kuting.

Aniq e'tiroz shundaki, yetkazib beruvchi innovatsiya. Bulutda joylashtirilgan LLM xizmatlari tezroq rivojlanadi va injiniringni amortizatsiya qilganda arzonroq bo'lishi mumkin. Mening taxminim: oylik so'rovlar soni bir necha milliondan oshsa, boshqariladigan inference ko'pincha umumiy xarajatni boqish bo'yicha g'alaba qozonadi. Ammo, nazorat beruvchi ma'lumotlar yoki qat'iy joylashuv qoidalari bo'lsa, maxfiy ishga tushirish yagona amaliy variantdir.

O'zingiz sinab ko'ring: quyidagi ikki so'rov kontekstlarni ochish va qo'llab-quvvatlanmagan bayonotlarni aniqlashni ko'rsatadi.

Ushbu so'rov modeldan taqdim etilgan kontekstdan foydalangan holda so'rovga javob berishni va qaysi manbalarni ishlatganini sanab o'tishni so'raydi. Qisqa javoblar va manba iqtiboslariga tayyorgarlik kuting.

Berilgan kontekst parchalarini idlari bilan birga asoslangan holda, foydalanuvchi so'roviga javob bering va siz foydalanilgan eng yaxshi uchta kontekst identifikatorining raqamlari ro'yxatini qo'shing hamda har biri uchun aniq e'lon qilingan dalilni ko'rsating.
Kontekst 1 [id=C1]: "..."
Kontekst 2 [id=C2]: "..."
Foydalanuvchi so'rovi: "Xni tushuntiring va 3 ta qo'llab-quvvatlanuvchi parchalarni ko'rsating."

Ushbu so'rov modeldan o'z javobida qo'llab-quvvatlanmagan da'volarni belgilashni so'raydi. Har bir jumla uchun uni berilgan kontekstlar tomonidan to'liq qo'llab-quvvatlanadimi yoki qo'llab-quvvatlanmaydimi, belgilashni kuting va mavjud bo'lsa, qo'llab-quvvatlovchi kontekst identifikatorini bering.

Siz ushbu javobni yaratdingiz. Har bir jumlani belgilab, u berilgan kontekstlar tomonidan to'liq qo'llab-quvvatlanadimi yoki belgilang va qo'llab-quvvatlovchi kontekst identifikatorini bering yoki UNSUPPORTED deb belgilang.
Javob: "..."
Kontekstlar: C1, C2, C3

Biz kashf etganimiz, retrieval parametrlar bilan kichik, takrorlanuvchi tajribalar, ishonchlilikni eng katta darajada yaxshilaydi. Baholarni takrorlanuvchi qilib tuting va javoblar bilan birga retrival id'larini yozib oling, batafsil tahlil uchun.