Privát LLM Telepítés: Gyakorlati RAG Vállalatok Számára

A privát llm telepítés retrieval-augmented generation (RAG) technológia segítségével auditálható, területi szempontból pontos válaszokat nyújt, miközben az adatokat a saját határainkon belül tartja. Ez az útmutató tömör, gyakorlati útvonalat ad az engineering és termékcsapatok számára a modell kiválasztásától kezdve a biztonságos RAG csővezetékeken át, az értékelésig, valamint egy minimális termelési alaprajzig.

Válassz modell és beágyazásokat korlátokkal

Válassz egy modellt, amely megfelel a latencia, költség és licenc korlátoknak. Az olyan friss nyílt súlyú listák, mint a Leafy.dev és PocketLLM, széles spektrumot mutatnak a kicsi 7B modellektől a 70B családokig; a kisebb modellek csökkentik a hosztolási költségeket és lehetővé teszik a helyszíni inferenciát, míg a nagyobb modellek javítják az azonnali érvelést. Használj ugyanazt az eladót vagy egy L2-vel kompatibilis beágyazási modellt mind az indexeléshez, mind a futási időhöz, hogy elkerüld a vektor eltolódását. Megfigyeltük, hogy a statikus dokumentumokhoz való beágyazások előkomputálása a lekérdezési késleltetést körülbelül egyetlen előrehaladás idejével csökkenti, és egyszerűsíti a visszaállításokat.

Biztonságos vektortárolók és adatvédelmi technikák

Sok csapat esetében, akiknek kevesebb mint 5 millió vektora van, az embedded Postgres pgvectorral egy operatívan egyszerű alapértelmezett, míg az olyan menedzselt szolgáltatások, mint a Pinecone, Weaviate és Milvus alacsonyabb üzemeltetési költségeket cserélnek le magasabb költségekre és specializált funkciókra. Az Inductivee és Tensoria benchmarkok a 1M-tól 100M-ig terjedő vektordokumentumkészletek átbocsátási sebességét és költségkülönbségeit taglalják, és a választás a vektor méretétől, a QPS-től és attól függ, hogy szükség van-e több régióra kiterjedő replikálásra.

Titkosítsd a vektorokat nyugalmi állapotban, és használj boríték titkosítást a kulcsokhoz. Alkalmazz szigorú IAM-ot a vektortárolóra, és követeld meg az mTLS-t minden szolgáltatáskapcsolatnál. A fenyegetésmodellezési és piros csapatokkal foglalkozó útmutatásért nézd meg az LLM biztonsági útmutatónkat LLM biztonsági útmutató. Ha formális adatvédelmi garanciákra van szükséged, nézd át a különböző adatvédelmi lehetőségeket és a biztonságos aggregációt az útmutatónkban különböző adatvédelmi technikák.

Egy problémát tapasztaltunk a gyakorlatban, amely a hibásan konfigurált szolgáltatási fiókokkal kapcsolatos, amelyek felfedik a vektor metaadatokat. Kezeljük a metaadatokat nagy érzékenységűnek, és zárjuk őket a vektorokhoz hasonló ellenőrzések mögé.

Mérd a relevanciát, hallucinációt, késleltetést és költséget

Használj retrieval metrikákat, mint például Hit@k, MRR és NDCG a retrieverhez, és használj referencián alapuló és referenciamentes értékelési keretrendszereket, mint a RAGEval és RAGAS, az teljesség, hallucináció és irrelevancia értékelésére. A RAGEval és RAGAS terület-specifikus teszteket kínálnak területi feladatokhoz, és automatizált LLM-ítélkező ellenőrzéseket javasolnak a skálázható értékeléshez. Figyelj három termelési jelre: retrieval pontosság, válasz hűsége és végtag késleltetés. A gyakorlatban a retriever recall növelése gyakran hatékonyabban csökkenti a hallucinációt, mint a modellméret növelése.

Telepítési alaprajz privát llm telepítéshez

Minimális alaprajz: konténerizált modell kiszolgálás egy VPC mögött, egy külön vektortároló klaszter lezárt hálózati ACL-ekkel, egy hitelesítési proxy, amely rövid határidejű tokeneket bocsát ki, és egy megfigyelési stack, amely naplózza a retrieval azonosítókat a válaszokkal együtt audit céljából. Kezdj egy tengelyen vagy régióban hosztolt modellel a késleltetési előrejelezhetőség érdekében, majd adj hozzá kereszt-régió replikálását, ha szükséges. Várj magasabb rögzített költségeket a kis telepítéseknél, de jobb irányítást és adatvédelmet.

A nyilvánvaló kifogás a szolgáltató innováció. A felhőben hosztolt LLM szolgáltatások gyorsabban fejlődnek, és olcsóbbak lehetnek az engineering költségek eloszlásakor. Az én becslésem: fenntartott, nagy lekérdezési mennyiségek esetén, amelyek havi néhány millió lekérdezés felett vannak, a menedzselt inferencia gyakran győz a teljes tulajdonosi költségen. Azonban szabályozott adatok vagy szigorú lakóhelyszabályok esetén a privát telepítés az egyetlen életképes lehetőség.

Próbáld ki magad: az alábbi két prompt bemutatja, hogyan lehet felfedni a megalapozott állításokat és észlelni a nem támogatott állításokat.

Ez a prompt arra kéri a modellt, hogy válaszoljon egy lekérdezésre a megadott kontextus felhasználásával, és sorolja fel a forrás azonosítókat, amelyeket használt. Várj tömör válaszokat és forráscitatumokat.

A következő kontextus részletekkel, azonosítókkal, válaszolj a felhasználói kérdésre, és mellékelj egy számozott listát a három legjobb kontextus azonosítóról, amelyeket használtál, és pontos idézett bizonyítékot mindegyikhez.
Kontextus 1 [id=C1]: "..."
Kontextus 2 [id=C2]: "..."
Felhasználói kérdés: "Magyarázd el X-et, és idézd a három legfontosabb támogató részletet."

Ez a prompt arra kéri a modellt, hogy jelölje meg a saját válaszában található nem támogatott állításokat. Várj egy rövid listát az állításokról, amelyek az ő támogatottságuk alapján jelölve vannak, és megadják a támogató kontextus azonosítót, ha elérhető.

Te generáltad ezt a választ. Minden mondat esetében jelöld meg, hogy teljes mértékben támogatott-e a megadott kontextusok által, és add meg a támogató kontextus azonosítót, vagy jelöld UNSUPPORTED.
Válasz: "..."
Kontextusok: C1, C2, C3

Megfigyeltük, hogy a kisméretű, megismételhető kísérletek a retrieval paraméterekkel a hűség legnagyobb javulását hozták. Tartsd az értékeléseket megismételhetőnek, és naplózd a retrieval azonosítókat a válaszok mellett az okok elemzéséhez.