Hirgelinta LLM Qarsoodi: RAG Wax-ku-Ool ah oo Shirkadaha u Dhan

Hirgelinta LLM qarsoodi oo leh soo celis kor loogu qaadayo ayaa bixiya jawaabo la tirokoobi karo, sax ah marka laga eego go’aankaaga iyadoo la ilaalinayo xogta dhexdeeda xadkaaga. Hagiiskan wuxuu siinaa kooxaha injineernimada iyo alaabta waddo kooban oo wax-ku-ool ah oo ka timaadda doorashada moodeelka ilaa hanaan RAG oo ammaan ah, qiimeyn, iyo naqshad wax-soo-saar oo ugu yaraan ah.

Dooro moodelka iyo embeddings iyadoo leh xaddidaad

Xulo moodel ku habboon waqtiga lagu bixiyo, kharashka, iyo shuruudaha rukhsadda. Liisaska culeyska furan ee dhawaan sida Leafy.dev iyo PocketLLM waxay muujiyaan ballaaran ka bilaabata moodeelada 7B ilaa 70B; moodeelada yar yar ayaa yaraynaya kharashka martigelinta waxayna ka dhigayaan ka-falanqeenta gudaha mid suurtagal ah, moodeelada waaweynna waxay hagaajinayaan sababaha dhabta ah. Isticmaal isla bixiyaha ama moodel embedding oo L2-la jaanqaadi kara labadaba tilmaaminta iyo waqtiga hawlgalka si aad uga fogaato khilaafka vector-ka. Waxaan ogaanay in precomputing embeddings ee dukumentiyada taagan ay hoos u dhigto waqtiga su’aasha ku dhowaad wakhtiga geeddi socodka kaliya, oo fududeynaya dib-u-soo-celinta.

Amniga keydinta vectors iyo farsamooyinka asturnaanta

Kooxaha badan ee ka hooseeya 5 milyan oo vectors, Postgres ku dhex jira pgvector ayaa ah doorasho hawlgal ah oo fudud, halka adeegyada la maamulo sida Pinecone, Weaviate, iyo Milvus ay ka ganacsadaan hawlaha hooseeya si ay u helaan kharashyo sare iyo astaamo khaas ah. Tijaabooyinka Inductivee iyo Tensoria waxay ka hadlaan kala duwanaanshaha throughput-ka iyo kharashka ee 1M ilaa 100M natiijooyin vector iyo waxay muujinayaan in doorashadu ku xirantahay cabbirka vector, QPS, iyo haddii aad u baahan tahay nuqul ka mid ah deegaanada badan.

Qabso vectors marka aan firfircoonayn oo isticmaal sirta baqshad ah ee furayaasha. Codso IAM adag oo ku saabsan keydka vector-ka, oo ka dalbo mTLS dhammaan xiriirada adeegga. Si aad ula tacaaliso qaababka khatarta iyo hagida kooxda cas, eeg buugga amniga LLM buug siyaasadeedka amniga LLM. Haddii aad u baahan tahay dammaanad asturnaanta rasmiga ah, dib u eeg ikhtiyaarrada asturnaanta farqiga iyo uruurinta amniga ee casharkeena farsamooyinka asturnaanta farqiga.

Dhibaatada aan la kulanay ee dhaqanka ayaa ah akoonnada adeegga ee khaldan oo muujinaya macluumaadka vector. U dheh macluumaadka sida mid xasaasi ah oo xidh asalka isla xeerarka sida vectors.

Cabir muhimadda, khaladka, waqtiga iyo kharashka

Isticmaal cabbirrada soo celinta sida Hit@k, MRR, iyo NDCG ee soo celiyaha iyo isticmaal qaabab qiimeyn tixraac iyo mid aan tixraac lahayn sida RAGEval iyo RAGAS si aad u qiimeyso dhammaystir, khilaafka, iyo waxyaabaha aan la xiriirin. RAGEval iyo RAGAS waxay bixiyaan tijaabooyin gaar ah oo ku saabsan hawlaha degaanka oo soo jeedinaya in la sameeyo baaritaano LLM-ka sida garsoore si loo qiimeeyo. Kormeer seddex calaamado wax-soo-saar: saxnaanta soo celinta, daacadnimada jawaabta, iyo waqtiga dambe. Dhaqanka, kordhinta xasuusta soo celinta badanaa waxay yareysaa khalkhalka si ka waxtar badan tabarucaadda moodela.

Naqshad wax-soo-saar ee hirgelinta LLM qarsoodi

Naqshad yar: moodeel khad leh oo bixiya ka dambeeya VPC, koox kala duwan oo keydka vectors leh oo leh shuruudaha shabakada, proxy la xaqiijiyay oo deynaya tokens waqti yar, iyo stack kormeer oo diiwaangelinaysa aqoonsiyada soo celinta oo leh jawaabaha si loo baadho. Ku billow moodeel la martigeliye VPC kaliya ah si loo saadaaliyo waqtiga, ka dibna ku dar nuqul ka mid ah deegaanada kaliya haddii loo baahdo. Filan kharashyo joogto ah oo sare ah ku dhawaad ​​marka la hirgeliyo yar laakiin ka wanaagsan saameynta iyo asturnaanta.

Caqabada cad waa hal-abuurka iibiyaha. Adeegyada LLM ee ku martigaliyay daruuruhu waxay horumari doonaan si ka dhaqso badan, waxaana laga yaabaa inay u dhigmaan qiimeyn markaad kala qaybiso injineernimada. Qiyaastayda: si loo waafajiyo xamuulka su'aalaha culus ee ka badan malaayiin su'aalood bil kasta, si maamulaan ah oon u soo bandhigo badanaa wuxuu ku guuleystaa kharashka guud ee lahaanshaha. Hase yeeshee, xogta la nidaamiyay ama xeerarka deganaanshaha adag, hirgelinta gaar ah ayaa ah kaliya ikhtiyaar suurtagal ah.

Isku day naftaada: labada tallaabo ee hoos ku xusan waxay muujinayaan sida loo muujiyo aasaasiga iyo sidii loo ogaan lahaa bayaan aan taageero lahayn.

Tallaabadan waxay weyddiisataa in moodelka uu ka jawaabo su’aal iyadoo la adeegsanayo macluumaadka la bixiyay iyo in la liisto aqoonsiyada ilaha uu isticmaalay. Filan jawaabo gaaban iyo tixraacyo ilo.

Qoraal: "Marka la eego macluumaadka hoose oo leh aqoonsiyo, ka jawaab su'aasha isticmaalaha oo ku dar liis tirin ah oo ka kooban saddexda aqoonsi ee ugu muhiimsan ee macluumaadka aad isticmaashay iyo caddeymaha la soo xigtay ee mid kasta.

Macluumaadka 1 [id=C1]: "..."
Macluumaadka 2 [id=C2]: "..."
Su'aasha isticmaale: "Sharax X oo tixraac saddexda go'aan ee taageeraya."

Tallaabadan waxay weyddiisataa in moodelka uu calaamadiyo sheegashooyinka aan taageero lahayn ee ku jira jawaabtiisa. Filan liiska gaaban ee sheegashooyinka oo lagu calaamadinayo haa ama maya taageero isagoo bixiya aqoonsiga macluumaadka la taageerayo marka la heli karo.

Waxaad soo saartay jawaabtaan. Qof kasta odhan, haddii ay gabi ahaanba taageerayso macluumaadka la bixiyay oo dhigi aqoonsiga macluumaadka la taageeray ama calaamadii QAYBSAN.
Jawaab: "..."
Dukumiintiyada: C1, C2, C3

Waxaan ogaanay in tijaabooyin yaryar oo la soo celiyo oo leh tilmaamo soo celin ah ay helaan horumar weyn oo daacadnimo leh. Ka dhig qiimayntu mid la soo celin karo oo diiwaangeli aqoonsiyada soo celinta oo la socda jawaabaha si loo sameeyo falanqaynta sababta asalka ah.