Özel LLM Dağıtımı: Kurumlar için Pratik RAG

Özel bir LLM dağıtımı, verileri perimetreniz içinde tutarken, denetlenebilir ve alanına uygun cevaplar sunan bir geri alma artırılmış üretim sağlar. Bu kılavuz, mühendislik ve ürün ekiplerine, model seçimi ile güvenli bir RAG hattı, değerlendirme ve minimal bir üretim planına kadar kompakt, pratik bir yol sunar.

Kısıtlarla model ve gömme seçimi

Gecikme, maliyet ve lisans kısıtlarınızı karşılayan bir model seçin. Leafy.dev ve PocketLLM gibi son zamanlardaki açık ağırlık listeleri, küçük 7B modellerden 70B ailelerine kadar geniş bir spektrum sergiler; daha küçük modeller barındırma maliyetini azaltır ve yerinde çıkarım yapmayı pratik hale getirirken, daha büyük modeller kutudan çıktığı gibi düşünmeyi iyileştirir. Vektör kayması olmaması için indeksleme ve çalışma zamanı için aynı satıcıyı veya L2 uyumlu bir gömme modelini kullanın. Statik belgeler için gömme ön hesaplamanın, sorgu gecikmesini tek bir ileri geçiş süresi kadar azalttığını ve geri alma işlemlerini basitleştirdiğini gözlemledik.

Güvenli vektör depoları ve gizlilik teknikleri

5 milyon vektörden az ekipler için, gömülü Postgres ve pgvector, operasyonel olarak basit bir varsayılandır; yönetilen hizmetler olan Pinecone, Weaviate ve Milvus ise daha yüksek maliyet ve özel özellikler için daha düşük operasyon sunar. Inductivee ve Tensoria benchmark'ları, 1M'den 100M vektör veri setleri için verimlilik ve maliyet farklarını tartışır ve seçimlerin vektör boyutu, QPS ve çok bölgeli çoğaltma ihtiyacınıza bağlı olduğunu gösterir.

Vektörleri dinlenme sırasında şifreleyin ve anahtarlar için zarf şifrelemesi kullanın. Vektör deposuna sıkı IAM uygulayın ve tüm hizmet bağlantıları için mTLS gerektirin. Tehdit modelleme ve kırmızı takım yönlendirmesi için LLM güvenlik oyun kitabımızı LLM güvenlik oyun kitabı inceleyin. Resmi gizlilik garantilerine ihtiyacınız varsa, farklı gizlilik seçeneklerini ve güvenli toplama yeteneklerini incelemek için eğitici yazımızı differential privacy techniques gözden geçirin.

Uygulamada karşılaştığımız bir sorun, vektör meta verilerini açığa çıkaran yanlış yapılandırılmış hizmet hesaplarıdır. Meta veriyi yüksek hassasiyette ele alın ve vektörlerle aynı kontrollerin arkasında kilitleyin.

Alaka, halüsinasyon, gecikme ve maliyet ölçümü

Geri alma metrikleri olan Hit@k, MRR ve NDCG kullanın ve tamlık, halüsinasyon ve alakasızlık değerlendirmeleri için referanslı ve referanssız değerlendirme çerçeveleri olan RAGEval ve RAGAS'ı kullanın. RAGEval ve RAGAS, alan görevleri için senaryo spesifik testler sağlar ve ölçeklendirme değerlendirmeleri için otomatik LLM-yargıç kontrollerini önerir. Üç üretim sinyalini izleyin: geri alma doğruluğu, cevap güvenilirliği ve kuyruk gecikmesi. Pratikte, geri alma hatırlamasını artırmak, genellikle model boyutunu artırmaktan daha etkili bir şekilde halüsinasyonu azaltır.

Özel llm dağıtımı için dağıtım planı

Minimal plan: bir VPC arkasındaki konteynerleştirilmiş model sunumu, kilitli ağ ACL'leriyle ayrı bir vektör depolama kümesi, kısa ömürlü tokenler veren bir kimlik doğrulama proxy'si ve denetim için yanıtlarla birlikte geri alma kimliklerini kaydeden bir gözlemlenebilirlik yığını. Gecikme tahmin edilebilirliği için tek bir bölge VPC’de barındırılan model ile başlayın, yalnızca gerekiyorsa çok bölgeli çoğaltma ekleyin. Küçük dağıtımlarda daha yüksek sabit maliyet bekleyin ama daha iyi kontrol ve gizlilik olun.

Açık bir karşıt görüş, satıcı inovasyonudur. Bulut tabanlı LLM hizmetleri daha hızlı gelişecek ve mühendislik maliyetini amorti ettiğinizde daha ucuz olabilir. Tahminim: ayda birkaç milyon sorgunun üzerinde sürekli yüksek sorgu hacimleri için, yönetilen çıkarım genellikle toplam sahip olma maliyetinde kazanır. Ancak düzenlemeye tabi veriler veya katı ikamet kuralları için özel dağıtım tek uygun seçenektir.

Kendiniz deneyin: aşağıdaki iki istem, temellendirmeyi nasıl ortaya çıkaracağınızı ve desteklenmeyen ifadeleri nasıl tespit edeceğinizi gösterir.

Bu istem, modelden verilen bağlamı kullanarak bir sorguya cevap vermesini ve kullandığı kaynak kimliklerini listelemesini ister. Kısa cevaplar ve kaynak alıntıları bekleyin.

Verilen bağlam parçaları ile kullanıcı sorusunu yanıtlayın ve kullandığınız en iyi üç bağlam kimliğinin numaralandırılmış bir listesini ve her biri için tam alıntı edilmiş kanıtı dahil edin.
Bağlam 1 [id=C1]: "..."
Bağlam 2 [id=C2]: "..."
Kullanıcı sorusu: "X'i açıklayın ve en iyi 3 destekleyici parçayı alıntılayın."

Bu istem, modelden kendi cevabındaki desteklenmeyen iddiaları işaretlemesini ister. Kısa bir liste bekleyin; desteklenme durumu için evet veya hayır işareti konulmuş ifadeler ve mevcutsa destekleyici bağlam kimliği.

Bu cevabı siz ürettiniz. Her cümle için, sağlanan bağlamlar tarafından tamamen desteklenip desteklenmediğini işaretleyin ve destekleyici bağlam kimliğini verin veya DESTEKLENMEMİŞ olarak işaretleyin.
Cevap: "..."
Bağlamlar: C1, C2, C3

Küçük, tekrarlanabilir deneylerin geri alma parametreleri ile güvenilirlikte en büyük iyileştirmeleri bulduğuna dair gözlemlerimiz oldu. Değerlendirmeleri tekrarlanabilir tutun ve kök neden analizi için yanıtlarla birlikte geri alma kimliklerini kaydedin.