Kimi K3 açık ağırlıkları: kendi kendine barındırma, karşılaştırmalar, güvenlik
Win.AI Editorial tarafından
Kimi K3, 2,8 trilyon parametreli bir sınır modelini indirilebilir hale getiriyor, ancak indirmenin maliyet etkin bir şekilde çalıştırmakla aynı şey olmadığını belirtmek gerekir. Moonshot, 1.048.576 token'lık bir bağlam ve seyrek uzmanlardan oluşan bir karışım tasarımı ile açık ağırlıkları piyasaya sürdü; sonuç, benzeri görülmemiş bir fırsat ve öngörülebilir operasyonel sınırların birleşimidir.
Kimi K3'ün kendi kendine barındırma anlamı
Moonshot, Kimi K3'ü yaklaşık 896 uzman ile 2,8T seyrek MoE olarak belgeler. Her token için az sayıda uzman kullanan bir aktivasyon modeli ile, belge ve sürüm notları yaklaşık 1M token bağlam penceresi ve tipik talepler için yaklaşık 104 milyar etkin parametre bulunduğunu iddia ediyor. Bu ayrıntılar, Moonshot’ın Kimi K3 teknik yayınından ve accompanying arXiv makalesinden gelmekte olup, yoğun modellerin sabit maliyetlerini değişken maliyetli bir çıkarım profili ile değiştirmektedir. Pratik sonuç basittir. Gerçek kendi kendine barındırma istiyorsanız, çok düğümlü bir GPU kümesine, KV önbellek için ağ bağlantısına ve seyrek yönlendirme ile yük dengelemesini anlayan bir çıkarım yığına ihtiyacınız vardır. Küçük ekipler hızlı bir şekilde maliyet ve entegrasyon sorunları ile karşılaşacaktır.
Kuşkusuz, bu sürüm üçüncü taraf sunum yığınlarını ve kuantize edilmiş çalışma ortamlarını teşvik edecektir. Hugging Face yorumları ve topluluk notları, MXFP4 kuantizasyonu ve vLLM tarzı çalışma ortamlarının şimdiden ilk uyumluluk hedefleri olduğunu göstermektedir. Yerel kontrol veya API veri akışlarını önlemek isteyen kurumsal müşteriler için, kendi kendine barındırma artık yalnızca müzakere ile değil, prensipte mümkün hale geliyor. Pratik RAG hususları için özel LLM dağıtımları hakkındaki önceki kılavuzumuza göz atın.
Karşılaştırmalar ve çıkarım maliyetinin ticaret dengeleri
Sürümle birlikte yayınlanan karşılaştırmalar, Kimi K3'ü akıl yürütme ve gezinme görevlerinde sınır modellerine yakın bir yere yerleştiriyor, ancak bu rakamlar Moonshot’ın kendi optimize edilmiş boru hattına ve kuantizasyon seçimlerine bağlı. Bağımsız yeniden üretimler ortaya çıkıyor ancak çalışma ortamı ve kuantizasyon ile değişkenlik gösteriyor. Erken topluluk raporları ve sektör basınından gelen donanım notları, Moonshot’un eğitim sırasında son Blackwell sınıfı hızlandırıcılar kullandığını gösteriyor, bu da eğitimlerini yerel olarak yenilemek isteyen herkes için zorlukları artırıyor.
Maliyet hesabı önemlidir. Yerel 4-bit depolamada, 2.8T model KV önbellekleri ve aktivasyon tamponları dahil edildiğinde terabaytlara ulaşacaktır. Bu, düşük gecikmeli hizmet için onlarca 80 GB sınıfı GPU veya daha yüksek gecikme ve daha karmaşık hata modlarıyla dikkatle parçalanmış boru hatları gerektirecektir. Seyrek MoE ile elde edilen ticaret dengesi, uzun hesaplama akıl yürütmesi için daha düşük token başına FLOPS, ancak daha yüksek gecikme değişkenliği ve daha karmaşık bellek ile programlama gereksinimlerine sahiptir.
Güvenlik ve istismar yüzeyi
Açık ağırlıklar tehdit modelini değiştirir. Ağırlıkların halka açık olması, düşmanların tam modeli çevrimdışı çalıştırabilmesi, hata modlarını sorgulayabilmesi ve API telemetrisini kullanmadan jailbreak geliştirebilmesi anlamına geliyor. Moonshot’un sürüm notları ve güvenlik medyasındaki haberler, açık erişimin, daha önce barındırılan API'ler tarafından sağlanan bir kontrol katmanını ortadan kaldırdığını vurgulamaktadır. Bu nedenle, işletmeler modeli kendisi güvenilmez bir bileşen olarak değerlendirmeli ve tehdit modellemesi, kırmızı takım çalışması ve çalışma güvenliği sarmalayıcılarını üçüncü taraf ikili bağımlılıklar için olduğu gibi uygulamalıdır. Güvenlik oyun kitabımız bu operasyonel kaymayı açıklar.
Şimdiye kadar üç pratik kalıp gözlemledik. İlk olarak, açık ağırlık düşüşleri hızla optimize edilmiş çatallar ve çıkarım sarmalayıcıları oluşturur. İkincisi, kuantizasyon ve yük dengelemesi VRAM kullanımını azaltırken, gecikme değişkenliğini ve hata ayıklama karmaşıklığını artırır. Üçüncüsü, yasal ve yargı bölgesel riski genellikle organizasyonların maliyetine rağmen kendi kendine barındırma denemelerini teşvik eden unsurdur.
Kendiniz deneyin
Aşağıdaki istem, K3'ün büyük bağlamlı özetleme yeteneklerini göstermektedir; token'ları akıtan ve uzun bir KV önbelleği yöneten bir çalışma ortamına ihtiyaç duyulmasını bekleyin.
Siz bir uzman analistsiniz. Aşağıdaki belgeyi, kararları, son tarihleri ve çözülmemiş riskleri vurgulayan 12 maddelik bir yönetici özeti olarak özetleyin. Bölüm başlıklarını koruyun ve her karar için yaklaşık token offset'lerini belirtin. Belgeyi yapıştırdığımda başlayın.
Sonraki istem, uzun transkriptler ve görseller dahil ederek çok modlu uyumu test eder; modelin 1M token penceresinde iki moddan da referans vermesini bekleyin.
Bir multimodal olay raporunu analiz edeceksiniz; bu rapor görseller ve 200k-token transkripti içermektedir. Zaman damgaları ile bir zaman çizelgesi çıkarın, her olaya en ilgili görsel dosya adını ekleyin ve doğrulama gerektiren ifadeleri işaretleyin. Ekli yüklemelerimi ve transkript yapıştırmamı bekleyin.
Sürüm, açık model ekosistemleri için bir dönüm noktasıdır. Teknoloji yetenekli ve ilginçtir. Benimsenmesi, çıkarım faturalarını ödeyen ve genişletilmiş güvenlik yükünü kabul edenler tarafından belirlenecektir.
