Кими K3 нээлттэй жин: өөрсдөө хостлох, benchmark, аюулгүй байдал

Кими K3 нь 2.8 триллион параметртэй зах зээлийн жишиг загварыг татаж авах боломжтой болгож байгаа боловч татаж авах нь үүнийг зардал багатайгаар ажиллуулахтай адилгүй. Moonshot нь 1,048,576 токен контекст бүхий нээлттэй жинтэй, бусадтай хосолсон Mixture of Experts дизайнаар гаргаснаар, энэ нь хэзээ ч гарч байгаагүй боломжийг санал болгож, хяналтад ороход хялбар хязгаарлалт бий болгосон.

Кими K3 нь өөрсдөө хостлох явдлын хувьд юу гэсэн үг вэ

Moonshot-ийн Кими K3 нь 2.8T ховор Mixture of Experts загвар бөгөөд зөвхөн 896 мэргэжилтний ойролцоогоор тоо, мөн токен бүрт жижиг хэсэг мэргэжилтнүүдийг ашигладаг идэвхжилийн загвартай бөгөөд албан ёсны мэдээгээр нийтдээ 1M токен контекст цонх, хөтөлбөрүүдийн хувьд 104 тэрбум идэвхжсэн параметртэй гэж хэлсэн. Эдгээр нарийн ширийнийг Moonshot-ийн Кими K3 техникийн тайлангаас болон үүнтэй холбоотой arXiv өгүүллээс авсан бөгөөд нягт загваруудын тогтмол зардлыг хувьсах зардалтай хэрэглээнд хувиргадаг. Практик үр дүн нь энгийн. Хэрэв та үнэн зөв өөрсдөө хостлохыг хүсвэл олон тооны GPU кластр, KV кэшийн сүлжээ, ховор чиглэл болон ачааллыг ойлгодог инференс пүүстэй байх хэрэгтэй. Бага багууд зардал болон интеграцийг хурдан угсралтанд удаан хүрнэ.

Яг тодорхойгүй гэж хэлэхэд, энэ гаргалгаа гуравдагч этгээдийн үйлчилгээний самбарыг болон тоон ялгаатай ажиллах хугацааг түргэсгэх болно. Hugging Face-ийн тайлбар болон хамт олны тэмдэглэл MXFP4-ийн квантжуулалт болон vLLM-style ажиллах хугацаа нь аль хэдийнэ анхны нийцлийн зорилтууд юм. Орон нутгийн хяналт шаардлагатай буюу API-ийн өгөгдлийн урсгалаас зайлсхийх шаардлагатай энтерпрайз хэрэглэгчдэд одоо өөрсдөө хостлох нь зөвхөн хэлэлцээрийн матрын нөхцлөөс ялгарах боломжтой болж байна. Практик RAG шаардлагаар хувийн LLM хамлалтын талаар өмнөх анхдагч танилцуулгаас явцын заалт авна уу.

Benchmark болон инференсийн зардлын арилжаа

Гаргасан benchmark-ийн мэдээлэлд Кими K3 нь зүй бус, браузингийн даалгавруудад зах зээлийн загваруудтай ойрхон байх боловч эдгээр тоонууд нь Moonshot-ийн шилдэг туршилтын шугам болон квантжуулалтын сонголтоос хамаарна. Эсрэгээр задарсан давтан тоонууд гарч ирж байгаа боловч ажиллах хугацаа болон квантжуулалтаар ялгаатай байна. Бага зэрэг ах дүүний тайлан болон аж үйлдвэрийн хэвлэлүүдээс ирсэн тоног төхөөрөмжийн тэмдэглэлүүд нь мөн Moonshot-ийн сургалтын үеэр сүүлийн үеийн Blackwell-class хурдасгуур ашигласан гэдгийг тодотгож, сургалтыг орон нутагт давтан хийхийг хүссэн хэнд ч шатаар нэмэгдүүлсэн.

Зардлын тооцоолол чухал. Эхний 4 битийн хадгалалттай, 2.8T загвар нь KV кэш болон идэвхжлийн буферуудыг оруулахад террабайтаар жинг эзэлдэг. Энэ нь сайн удаашрлын үйлчилгээний 80 GB ангиллын GPU-ийн хэдэн зуугаан ширхэг шаардлагатай бөгөөд дараагийн удаан хугацаагаар илүү нарийн хэлбэрийн ачааллалтай дахин хувааж, илүү төвөгтэй алдааны загвартай холбоотой байж болно. Ховор Mixture of Experts загвартайгаар та урт хугацааны бодлого боловсруулалтад толгойлогч токен бүрийн FLOP-ийг бууруулдаг, гэхдээ удаан хугацааны ачаалал болон илүү төвөгтэй санах ой, хуваарилалт шаардлагаас хамааран их хэмжээний хувьсалтай байж болно.

Аюулгүй байдал болон хулгайлах байдал

Нээлттэй жин нь аюул заналхийллийн загварыг өөрчилдөг. Жин олон нийтэд нээлттэй үед, эвдрээд байгаа загварыг офлайн ажиллуулах, алдааны загваруудыг судлах, API уравдаагүйгээр зальдсан ажиллагааг бичих нь хэнд ч боломжтой. Moonshot-ийн гаргасан хүснэгт болон аюулгүй байдалд илэрхийлсэн хэвлэлүүд нээлттэй нэвтрэлт нь хостлогдсон API-уудын өгч байсан хяналтыг цэвэршүүлж байгааг онцлон дардаг. Эдгээр байгууллагууд загварыг итгэлгүй бүрэлдэхүүн хэсэг хэмээн үзэх бөгөөд гуравдагч этгээдийн бинарийн хамаарлаас ухаалаг тодорхойлолт, улаан багийн шилжих, ажиллах явцын аюулгүй байдлын хязгаарлалтыг хийж хэрэглэх ёстой. Үнэ цэнийг тайлбарлах нь энэхүү үйл ажиллагааны шилжилтийг үнэлдэг.

Одоогийн байдлаар бид гурван практик загварыг ажигласан. Нэгдүгээрт, нээлттэй жинд гэнэт сонгосон хэлбэлзсэн охид болон инференсийн хариу хамгийн хүнд зарагддаг. Хоёрдугаарт, квантжуулалт болон ачаар VRAM-ийг бууруулдаг боловч удаан хугацааны хэлбэлзэл, засварын төвөгтэй байдлыг нэмэгдүүлдэг. Гуравдугаарт, хууль, шүүхийн аюул занал ихэвчлэн байгууллагуудыг зардалтай боловч өөрсдөө хостлох оролдлогыг хийхэд түлхэц өгдөг.

Танд туршиж үзнэ үү

Доорх урьдчилан таамаг K3-ийн их хэмжээний контекстын дүгнэлтийг харуулна; энэ нь токеныг дамжуулах, урт KV кэшийг удирдах хугацаа шаарддаг болно.

Та мэргэжлийн аналитикч. Дараах баримт бичгийг 12 цэгийн гүйцэтгэх тойм болгон дүгнэж, шийдвэрүүд, хугацаанууд, шийдээгүй аюул заналуудаа онцол. Хэсгийн гарчгийг хадгалж, шийдвэр бүрийн ойролцоогоор токен цонхийг ишлэн үзнэ үү. Бичвэрийг надад хуулахад эхэл.

Дараагийн урьдчилан таамаг нь удаан хугацааны бичлэгүүд, зурагтай харьцах үед олон загварт мэдэгдлийн тэнцвэрийн үеийн холбоосыг сорьж тестлэх болно; загвар нь 1M токен цонх доторх хоёр модийг ишлэн хүлээн авах болно.

Та 200k-токены нарийн тайлбартай, зураг агуулсан олон загварын ослын тайланг шалгах болно. Тухайн үйл явдалд хамгийн холбоотой зурагны файлын нэрийг хавсран, баталгаажуулах шаардлагатай тайлбарыг тэмдэглэнэ. Миний хавсралтууд болон тайлбар хуулахад хүлээгээрэй.

Энэхүү гаргалгаа нь нээлттэй загварын экосистемд шилжилтийн цэг юм. Технологи чадварлаг, сонирхолтой. Үүнийг хэн зах зээлийн зардалд, хэн өргөжүүлэх аюулын хариуцлагыг хүлээн зөвшөөрнөөс хамаарна.