Kimi K3 culeys furan: is-bixin, tijaabada, amniga

Kimi K3 waxay ka dhigeysaa nooc ka mid ah 2.8 trillion xeerarka hore ee la soo dejisan karo, laakiin soo dejinta ma ahan mid la mid ah orodka si waxtar leh. Moonshot waxay soo saartay culeysyo furan oo leh 1,048,576 token oo macneheedu yahay naqshad Mixture of Experts ah; natiijadu waa fursad aan hore loo arag iyo xuduudaha hawlgalka ee la saadaalin karo.

Waxa Kimi K3 u dhiganto is-bixinta

Moonshot waxay dukumentiga Kimi K3 sida 2.8T sparse MoE leh qiyaastii 896 khabiir iyo qaabka firfircoon ee isticmaalaya qaybo yar oo khabiir ah halkii token, iyo warqadda iyo qoraallada la sii daayay waxay sheegayaan qiyaastii 1M-token xirmo iyo qiyaastii 104 bilyan oo xeerar la firfircoon yahay oo ah codsiyo caadi ah. Faahfaahinadan waxay ka yimaadaan sii deynta farsamada ee Kimi K3 ee Moonshot iyo warqadda arXiv ee la socota, waxayna bedelayaan kharashka go'an ee noocyada muuqda ee kharashka isbeddelaya ee muujinta. Natiijada dhabta ah waa mid fudud. Haddii aad rabto is-bixin dhabta ah waxaad u baahan tahay koox GPU oo badan, shabakad KV cache, iyo dhisme muujinta oo fahmaya wadiiqooyinka firaaqada iyo offload. Kooxo yaryar ayaa si dhakhso ah ula kulmi doona kharash iyo isku-dar.

Inevitably sii deyntu waxay kicin doontaa toosinta saddexaad iyo wakhtiyada la xakameynayo. Faallooyinka Hugging Face iyo qoraallada bulshada waxay muujinayaan in MXFP4 is-qaybsiga iyo vLLM-style runtimes ay horey ugu jiraan bartilmaameedyada loogu talagalay. Macaamiisha shirkadaha ee u baahan xakameyn maxalliga ah ama ka ilaalinaya qulqulka xogta API, is-bixinta hadda waxaa laga yaabaa in dhab ahaan ay suuragal tahay halkii ay ka ahaan lahayd kaliya wadahadallo. Eeg bilowgii hore ee LLM-ga gaarka ah ee RAG ee tixgelinta.~

Tijaabada iyo is-beddelashada kharashka muujinta

Tijaabooyinka la daabacay ee la sii daayay waxay dhigayaan Kimi K3 agagaarka noocyada hore ee hawlgalka iyo hawlgalinta, laakiin tiradaas waxay ku xiran tahay socodka Moonshot ee la hagaajiyay iyo xulashada is-qaybsiga. Dib-u-soo-noqoshada madax-bannaan ayaa soo baxeysa laakiin waxay ku kala duwanaanayaan waqtiga iyo is-qaybsiga. Warbixinada koowaad ee bulshada iyo qoraallada qalabka ee warbaahinta warshadaha ayaa sidoo kale muujinaya in Moonshot ay isticmaashay xawaareyaal dhawaan la soo gaarsiiyay Blackwell-class waqtiga tababarka, taasoo kor u qaadeysa shuruudaha qof walba oo isku dayaya inuu dib-u-soo-noqo tababarrada gudaha.

Kharashka tirinta ayaa muhiim ah. Kaydka 4-bit asalka ah, nooca 2.8T wuxuu weli qaatayaa terabytes culeysyo ah markaad ku darto KV caches iyo buffers firfircoon. Taasi waxay muujinaysaa daqiiqad 80 GB-class GPUs ah oo ku habboon adeegga-yar ama pipelines shardi ku leh hal ama xakameyn sare leh. Is-beddelinta aad ka helayso sparse MoE waa FLOPs hoos u dhaca halkii token ee sababaha dheer, laakiin xaddiga kala duwan ee wakhtiga iyo shuruucda xasuusta iyo jadwalka oo adag.

Amniga iyo dusha xadgudub

Culeysyada furan waxay beddelayaan qaabka khatarta. Iyada oo culeysyada dadku la wadaagayo, cadowga wuxuu ordi karaa nooca oo dhan oo offline ah, ka baaran yaabaa qaababka guuldareysiga, iyo sameeya jailbreaks iyada oo aan lahayn telemetry API. Qoraallada sii deynta Moonshot iyo daboolka warbaahinta amniga waxay muujinayaan in helitaanka furan ay ka saartay lakab xakameyn ah oo horay loogu hayay API-rada la martigeliyay. Shirkaduhu waa inay sidaas darteed u tixgeliyaan moodeelka laftigiisa sidii qayb aan la isku halleyn karin, oo ku dabaqaan qaabka khatarta, kooxda cas, iyo dharka amniga waqtiga si la mid ah sida ay u samayn lahaayeen waxyaabaha ku tiirsan dhinac saddexaad. Buugga amniga ee aan bixinno wuxuu sharxayaa isbeddelkani.

Waxaa naga soo baxay saddex habab oo wax ku ool ah ilaa hadda. Ugu horreyn, fursadaha culeysda furan si dhakhso ah u abuurayaan faracyada la hagaajiyay iyo dharka muujinta. Labaad, is-qaybsiga iyo offload waxay yareeyaan VRAM laakiin kordhiyaan kala duwanaanshaha wakhtiga iyo adkaanta debug. Saddexaad, khataraha sharciga iyo xadgudubka gobolka ayaa badanaa ah waxa kiciya ururada inay isku dayaan is-bixin halka kharashka.

Isku day naftaada

Fariinta hoose waxay muujinaysaa is-bixin weyn oo K3 ah; rajaynaya inay u baahato waqtiga socota ee qulqulaya tokens iyo maareynta KV cache dheer.

Waxaad tahay falanqeeye khabiir ah. Soo koob dukumenti soo socda oo ku saabsan 12-punt executive brief oo muujinaya go'aanada, taariikhaha kama dambaysta ah, iyo khataraha aan la xalin. Xafiisna ku hay qeybaha waaweyn oo ku qeex qaab qiyaas ah saldhig kasta. Bilow marka aan dhajiyo dukumentiga.

Fariinta xigta waxay tijaabinaysaa waafaqsanaanta multimodal marka la sii daayo nuqul dheer iyo sawirro; rajaynaya in moodalka uu tixraacdo labadan habab intuu gudbo 1M-token xirmo.

Waxaad falanqeyn doontaa warbixinta dhacdada qeexan iyadoo ay leedahay sawirro iyo nuqul 200k-token. Ka soo saar waqtiyada iyo waqtiga, ku dheji magaca faylka sawirka ugu habboon dhacdo kasta, oo calaamadi xogta u baahan xaqiijin. Sug dhajiyadayda iyo nuqulka dukumintiga.

Sii daynta waa meel ka mid ah isbeddelo cusub ee howlaha moodellada furan. Tiknoolajiyadu waa awood leh oo xiiso leh. Qaadashada waxay ku xiran doontaa cidda bixinaysa kharashka muujinta iyo cidda aqbala culeyska amniga kordhay.