Kimi K3 ашық салмақтары: өзін-өзі хостинг, бенчмарктер, қауіпсіздік
Автор: Win.AI Editorial
Kimi K3 2.8 триллион параметрлі шекаралық модельді жүктеп алуға мүмкіндік береді, бірақ жүктеп алу оны тиімді іске қосу ретінде қарастырылмайды. Moonshot 1,048,576 токен контекстімен және сирек кездесетін Эксперттер Қоспасының дизайнымен ашық салмақтарды жеткізді; нәтижесі бұрын-соңды болмаған мүмкіндіктер мен алдын ала болжанатын операциялық шектеулер береді.
Kimi K3-тің өзін-өзі хостинг үшін маңызы
Moonshot Kimi K3-ті 2.8T сирек MoE ретінде 896 шамасында маманмен және токен бойынша мамандардың кішкене тобын пайдаланатын белсендіру схемасымен құжаттайды. Папка мен шығарылым жазбалары шамамен 1M токен контексте терезе және стандартты сұраныстар үшін шамамен 104 миллиард белсенді параметрлерден тұратынын айтады. Бұл мәліметтер Moonshot-тың Kimi K3 техникалық шығарылымынан және оған ілеспе arXiv мақаласынан алынған және тығыз модельдердің тұрақты құнын сирек кездесетін индукция профилімен алмастырады. Практикалық салдары қарапайым. Егер сіз шынайы өзін-өзі хостингті қаласаңыз, сізге көп түйінді GPU кластері, KV кэш үшін желі және сирек маршрутизация мен разрядты түсінетін индукция стекі қажет. Кішігірім командалар тез арада шығындар мен интеграция цараптары мәселелеріне тап болады.
Кешенді шығарылым түстен кейінгі жеткізуші стектер мен квантталған жұмыс уақыттарын ынталандырады. Hugging Face-тен мәлімдемелер мен қауымдастық жазбалары MXFP4 кванттау мен vLLM стиліндегі жұмыс уақыттарының алғашқы сәйкестік нысандары екенін көрсетеді. Жергілікті бақылауды қажет ететін немесе API деректер ағындарынан аулақ болғысы келетін кәсіпорындар үшін, өзін-өзі хостинг енді тек келіссөздер арқылы ғана емес, қағаз бойынша да мүмкін болды. Нақты RAG мәселелері үшін жеке LLM орналастыруларына арналған біздің бұрынғы нұсқаулығымызды қараңыз.
Бенчмарктер мен индукция шығындарының сауда-саттығы
Шығарылыммен жарияланған бенчмарктер Kimi K3-ті логикалық және браузинг тапсырмаларында шекаралық модельдермен салыстыруға жақын орналастырады, бірақ бұл көрсеткіштер Moonshot-тың өз оңтайландырылған құбырлары мен кванттау таңдауларына байланысты. Азат етілген тәуелсіз қайта қолданулар пайда болып жатыр, бірақ жұмыс уақыты мен кванттауға байланысты әр түрлі. Ерте қауымдастық есептері мен индустриялық баспасөздің аппараттық құралдары Moonshot-тың оқыту кезінде соңғы Blackwell классындағы жылдамдатқыштарды қолданғанын да көрсетті, бұл жергілікті оқытуды қайта жасауды қалайтындар үшін стандартты көтереді.
Шығын математикалық есептеулері маңызды. Туған 4-бит сақтау кезінде 2.8T модельі, KV кэштері мен белсендіру буферлерін кіріктіргенде, террабайттардағы салмақтарды алады. Бұл төмен латентті қызмет көрсету үшін немесе жоғары латенттілік пен күрделірек сәтсіздік режимдерімен мұқият бөлінген құбырлар үшін ондаған 80 ГБ класындағы GPU-ларды қажет ететіндігін білдіреді. Сирек MoE-мен сіз алатын сауда-саттық, ұзақ есептелген логикалық есептер үшін төмен токен бойынша FLOPs, бірақ латенттілік бойынша жоғары ауытқу мен күрделі жад және кесте талаптары.
