Kimi K3 ღია წონის: თვით-хოსტი, ბენჩმარკები, უსაფრთხოება
ავტორი: Win.AI Editorial
Kimi K3 2.8 ტრილიონი პარამეტრის საზღვართა მოდელს კითხვისთვის ხელმისაწვდომს ხდის, მაგრამ ჩამოტვირთვა არ ნიშნავს, რომ მისი გაწვდვა ეფექტიანად ხდება. Moonshot-მა გამოაქვეყნა ღია წონები 1,048,576 ტოკენის კონტექსტით და ხვრელოვანი ექსპერტების დიზაინით; შედეგი უპრეცედენტო შესაძლებლობასა და პროგნოზირებულ ოპერაციულ ზღვარს შორისაა.
რა ნიშნავს Kimi K3 საკუთარი 호პისთვის
Moonshot აღნიშნავს Kimi K3-ს როგორც 2.8T ხვრელოვანი MoE, რომელიც დაახლოებით 896 ექსპერტს მოიცავს და აქვს აქტივაციის ცარცვოს პატერნი, რომელიც გთავაზობთ მცირე ექსპერტებისSubset-ის გამოყენებას თითო ტოკენზე, ხოლო პუბლიკაციისა და გამოშვების შენიშვნება ადასტურებს დაახლოებით 1M-ტოკენის კონტექსტის კარალის არსებობას და ჩვეულებრივი მოთხოვნებისთვის დაახლოებით 104 მილიარდ გარემოა აქტივირებული პარამეტრების. ეს სპეციფიკაციები გამომდინარეობს Moonshot-ის Kimi K3 ტექნიკური გამოშვებიდან და თანხმობით arXiv-დან დაფიქსირებული სტატიური ხარჯების მაგივრად გამოცდილ ხარჯოვანი პროფილისთვის. პრაქტიკული შედეგი მარტივია. თუ გსურთ სრულწლოვანი საკუთარი 호პი, უნდა გქონდეთ მრავალ-ქულიანი GPU კლასტერი, კავშირები KV ქეშისთვის და ინტერენციის აუწერე, რომელიც ხვრელოვან მარშრუტირებასა და გადატვირთვას მოიცავს. छोटे გუნდები მალე მოხვდებიან ხარჯულ და ინტეგრაციის წინააღმდეგობას.
არჩევნით გამოშვება შეიქმნის მესამე მხარის მომსახურების სტეკებს და კვანტირებულ გამოწვევებს. Hugging Face-ის კომენტარები და საზოგადოების შენიშვნები აჩვენებენ, რომ MXFP4 კვანტიზაცია და vLLM-სტილის გამოწვევები უკვე პირველი თავსებადობის მიზნები არიან. პასუხისმგებელი მომხმარებლებისთვის, რომლებიც ადგილობრივი კონტროლის საჭიროებენ ან API მონაცემთა ნაკადების თავიდან აცილებას, საკუთარი 호პი ახლა შესაძლებელია პრინციპით, არამხოლოდ ხელშეკრულების შედეგად. იხილეთ ჩვენი უწინასწარმეტყველებული სტატია პირადი LLM-ის განთავსებების პრაქტიკულ RAG სექრეტებზე.
ბენჩმარკები და ინტერენციის ხარჯების კომბინაციები
გამოშვებისას გამოქვეყნებული ბენჩმარკები კიმი K3-ს ახლოს უწერს საზღვართა მოდელებზე მსჯელობით და ბრაუზერების დავალებებზე, მაგრამ ეს რიცხვები დამოკიდებულია Moonshot-ს საკუთარი ოპტიმიზირებული pipeline-ისა და კვანტიზაციის არჩევანზე. დამოუკიდებელი გამეორებები ჩნდება, მაგრამ განსხვავდება runtime-დან და კვანტიზაციის მიხედვით. ადრეული საზოგადოების ანგარიშები და ინდუსტრიული პრესის ტექნოლოგიური შენიშვნები ასევე აჩვენებენ, რომ Moonshot-მა ტრენერი დროს ახლანდელი Blackwell კლასის აკადემიური ამაჩქარებლები გამოიყენა, რაც აწვდობს ბარაქიან სამუშაოს მის Wiederholung-ის დამზადებეში.
ხარჯვა მნიშვნელოვანია. ორიგინალური 4-ბიტიანი შენახვის დროს 2.8T მოდელი მაინც აგრძელებს ტერაბაიტების წონების ოკუპრირებას, როდესაც KV ქეშები და აქტივაციის ბუფერები მოიცავს. ეს ცვლილებაა, რაც რამდენიმე 80 GB კლასის GPU-ის საჭიროებას იწვევს, თუ დაბალი ლატენტური მომსახურებისთვის ან უფრო რთული გადანაწილებულ pipeline-ებისთვის უფრო მაღალი ლატენტური მახასიათებლებით. ხვრელოვანი MoE-ის იმედით გამოცდილების ალტერნატივა, რომც იყოს, პერ-ტოკენ FLOPs-ის შემცირება ექნებათ უფრო გრძელი მსჯელობით, მაგრამ უფრო მაღალი შეცდომების თქმები და უფრო რთული მეხსიერების და გეგმების საჭიროება.
უსაფრთხოება და ბოროტად გამოყენების პოტენციალი
ღია წონები იწვევს საფრთხის მოდელის ცვლილებას. რადგან წონები საჯაროდ არიან, მოწინააღმდეგეები შეუძლიათ ოფლაინში სრულად მოდელს გადაბეჭდონ, დაინტერესდეს შეცდომების წერტილები და შექმნან jailbreak-ები API ტელემეტრიის გარეშე. Moonshot-ის გამოშვებისა და უსაფრთხო მედიის გაშვების ნოტები გამოკვეთავენ, რომ ღია ხელმისაწვდომობა აცხდებს კონტროლის ერთ დონეს, რომელიც ადრე უზრუნველყოფილია ჩაიწერილი API-ებით. ამიტომ, კომპანიებმა უნდა მოიაზრონ მოდელი როგორც დაუმტკიცებელი კომპონენტი და გამოიყენონ საფრთხის მოდელირება, წითელი გუნდი და runtime უსაფრთხოების wrapper-ები ისე, როგორც მესამე მხარის ბლოგის დამოკიდებულებისთვის. ჩვენი უსაფრთხოების თამაში წიგნი ახდენს ეს ოპერაციული ცვლილება.
ამ დროისთვის სამივე საქმიანი გეგმა შევნიშნეთ. პირველად, ღია წონების ვერსიები სწრაფად ინახებს მორგებულ Fork-ებს და ინტერენციის wrapper-ებს. მეორედ, კვანტიზაცია და გადატვირთვა VRAM-ს ამცირებს, მაგრამ აუარესებს ლატენტური ფორმის და დიაგნოსტიკის სამეცნიერო ხარჯზე. მესამედ, სამართლებრივი და იურისდიქციური რისკი ხშირად იმაზეა, რაც ორგანიზაციები აიძულებს სცადონ საკუთარი 호პი მიუხედავად ხარჯების.
გამოცადეთ საკუთარი
ქვემოთ არსებული სტიმული მიუთითებს K3-სის დიდი კონტექსტური კულტურაზე; ელით, რომ საჭიროებს runtime-ს, რომელიც ტიპების დაკონტროლებას და მართვის KV-ს იყენებს.
თქვენ ბრძანდებით ექსპერტი ანალიტიკოსი. დაასაბუთეთ შემდეგი დოკუმენტის 12-ქულიანი მმართველობის მიმოხილვა, რომელიც ხაზს უსვამს გადაწყვეტილებებს, ბოლოდროინდელ თარიღებსა და გაუმკლავებელ რისკებს. შეინახეთ სექციის სათაურები და ციტირეთ შეტყობინებას თითო გადაწყვეტილებისათვის. დაიწყეთ, როდესაც მოიტანით დოკუმენტს.
მეორე სტიმული სამიმოდური ელემენტების უთანხმოებას ტესტავს, როდესაც გრძელ ტრანსკრიპტებს და სურათებს გაწვდავთ; მოელით, რომ მოდელი ორივე ფორმულას მიუთითოს 1M-ტოკენის კარალზე.
თქვენ გააანალიზებთ სამიმოდურ შემთხვევის ანგარიშს, რომელიც შეიცავს სურათებსა და 200k-ტოკენის ტრანსკრიპტს. შეედეთ დროის ცხრილის შესაქმნელად დროთა ნიშნებით, მიაწვდეთ ყველა ყველაზე მიმართული სურათების სურათის სახელი თითო მოვლენისათვის და მოამზადეთ განცხადებები, რომლებიც საჭიროებენ მოსამართლებას. დაელოდეთ ჩემს ატვირთულ ავეჯებს და ტრანსკრიპტის დაჩიტვას.
გამოშვება ღია მოდელების ეკოსისტემისთვის გარდამავალი აქტი იყო. ტექნოლოგია არის უნგრებული და საინტერესო. მის მიღების გადაწყვეტილება გააკვეღლებს ის, ვინც გადაიხდის ინტერენციის ხარჯებს და ვინც ცხადად მიიღებს გაფართოებულ უსაფრთხოებას.
