Kimi K3 ওপেন ওজন: স্ব-হোস্টিং, বেঞ্চমার্ক, নিরাপত্তা
লেখক: Win.AI Editorial
Kimi K3 একটি 2.8 ট্রিলিয়ন প্যারামিটার ফ্রন্টিয়ার মডেল ডাউনলোডযোগ্য করে, তবে ডাউনলোড করা একটি বিষয় এবং এটি কার্যকরভাবে চালানো আরেকটি বিষয়। মুনশট 1,048,576 টোকেন কনটেক্সট এবং একটি স্পার্স মিক্সচার অফ এক্সপার্টস ডিজাইন সহ ওপেন ওজন পাঠিয়েছে; এর ফলস্বরূপ প্রচুর সুযোগ পাশাপাশি পূর্বানুমানযোগ্য অপারেশনাল সীমা রয়েছে।
Kimi K3 স্ব-হোস্টিংএর জন্য কি অর্থ রাখে
মুনশট Kimi K3 কে একটি 2.8T স্পার্স MoE হিসেবে ডকুমেন্ট করেছে যার আনুমানিক 896 এক্সপার্ট রয়েছে এবং একটি অ্যাক্টিভেশন প্যাটার্ন ব্যবহার করে যা প্রতিটি টোকেনের জন্য এক্সপার্টদের একটি ছোট সাবসেট ব্যবহার করে, এবং পেপার এবং মুক্তির নোটগুলি আনুমানিক 1M-টোকেন কনটেক্সট উইন্ডো এবং সাধারণ অনুরোধের জন্য প্রায় 104 বিলিয়ন অ্যাক্টিভেটেড প্যারামিটার দাবি করে। এই বিস্তারিত তথ্য মুনশটের Kimi K3 প্রযুক্তিগত মুক্তি এবং এর সাথে যুক্ত arXiv পেপার থেকে এসেছে, এবং ঘন মডেলগুলির স্থির ব্যয়ের পরিবর্তে একটি পরিবর্তনশীল ব্যয়ের ইনফারেন্স প্রোফাইলের জন্য ব্যবসা করে। ব্যবহারিক ফলাফলটি সহজ। যদি আপনি সত্যিকারের স্ব-হোস্টিং চান তবে আপনাকে একটি মাল্টি-নোড GPU ক্লাস্টার, KV ক্যাশের জন্য নেটওয়ার্কিং, এবং একটি ইনফারেন্স স্ট্যাক দরকার যা স্পার্স রাউটিং এবং অফলোড বুঝতে পারে। ছোট দলগুলি দ্রুত ব্যয় এবং ইন্টিগ্রেশন ফ্রিকশনে পৌঁছে যাবে।
অ避避যোগ্যভাবে মুক্তি তৃতীয় পক্ষের সার্ভিং স্ট্যাক এবং কোয়ান্টাইজড রানটাইমকে উদ্দীপিত করবে। হাগিং ফেসের মন্তব্য এবং সম্প্রদায়ের নোটগুলি দেখায় যে MXFP4 কোয়ান্টাইজেশন এবং vLLM-শৈলীর রানটাইম ইতিমধ্যে প্রথম সামঞ্জস্য লক্ষ্যমাত্রা। যারা স্থানীয় নিয়ন্ত্রণ প্রয়োজন বা API ডেটা প্রবাহ এড়াতে চান তাদের জন্য এন্টারপ্রাইজ গ্রাহকদের জন্য এখন স্ব-হোস্টিং সম্ভব হয় মূলগতভাবে, শুধুমাত্র আলোচনা দ্বারা নয়। বাস্তব রেগি বিবেচনার জন্য আমাদের পূর্ববর্তী প্রাইমারটি দেখুন।
বেঞ্চমার্ক এবং ইনফারেন্স খরচের ট্রেড-অফ
মুক্তির সাথে প্রকাশিত বেঞ্চমার্কগুলি Kimi K3 কে যুক্তি এবং ব্রাউজিং কার্যক্রমে ফ্রন্টিয়ার মডেলের নিকটে স্থাপন করে, কিন্তু ওই সংখ্যাগুলি মুনশটের নিজস্ব অপ্টিমাইজড পাইপলাইন এবং কোয়ান্টাইজেশন পছন্দগুলোর উপর নির্ভর করে। স্বাধীন পুনরাবৃত্তি উঠছে কিন্তু রানটাইম এবং কোয়ান্টাইজেশনের ভিত্তিতে পরিবর্তিত হচ্ছে। সম্প্রদায়ের প্রাথমিক প্রতিবেদনের পাশাপাশি শিল্প প্রেসের হার্ডওয়্যার নোটগুলোও দেখায় যে মুনশট প্রশিক্ষণের সময় সাম্প্রতিক ব্ল্যাকওয়েল-ক্লাস অ্যাক্সিলারেটর ব্যবহার করেছে, যা স্থানীয়ভাবে প্রশিক্ষণ পুনরায় তৈরির চেষ্টা করা যে কেউকে উচ্চতর মানদণ্ডে নিয়ে যায়।
খরচের গণনা গুরুত্বপূর্ণ। প্রকৃত 4-বিট স্টোরেজে 2.8T মডেলটি এখনও টেরাবাইটের ওজন দখল করে যখন আপনি KV ক্যাশ এবং অ্যাক্টিভেশন বাফার অন্তর্ভুক্ত করেন। এর অর্থ হল নিম্ন-লেটেন্সি সার্ভিংয়ের জন্য দশের বেশি 80 GB-ক্লাস GPU প্রয়োজন অথবা উচ্চ লেটেন্সি এবং আরও জটিল ব্যর্থতা মোড সহ যত্নশীল শার্ডেড পাইপলাইন। স্পার্স MoE এর সাথে আপনি যা গ্রহণ করেন তা হল দীর্ঘ-কম্পিউট reasoning এর জন্য প্রতি-টোকেন FLOPs কম, তবে লেটেন্সি এবং আরও জটিল মেমরি ও সময়সূচী প্রয়োজনীয়তার মধ্যে উচ্চ পরিবর্তন।
নিরাপত্তা এবং অপব্যবহারের পৃষ্ঠ
ওপেন ওজন হুমকির মডেল পরিবর্তন করে। ওজনে প্রকাশ্যে, শত্রুরা পুরো মডেলটি অফলাইনে চালাতে পারে, ব্যর্থতার মোডগুলি পরীক্ষা করতে পারে এবং API টেলিমেট্রি ছাড়াই জেলব্রেক তৈরি করতে পারে। মুনশটের মুক্তির নোট এবং নিরাপত্তা মিডিয়ায় কভারেজ ওপেন অ্যাক্সেস এইভাবে একটি স্তর নিয়ন্ত্রণের অপসারণ করে যা পূর্বে হোস্টেড APIs দ্বারা সরবরাহ করা হয়। তাই এন্টারপ্রাইজগুলিকে মডেলটিকে একটি অট্রাস্টেড উপাদান হিসেবে বিবেচনা করতে হবে এবং হুমকি মডেলিং, রেড-টিমিং এবং রানটাইম সেফটি র্যাপারগুলি প্রয়োগ করতে হবে ঠিক যেমন তারা তৃতীয় পক্ষের বাইনারি নির্ভরতার জন্য করবে। আমাদের নিরাপত্তা প্লেবুক এই অপারেশনাল পরিবর্তন ব্যাখ্যা করে।
আমরা এ পর্যন্ত তিনটি ব্যবহারিক প্যাটার্ন দেখেছি। প্রথমত, ওপেন-ওজন ড্রপগুলি দ্রুত অপ্টিমাইজড ফর্ক এবং ইনফারেন্স র্যাপার তৈরি করে। দ্বিতীয়ত, কোয়ান্টাইজেশন এবং অফলোড VRAM কমালে কিন্তু লেটেন্সি ভেরিয়েন্স এবং ডিবাগিং জটিলতা বাড়ায়। তৃতীয়ত, আইনগত এবং বিচারিক ঝুঁকি প্রায়শই সেই কারণ যা সংস্থাগুলিকে ব্যয় সত্ত্বেও স্ব-হোস্টিং চেষ্টা করতে প্রলুদ্ধ করে।
নিজেই চেষ্টা করুন
নিচের প্রম্পট K3র বৃহৎ-সাংগঠনের সারসংক্ষেপ প্রদর্শন করে; আশা করুন এটি একটি রানটাইমের প্রয়োজন হবে যা টোকেনগুলি স্ট্রীম করে এবং দীর্ঘ KV ক্যাশ পরিচালনা করে।
আপনি একজন বিশেষজ্ঞ বিশ্লেষক। নিম্নলিখিত নথিটি 12-পয়েন্ট এক্সিকিউটিভ ব্রিফে সারসংক্ষেপ করুন যা সিদ্ধান্ত, সময়সীমা এবং অনিরূপ ঝুঁকিগুলিকে আলোকিত করে। বিভাগ শিরোনাম সংরক্ষণ করুন এবং প্রতিটি সিদ্ধান্তের জন্য আনুমানিক টোকেন অফসেট উল্লেখ করুন। আমি যখন নথিটি পেস্ট করি তখন শুরু করুন।
পরের প্রম্পট মাল্টিমোডাল আলাইনমেন্ট পরীক্ষা করে যখন দীর্ঘ ট্রান্সক্রিপ্ট এবং চিত্রগুলি খাওয়ানো হয়; আশা করুন মডেলটি 1M-টোকেন উইন্ডো জুড়ে উভয় মোডালিটি উল্লেখ করবে।
আপনি একটি মাল্টিমোডাল ঘটনা রিপোর্ট বিশ্লেষণ করবেন যার মধ্যে চিত্রগুলি এবং 200k-টোকেন ট্রান্সক্রিপ্ট রয়েছে। একটি টাইমলাইন তৈরি করুন যার সাথে সময় স্ট্যাম্প, প্রতি ইভেন্টের সাথে সবচেয়ে প্রাসঙ্গিক চিত্রের ফাইলনাম যুক্ত করুন, এবং সেই বিবৃতিগুলি চিহ্নিত করুন যা সত্যতা প্রয়োজন। আমার সংযুক্তি আপলোডগুলি এবং ট্রান্সক্রিপ্ট পেস্টের জন্য অপেক্ষা করুন।
মুক্তি ওপেন-মডেল ইকোসিস্টেমগুলির জন্য একটি মাইলফলক। প্রযুক্তিটি সক্ষম এবং অনুরণিত। এর গ্রহণযোগ্যতা নির্ধারণ করা হবে কারা ইনফারেন্সের বিল পরিশোধ করে এবং কারা প্রসারিত নিরাপত্তা বোঝা গ্রহণ করে।
