टोकनाइजेशन समझाया: टोकनों से आउटपुट तक

एक बड़े भाषा मॉडल को कुछ उपयोगी उत्पन्न करने से पहले कुछ बहुत सरल करना होता है: आपके पाठ को तोड़ना।

उस प्रक्रिया को टोकनाइजेशन कहा जाता है, और यह आधुनिक एआई सिस्टम कैसे काम करते हैं, इसका एक सबसे महत्वपूर्ण, और सबसे अनदेखा, हिस्सा है।

अधिकांश लोग सोचते हैं कि मॉडल शब्द पढ़ते हैं। वे ऐसा नहीं करते।

वे टोकन पढ़ते हैं: पाठ के छोटे टुकड़े जो पूरे शब्द, शब्दों के हिस्से, विराम चिह्न, स्थान, या यहां तक कि व्यक्तिगत प्रतीकों का प्रतिनिधित्व कर सकते हैं। उन टोकनों को फिर संख्या पहचान में परिवर्तित किया जाता है जिसे मॉडल आंतरिक रूप से प्रोसेस कर सकता है।

टोकनाइजेशन को समझना कई चीजों को स्पष्ट करने में मदद करता है:

• प्रांप्ट्स की लागत क्यों होती है
• संदर्भ खिड़कियों के पास सीमाएं क्यों होती हैं
• कुछ भाषाएं अन्य की तुलना में अधिक महंगी क्यों होती हैं
• मॉडल कभी-कभी अजीब तरीके से क्यों व्यवहार करते हैं

टोकनाइजेशन एआई पाइपलाइन की शुरुआत में बैठता है, और यह चुपचाप सब कुछ आकार देता है जो बाद में आता है।

टोकन क्या है?

एक टोकन पाठ की सबसे छोटी इकाई है जिस पर एक मॉडल काम करता है।

यह हमेशा एक शब्द के समान नहीं होता।

उदाहरण के लिए:

यह महत्वपूर्ण है क्योंकि मॉडल टोकनों को गिनते हैं, शब्दों को नहीं।

एक छोटी सी दिखने वाली वाक्य अधिक टोकन का उपयोग कर सकती है, विशेष रूप से असामान्य शब्दों, कोड, इमोजी या गैर-อังกฤษ भाषाओं के साथ।

टोकनाइजेशन कैसे काम करता है

उच्च स्तर पर, टोकनाइजेशन एक सरल पाइपलाइन का पालन करता है।

चरण 1: टेक्स्ट को विभाजित करें

टोकनाइज़र कच्चे पाठ को इसके शब्दावली नियमों के आधार पर टुकड़ों में तोड़ता है।

आधुनिक एलएलएम आमतौर पर सबवर्ड टोकनाइजेशन पर निर्भर करते हैं, पूर्ण-शब्द टोकनाइजेशन पर नहीं।

यह उन्हें संभालने के लिए लचीलापन देता है:

• दुर्लभ शब्द
• टाइपोग्राफिकल त्रुटियां
• नाम
• बहुभाषी इनपुट
• कोड

चरण 2: टोकनों को आईडी में परिवर्तित करें

प्रत्येक टोकन मॉडल की शब्दावली में एक संख्या से जुड़ा होता है।

उदाहरण:

मॉडल कभी सीधे टेक्स्ट “देखता” नहीं है। यह केवल इन संख्यात्मक प्रतिनिधित्वों को देखता है।

यह मानव भाषा और न्यूरल कंप्यूटेशन के बीच का पुल है।

चरण 3: आईडी को एम्बेडिंग में परिवर्तित करें

जब टोकन आईडी बनाई जाती हैं, तो उन्हें वेक्टर एम्बेडिंग में परिवर्तित किया जाता है।

यहां से अर्थ उभरने लगता है।

इस बिंदु पर:

• समान टोकन वेक्टर स्पेस में निकटवर्ती स्थानों पर हो सकते हैं
• अवधारणाओं के बीच संबंध मापने योग्य हो जाते हैं
• संदर्भ महत्वपूर्ण बनना शुरू होता है

टोकनाइजेशन डेटा को सिस्टम में लाता है। एम्बेडिंग इसे व्याख्यायित करने योग्य बनाती हैं।

क्यों सबवर्ड टोकनाइजेशन मानक बन गया

पुरानी एनएलपी प्रणालियां अक्सर पाठ को शब्दों द्वारा विभाजित करती थीं।

यह काम करता था, जब तक वे पहले कभी नहीं देखे गए शब्दों पर नहीं पहुँचे।

आधुनिक एलएलएम आमतौर पर बाइट पेयर एनकोडिंग (BPE) या समान सबवर्ड रणनीतियों का उपयोग करते हैं।

BPE बार-बार आवर्ती वर्ण पैटर्नों को पुनः प्रयोज्य इकाइयों में मिलाकर काम करता है। इससे संकुचन और शब्दावली की दक्षता में सुधार होता है।

क्यों सबवर्ड मॉडल बेहतर हैं

यही कारण है कि अधिकांश आधुनिक मॉडल सबवर्ड टोकनाइजेशन के किसी संस्करण का उपयोग करते हैं।

क्यों टोकनाइजेशन लागत को प्रभावित करता है

यह वह जगह है जहां टोकनाइजेशन व्यावहारिक हो जाता है।

अधिकांश एआई एपीआई इनपुट टोकनों और आउटपुट टोकनों के आधार पर बिल करते हैं।

इसका मतलब है कि टोकनाइजेशन सीधे मूल्य को प्रभावित करता है।

उदाहरण:

एक समान वर्ण गणना वाले दो प्रांप्ट बहुत अलग टोकन गणनाएँ हो सकती हैं।

यह उत्पादन एआई सिस्टम में सबसे सामान्य छिपी लागत कारकों में से एक है।

क्यों टोकनाइजेशन मॉडल व्यवहार को प्रभावित करता है

टोकनाइजेशन कई "अजीब" मॉडल व्यवहारों की व्याख्या भी करता है।

उदाहरण के लिए:

• क्यों मॉडल अक्षर गिनने में संघर्ष करते हैं
• क्यों दुर्लभ शब्द पूर्वानुमानित रूप से व्यवहार करते हैं
• क्यों स्वरूपण परिवर्तन आउटपुट को प्रभावित कर सकते हैं
• क्यों प्रांप्ट क्रम महत्वपूर्ण है

एक मॉडल अक्षरों या व्याकरण के संदर्भ में नहीं सोचता जैसा मनुष्य करता है। यह टोकन अनुक्रमों की भविष्यवाणी करता है।

यह अंतर कई विचित्रताओं का निर्माण करता है जो उपयोगकर्ता नोटिस करते हैं।

समुदाय की चर्चाएँ अक्सर टोकन संरचना को उन कारणों में से एक के रूप में इंगित करती हैं जिनके कारण मॉडल चर स्तर की तर्कबुद्धि में असफल होते हैं।

टोकन आउटपुट बन जाते हैं

एक बार इनपुट को टोकनाइज किया जाता है:

1. टोकन ट्रांसफार्मर में जाते हैं
2. मॉडल अगले टोकन की भविष्यवाणी करता है
3. वह टोकन जोड़ा जाता है
4. प्रक्रिया दोहराई जाती है

यह तब तक जारी रहता है:

• जब तक एक स्टॉप टोकन प्रकट नहीं होता
• जब तक टोकन सीमा तक नहीं पहुँचते
• जब सिस्टम उत्पन्नता को बाधित करता है

इसका मतलब है कि एआई उत्पादन मौलिक रूप से टोकन-दर-टोकन भविष्यवाणी लूप, न कि वाक्य-स्तरीय तर्क है।

अंतिम takeaway

टोकनाइजेशन एक छोटा तकनीकी विवरण लग सकता है, लेकिन यह आधुनिक एलएलएम प्रणालियों में लगभग सब कुछ आकार देता है।

यह प्रभावित करता है:

• लागत
• गति
• संदर्भ सीमाएँ
• बहुभाषी प्रदर्शन
• मॉडल व्यवहार
• आउटपुट गुणवत्ता

यदि आप एआई के साथ निर्माण कर रहे हैं, तो टोकनाइजेशन को समझना आपको इस बात की बेहतर अंतर्दृष्टि देता है कि सिस्टम क्यों उस तरह से व्यवहार करते हैं जिस तरह से वे करते हैं।

जब एम्बेडिंग, ट्रांसफार्मर, या आउटपुट होते हैं, तब टोकन होते हैं।

और सब कुछ वहीं से शुरू होता है।

सावधानीपूर्वक प्रांप्ट डिज़ाइन, शब्दावली विकल्प, और टोकन बजट सुनिश्चित करने में मदद करते हैं कि आपकी टोकन उपयोग और टोकन गणनाएँ आपकी लागत और गुणवत्ता लक्ष्यों के साथ मेल खाती हैं। लाभ यह है कि अपेक्षित पूर्णताओं की संख्या कम होती है, एपीआई लागत कम होती है, और मॉडल अधिक अच्छी तरह से समझते हैं कि आपके उपयोगकर्ता कैसे लिखते हैं।