การแปลงเป็นโทเคน: จากโทเคนไปสู่ผลลัพธ์

ก่อนที่โมเดลภาษาขนาดใหญ่จะสามารถสร้างบางสิ่งที่เป็นประโยชน์ มันต้องทำบางสิ่งที่ง่ายกว่าก่อน: แยกข้อความของคุณออก

กระบวนการนี้เรียกว่า การแปลงเป็นโทเคน และมันเป็นหนึ่งในส่วนที่สำคัญที่สุด, และมักถูกมองข้าม, ของวิธีที่ระบบ AI สมัยใหม่ทำงาน

ผู้คนส่วนใหญ่คิดว่าโมเดลอ่านคำ พวกเขาไม่ใช่

พวกเขาอ่าน โทเคน: ชิ้นส่วนเล็ก ๆ ของข้อความที่สามารถแทนที่คำเต็ม ๆ ส่วนของคำ เครื่องหมายวรรคตอน ช่องว่าง หรือแม้แต่สัญลักษณ์เดี่ยว ๆ โทเคนเหล่านั้นจะถูกแปลงเป็น ID ตัวเลขที่โมเดลสามารถประมวลผลภายในได้

การเข้าใจการแปลงเป็นโทเคนช่วยอธิบายหลายสิ่งหลายอย่าง:

• ทำไมการตั้งคำถามถึงต้องใช้เงิน
• ทำไมหน้าต่างบริบทมีขีดจำกัด
• ทำไมบางภาษาแพงกว่าภาษาอื่น
• ทำไมโมเดลบางครั้งมีพฤติกรรมที่แปลกประหลาด

การแปลงเป็นโทเคนตั้งอยู่ที่จุดเริ่มต้นของสายการผลิต AI, และมันเงียบ ๆ รูปร่างทุกอย่างที่ตามมา

โทเคนคืออะไร?

โทเคนคือหน่วยข้อความที่เล็กที่สุดที่โมเดลทำงานด้วย

มัน ไม่เท่ากับคำเสมอไป

ตัวอย่างเช่น:

นี่มีความสำคัญเพราะโมเดลนับโทเคน ไม่ใช่คำ

ประโยคที่ดูสั้นอาจใช้โทเคนมากกว่าที่คาดไว้ โดยเฉพาะกับคำที่ไม่ค่อยพบ โค้ด อีโมจิ หรือภาษาที่ไม่ใช่ภาษาอังกฤษ

การทำงานของการแปลงเป็นโทเคน

ในระดับสูง การแปลงเป็นโทเคนจะตามกระบวนการที่ง่าย

ขั้นตอนที่ 1: แยกข้อความ

ตัวแปลงโทเคนจะแยกข้อความดิบออกเป็นชิ้นตามกฎคำศัพท์ของมัน

LLM สมัยใหม่มักพึ่งพาการ แปลงโทเคนย่อย ๆ ไม่ใช่การแปลงโทเคนคำเต็ม

โดยจะให้ความยืดหยุ่นในการจัดการ:

• คำที่หายาก
• การพิมพ์ผิด
• ชื่อ
• การป้อนข้อมูลหลายภาษา
• โค้ด

ขั้นตอนที่ 2: แปลงโทเคนเป็น ID

แต่ละโทเคนจะแมปไปยังหมายเลขภายในคำศัพท์ของโมเดล

ตัวอย่าง:

โมเดลไม่เคย “เห็น” ข้อความโดยตรง มันเห็นเพียงตัวแทนทางตัวเลขเหล่านี้เท่านั้น

นั่นคือสะพานเชื่อมระหว่างภาษามนุษย์กับการคำนวณของระบบประสาท

ขั้นตอนที่ 3: แปลง ID เป็นการฝังตัว

หลังจากที่สร้าง ID โทเคนแล้ว จะถูกแปลงเป็นการฝังตัวเวกเตอร์

นี่คือจุดที่ความหมายเริ่มปรากฏ

ในจุดนี้:

• โทเคนที่คล้ายกันสามารถอยู่ในตำแหน่งใกล้เคียงในพื้นที่เวกเตอร์
• ความสัมพันธ์ระหว่างแนวคิดสามารถวัดได้
• บริบทเริ่มมีความสำคัญ

การแปลงเป็นโทเคนทำให้ข้อมูลเข้าสู่ระบบ การฝังตัวทำให้ข้อมูลนั้นเข้าใจได้

ทำไมการแปลงโทเคนย่อยถึงกลายเป็นมาตรฐาน

ระบบ NLP เก่า ๆ มักจะแยกข้อความตามคำ

มันใช้ได้, จนกระทั่งพวกเขาประสบกับคำที่พวกเขาไม่เคยเห็นมาก่อน

LLM สมัยใหม่มักใช้วิธีเช่น Byte Pair Encoding (BPE) หรือกลยุทธ์โทเคนย่อยอื่น ๆ

BPE ทำงานโดยการรวมรูปแบบอักขระที่บ่อยเข้าด้วยกันเป็นหน่วยที่ใช้ซ้ำได้ ซึ่งจะช่วยปรับปรุงการบีบอัดและประสิทธิภาพของคำศัพท์

ทำไมการแปลงโทเคนย่อยจึงดีกว่า

นี่คือเหตุผลที่โมเดลสมัยใหม่ส่วนใหญ่ใช้การแปลงเป็นโทเคนย่อยในบางเวอร์ชัน

ทำไมการแปลงโทเคนถึงมีผลต่อค่าใช้จ่าย

นี่คือที่ที่การแปลงเป็นโทเคนมีความหมายในทางปฏิบัติ

API AI ส่วนใหญ่คิดค่าบริการตาม:

• โทเคนที่ป้อนเข้า
• โทเคนที่สร้าง

นั่นหมายความว่าการแปลงเป็นโทเคนมีผลโดยตรงต่อราคา

ตัวอย่าง:

สองประโยคที่มีจำนวนอักขระเท่ากันอาจมีจำนวนโทเคนที่แตกต่างกันมาก

นี่เป็นหนึ่งในผู้ขับเคลื่อนค่าใช้จ่ายที่ซ่อนอยู่ทั่วไปที่สุดในระบบ AI ในการผลิต

ทำไมการแปลงโทเคนถึงมีผลต่อพฤติกรรมของโมเดล

การแปลงเป็นโทเคนยังอธิบายพฤติกรรม “แปลก” ของโมเดลได้หลายอย่าง

ตัวอย่างเช่น:

• ทำไมโมเดลมีปัญหาในการนับตัวอักษร
• ทำไมคำหายากแสดงพฤติกรรมที่ไม่สามารถคาดการณ์ได้
• ทำไมการเปลี่ยนแปลงรูปแบบสามารถมีผลกระทบต่อผลลัพธ์
• ทำไมลำดับการตั้งคำถามจึงมีความสำคัญ

โมเดลไม่ได้คิดในลักษณะตัวอักษรหรือไวยากรณ์เหมือนกับที่มนุษย์ทำ มันคาดการณ์ลำดับโทเคน

ความแตกต่างนี้สร้างลักษณะเฉพาะหลายอย่างที่ผู้ใช้สังเกตเห็น

การสนทนาในชุมชนมักชี้ให้เห็นโครงสร้างโทเคนเป็นหนึ่งในเหตุผลที่โมเดลล้มเหลวในการให้เหตุผลในระดับตัวอักษร

โทเคนกลายเป็นผลลัพธ์

เมื่อข้อมูลนำเข้าได้ถูกแปลงเป็นโทเคนแล้ว:

1. โทเคนจะเข้าสู่ transformers
2. โมเดลคาดการณ์โทเคนถัดไป
3. โทเคนที่ได้จะถูกเพิ่มเข้ามา
4. กระบวนการจะทำซ้ำ

ทั้งหมดนี้จะดำเนินต่อไปจนกระทั่ง:

• โทเคนหยุดปรากฏ
• ขีดจำกัดโทเคนถูกตี
• ระบบหยุดการสร้าง

สิ่งนี้หมายความว่าการสร้าง AI เป็น วงจรคาดการณ์แบบโทเคนต่อโทเคน ไม่ใช่การให้เหตุผลในระดับประโยค

สรุปสุดท้าย

การแปลงเป็นโทเคนดูเหมือนจะเป็นรายละเอียดทางเทคนิคเล็กน้อย แต่มีผลต่อเกือบทุกอย่างในระบบ LLM สมัยใหม่

มันมีผลต่อ:

• ค่าใช้จ่าย
• ความเร็ว
• ขีดจำกัดบริบท
• ประสิทธิภาพในการใช้งานหลายภาษา
• พฤติกรรมของโมเดล
• คุณภาพผลลัพธ์

หากคุณกำลังสร้างด้วย AI การเข้าใจการแปลงเป็นโทเคนจะทำให้คุณมีสติปัญญาที่ดีกว่าสำหรับเหตุผลที่ทำไมระบบถึงมีพฤติกรรมเช่นนี้

ก่อนที่จะมีการฝังตัว transformers หรือผลลัพธ์, มีโทเคน

และทุกอย่างเริ่มจากที่นั่น

การออกแบบการตั้งคำถามอย่างระมัดระวัง การเลือกคำศัพท์ และการจัดการงบประมาณโทเคนช่วยให้แน่ใจว่าการใช้โทเคนและจำนวนโทเคนสอดคล้องกับเป้าหมายด้านค่าใช้จ่ายและคุณภาพของคุณ ผลลัพธ์คือการทำให้การสร้างเนื้อหาต่ำกว่าค่าความคาดหวัง ต้นทุน API ที่ต่ำลง และโมเดลที่เข้าใจวิธีที่ผู้ใช้เขียนได้ดียิ่งขึ้น.