Токенизаци: Токенүүдээс Гаралт хүртэл

Том хэлний загвар ямар нэгэн хэрэгтэй зүйл гаргахын өмнө эхлээд таны текстийг задалж, илүү энгийн зүйл хийх шаардлагатай.

Энэ процесс нь токенизаци гэж нэрлэгддэг бөгөөд энэ нь орчин үеийн AI системүүдийн ажиллах арга техникийг хамгийн чухал, мэргэжлийн ховор хэсэг юм.

Ихэнх хүмүүс загварууд үг уншдаг гэж боддог. Тэд уншдаггүй.

Тэд токенууд - бүрэн үг, үгийн хэсэг, тэмдэгт, зай, эсвэл бүр тусгай символуудыг төлөөлж чадах текстийн жижиг хэсгүүдийг уншдаг. Тэдгээр токенууд дараа нь загвар дотор процессоор авч үзэх боломжтой тооны ID-д хөрвүүлэгддэг.

Токенизацийг ойлгосноор олон зүйлийг тайлбарлахад тусалдаг:

• яагаад асуумжид мөнгө төлдөг
• яагаад контекстийн цонхнууд хязгаарлагдмал байдаг
• яагаад зарим хэлүүд үнэ өндөр байдаг
• яагаад заримдаа загварууд хачин төрхөөр ажилладаг

Токенизаци AI процессыг эхлээд суурь дээр нь байрлах бөгөөд дараа нь ирэх бүх зүйлийг нам гүмхэн тодорхойлдог.

Токен гэж юу вэ?

Токен нь загвар ажилладаг текстийн хамгийн жижиг нэгж юм.

Энэ нь бүр alltid үгтэй адил байхгүй.

Жишээ:

Энэ нь чухал учир нь загварууд токен тоолно, үг не.

Хар харагддаг өгүүлбэр нь хүсэн хүлээгээгүй их токен ашигладаг байж магадгүй, ялангуяа ховор үг, код, эмоджи эсвэл Англи хэлний бус хэлнүүдтэй бол.

Токенизаци хэрхэн ажилладаг вэ

Өндрийн түвшинд токенизаци нь энгийн процессыг дагаж мөрддөг.

Алхам 1: Текстийг задал

Токенизатор нь түүхий текстийг үгийн сангийн дүрэмд үндэслэн хэсэг болгон салгадаг.

Орчин үеийн LLM-үүд ихэвчлэн дэд үгийн токенизаци-д тулгуурладаг, бүрэн үгийн токенизаци биш.

Энэ нь тэдэнд дараах зүйлийг шийдэх боломжийг олгодог:

• ховор үгс
• алдаа гаргагч
• нэрс
• олон хэлний оруулга
• код

Алхам 2: Токенуудыг ID-д хөрвүүлэх

Бүх токен нь загварын үгийн сангийн доторх тоонд залгаж өгдөг.

Жишээ:

Загвар текстийг шууд "үргэлж" харахгүй. Энэ нь зөвхөн эдгээр тооны төлөөллүүдийг л харах болно.

Энэ нь хүний хэл болон неврал тооцооллын хоорондох гүүр юм.

Алхам 3: ID-ийг эмбэдингт хөрвүүлэх

Токены ID-г бий болгосны дараа, тэд вектор эмбэдингт хөрвүүлэгддэг.

Энд утга гарч эхэлнэ.

Энэхүү үед:

• ижил токенууд вектор орон зайд ойрхон байрлах боломжтой
• ойлголтуудын хоорондох холбоос хэмжигддэг
• контекст чухал болдог

Токенизаци нь системд өгөгдлийг оруулдаг. Эмбэдинг нь үүнийг тайлбарлах боломжийг олгодог.

Яагаад дэд үгийн токенизаци стандарт болсон бэ

Хуучин NLP системүүд ихэвчлэн текстийг үгсээр задалдаг.

Энэ нь ажилласан, тэд хэзээ ч хараагүй нэгэн үг рүү орж ирсэн бол.

Орчин үеийн LLM-ууд ихэвчлэн Byte Pair Encoding (BPE) гэх мэт дэд үгийн стратегиудыг ашигладаг.

BPE нь давтамжтай тэмдэгтийн загваруудыг дахин дахин нэгтгэж, дахин ашиглах нэгжүүдээр боловсруулдаг. Энэ нь нягтрал, үгийн сангийн үр өгөөжийг сайжруулдаг.

Яагаад дэд үгийн загварууд илүү сайн вэ

Энэ нь яагаад ихэнх орчин үеийн загварууд дэд үгийн токенизациын ямар нэгэн хувилбарыг ашигладаг.

Яагаад токенизаци зардлыг нөлөөлдөг вэ

Эндээс токенизаци практик болж эхэлдэг.

Ихэнх AI API-ууд:

• орсон токенууд
• гарсан токенуудын үндсэн дээр төлбөр тооцдог.

Энэ нь токенизаци үнэ дунд зэргээр нөлөөлнө.

Жишээ:

Нэг ижил үсгийн тоо бүхий хоёр асуумж нь ихээхэн өөр токены тоотой байж болно.

Энэ нь үйлдвэрлэлийн AI системүүдийн хамгийн түгээмэл нууц төлбөрийн нэг юм.

Яагаад токенизаци загварыг нөлөөлдөг вэ

Токенизаци мөн "хачин" загварын зан төлөвийг тайлбарлахад тусалдаг.

Жишээ:

• загварууд үсгийн тоололд яагаад зuggleддэг вэ
• ховор үгс яагаад мэдэгдэхгүй байдлаар харьцдаг вэ
• форматын өөрчлөлт гаралт нөлөөлж чадах шалтгаан
• асуумжийн дараалал яагаад чухал вэ

Загвар үсгүүд эсвэл граммараар хүнийх шиг боддоггүй. Энэ нь токены дарааллыг таамагладаг.

Энэхүү ялгаа нь хэрэглэгчид ажиглаж буй олон хачин байдлыг бий болгодог.

Олон нийтийн хуралдаан заримдаа токены бүтэц нь загваруудын үсгийн түвшний ойлголтод хүрэх шалтгаан болохыг дурддаг.

Токенууд гарэлт болно

Оролт токенизицлагдсаны дараа:

1. Токенууд трансформер рүү орох
2. Загвар дараагийн токеныг таамаглах
3. Түүнийг нэмэлтээр оруулах
4. Процесс давтагдах

Энэ нь үргэлжилсээр:

• зогсоох токен гарч ирнэ
• токены хязгаарыг хүрнэ
• систем үйлдвэрлэлийн үйл явцыг тасалдуулна

Энэ нь AI үйлдвэрлэл нь үндсэндээ токен зааг заагчийн таамаглалын давталт, өгүүлбэрийн түвшний логик биш юм.

Эцсийн дүгнэлт

Токенизаци нь жижиг техникийн дэлгэрэнгүй мэт харагдаж байж болох боловч орчин үеийн LLM системийн бараг бүх зүйлийг тодорхойлох чухал өөрчлөлтүүдийг бий болгодог.

Энэ нь нөлөөлдөг:

• зардал
• хурд
• контекстийн хязгаар
• олон хэлний гүйцэтгэл
• загварын зан төлөв
• гаралтын чанар

Хэрэв та AI-тай хамт барьж байгаа бол токенизацийг ойлгож, системүүдийн яагаад ийм аргаар ажилладагийг илүү сайн ойлгодог болно.

Эмбэдинг, трансформер, эсвэл гаргалт байхаас өмнө, токенууд байдаг.

Бүх зүйл тэндээс эхэлдэг.

Анхааралтай асуумжийн дизайны, үгийн сангийн сонголт, токены төсвийг боловсруулсан нь таны токенийн хэрэглээ, токены тоо худалдан авалтын болон чанарын зорилгод нийцэхийг хангахад туслах болно. Тохирол нь гэнэтийн дүүргэлт багасгах, API-ийн зардлыг бууруулах, таны хэрэглэгчид хэрхэн бичдэгийг илүү сайн ойлгодог загваруудтай болох дүнд хүрэхэд зориулагдана.