Tokenisasi Dijelaskan: Dari Token ke Output
Oleh Wendy Frey
Sebelum model bahasa besar dapat menghasilkan sesuatu yang berguna, ia harus melakukan sesuatu yang lebih sederhana terlebih dahulu: memecah teks Anda.
Proses itu disebut tokenisasi, dan ini adalah salah satu bagian yang paling penting, dan paling diabaikan, dari cara sistem AI modern bekerja.
Kebanyakan orang berpikir bahwa model membaca kata. Mereka tidak.
Mereka membaca token: potongan kecil dari teks yang dapat mewakili kata penuh, bagian dari kata, tanda baca, spasi, atau bahkan simbol individual. Token-token tersebut kemudian diubah menjadi ID numerik yang dapat diproses oleh model secara internal.
Memahami tokenisasi membantu menjelaskan banyak hal:
- mengapa prompt memerlukan biaya
- mengapa jendela konteks memiliki batas
- mengapa beberapa bahasa lebih mahal daripada yang lain
- mengapa model terkadang berperilaku dengan cara yang aneh
Tokenisasi merupakan bagian awal dari jalur AI, dan ia diam-diam membentuk segala sesuatu yang datang setelahnya.
Apa itu token?
Token adalah unit terkecil dari teks yang digunakan model.
Ini tidak selalu sama dengan kata.
Contohnya:
| Teks | Pemisahan token yang mungkin |
|---|---|
| halo | halo |
| tokenisasi | token + isasi |
| tidak dapat dipercaya | un + percayai + able |
| 2026! | 202 + 6 +! |
Ini penting karena model menghitung token, bukan kata.
Kalimat yang tampak pendek dapat menggunakan lebih banyak token dari yang diharapkan, terutama dengan kata yang tidak umum, kode, emoji, atau bahasa non-Inggris.
Bagaimana tokenisasi bekerja
Secara umum, tokenisasi mengikuti jalur sederhana.
Langkah 1: Memisahkan teks
Tokenizer memecah teks mentah menjadi potongan berdasarkan aturan kosakata.
LLM modern biasanya bergantung pada tokenisasi subword, bukan tokenisasi kata penuh.
Ini memberi mereka fleksibilitas untuk menangani:
- kata-kata langka
- kesalahan ketik
- nama
- input multibahasa
- kode
Langkah 2: Mengubah token menjadi ID
Setiap token dipetakan ke angka di dalam kosakata model.
Contoh:
| Token | ID Token |
|---|---|
| The | 791 |
| model | 4382 |
| works | 2921 |
Model tidak pernah “melihat” teks secara langsung. Ini hanya melihat representasi numerik ini.
Itulah jembatan antara bahasa manusia dan komputasi saraf.
Langkah 3: Mengubah ID menjadi embedding
Setelah ID token dibuat, mereka diubah menjadi embedding vektor.
Di sinilah makna mulai muncul.
Di titik ini:
- token yang serupa dapat menempati posisi berdekatan dalam ruang vektor
- hubungan antara konsep menjadi terukur
- konteks mulai penting
Tokenisasi memasukkan data ke dalam sistem. Embedding membuatnya dapat diinterpretasikan.
Mengapa tokenisasi subword menjadi standar
Sistem NLP yang lebih lama sering membagi teks berdasarkan kata.
Itu berhasil, sampai mereka menemui kata-kata yang belum pernah mereka lihat sebelumnya.
LLM modern biasanya menggunakan metode seperti Byte Pair Encoding (BPE) atau strategi subword serupa.
BPE bekerja dengan menggabungkan pola karakter yang sering muncul menjadi unit yang dapat digunakan kembali. Ini meningkatkan kompresi dan efisiensi kosakata.
Mengapa model subword lebih baik
| Metode | Masalah utama |
|---|---|
| Tingkat kata | Terlalu banyak kata yang tidak diketahui |
| Tingkat karakter | Terlalu lambat, terlalu panjang |
| Tingkat subword | Keseimbangan terbaik dari fleksibilitas dan efisiensi |
Ini adalah alasan mengapa sebagian besar model modern menggunakan beberapa versi tokenisasi subword.
Mengapa tokenisasi mempengaruhi biaya
Ini adalah tempat tokenisasi menjadi praktis.
Sebagian besar API AI mengenakan biaya berdasarkan:
- token input
- token output
Itu berarti tokenisasi secara langsung mempengaruhi harga.
Contohnya:
| Jenis input | Kepadatan token perkiraan |
|---|---|
| Bahasa Inggris sederhana | Rendah |
| Kode | Sedang, tinggi |
| Teks hukum | Tinggi |
| Mandarin/Jepang | Sering lebih tinggi |
| Teks banyak emoji | Secara mengejutkan tinggi |
Dua prompt dengan jumlah karakter yang sama dapat memiliki jumlah token yang sangat berbeda.
Ini adalah salah satu penggerak biaya tersembunyi yang paling umum dalam sistem AI produksi.
Mengapa tokenisasi mempengaruhi perilaku model
Tokenisasi juga menjelaskan banyak perilaku model yang “aneh”.
Contohnya:
- mengapa model kesulitan dengan penghitungan huruf
- mengapa kata-kata langka berperilaku tidak terduga
- mengapa perubahan format dapat mempengaruhi output
- mengapa urutan prompt penting
Model tidak berpikir dalam huruf atau tata bahasa seperti yang dilakukan manusia. Ini memprediksi urutan token.
Perbedaan itu menciptakan banyak keanehan yang diperhatikan pengguna.
Diskusi komunitas sering menunjukkan struktur token sebagai salah satu alasan model gagal dalam penalaran tingkat karakter.
Token menjadi output
Setelah input di-tokenisasi:
- Token masuk ke transformer
- Model memprediksi token berikutnya
- Token tersebut ditambahkan
- Proses diulang
Ini berlanjut sampai:
- token berhenti muncul
- batas token tercapai
- sistem menghentikan generasi
Ini berarti generasi AI pada dasarnya adalah loop prediksi token demi token, bukan penalaran tingkat kalimat.
Kesimpulan akhir
Tokenisasi terlihat seperti detail teknis kecil, tetapi ia membentuk hampir segala sesuatu dalam sistem LLM modern.
Ini mempengaruhi:
- biaya
- kecepatan
- batas konteks
- kinerja multibahasa
- perilaku model
- kualitas output
Jika Anda membangun dengan AI, memahami tokenisasi memberi Anda intuisi yang jauh lebih baik tentang mengapa sistem berperilaku seperti yang mereka lakukan.
Sebelum ada embedding, transformer, atau output, ada token.
Dan semuanya dimulai di sana.
Desain prompt yang hati-hati, pilihan kosakata, dan penganggaran token membantu memastikan penggunaan dan jumlah token Anda sejalan dengan tujuan biaya dan kualitas Anda. Keuntungannya adalah lebih sedikit penyelesaian yang tidak terduga, biaya API yang lebih rendah, dan model yang lebih memahami cara pengguna Anda menulis.
