Tokenisering forklart: Fra tokens til utdata
Av Wendy Frey
Før en stor språkmodell kan generere noe nyttig, må den gjøre noe mye enklere først: dele opp teksten din.
Den prosessen kalles tokenisering, og den er en av de viktigste, og mest oversette, delene av hvordan moderne AI-systemer fungerer.
De fleste mennesker tror at modeller leser ord. Det gjør de ikke.
De leser tokens: små biter av tekst som kan representere hele ord, deler av ord, tegnsetting, mellomrom, eller til og med individuelle symboler. Disse tokens blir deretter omdannet til numeriske ID-er som modellen kan prosessere internt.
Å forstå tokenisering hjelper med å forklare mange ting:
- hvorfor forespørselene koster penger
- hvorfor kontekstvinduer har begrensninger
- hvorfor noen språk er dyrere enn andre
- hvorfor modeller noen ganger oppfører seg merkelig
Tokenisering sitter helt i starten av AI-pipelinen, og den former stille alt som kommer etter.
Hva er en token?
En token er den minste enheten av tekst som en modell jobber med.
Den er ikke alltid den samme som et ord.
For eksempel:
| Tekst | Mulig tokenoppløsning |
|---|---|
| hei | hei |
| tokenisering | token + isering |
| utrolig | u + tro + lig |
| 2026! | 202 + 6 +! |
Dette er viktig fordi modeller teller tokens, ikke ord.
En kortfattet setning kan bruke flere tokens enn forventet, spesielt med uvanlige ord, kode, emojis eller ikke-engelske språk.
Hvordan tokenisering fungerer
På et høyt nivå følger tokenisering en enkel pipeline.
Trinn 1: Del opp teksten
Tokenizer bryter rå tekst ned i biter basert på sine vokabularregler.
Moderne LLM-er stoler vanligvis på delord tokenisering, ikke fullords tokenisering.
Dette gir dem fleksibilitet til å håndtere:
- sjeldne ord
- skrivefeil
- navn
- flerspråklig inndata
- kode
Trinn 2: Konverter tokens til ID-er
Hver token kartlegger til et nummer inne i modellens vokabular.
Eksempel:
| Token | Token-ID |
|---|---|
| Den | 791 |
| modellen | 4382 |
| fungerer | 2921 |
Modellen “ser” aldri teksten direkte. Den ser bare disse numeriske representasjonene.
Det er broen mellom menneskelig språk og nevrale beregninger.
Trinn 3: Konverter ID-er til innebygd representasjon
Etter at token-ID-er er opprettet, blir de omdannet til vektorinnbæringer.
Dette er hvor mening begynner å komme frem.
På dette punktet:
- lignende tokens kan okkupere nærliggende posisjoner i vektorrommet
- forholdet mellom konsepter blir målbare
- konteksten begynner å bety noe
Tokenisering får dataene inn i systemet. Innebæringene gjør det tolkbart.
Hvorfor delord tokenisering ble standard
Eldre NLP-systemer delte ofte tekst etter ord.
Det fungerte, inntil de traff ord de aldri hadde sett før.
Moderne LLM-er bruker vanligvis metoder som Byte Pair Encoding (BPE) eller liknende delordstrategier.
BPE fungerer ved gjentatte ganger å kombinere hyppige tegnmønstre til gjenbrukbare enheter. Dette forbedrer kompresjon og vokabulareffektivitet.
Hvorfor delordmodeller er bedre
| Metode | Hovedproblem |
|---|---|
| Ord-nivå | For mange ukjente ord |
| Tegn-nivå | For treg, for lang |
| Delord-nivå | Beste balanse mellom fleksibilitet og effektivitet |
Dette er grunnen til at de fleste moderne modeller bruker en eller annen versjon av delord tokenisering.
Hvorfor tokenisering påvirker kostnader
Dette er hvor tokenisering blir praktisk.
De fleste AI-API-er fakturerer basert på:
- inndata tokens
- utdata tokens
Det betyr at tokenisering direkte påvirker prisen.
For eksempel:
| Inndatatypen | Omtrent token tetthet |
|---|---|
| Enkel engelsk | Lav |
| Kode | Medium, høy |
| Juridisk tekst | Høy |
| Kinesisk/japansk | Ofte høyere |
| Emoji-tung tekst | Overraskende høy |
To forespørseler med samme tegnantall kan ha veldig forskjellige token-tall.
Dette er en av de mest vanlige skjulte kostnadsdriverne i produksjons AI-systemer.
Hvorfor tokenisering påvirker modellatferd
Tokenisering forklarer også mange “merkelige” modelladferd.
For eksempel:
- hvorfor modeller sliter med bokstavtelling
- hvorfor sjeldne ord oppfører seg uforutsigbart
- hvorfor formateringsendringer kan påvirke utdata
- hvorfor rekkefølgen på forespørselen betyr noe
En modell tenker ikke i bokstaver eller grammatikk på den måten mennesker gjør. Den forutsier tokensekvenser.
Den forskjellen skaper mange av de merkelige tingene brukerne legger merke til.
Diskusjoner i fellesskapet peker ofte på tokenstrukturen som en av grunnene til at modeller feiler i bokstav-nivå resonnement.
Tokens blir utdata
Når inndataene er tokenisert:
- Tokens går inn i transformatoren
- Modellen forutsier neste token
- Den tokenet blir lagt til
- Prosessen gjentar seg
Dette fortsetter inntil:
- en stopp-token dukker opp
- token-grensen er nådd
- systemet avbryter genereringen
Dette betyr at AI-generering i bunn og grunn er en token-for-token forutsigelsessyklus, ikke setnings-nivå resonnement.
Endelig takeaway
Tokenisering ser ut som en liten teknisk detalj, men den former nesten alt i moderne LLM-systemer.
Den påvirker:
- kostnader
- hastighet
- kontekstgrenser
- flerspråklig ytelse
- modellatferd
- utdata kvalitet
Hvis du bygger med AI, gir forståelse av tokenisering deg en mye bedre intuisjon for hvorfor systemer oppfører seg som de gjør.
Før det finnes innebygde representasjoner, transformatorer eller utdata, finnes det tokens.
Og alt starter der.
Nøye utforming av forespørseler, valg av vokabular og token-budsjettering bidrar til å sikre at bruken og tellingen av tokens samsvarer med dine kostnads- og kvalitetsmål. Utbyttet er færre uventede fullføringer, lavere API-kostnader, og modeller som bedre forstår måten brukerne dine skriver på.
