Tokenisering forklaret: Fra tokens til output
Af Wendy Frey
Før en stor sprogmodel kan generere noget nyttigt, skal den først gøre noget meget enklere: opdele din tekst.
Den proces kaldes tokenisering, og det er en af de vigtigste, og mest overset, dele af, hvordan moderne AI-systemer fungerer.
De fleste mennesker tror, at modeller læser ord. Det gør de ikke.
De læser tokens: små tekststykket, der kan repræsentere hele ord, dele af ord, tegnsætning, mellemrum eller endda individuelle symboler. Disse tokens bliver derefter omdannet til numeriske IDs, som modellen kan behandle internt.
At forstå tokenisering hjælper med at forklare mange ting:
- hvorfor prompts koster penge
- hvorfor kontekstvinduer har begrænsninger
- hvorfor nogle sprog er dyrere end andre
- hvorfor modeller nogle gange opfører sig mærkeligt
Tokenisering sidder ligesom i starten af AI-pipelinen, og det påvirker stille og roligt alt, hvad der kommer efter.
Hvad er en token?
En token er den mindste tekst-enhed, som en model arbejder med.
Det er ikke altid det samme som et ord.
For eksempel:
| Tekst | Mulig token-opdeling |
|---|---|
| hej | hej |
| tokenisering | token + isering |
| utrolige | u + tro + lige |
| 2026! | 202 + 6 +! |
Det betyder noget, fordi modeller tæller tokens, ikke ord.
En kortlignende sætning kan bruge flere tokens end forventet, især med usædvanlige ord, kode, emojis eller ikke-engelske sprog.
Hvordan tokenisering fungerer
På et højt niveau følger tokenisering en simpel pipeline.
Trin 1: Del teksten
Tokenizer'en opdeler rå tekst i stykker baseret på sine vokabulærregler.
Moderne LLM'er afhænger normalt af subword tokenisering, ikke fuldord tokenisering.
Dette giver dem fleksibilitet til at håndtere:
- sjældne ord
- tastefejl
- navne
- multikulturelt input
- kode
Trin 2: Konverter tokens til IDs
Hver token kortlægges til et nummer i modellens vokabular.
Eksempel:
| Token | Token ID |
|---|---|
| Den | 791 |
| model | 4382 |
| virker | 2921 |
Modellen “ser” aldrig teksten direkte. Den ser kun disse numeriske repræsentationer.
Det er broen mellem menneskesprog og neural computation.
Trin 3: Konverter IDs til embeddings
Når token IDs er oprettet, bliver de transformeret til vektor-embeddings.
Her begynder meningen at komme frem.
På dette tidspunkt:
- lignende tokens kan befinde sig i nærliggende positioner i vektor-rummet
- relationer mellem koncepter bliver målbare
- kontekst begynder at betyde noget
Tokenisering får dataene ind i systemet. Embeddings gør det fortolkeligt.
Hvorfor subword tokenisering blev standard
Ældre NLP-systemer delte ofte tekst op efter ord.
Det fungerede, indtil de stødte på ord, de aldrig havde set før.
Moderne LLM'er bruger normalt metoder som Byte Pair Encoding (BPE) eller lignende subword-strategier.
BPE fungerer ved gentagne gange at sammenflette hyppige tegnmønstre til genanvendelige enheder. Dette forbedrer kompression og vokabulæreffektivitet.
Hvorfor subword-modeller er bedre
| Metode | Hovedproblem |
|---|---|
| Word-level | For mange ukendte ord |
| Character-level | For langsom, for lang |
| Subword-level | Bedste balance mellem fleksibilitet og effektivitet |
Dette er grunden til, at de fleste moderne modeller bruger en eller anden version af subword tokenisering.
Hvorfor tokenisering påvirker omkostninger
Dette er, hvor tokenisering bliver praktisk.
De fleste AI-API'er fakturerer baseret på:
- input tokens
- output tokens
Det betyder, at tokenisering direkte påvirker prisen.
For eksempel:
| Input type | Omtrentlig token densitet |
|---|---|
| Simpelt engelsk | Lav |
| Kode | Medium-høj |
| Juridisk tekst | Høj |
| Kinesisk/japansk | Ofte højere |
| Emoji-tung tekst | Overraskende høj |
To prompts med samme tegnantal kan have meget forskellige tokenantal.
Dette er en af de mest almindelige skjulte omkostningsdrivere i produktions-AI-systemer.
Hvorfor tokenisering påvirker modellens adfærd
Tokenisering forklarer også mange “mærkelige” modeladfærd.
For eksempel:
- hvorfor modeller har svært ved at tælle bogstaver
- hvorfor sjældne ord opfører sig uforudsigeligt
- hvorfor ændringer i formatering kan påvirke outputs
- hvorfor prompt rækkefølge betyder noget
En model tænker ikke i bogstaver eller grammatik som mennesker gør. Den forudsiger token-sekvenser.
Denn forskel skaber mange af de særheder, brugerne lægger mærke til.
Fællesskabsdiskussioner peger ofte på token-strukturen som en af årsagerne til, at modeller fejler ved tegn-niveau ræsonnering.
Tokens bliver outputs
Når input er tokeniseret:
- Tokens går ind i transformeren
- Modellen forudsiger den næste token
- Den token bliver tilføjet
- Processen gentages
Dette fortsætter, indtil:
- en stop token vises
- token-grænsen nås
- systemet afbryder generationen
Dette betyder, at AI-generering i bund og grund er en token-for-token forudsigelsesloop, ikke sætningsniveau ræsonnering.
Endelig takeaway
Tokenisering ser ud som en lille teknisk detalje, men det former næsten alt i moderne LLM-systemer.
Det påvirker:
- omkostninger
- hastighed
- kontekstsbegrænsninger
- flersproget performance
- modeladfærd
- outputkvalitet
Hvis du bygger med AI, giver det en meget bedre intuition at forstå tokenisering for, hvorfor systemer opfører sig som de gør.
Før der er embeddings, transformere eller outputs, er der tokens.
Og alt starter dér.
Omhyggelig promptdesign, ordvalgs og tokenbudgettering hjælper med at sikre, at dit tokenforbrug og tokenantal stemmer overens med dine omkostnings- og kvalitetsmål. Resultatet er færre uventede fuldførelser, lavere API-omkostninger og modeller, der bedre forstår, hvordan dine brugere skriver.
