Tokenisierung erklärt: Von Tokens zu Ausgaben
Von Wendy Frey
Bevor ein großes Sprachmodell etwas Nützliches generieren kann, muss es zuerst etwas viel Einfacheres tun: deinen Text zerlegen.
Dieser Prozess wird Tokenisierung genannt und ist einer der wichtigsten, und am meisten übersehenen, Aspekte, wie moderne KI-Systeme funktionieren.
Die meisten Menschen denken, Modelle lesen Wörter. Tun sie nicht.
Sie lesen Tokens: kleine Textstücke, die vollständige Wörter, Teile von Wörtern, Satzzeichen, Leerzeichen oder sogar individuelle Symbole darstellen können. Diese Tokens werden dann in numerische IDs umgewandelt, die das Modell intern verarbeiten kann.
Das Verständnis der Tokenisierung hilft, viele Dinge zu erklären:
- warum Eingaben Geld kosten
- warum Kontextfenster Einschränkungen haben
- warum einige Sprachen teurer sind als andere
- warum Modelle manchmal seltsam reagieren
Die Tokenisierung steht am Anfang der KI-Pipeline, und sie beeinflusst still alles, was danach kommt.
Was ist ein Token?
Ein Token ist die kleinste Texteinheit, mit der ein Modell arbeitet.
Es ist nicht immer dasselbe wie ein Wort.
Zum Beispiel:
| Text | Mögliche Token-Aufteilung |
|---|---|
| hallo | hallo |
| tokenisierung | token + isierung |
| unglaublich | un + glaub + ich |
| 2026! | 202 + 6 +! |
Das ist wichtig, weil Modelle Tokens zählen, nicht Wörter.
Ein kurz aussehender Satz kann mehr Tokens verwenden als erwartet, insbesondere bei ungewöhnlichen Wörtern, Code, Emojis oder nicht-englischen Sprachen.
Wie Tokenisierung funktioniert
Auf hoher Ebene folgt die Tokenisierung einer einfachen Pipeline.
Schritt 1: Den Text aufteilen
Der Tokenizer zerlegt den Rohtext in Stücke basierend auf seinen Vokabularregeln.
Moderne LLMs verlassen sich normalerweise auf Subwort-Tokenisierung, nicht auf die Tokenisierung vollständiger Wörter.
Das gibt ihnen die Flexibilität, um:
- seltene Wörter
- Tippfehler
- Namen
- mehrsprachige Eingaben
- Code
zu verarbeiten.
Schritt 2: Tokens in IDs umwandeln
Jedes Token wird einer Nummer im Vokabular des Modells zugeordnet.
Beispiel:
| Token | Token-ID |
|---|---|
| Das | 791 |
| Modell | 4382 |
| arbeitet | 2921 |
Das Modell „sieht“ den Text niemals direkt. Es sieht nur diese numerischen Darstellungen.
Das ist die Brücke zwischen der menschlichen Sprache und der neuronalen Berechnung.
Schritt 3: IDs in Embeddings umwandeln
Nachdem die Token-IDs erstellt wurden, werden sie in Vektor-Embeddings umgewandelt.
Hier beginnt die Bedeutung zu entstehen.
An diesem Punkt:
- ähnliche Tokens können benachbarte Positionen im Vektorraum einnehmen
- Beziehungen zwischen Konzepten messbar werden
- der Kontext zu einer Rolle wird
Die Tokenisierung bringt die Daten ins System. Embeddings machen sie interpretierbar.
Warum Subwort-Tokenisierung zum Standard wurde
Ältere NLP-Systeme teilten Texte oft nach Wörtern auf.
Das funktionierte, bis sie auf Wörter stießen, die sie noch nie vorher gesehen hatten.
Moderne LLMs verwenden normalerweise Methoden wie Byte Pair Encoding (BPE) oder ähnliche Subwort-Strategien.
BPE funktioniert, indem häufige Zeichenmuster wiederholt in wiederverwendbare Einheiten zusammengeführt werden. Dies verbessert die Kompression und die Effizienz des Vokabulars.
Warum Subwort-Modelle besser sind
| Methode | Hauptproblem |
|---|---|
| Wort-Ebene | Zu viele unbekannte Wörter |
| Zeichen-Ebene | Zu langsam, zu lang |
| Subwort-Ebene | Beste Balance zwischen Flexibilität und Effizienz |
Deshalb verwenden die meisten modernen Modelle eine Version der Subwort-Tokenisierung.
Warum Tokenisierung die Kosten beeinflusst
Hier wird die Tokenisierung praktisch.
Die meisten KI-APIs berechnen basierend auf:
- Eingabe-Tokens
- Ausgabe-Tokens
Das bedeutet, dass die Tokenisierung den Preis direkt beeinflusst.
Beispiel:
| Eingabetyp | Ungefährer Token-Dichte |
|---|---|
| Einfaches Englisch | Niedrig |
| Code | Mittel-hoch |
| Rechtstext | Hoch |
| Chinesisch/Japanisch | Oft höher |
| Emoji-lastiger Text | Überraschen hoch |
Zwei Eingaben mit der gleichen Zeichenanzahl können sehr unterschiedliche Tokenanzahlen haben.
Dies ist einer der häufigsten versteckten Kostentreiber in Produktions-KI-Systemen.
Warum Tokenisierung das Verhalten des Modells beeinflusst
Tokenisierung erklärt auch viele „seltsame“ Verhaltensweisen von Modellen.
Beispiel:
- warum Modelle Schwierigkeiten beim Zählen von Buchstaben haben
- warum seltene Wörter unvorhersehbar reagieren
- warum Formatierungsänderungen die Ausgaben beeinflussen können
- warum die Reihenfolge der Eingaben wichtig ist
Ein Modell denkt nicht in Buchstaben oder Grammatik wie Menschen. Es sagt Tokenfolgen voraus.
Dieser Unterschied verursacht viele der Eigenheiten, die Benutzer bemerken.
Diskussionen in der Community weisen oft auf die Tokenstruktur als einen Grund hin, warum Modelle beim buchstabenbasierten Denken versagen.
Tokens werden Ausgaben
Sobald die Eingabe tokenisiert ist:
- Tokens gehen in den Transformer
- Das Modell sagt das nächste Token voraus
- Dieses Token wird angehängt
- Der Prozess wiederholt sich
Dies geht weiter, bis:
- ein Stopp-Token erscheint
- die Token-Grenze erreicht ist
- das System die Generierung unterbricht
Das bedeutet, dass die KI-Generierung grundlegend eine Token-für-Token-Vorhersageschleife ist, nicht ein reasoning auf Satzebene.
Letzte Erkenntnis
Tokenisierung erscheint wie ein kleines technisches Detail, aber sie prägt fast alles in modernen LLM-Systemen.
Sie beeinflusst:
- Kosten
- Geschwindigkeit
- Kontextgrenzen
- Mehrsprachige Leistung
- Modellverhalten
- Ausgabequalität
Wenn du mit KI baust, gibt dir das Verständnis der Tokenisierung ein viel besseres Gefühl dafür, warum Systeme sich so verhalten, wie sie es tun.
Bevor es Embeddings, Transformer oder Ausgaben gibt, gibt es Tokens.
Und alles beginnt dort.
Sorgfältige Eingabegestaltung, Vokabularentscheidungen und Token-Budgetierung helfen sicherzustellen, dass deine Token-Nutzung und Token-Anzahlen mit deinen Kosten- und Qualitätszielen übereinstimmen. Der Gewinn ist weniger unerwartete Abschlüsse, niedrigere API-Kosten und Modelle, die die Art und Weise, wie deine Benutzer schreiben, besser verstehen.
