Tokenizzazione Spiegata: Dai Token agli Output

Prima che un grande modello di linguaggio possa generare qualcosa di utile, deve fare qualcosa di molto più semplice prima: smontare il tuo testo.

Quel processo si chiama tokenizzazione, ed è una delle parti più importanti, e più trascurate, del funzionamento dei moderni sistemi di intelligenza artificiale.

La maggior parte delle persone pensa che i modelli leggano parole. Non è così.

Leggono token: piccoli pezzi di testo che possono rappresentare parole intere, parti di parole, punteggiatura, spazi o persino simboli individuali. Questi token vengono poi convertiti in ID numerici che il modello può elaborare internamente.

Comprendere la tokenizzazione aiuta a spiegare molte cose:

• perché i prompt costano soldi
• perché le finestre di contesto hanno limiti
• perché alcune lingue sono più costose di altre
• perché i modelli a volte si comportano in modi strani

La tokenizzazione si trova all'inizio della pipeline dell'IA, e silenziosamente modella tutto ciò che segue.

Che cos'è un token?

Un token è l'unità di testo più piccola con cui un modello lavora.

Non è sempre uguale a una parola.

Per esempio:

Questo è importante perché i modelli contano i token, non le parole.

Una frase che sembra breve può utilizzare più token di quanto ci si aspetti, specialmente con parole poco comuni, codice, emoji o lingue non inglesi.

Come funziona la tokenizzazione

A un alto livello, la tokenizzazione segue una semplice pipeline.

Passo 1: Suddividi il testo

Il tokenizzatore suddivide il testo grezzo in pezzi in base alle regole del proprio vocabolario.

I moderni LLM si basano solitamente sulla tokenizzazione delle sottoparti, non sulla tokenizzazione delle parole intere.

Questo conferisce loro flessibilità per gestire:

• parole rare
• errori di battitura
• nomi
• input multilingue
• codice

Passo 2: Converti i token in ID

Ogni token è associato a un numero all'interno del vocabolario del modello.

Esempio:

Il modello non "vede" mai il testo direttamente. Vede solo queste rappresentazioni numeriche.

Questa è il ponte tra il linguaggio umano e il calcolo neurale.

Passo 3: Converti gli ID in embedding

Dopo che gli ID dei token sono stati creati, vengono trasformati in embedding vettoriali.

È qui che inizia a emergere il significato.

A questo punto:

• token simili possono occupare posizioni vicine nello spazio vettoriale
• le relazioni tra i concetti diventano misurabili
• il contesto inizia a contare

La tokenizzazione inserisce i dati nel sistema. Gli embedding li rendono interpretabili.

Perché la tokenizzazione delle sottoparti è diventata standard

I vecchi sistemi NLP spesso suddividevano il testo per parole.

Funzionava, fino a quando non incontravano parole che non avevano mai visto prima.

I moderni LLM utilizzano solitamente metodi come Byte Pair Encoding (BPE) o strategie simili di sottoparte.

BPE funziona unendo ripetutamente i modelli di caratteri frequenti in unità riutilizzabili. Questo migliora la compressione e l'efficienza del vocabolario.

Perché i modelli di sottoparte sono migliori

Questo è il motivo per cui la maggior parte dei modelli moderni utilizza qualche versione della tokenizzazione delle sottoparti.

Perché la tokenizzazione influisce sui costi

Questo è il punto in cui la tokenizzazione diventa pratica.

La maggior parte delle API di intelligenza artificiale fattura in base a:

• token di input
• token di output

Ciò significa che la tokenizzazione influisce direttamente sul prezzo.

Per esempio:

Due prompt con lo stesso conteggio di caratteri possono avere conteggi di token molto diversi.

Questo è uno dei fattori di costo nascosti più comuni nei sistemi di intelligenza artificiale in produzione.

Perché la tokenizzazione influisce sul comportamento del modello

La tokenizzazione spiega anche molti comportamenti “strani” dei modelli.

Per esempio:

• perché i modelli hanno difficoltà con il conteggio delle lettere
• perché le parole rare si comportano in modo imprevedibile
• perché le modifiche nel formato possono influenzare gli output
• perché l'ordine dei prompt è importante

Un modello non pensa in lettere o grammatica nel modo in cui lo fanno gli esseri umani. Predice sequenze di token.

Questa differenza crea molte delle peculiarità di cui gli utenti si accorgono.

Le discussioni nella comunità spesso indicano la struttura dei token come una delle ragioni per cui i modelli falliscono nel ragionamento a livello di carattere.

I token diventano output

Una volta che l'input è stato tokenizzato:

1. I token vanno nel trasformatore
2. Il modello prevede il prossimo token
3. Quel token viene aggiunto
4. Il processo si ripete

Questo continua fino a quando:

• appare un token di stop
• viene raggiunto il limite di token
• il sistema interrompe la generazione

Questo significa che la generazione dell'IA è fondamentalmente un ciclo di previsione token per token, non un ragionamento a livello di frase.

Considerazione finale

La tokenizzazione sembra un piccolo dettaglio tecnico, ma modella quasi tutto nei moderni sistemi LLM.

Influenza:

• costo
• velocità
• limiti di contesto
• prestazioni multilingue
• comportamento del modello
• qualità dell'output

Se stai costruendo con l'IA, comprendere la tokenizzazione ti dà una comprensione molto migliore del motivo per cui i sistemi si comportano nel modo in cui lo fanno.

Prima che ci siano embedding, trasformatori, o output, ci sono token.

E tutto inizia da lì.

Una progettazione attenta dei prompt, scelte di vocabolario e ottimizzazione dei token aiutano a garantire che il tuo utilizzo e conteggio dei token siano allineati con i tuoi obiettivi di costo e qualità. Il ritorno è una minore occorrenza di completamenti inaspettati, costi API più bassi, e modelli che comprendono meglio il modo in cui i tuoi utenti scrivono.