Токенизация: от токенов до вывода
Автор: Wendy Frey
Прежде чем крупная языковая модель сможет сгенерировать что-либо полезное, ей нужно сделать нечто гораздо более простое: разбить ваш текст на части.
Этот процесс называется токенизацией, и это одна из самых важных, и самых упускаемых из виду, частей того, как работают современные системы ИИ.
Большинство людей думают, что модели читают слова. На самом деле они не читают.
Они читают токены: небольшие фрагменты текста, которые могут представлять целые слова, части слов, знаки препинания, пробелы или даже отдельные символы. Эти токены затем преобразуются в числовые идентификаторы, которые модель может обрабатывать внутри.
Понимание токенизации помогает объяснить множество вещей:
- почему подсказки стоят денег
- почему контекстные окна имеют ограничения
- почему некоторые языки обходятся дороже других
- почему модели иногда ведут себя странно
Токенизация находится в самом начале процесса ИИ, и она тихо формирует всё, что происходит после.
Что такое токен?
Токен, это наименьшая единица текста, с которой работает модель.
Он не всегда совпадает со словом.
Например:
| Текст | Возможное деление на токены |
|---|---|
| привет | привет |
| токенизация | токен + изация |
| невообразимый | не + во + образ + имый |
| 2026! | 202 + 6 +! |
Это важно, потому что модели считают токены, а не слова.
Короткое предложение может использовать больше токенов, чем ожидалось, особенно с редкими словами, кодом, эмодзи или неанглийскими языками.
Как работает токенизация
На высоком уровне токенизация следует простому процессу.
Шаг 1: Разделение текста
Токенизатор разбивает необработанный текст на фрагменты на основе своих правил словаря.
Современные большие языковые модели обычно используют токенизацию на подсловах, а не полную токенизацию слов.
Это дает им гибкость для обработки:
- редких слов
- опечаток
- имен
- многоязычного ввода
- кода
Шаг 2: Преобразование токенов в идентификаторы
Каждый токен соответствует числу в словаре модели.
Пример:
| Токен | Идентификатор токена |
|---|---|
| The | 791 |
| model | 4382 |
| works | 2921 |
Модель никогда не «видит» текст напрямую. Она видит только эти числовые представления.
Это мост между человеческим языком и нейронными вычислениями.
Шаг 3: Преобразование идентификаторов в эмбеддинги
После создания идентификаторов токенов они преобразуются в векторные эмбеддинги.
Здесь начинает проявляться смысл.
На этом этапе:
- похожие токены могут занимать соседние позиции в векторном пространстве
- отношения между концепциями становятся количественно измеримыми
- контекст начинает иметь значение
Токенизация помещает данные в систему. Эмбеддинги делают их интерпретируемыми.
Почему токенизация на подсловах стала стандартом
Старые системы обработки естественного языка часто разбивали текст по словам.
Это работало, пока они не сталкивались со словами, которые никогда не видели ранее.
Современные большие языковые модели обычно используют методы, такие как Byte Pair Encoding (BPE) или аналогичные стратегии подслов.
BPE работает, многократно объединяя частые характерные шаблоны в многоразовые единицы. Это улучшает сжатие и эффективность словаря.
Почему подсловные модели лучше
| Метод | Основная проблема |
|---|---|
| Уровень слов | Слишком много неизвестных слов |
| Уровень символов | Слишком медленно, слишком долго |
| Уровень подслов | Лучший баланс гибкости и эффективности |
Вот почему большинство современных моделей используют какую-либо версию токенизации на подсловах.
Почему токенизация влияет на стоимость
Здесь токенизация становится практичной.
Большинство AI API выставляют счета на основе:
- входных токенов
- выходных токенов
Это означает, что токенизация непосредственно влияет на цену.
Например:
| Тип входных данных | Приблизительная плотность токенов |
|---|---|
| Простой английский | Низкая |
| Код | Средняя-высокая |
| Юридический текст | Высокий |
| Китайский/японский | Часто выше |
| Текст с эмодзи | Удивительно высоко |
Две подсказки с одинаковым количеством знаков могут иметь очень разное количество токенов.
Это одна из самых распространенных скрытых причин увеличения затрат в производственных системах ИИ.
Почему токенизация влияет на поведение модели
Токенизация также объясняет многие «странные» поведения моделей.
Например:
- почему модели испытывают трудности с подсчетом букв
- почему редкие слова ведут себя непредсказуемо
- почему изменения формата могут повлиять на вывод
- почему порядок подсказок имеет значение
Модель не думает буквами или грамматикой так, как это делают люди. Она предсказывает последовательности токенов.
Это различие создает многие странности, которые замечают пользователи.
Обсуждения в сообществе часто указывают на структуру токенов как одну из причин, по которой модели не справляются с логикой на уровне символов.
Токены становятся выводами
Как только ввод токенизируется:
- Токены поступают в трансформер
- Модель предсказывает следующий токен
- Этот токен добавляется
- Процесс повторяется
Это продолжается до тех пор, пока:
- не появится токен остановки
- не будет достигнут лимит токенов
- система не прервёт генерацию
Это означает, что генерация ИИ по своей сути, это цикл предсказаний токен за токеном, а не логическое обоснование на уровне предложений.
Заключительный момент
Токенизация кажется небольшой технической деталью, но она формирует почти всё в современных системах больших языковых моделей.
Она влияет на:
- стоимость
- скорость
- ограничения контекста
- многоязыковую производительность
- поведение модели
- качество вывода
Если вы строите с ИИ, понимание токенизации даст вам гораздо лучшее представление о том, почему системы ведут себя так, как они ведут себя.
Прежде чем появятся эмбеддинги, трансформеры или вывод, есть токены.
И всё начинается с этого.
Тщательный дизайн подсказок, выбор словаря и бюджетирование токенов помогают обеспечить, чтобы использование ваших токенов и их количество соответствовали вашим целям по стоимости и качеству. Вознаграждением будут меньше неожиданных завершений, более низкие затраты на API и модели, которые лучше понимают, как ваши пользователи пишут.
