Вы отправляете в чат обычный текст, а модель внутри системы работает с числовыми представлениями. Подготовить текст для этого помогает токенизатор. После генерации он также позволяет получить из последовательности токенов читаемый ответ.
Токенизатор — компонент, который разбивает текст на токены и сопоставляет им числовые идентификаторы. Для этого он использует словарь и правила, согласованные с моделью.
Что он делает с вашим сообщением
Возьмём запрос «Напиши короткое письмо». Токенизатор определяет, какими элементами своего словаря представить эту строку. Частые слова могут оказаться отдельными токенами, другие — разделиться на части. Полученная последовательность идентификаторов используется как вход для модели.
Условно это можно представить как «текст → части текста → номера этих частей в словаре». Это объяснение устройства, а не конкретное разбиение примера: фактические части и номера зависят от токенизатора.
Токенизатор не решает, какое письмо вам нужно, и не выбирает адресата. Его задача здесь — преобразование представления данных. Обработка смысла запроса и генерация ответа относятся к работе модели.
Как получается читаемый ответ
При генерации формируется последовательность токенов. Декодирование преобразует их идентификаторы в текст. Так результат работы модели становится письмом, объяснением или программным кодом, который можно показать в интерфейсе.
Кодировать и декодировать нужно по согласованным правилам. Если одному и тому же числу два разных словаря сопоставляют разные элементы, произвольная замена токенизатора изменит то, что получает модель или видит пользователь. Токенизатор выбирают вместе с моделью, а не только по удобству подсчёта токенов.
Почему от него зависит длина контекста
Один токенизатор может представить слово одним токеном, другой — несколькими. Поэтому один и тот же документ может иметь разную длину в токенах. Количество страниц или символов даёт только общее представление об объёме.
Для точной проверки того, помещается ли запрос в контекст, нужно учитывать весь подготовленный вход: инструкции, сообщения, документы и служебное оформление разговора. Подсчёт только текста, введённого в поле чата, может показать меньший объём.
Где токенизатор находится в системе
На нашей схеме он относится к обвязкам, которые обеспечивают работу с моделью. Физически он может выполняться на сервере модели или в приложении. Пользователю не обязательно видеть этот этап: достаточно написать обычное сообщение.
Текстовый токенизатор не превращает любую информацию в текст. Для изображений и звука мультимодальные системы используют также соответствующие компоненты подготовки данных. Их наличие не означает, что картинка сначала обязательно описывается словами.