Справочник

Токенизатор

Вы отправляете в чат обычный текст, а модель внутри системы работает с числовыми представлениями. Подготовить текст для этого помогает токенизатор. После генерации он также позволяет получить из последовательности токенов читаемый ответ.

Токенизатор — компонент, который разбивает текст на токены и сопоставляет им числовые идентификаторы. Для этого он использует словарь и правила, согласованные с моделью.

Что он делает с вашим сообщением

Возьмём запрос «Напиши короткое письмо». Токенизатор определяет, какими элементами своего словаря представить эту строку. Частые слова могут оказаться отдельными токенами, другие — разделиться на части. Полученная последовательность идентификаторов используется как вход для модели.

Условно это можно представить как «текст → части текста → номера этих частей в словаре». Это объяснение устройства, а не конкретное разбиение примера: фактические части и номера зависят от токенизатора.

Токенизатор не решает, какое письмо вам нужно, и не выбирает адресата. Его задача здесь — преобразование представления данных. Обработка смысла запроса и генерация ответа относятся к работе модели.

Как получается читаемый ответ

При генерации формируется последовательность токенов. Декодирование преобразует их идентификаторы в текст. Так результат работы модели становится письмом, объяснением или программным кодом, который можно показать в интерфейсе.

Кодировать и декодировать нужно по согласованным правилам. Если одному и тому же числу два разных словаря сопоставляют разные элементы, произвольная замена токенизатора изменит то, что получает модель или видит пользователь. Токенизатор выбирают вместе с моделью, а не только по удобству подсчёта токенов.

Почему от него зависит длина контекста

Один токенизатор может представить слово одним токеном, другой — несколькими. Поэтому один и тот же документ может иметь разную длину в токенах. Количество страниц или символов даёт только общее представление об объёме.

Для точной проверки того, помещается ли запрос в контекст, нужно учитывать весь подготовленный вход: инструкции, сообщения, документы и служебное оформление разговора. Подсчёт только текста, введённого в поле чата, может показать меньший объём.

Где токенизатор находится в системе

На нашей схеме он относится к обвязкам, которые обеспечивают работу с моделью. Физически он может выполняться на сервере модели или в приложении. Пользователю не обязательно видеть этот этап: достаточно написать обычное сообщение.

Текстовый токенизатор не превращает любую информацию в текст. Для изображений и звука мультимодальные системы используют также соответствующие компоненты подготовки данных. Их наличие не означает, что картинка сначала обязательно описывается словами.

Написать мне