Справочник

Токен

В описании ИИ-сервиса можно встретить ограничение на количество токенов. Это способ измерять объём данных, с которыми работает модель. Чтобы понять такой лимит, недостаточно посчитать слова или буквы сообщения.

Токен — единица представления данных для модели. В тексте он может соответствовать слову, части слова, знаку препинания или другой последовательности символов. Как именно разделить текст, определяет токенизатор.

Почему токен не равен слову

Человек видит в фразе «Перенеси встречу на вторник» четыре слова. Токенизатор может представить одни слова целиком, другие — несколькими частями. Пробелы и пунктуация тоже участвуют в представлении текста: они могут входить в соседние токены или выделяться отдельно.

Например, условное деление слова «переписка» на «пере» и «писка» показывает сам принцип: одному слову могут соответствовать несколько токенов. Это иллюстрация, а не результат конкретного токенизатора. Реальное деление нужно проверять тем токенизатором, который используется с выбранной моделью.

Зачем токену числовой идентификатор

Токенизатор сопоставляет токенам числа — идентификаторы в своём словаре. Они используются при передаче текста языковой модели. Число здесь обозначает элемент словаря; оно не является оценкой важности слова или номером мысли.

При генерации получается последовательность токенов ответа. Её декодируют обратно в текст. Например, вы видите готовое предложение «Встреча перенесена на вторник», хотя внутренняя обработка шла с числовыми представлениями его частей.

Что входит в количество токенов

Вход — это не только последнее сообщение пользователя. В контекст могут входить инструкции, история разговора, документы и результаты инструментов. Всё это занимает место. Отдельный объём составляет сгенерированный ответ.

Поэтому короткое «Продолжай» может сопровождаться большим входом, если обвязки передают вместе с ним длинную переписку. И наоборот: большой файл в приложении не обязательно целиком попадает в запрос — система может выбрать несколько подходящих фрагментов.

Как сравнивать объём текста

Универсального равенства «один токен — столько-то букв» нет. Результат зависит от языка, текста и токенизатора. Одинаковый текст у двух моделей может занимать разное количество токенов, если они используют разные токенизаторы.

Если документ не помещается в доступный контекст, сначала стоит определить, какие сведения нужны для задачи. Для ответа на вопрос о сроке доставки может хватить соответствующего раздела документа. Удаление случайных слов ради уменьшения счётчика способно убрать как раз важные условия.

Написать мне