Справочник

Контекст

Вы просите ИИ составить письмо, получаете черновик и пишете: «Сделай короче». В этих двух словах нет самого письма. Чтобы переработать его, модели нужно получить и черновик, и ваше уточнение. Вместе с другими переданными данными они образуют контекст текущего ответа.

Контекст — информация, доступная модели при текущей генерации. Её подготавливают обвязки. Контекст может меняться при каждом обращении к модели, даже внутри одного разговора. Все передаваемые части собираются в конечный промпт: это весь вход для текущего ответа, а не только последнее сообщение пользователя.

Что может входить в контекст

  • Ваш промпт: вопрос, просьба или уточнение задачи.
  • Инструкции приложения: например, отвечать кратко или соблюдать формат.
  • Предыдущие сообщения и ответы, которые приложение решило передать.
  • Содержимое документов, найденные сведения и данные о задаче.
  • Результаты инструментов: например, прочитанный файл или сообщение об ошибке отправки письма.

Если вы просите сравнить два документа, их названий недостаточно. Системе нужно получить содержимое или подходящие фрагменты и передать их модели. Файл, который просто лежит рядом на диске, ещё не является частью контекста.

Почему история чата и контекст не одно и то же

В окне чата может быть видна вся переписка за месяц, а в очередной запрос попадут только последние сообщения и краткое описание предыдущего разговора. Хранилище приложения и вход модели — разные вещи. Что именно передать, определяют обвязки.

Например, в начале разговора вы указали адрес получателя. Если позже этот фрагмент не передали модели, она может не учесть адрес. Внешне это выглядит как «ИИ забыл». Чтобы установить причину, нужно проверить состав текущего контекста, а не только наличие адреса в истории чата.

В каком виде данные получает модель

Текстовая LLM получает текст и генерирует текст. Перед обработкой токенизатор переводит текст в числовые идентификаторы токенов. Это внутреннее представление текста, а не отдельная инструкция для модели.

Мультимодальные модели могут также получать изображения, звук и другие поддерживаемые данные. Фото страницы может поступить как изображение, а не как заранее распознанный текст. Способ подготовки зависит от возможностей модели и приложения.

Почему нельзя передавать бесконечную переписку

У модели есть ограничение на объём обрабатываемой последовательности — контекстное окно. Для текста объём измеряют в токенах. При подготовке запроса нужно учитывать ограничения входа и место для ответа согласно правилам конкретной модели и сервиса.

Длинные разговоры и документы приложение может сокращать, разбивать на части или выбирать из них нужные фрагменты. При сокращении могут потеряться детали. Поэтому для важного условия полезно явно указать его в текущем задании и проверить, учтено ли оно в результате.

Количество данных само по себе не гарантирует хороший ответ. Для письма о переносе встречи важнее верные дата, адресат и причина, чем десятки страниц не относящейся к делу переписки.

Как это устроено в Codex

Написать мне