Справочник

Основной справочник «Открытой практики ИИ»: общие понятия об устройстве ИИ и работе с ним. В справочниках отдельных проектов дополнительно объясняются термины, связанные с их особенностями.

ИИ-чат
Приложение или онлайн-сервис для взаимодействия с ИИ-помощником в форме диалога. Пользователь пишет сообщения, задаёт вопросы и уточняет задачу, а помощник отвечает и, в зависимости от возможностей сервиса, работает с файлами, ищет информацию или выполняет другие действия.
Языковая модель (LLM)
Модель, обученная на больших объёмах данных и генерирующая ответ на основе переданного контекста. В составе агента отвечает за обработку информации и формирование ответа. Ответ может содержать текст, код или данные в заданном формате, которые обвязки могут интерпретировать как запрос на действие. Модель сама не вызывает инструменты и не выполняет операции во внешних системах.
Контекст
Данные, переданные модели для генерации текущего ответа: инструкции, запрос, история разговора, содержимое файлов и результаты работы инструментов. Текстовая LLM получает текст и генерирует текст. Внутри модели текст представлен токенами, которым соответствуют числовые идентификаторы. У мультимодальных моделей контекст может также включать изображения, звук и другие поддерживаемые данные; они не обязательно преобразуются в текст. Обвязки определяют, какие данные передать модели и как использовать её ответ. Вся история разговора не обязательно входит в контекст.
Токен
Единица представления данных, с которой работает модель. В тексте токен может соответствовать части слова, целому слову, знаку препинания или другой последовательности символов. Деление на токены зависит от токенизатора. Объём контекста и ответа обычно измеряют в токенах.
Токенизатор
Компонент, который разбивает текст на токены и преобразует их в числовые идентификаторы для передачи модели. После генерации ответа он декодирует последовательность идентификаторов обратно в текст. Токенизатор использует словарь и правила, согласованные с моделью. Разные токенизаторы могут разбить один и тот же текст по-разному, поэтому количество токенов в нём может различаться.
Промпт
Напишите в ИИ-чате «Привет!» — это уже промпт. Сообщение, вопрос, инструкции или данные, которые передают модели, могут быть промптом.
Промптом называют и весь подготовленный вход для очередного ответа: обвязки собирают сообщения, инструкции, историю и результаты инструментов в конечный промпт. Переданные данные составляют контекст этой генерации.
Обвязки (harness)
Программные компоненты ИИ-системы, которые вместе с LLM обеспечивают её работу: принимают запросы, хранят данные, формируют контекст, обрабатывают ответы, выполняют действия и связывают части системы. Часть этих функций не требует обращения к LLM. Обвязки могут образовывать несколько слоёв и включать другие модели и агентов. Граница определяется уровнем рассмотрения. Для отдельной LLM обвязки — внешние по отношению к ней компоненты. Для ИИ-агента они являются его внутренними частями. Если этот агент входит в более крупную систему, он сам может быть частью её обвязок.
Среда выполнения
Программное и аппаратное окружение, в котором работают модель и обвязки: вычислительные ресурсы, операционная система, среды запуска программ и необходимые библиотеки. Компоненты системы могут работать в разных средах: например, обвязки — на компьютере пользователя, а модель — на удалённом сервере, доступном через API.
Инструмент
Программа или функция для конкретной операции: чтения файла, поиска информации, запуска кода или обращения к внешнему сервису. Инструмент вызывают обвязки. Они могут передать модели его описание и ожидаемый формат данных, затем интерпретировать ответ модели, проверить разрешения и выполнить вызов. Результат работы инструмента может войти в контекст следующего запроса к модели.
ИИ-агент
В этом справочнике ИИ-агент = LLM + обвязки. Обе составляющие обязательны. Агент — вся рассматриваемая система: модель, слои обвязок и связи между ними. В состав обвязок могут входить другие модели и агенты. LLM генерирует ответы, а обвязки организуют их использование: показывают пользователю, вызывают инструменты и передают результаты обратно модели. Так система может выполнять задачу в несколько шагов. Границы агента определяются тем, какую систему мы рассматриваем как целое.

Написать мне