Справочник

Среда выполнения

ИИ-чат открыт на вашем телефоне, но это не означает, что языковая модель работает внутри телефона. На устройстве может находиться только интерфейс, а остальные компоненты — на удалённых серверах.

Среда выполнения — программное и аппаратное окружение, в котором работают модель и обвязки: вычислительные ресурсы, операционная система, среды запуска программ и библиотеки. В этом справочнике мы используем термин в таком широком смысле.

Что относится к окружению

Программе нужны ресурсы для работы: процессор выполняет вычисления, память хранит используемые данные, накопитель — файлы. Для вычислений модели могут использоваться и специализированные ускорители, например графические процессоры.

Программная часть окружения позволяет запустить нужный код. Это операционная система, библиотеки и среды исполнения. Например, браузер выполняет код интерфейса, а серверные программы работают в своём окружении. Конкретный набор зависит от устройства системы.

Название модели не описывает всё это окружение. Одной программе может хватить ресурсов ноутбука, другой потребуется более мощный сервер. Требования определяются выбранными компонентами и нагрузкой.

Одна система может работать на нескольких машинах

Представим ИИ-помощника для писем. В браузере вы вводите запрос. Сервер приложения получает его и собирает контекст. Другой сервер запускает модель и возвращает ответ. Отдельный почтовый сервис принимает письмо, если система выполняет отправку.

Компоненты взаимодействуют через программные интерфейсы — API. Для пользователя это один помощник, хотя его части находятся в разных средах выполнения. Поэтому граница агента и граница компьютера не обязаны совпадать.

Возможен и другой вариант: модель и обвязки работают локально на одном компьютере. Сам принцип разделения ролей от этого не меняется. Меняется место выполнения и способ связи компонентов.

Чем среда отличается от обвязок

Обвязки выполняют задачи ИИ-системы: принимают сообщения, готовят контекст, сохраняют историю и вызывают инструменты. Среда выполнения предоставляет окружение, в котором этот код работает.

Например, проверка «можно ли отправить это письмо без подтверждения» может быть правилом приложения. Это логика обвязок. Операционная система, которая позволяет запустить приложение и открыть сетевое соединение, относится к его среде выполнения.

Ограничения могут существовать на обоих уровнях. Обвязки могут запрещать запись в файл по правилам приложения, а окружение — не предоставлять процессу права на запись. Разрешение на одном уровне не отменяет ограничение на другом.

Почему это важно при ошибках

Если помощник не отправил письмо, причина не обязательно в модели. Может отсутствовать почтовый инструмент, закончиться доступ к сервису, пропасть сеть или не запуститься нужная программа.

Для разбора полезно выяснить, на каком шаге остановилась работа: получен ли ответ модели, вызван ли инструмент, доступен ли внешний сервис. Повторение того же запроса не исправит отсутствующую библиотеку или недоступное соединение.

Написать мне