Подключение
Базовый URL, учётные данные и доступный сервер.
Продукт
Возможности программы · Бюджет токенов запроса
01
Зарезервируйте токены ответа до формирования запроса к модели. Проверьте точную границу оставшегося лимита и остановку, если резерв превышает окно контекста.
Выбор
Модель, которую предоставляет настроенный endpoint.
Возможности
Объём контекста и поддержка инструментов определяются моделью и сервером.
Бюджет токенов запроса
● ● ●ModelTrim●
Конкретная отправная точка · Бюджет токенов запроса ×
const availableInput = contextLimit - outputReserve;
if (inputTokens > availableInput) return reduceContext();
return sendWithinBudget();✳Зарезервируйте токены ответа до формирования запроса к модели.
✓ ИзмененияПроверьте перед применением ↗
Иллюстрация рабочей среды