MModelTrim
Робоче середовище з ШІ для коду

Бюджет токенів запиту

Зарезервуйте токени відповіді до формування запиту моделі.

● ● ●ModelTrim●
Сценарії · Бюджет токенів запиту ×
const availableInput = contextLimit - outputReserve;
if (inputTokens > availableInput) return reduceContext();
return sendWithinBudget();
✳Зарезервуйте токени відповіді до формування запиту моделі.
✓ ЗміниПеревірте перед застосуванням ↗
Ілюстрація робочого середовища
01

Моделі

Налаштуйте OpenAI-сумісний або Anthropic endpoint із базовою URL-адресою та API-ключем, якщо він потрібен. Перевірте з’єднання. Локальний сервер моделі має працювати; віддалені інструменти можуть окремо передавати дані.

02

Проєкт

Перевірте точну межу залишку та зупинку, коли резерв перевищує вікно контексту.

03

Перевірте перед застосуванням

Порівняйте фактичну поведінку з очікуваним результатом. Якщо перевірка не проходить, з’ясуйте причину перед наступними змінами.

Сценарії

Бюджет токенів запиту

Сценарії ↗
Сценарії
const availableInput = contextLimit - outputReserve;
if (inputTokens > availableInput) return reduceContext();
return sendWithinBudget();
Робоче середовище з ШІ для коду

Тут починається ваша наступна ідея.

Завантажити для Windows ↗