Modely
Nastavte endpoint kompatibilní s OpenAI nebo Anthropic pomocí základní URL a případného API klíče. Otestujte připojení. Lokální server modelu musí běžet; vzdálené nástroje mohou data odesílat samostatně.
Pracovní prostředí s AI pro kód
Rozpočet tokenů promptu
Rezervujte tokeny odpovědi před sestavením požadavku modelu.
● ● ●ModelTrim●
Pracovní postupy · Rozpočet tokenů promptu ×
const availableInput = contextLimit - outputReserve;
if (inputTokens > availableInput) return reduceContext();
return sendWithinBudget();✳Rezervujte tokeny odpovědi před sestavením požadavku modelu.
✓ ZměnyPřed použitím zkontrolujte ↗
Ilustrace pracovního prostředí
Projekt
Otestujte přesnou zbývající hranici a zastavte požadavek při rezervě větší než kontextové okno.
Před použitím zkontrolujte
Porovnejte skutečné chování s očekávaným výsledkem. Pokud kontrola selže, před dalšími změnami zjistěte příčinu.
Pracovní postupy
const availableInput = contextLimit - outputReserve;
if (inputTokens > availableInput) return reduceContext();
return sendWithinBudget();