Připojte model pro kvantizaci

ModelTrim se připojí k vybranému AI poskytovateli, aby model mohl plánovat a psát skripty pro kvantizaci, zatímco Shell je spouští na vašem PC nebo serveru. V režimu Ask first schválíte každou akci, která změní vaše soubory.

Vyberte zdroj modelu

Cloudový AI poskytovatel

Použijte cloudového AI poskytovatele prostřednictvím standardního koncového bodu API. Vaše podněty a texty souborů opustí vaše PC, takže citlivá data putují k tomuto poskytovateli. Tato možnost se hodí pro složitou logiku, kde potřebujete silnější model než vestavěný.

Lokální model na PC

Spusťte model lokálně na vašem PC. S místním modelem se podněty a texty souborů neposílají poskytovateli, i když volitelné síťové funkce jako vyhledávání na webu nebo kontroly aktualizací mohou síť stále využívat. Tato možnost se hodí pro citlivou práci, kde preferujete plnou kontrolu nad prostředím. Vy spravujete hardwarové zdroje potřebné pro inferenci a provádění skriptů.

Vestavěný model

Použijte vestavěný model pro rychlé úkoly bez konfigurace externích připojení. Tato možnost je připravena k použití bez vašeho vlastního koncového bodu.

Ověřte kvalitu připojení

Tlačítko Test zkontroluje připojení k vašemu koncovému bodu. Zobrazí dobu odezvy a velikost kontextového okna. Pomůže vám to potvrdit, že je model připraven na úkoly kvantizace. Vidíte skutečné metriky před zahájením jakékoli práce.

Vyberte model pro úkoly

Použijte větší model pro složité refaktoringy a logiku. Použijte menší model pro malé úpravy. Pošlete náročné kroky většímu modelu pomocí run_on_model. To zajišťuje kvalitu pro obtížná rozhodnutí při kvantizaci.

Kvalita se liší podle modelu a úkolu. V režimu Ask first vždy zkontrolujte diff. To vám umožní vidět změny před jejich aplikací. Máte pod kontrolou každou modifikaci souboru.