Spusťte své skripty
Agent vytváří a spouští vaše skripty pro konverzi a následně zobrazuje výstup.
Produkt
agent pro kvantizaci modelů pro Windows
01
ModelTrim je autonomní agent, který vám pomůže pracovat s kvantizovanými modely v vašich vlastních projektech. Spouští vaše skripty a zobrazuje jejich skutečné výsledky přímo na vašem systému.
Spravujte soubory
Čte, zapisuje a upravuje vaše Python skripty a protokoly přímo ve složce chatu.
Zkontrolujte výsledky
Spouští vaše příkazy pro hodnocení a zobrazuje skutečný návratový kód a výstup.
Funkce pro váš pracovní postup
- Souboryčtěte, zapisujte, upravujte, odstraňujte a vyhledávejte soubory přímo ve své pracovní složce.
- Shellspusťte příkazy terminálu a sledujte skutečný návratový kód a výstup.
- Webhledejte na internetu nebo načtěte dokumentační stránky vaší knihovny.
- Snímky obrazovky a obrázkypoužijte OCR na snímky obrazovky nebo generujte soubory s obrázky.
- Orchestracespusťte paralelní pod-agenty nebo pošlete náročné kroky větším modelům.
- Režimy schvalovánípoužijte Auto-run, Ask first nebo Plan only pro svou kontrolu.
- Cronnaplánujte si spouštění příkazů podle konkrétního harmonogramu automaticky.
- Modelypřipojte se k poskytovateli cloudu nebo místnímu modelu na vašem PC.
Jak agent pomáhá
Agent sám o sobě model nekvantizuje; práci odvede váš skript nebo knihovna.
Vytvořte skript pro odhad velikosti vah při různých počtech bitů.
- write_file
size_estimate.pyuloženo - edit_file
size_estimate.pyupraveno - Shell
python size_estimate.pyexit 0 - read_file
size_estimate.pynačteno - Shell
python size_estimate.pyexit 0
čeká na vaše potvrzení před dalším krokemOdmítnoutPřijmout
Průvodce funkcemi
Odhadněte velikost modelu
Požádáte agenta, aby odhadl velikost vah fiktivního modelu při 32, 16, 8 a 4 bitech. Agent pomocí write_file vytvoří skript s jednoduchou aritmetikou. Spustí se. Provedete revizi skriptu v režimu Ask first před přijetím změn. Pruning a distilace jsou samostatné techniky, které lze kombinovat s kvantizací. Před výběrem cesty komprese pro svůj model musíte změřit kvalitu. Prozkoumání rozdílu mezi pruningem a velmi nízkou kvantizací vám pomůže rozhodnout se pro nejlepší cestu komprese. Tento proces demonstruje techniky kvantizace neuronových sítí pro váš tým. Komprese modelů hlubokého učení obětuje určitou kvalitu ve prospěch menší velikosti souboru.
Spusťte skript pro konverzi
Agent napíše váš skript pro hodnocení pomocí write_file a režim Ask first zobrazí diff, abyste mohli zkontrolovat změny před jejich přijetím. Shell skript spustí. V chatu uvidíte skutečný výstup a návratový kód. To zajišťuje, že máte kontrolu nad procesem hodnocení ve svém vlastním systému. Když potřebujete vedení ohledně kvantizace, agent vám pomůže změřit kvalitu a rychlost. Tento přístup podporuje kompresi modelů hlubokého učení tím, že ponechá váš původní soubor modelu nedotčený. Akce se v chatu zobrazují jako karty s jejich výsledky. Data můžete ověřit pomocí read_file a grep.
Co ModelTrim nedělá
ModelTrim není hostovaná služba ani plugin; je určen pouze pro vaše vlastní soubory, PC a servery, které máte oprávnění používat. Samotný model nekvantizuje, to dělá váš konverzní skript. Nezavádí omezení rozsahu, takže práci omezíte pouze na své vlastní modely a systémy, což je důvod, proč se můžete ptát, jaký je nejlepší model pro doladění s kvantizací.
