Otevřít složku
Otevřete složku projektu v chatu agenta.
Pracovní postupy
pracovní postup komprese modelů strojového učení
03
Odhadněte velikost vah před stažením
Před stažením velkého modelu můžete odhadnout jeho velikost na disku. Pomůže vám to zkontrolovat volné místo a naplánovat potřebné úložiště.
Napsat skript
Vytvořte Python skript pro výpočet velikosti vah.
Spustit příkaz
Vykonajte skript v okně terminálu.
Zkontrolovat výstup
Projděte vytisknuté odhady velikosti pro každou bitovou hloubku.
Příklad skriptu
Napište skript pro odhad velikosti vah modelu.
- write_file
size_estimate.pysaved - Shell
python size_estimate.pyexit 0 - read_file
size_estimate.py18 lines - Shell
python size_estimate.pyexit 0
čeká na vaše potvrzení před dalším krokemOdmítnoutPřijmout
size_estimate.py
# comment
params = 7000000000
for b in [32, 16, 8, 4]:
size_gb = (params * b) / 1e9
print(f"{b}-bit: {size_gb:.1f} GB") Code ready.Tento skript odhaduje velikost vah pouze pro model s 7 miliardami parametrů při různých bitových hloubkách bez přístupu k síti.
kroky komprese modelů hlubokého učení
Napsat konverzní skript
Agent použije write_file k vytvoření vašeho konverzního skriptu a zobrazí diff, abyste mohli změny zkontrolovat před schválením v režimu Ask first. Schválíte jej. Shell spustí váš konverzní skript a vrátí skutečný výstup. Terminál jasně zobrazuje kód ukončení a časové údaje. Rozdíl mezi metodami kvantizace 4bit ovlivňuje kvalitu a rychlost modelu. list_dir ukazuje velikost nového souboru pro srovnání dnes. read_file kontroluje protokoly o případných varováních nebo chybách. model quantization and compression potvrzuje, že kroky pracovního postupu nyní fungují efektivně.
Spustit vyhodnocovací skript
Agent napíše váš vyhodnocovací skript pomocí edit_file a zobrazí diff pro vaše schválení, než zkontrolujete metriky, abyste zajistili, že je testování správné. Vy schválíte. Agent spustí skript přes Shell a nahlásí kód ukončení. Skóre perplexity a přesnosti se zobrazí, když váš vyhodnocovací skript je vytiskne. Kompromisy kvantizace při inferenci LLM ovlivňují rychlost a kvalitu, takže měříte tokeny za sekundu. Agent použije grep k vyhledání klíčových skóre ve výstupu. Porovnáte tyto výsledky se svým výchozím stavem a rozhodnete, zda je ztráta kvality přijatelná. Tento krok model quantization and compression vám pomůže vygenerovat moji vlastní dynamickou kvantizaci.
