Map openen
Open je projectmap in de agent-chat.
Workflows
workflow voor modelcompressie van machine learningmodellen
03
Geschatte gewichtsgrootte voordat je downloadt
Voordat je een groot model downloadt, kun je de grootte op schijf schatten. Zo controleer je de vrije ruimte en plan je je opslagbehoeften.
Script schrijven
Maak een Python-script om de gewichtsgroottes te berekenen.
Opdracht uitvoeren
Voer het script uit in het terminalvenster.
Uitvoer controleren
Bekijk de afgedrukte grootteschattingen voor elke bitdiepte.
Voorbeeldscript
Schrijf een script om de grootte van modelgewichten te schatten.
- write_file
size_estimate.pysaved - Shell
python size_estimate.pyexit 0 - read_file
size_estimate.py18 lines - Shell
python size_estimate.pyexit 0
wacht op jouw goedkeuring voordat de volgende stap wordt uitgevoerdAfwijzenAccepteren
size_estimate.py
# comment
params = 7000000000
for b in [32, 16, 8, 4]:
size_gb = (params * b) / 1e9
print(f"{b}-bit: {size_gb:.1f} GB") Code ready.Dit script schat alleen de gewichtsgrootte voor een model met 7 miljard parameters bij verschillende bitdieptes, zonder netwerktoegang.
stappen voor modelcompressie in deep learning
Conversiescript schrijven
De agent gebruikt write_file om je conversiescript te maken en toont een diff, zodat je de wijzigingen kunt controleren voordat je ze goedkeurt in de modus Ask first. Goedkeuren. Shell voert je conversiescript uit en retourneert de echte uitvoer. De terminal geeft de exitcode en timingdetails duidelijk weer. Het verschil tussen 4bit-kwantiseringsmethoden beïnvloedt de modelkwaliteit en snelheid. list_dir toont de nieuwe bestandsgrootte voor vergelijking vandaag. read_file controleert de logs op waarschuwingen of fouten. machine learning model compression bevestigt dat de workflowstappen nu effectief zijn.
Evaluatiescript uitvoeren
De agent schrijft je evaluatiescript met edit_file en toont een diff voor goedkeuring voordat je de metrieken controleert om ervoor te zorgen dat de tests correct zijn. Je keurt goed. De agent voert het script uit via Shell en rapporteert de exitcode. perplexity- en nauwkeurigheidsscores verschijnen wanneer je evaluatiescript ze afdrukt. Kwantiseringsafwegingen in llm inference beïnvloeden snelheid en kwaliteit, dus je meet tokens per seconde. De agent gebruikt grep om de uitvoer te doorzoeken op belangrijke scores. Je vergelijkt deze resultaten met je baseline om te beslissen of het kwaliteitsverlies acceptabel is. Deze stap voor modelcompressie in deep learning helpt je om mijn eigen dynamische kwantisatie te genereren.
