Deschide folderul
Deschide folderul proiectului tău în chat-ul agentului.
Fluxuri de lucru
flux de lucru pentru compresia modelelor de învățare automată
03
Estimează dimensiunea ponderilor înainte de descărcare
Înainte de a descărca un model mare, poți estima dimensiunea sa pe disc. Acest lucru te ajută să verifici spațiul liber și să îți planifici nevoile de stocare.
Scrie scriptul
Creează un script Python pentru a calcula dimensiunile ponderilor.
Rulează comanda
Execută scriptul în fereastra terminalului.
Verifică ieșirea
Revizuiește estimările de dimensiune afișate pentru fiecare adâncime de biți.
Exemplu de script
Scrie un script pentru a estima dimensiunea ponderilor modelului.
- write_file
size_estimate.pysaved - Shell
python size_estimate.pyexit 0 - read_file
size_estimate.py18 lines - Shell
python size_estimate.pyexit 0
așteaptă aprobarea ta înainte de următorul pasRespingeAcceptă
size_estimate.py
# comment
params = 7000000000
for b in [32, 16, 8, 4]:
size_gb = (params * b) / 1e9
print(f"{b}-bit: {size_gb:.1f} GB") Code ready.Acest script estimează dimensiunea ponderilor doar pentru un model cu 7 miliarde de parametri la diferite adâncimi de biți, fără acces la rețea.
pași de compresie deep learning
Scrie scriptul de conversie
Agentul folosește write_file pentru a crea scriptul tău de conversie și afișează un diff, astfel încât să poți revizui modificările înainte de a le aproba în modul Ask first. Aprobă-l. Shell rulează scriptul tău de conversie și returnează ieșirea reală. Terminalul afișează codul de ieșire și detaliile de timp în mod clar. Diferența dintre metodele de cuantificare 4bit afectează calitatea și viteza modelului. list_dir arată dimensiunea noului fișier în scopuri de comparație astăzi. read_file verifică jurnalele pentru eventuale avertismente sau erori găsite. compresia modelelor de învățare automată confirmă că pașii fluxului de lucru sunt efectivi acum.
Rulează scriptul de evaluare
Agentul scrie scriptul tău de evaluare folosind edit_file și afișează un diff pentru aprobarea ta înainte să revizuiești metricile pentru a te asigura că testarea este corectă. Tu aprobi. Agentul rulează scriptul prin Shell și raportează codul de ieșire. Scorurile de perplexitate și acuratețe apar când scriptul tău de evaluare le afișează. Compromisurile de cuantificare în inferența llm afectează viteza și calitatea, așa că măsoară tokeni pe secundă. Agentul folosește grep pentru a căuta în ieșire scorurile cheie. Comparați aceste rezultate cu linia de bază pentru a decide dacă pierderea de calitate este acceptabilă. Acest pas de compresie deep learning te ajută să generezi propria mea cuantificare dinamică.
