Apri cartella
Apri la cartella del progetto nella chat dell'agente.
Flussi di lavoro
flusso di lavoro di compressione modelli machine learning
03
Stima la dimensione dei pesi prima del download
Prima di scaricare un modello di grandi dimensioni, puoi stimarne la dimensione su disco. Questo ti aiuta a verificare lo spazio libero e a pianificare le tue esigenze di archiviazione.
Scrivi script
Crea uno script Python per calcolare le dimensioni dei pesi.
Esegui comando
Esegui lo script nella finestra del terminale.
Controlla output
Rivedi le stime di dimensione stampate per ogni profondità di bit.
Script di esempio
Scrivi uno script per stimare la dimensione dei pesi del modello.
- write_file
size_estimate.pysalvato - Shell
python size_estimate.pyexit 0 - read_file
size_estimate.py18 righe - Shell
python size_estimate.pyexit 0
in attesa del tuo OK prima del passaggio successivoRifiutaAccetta
size_estimate.py
# comment
params = 7000000000
for b in [32, 16, 8, 4]:
size_gb = (params * b) / 1e9
print(f"{b}-bit: {size_gb:.1f} GB") Code ready.Questo script stima la dimensione dei pesi solo per un modello da 7 miliardi di parametri a diverse profondità di bit senza accesso alla rete.
passaggi per la compressione modelli deep learning
Scrivi script di conversione
L'agente usa write_file per creare il tuo script di conversione e mostra un diff in modo che tu possa rivedere le modifiche prima di approvarle in modalità Ask first. Approvalo. Shell esegue il tuo script di conversione e restituisce l'output reale. Il terminale visualizza chiaramente il codice di uscita e i dettagli temporali. La differenza tra i metodi di quantizzazione a 4 bit influisce sulla qualità e sulla velocità del modello. list_dir mostra la nuova dimensione del file per fini di confronto oggi. read_file controlla i log per eventuali avvisi o errori rilevati. La compressione modelli machine learning conferma che i passaggi del flusso di lavoro sono ora efficaci.
Esegui script di valutazione
L'agente scrive il tuo script di valutazione usando edit_file e mostra un diff per la tua approvazione prima che tu esamini le metriche per assicurarti che il test sia corretto. Approvi. L'agente esegue lo script tramite Shell e segnala il codice di uscita. I punteggi di perplexity e accuratezza appaiono quando il tuo script di valutazione li stampa. I compromessi della quantizzazione nell'inferenza llm influenzano velocità e qualità, quindi misuri i token al secondo. L'agente usa grep per cercare nell'output i punteggi chiave. Confronti questi risultati con la tua baseline per decidere se la perdita di qualità è accettabile. Questo passaggio di compressione modelli deep learning ti aiuta a generare la tua quantizzazione dinamica.
