Ordner öffnen
Öffnen Sie Ihren Projektordner im Agenten-Chat.
Workflows
Workflow zur Modellkompression
03
Gewichtsgröße vor dem Download abschätzen
Bevor Sie ein großes Modell herunterladen, können Sie dessen Größe auf der Festplatte abschätzen. So prüfen Sie den freien Speicherplatz und planen Ihre Speicherbedürfnisse.
Skript schreiben
Erstellen Sie ein Python-Skript zur Berechnung der Gewichtsgrößen.
Befehl ausführen
Führen Sie das Skript im Terminalfenster aus.
Ausgabe prüfen
Überprüfen Sie die ausgegebenen Größenschätzungen für jede Bit-Tiefe.
Beispielskript
Schreibe ein Skript zur Schätzung der Modellgewichtsgröße.
- write_file
size_estimate.pysaved - Shell
python size_estimate.pyexit 0 - read_file
size_estimate.py18 Zeilen - Shell
python size_estimate.pyexit 0
wartet auf deine Bestätigung, bevor der nächste Schritt ausgeführt wirdAblehnenAkzeptieren
size_estimate.py
# comment
params = 7000000000
for b in [32, 16, 8, 4]:
size_gb = (params * b) / 1e9
print(f"{b}-bit: {size_gb:.1f} GB") Code ready.Dieses Skript schätzt die Gewichtsgröße nur für ein Modell mit 7 Milliarden Parametern bei verschiedenen Bit-Tiefen ohne Netzwerkverbindung.
Schritte zur Modellkompression im Deep Learning
Konvertierungsskript schreiben
Der Agent erstellt mit write_file Ihr Konvertierungsskript und zeigt einen Diff an, damit Sie die Änderungen vor der Freigabe im Modus Ask first prüfen können. Bestätigen Sie ihn. Shell führt Ihr Konvertierungsskript aus und gibt die tatsächliche Ausgabe zurück. Das Terminal zeigt den Exit-Code und die Zeitangaben klar an. Der Unterschied zwischen 4bit-Quantisierungsmethoden beeinflusst Modellqualität und Geschwindigkeit. list_dir zeigt die neue Dateigröße zum Vergleich. read_file prüft die Logs auf Warnungen oder Fehler. Die Modellkompression bestätigt, dass die Workflow-Schritte effektiv sind.
Auswertungsskript ausführen
Der Agent erstellt Ihr Auswertungsskript mit edit_file und zeigt einen Diff zur Freigabe an, bevor Sie die Metriken prüfen, um sicherzustellen, dass das Testen korrekt ist. Sie genehmigen. Der Agent führt das Skript über Shell aus und meldet den Exit-Code. Perplexity- und Genauigkeitswerte erscheinen, wenn Ihr Auswertungsskript sie ausgibt. Quantisierungsabwägungen bei der LLM-Inferenz beeinflussen Geschwindigkeit und Qualität, daher messen Sie Tokens pro Sekunde. Der Agent nutzt grep, um die Ausgabe nach Schlüsselwerten zu durchsuchen. Sie vergleichen diese Ergebnisse mit Ihrer Basislinie, um zu entscheiden, ob der Qualitätsverlust akzeptabel ist. Dieser Schritt der Modellkompression hilft Ihnen, Ihre eigene dynamische Quantisierung zu generieren.
