Ouvrir le dossier
Ouvrez votre dossier de projet dans le chat de l'agent.
Workflows
workflow de compression de modèles d'apprentissage automatique
03
Estimer la taille des poids avant le téléchargement
Avant de télécharger un grand modèle, vous pouvez estimer sa taille sur le disque. Cela vous aide à vérifier l'espace libre et à planifier vos besoins en stockage.
Écrire le script
Créez un script Python pour calculer les tailles des poids.
Exécuter la commande
Exécutez le script dans la fenêtre du terminal.
Vérifier la sortie
Consultez les estimations de taille imprimées pour chaque profondeur de bits.
Exemple de script
Écrivez un script pour estimer la taille des poids du modèle.
- write_file
size_estimate.pysaved - Shell
python size_estimate.pyexit 0 - read_file
size_estimate.py18 lines - Shell
python size_estimate.pyexit 0
en attente de votre validation avant l’étape suivanteRejeterAccepter
size_estimate.py
# comment
params = 7000000000
for b in [32, 16, 8, 4]:
size_gb = (params * b) / 1e9
print(f"{b}-bit: {size_gb:.1f} GB") Code ready.Ce script estime la taille des poids uniquement pour un modèle de 7 milliards de paramètres à différentes profondeurs de bits, sans accès réseau.
étapes de compression de modèles deep learning
Écrire le script de conversion
L'agent utilise write_file pour créer votre script de conversion et affiche un diff afin que vous puissiez examiner les modifications avant de les approuver en mode Ask first. Approuvez-le. Shell exécute votre script de conversion et renvoie la sortie réelle. Le terminal affiche clairement le code de sortie et les détails de temporisation. La différence entre les méthodes de quantification 4bit affecte la qualité et la vitesse du modèle. list_dir affiche la taille du nouveau fichier à des fins de comparaison aujourd'hui. read_file vérifie les journaux pour tout avertissement ou erreur trouvé. machine learning model compression confirme que les étapes du workflow sont désormais efficaces.
Exécuter le script d'évaluation
L'agent écrit votre script d'évaluation à l'aide de edit_file et affiche un diff pour votre approbation avant que vous n'examiniez les métriques pour vous assurer que les tests sont corrects. Vous approuvez. L'agent exécute le script via Shell et rapporte le code de sortie. Les scores de perplexité et d'exactitude apparaissent lorsque votre script d'évaluation les affiche. Les compromis de quantification dans l'inférence llm affectent la vitesse et la qualité, vous mesurez donc les tokens par seconde. L'agent utilise grep pour rechercher les scores clés dans la sortie. Vous comparez ces résultats avec votre base de référence pour décider si la perte de qualité est acceptable. Cette étape de compression de modèles deep learning vous aide à générer ma propre quantification dynamique.
