Exécutez vos scripts
L'agent crée et lance vos scripts de conversion, puis affiche la sortie.
Produit
Agent de quantification de réseaux de neurones pour Windows
01
ModelTrim est un agent autonome qui vous aide à effectuer des tâches avec un modèle de réseau de neurones quantifié sur vos propres projets. Il exécute vos scripts et affiche leurs résultats réels directement sur votre système.
Gérez les fichiers
Il lit, écrit et modifie vos fichiers Python et les journaux dans le dossier de discussion.
Vérifiez les résultats
Il exécute vos commandes d'évaluation et affiche le code de sortie et la sortie réels.
Fonctionnalités pour votre flux de travail
- Fichiers lisez, écrivez, modifiez, supprimez et recherchez des fichiers directement dans votre dossier de travail.
- Shell exécutez des commandes terminal et voyez le code de sortie et la sortie réels.
- Web effectuez des recherches sur le web ou récupérez des pages de documentation pour votre bibliothèque.
- Captures d'écran et images utilisez l'OCR sur des captures d'écran ou générez des fichiers image.
- Orchestration lancez des sous-agents en parallèle ou envoyez des étapes complexes à des modèles plus grands.
- Modes d'approbation utilisez Auto-run, Ask first ou Plan only pour contrôler le processus.
- Cron planifiez des invites pour qu'elles s'exécutent automatiquement selon un calendrier précis.
- Modèles connectez-vous à un fournisseur cloud ou à un modèle local sur votre PC.
Comment l'agent vous aide
L'agent ne quantifie pas un modèle lui-même ; c'est votre script ou votre bibliothèque qui effectue le travail.
Créez un script pour estimer la taille des poids à différents nombres de bits.
- write_file
size_estimate.pysauvegardé - edit_file
size_estimate.pymodifié - Shell
python size_estimate.pyexit 0 - read_file
size_estimate.pylu - Shell
python size_estimate.pyexit 0
en attente de votre validation avant l’étape suivanteRejeterAccepter
Tutoriels
Estimer la taille du modèle
Vous demandez à l'agent d'estimer la taille des poids d'un modèle fictif à 32, 16, 8 et 4 bits. L'agent utilise write_file pour créer un script avec des calculs simples. Il s'exécute. Vous passez en revue le script en mode Ask first avant d'accepter les modifications. Le pruning et la distillation sont des techniques distinctes qui peuvent être combinées avec la quantification. Vous devez mesurer la qualité avant de choisir une voie de compression pour votre modèle. Explorer le pruning par rapport à une quantification très faible vous aide à décider du meilleur chemin de compression. Ce processus démontre des techniques de quantification de réseaux de neurones pour votre équipe. La compression des modèles d'apprentissage profond consiste à échanger une certaine qualité contre un fichier plus petit.
Exécuter le script de conversion
L'agent écrit votre script d'évaluation avec write_file et le mode Ask first affiche la différence pour que vous puissiez examiner les modifications avant de les accepter. Shell l'exécute. Vous voyez la sortie réelle et le code de sortie dans la discussion. Cela garantit que vous contrôlez le processus d'évaluation sur votre propre système. Lorsque vous avez besoin de conseils sur la quantification, l'agent vous aide à mesurer la qualité et la vitesse. Cette approche prend en charge la compression des modèles d'apprentissage profond en gardant votre fichier de modèle original intact. Les actions apparaissent dans la discussion sous forme de cartes avec leurs résultats. Vous pouvez lire les journaux avec read_file et grep pour vérifier les données.
Ce que ModelTrim ne fait pas
ModelTrim n'est pas un service hébergé ni un plugin ; il est destiné uniquement à vos propres fichiers, PC et serveurs que vous êtes autorisé à utiliser. Il ne quantifie pas un modèle lui-même, c'est votre script de conversion qui le fait. Il n'impose pas de périmètre, vous conservez donc le travail sur vos propres modèles et systèmes, ce qui explique pourquoi vous vous demandez peut-être quel est le meilleur modèle à affiner avec la quantification.
