Connecter un modèle pour la quantification

ModelTrim se connecte à votre fournisseur IA choisi afin que le modèle puisse planifier et rédiger des scripts de quantification tandis que Shell les exécute sur votre PC ou serveur. En mode Ask first, vous validez chaque action qui modifie vos fichiers.

Choisir la source de votre modèle

Fournisseur d'IA cloud

Utilisez un fournisseur d'IA cloud via un point de terminaison API standard. Vos invites et le texte des fichiers quittent votre PC, donc les données sensibles sont envoyées à ce fournisseur. Cette option convient à la logique complexe où vous avez besoin d'un modèle plus puissant que celui intégré.

Modèle local sur PC

Exécutez un modèle localement sur votre PC. Avec un modèle local, les invites et le texte des fichiers ne sont pas envoyés à un fournisseur, bien que des fonctionnalités réseau facultatives comme la recherche Web ou les vérifications de mise à jour puissent toujours utiliser le réseau. Cette option convient aux travaux sensibles où vous préférez un contrôle total sur l'environnement. Vous gérez les ressources matérielles nécessaires à l'inférence et à l'exécution des scripts.

Modèle intégré

Utilisez le modèle intégré pour des tâches rapides sans configurer de connexions externes. Cette option est prête à l'emploi sans votre propre point de terminaison.

Vérifier la qualité de la connexion

Le bouton Test vérifie la connexion à votre point de terminaison. Il affiche le temps de réponse et la taille de la fenêtre de contexte. Cela vous aide à confirmer que le modèle est prêt pour les tâches de quantification. Vous voyez des métriques réelles avant de commencer tout travail.

Sélectionner le modèle pour les tâches

Utilisez un modèle plus grand pour les refactorisations et la logique complexes. Utilisez un modèle plus petit pour les petites modifications. Envoyez les étapes difficiles à un modèle plus grand avec run_on_model. Cela garantit la qualité pour les décisions de quantification difficiles.

La qualité varie selon le modèle et la tâche. Consultez toujours le diff en mode Ask first. Cela vous permet de voir les modifications avant leur application. Vous gardez le contrôle de chaque modification de fichier.