Ein Modell für die Quantisierung verbinden

ModelTrim verbindet sich mit deinem gewählten KI-Anbieter, damit das Modell Quantisierungsskripte planen und schreiben kann, während Shell diese auf deinem PC oder Server ausführt. Im Modus Ask first genehmigst du jede Aktion, die deine Dateien ändert.

Wähle deine Modellquelle

Cloud-KI-Anbieter

Nutze einen Cloud-KI-Anbieter über einen Standard-API-Endpunkt. Deine Prompts und Textinhalte verlassen deinen PC, sensible Daten werden an diesen Anbieter gesendet. Diese Option eignet sich für komplexe Logik, bei der du ein stärkeres Modell als das integrierte benötigst.

Lokales PC-Modell

Führe ein Modell lokal auf deinem PC aus. Bei einem lokalen Modell werden Prompts und Textinhalte nicht an einen Anbieter gesendet, optionale Netzwerkfunktionen wie Websuche oder Update-Prüfungen können jedoch weiterhin das Netzwerk nutzen. Diese Option eignet sich für sensible Arbeiten, bei denen du die volle Kontrolle über die Umgebung bevorzugst. Du verwaltetst die für Inferenz und Skriptausführung erforderlichen Hardware-Ressourcen.

Integriertes Modell

Nutze das integrierte Modell für schnelle Aufgaben ohne Konfiguration externer Verbindungen. Diese Option ist ohne eigenen Endpunkt sofort einsatzbereit.

Verbindungsqualität prüfen

Die Schaltfläche „Test“ prüft deine Endpunktverbindung. Sie zeigt die Antwortzeit und die Größe des Kontextfensters an. So stellst du sicher, dass das Modell für Quantisierungsaufgaben bereit ist. Du siehst reale Metriken, bevor du mit der Arbeit beginnst.

Modell für Aufgaben auswählen

Nutze ein größeres Modell für komplexe Refactorings und Logik. Nutze ein kleineres Modell für kleine Änderungen. Übertrage schwierige Schritte mit run_on_model an ein größeres Modell. Dies gewährleistet Qualität bei schwierigen Quantisierungsentscheidungen.

Die Qualität variiert je nach Modell und Aufgabe. Überprüfe den Diff im Modus Ask first. So siehst du Änderungen, bevor sie übernommen werden. Du behältst die Kontrolle über jede Dateiänderung.