Koppel een model voor kwantisering

ModelTrim maakt verbinding met je gekozen AI-provider, zodat het model kwantiseringsscripts kan plannen en schrijven terwijl Shell deze op je pc of server uitvoert. In Ask first mode keur je elke actie goed die je bestanden wijzigt.

Kies je modelbron

Cloud-AI-provider

Gebruik een cloud-AI-provider via een standaard API-eindpunt. Je prompts en bestandsinhoud verlaten je pc, dus gevoelige gegevens worden naar die provider gestuurd. Deze optie is geschikt voor complexe logica waarbij je een sterker model nodig hebt dan het ingebouwde model.

Lokaal model op pc

Voer een model lokaal op je pc uit. Met een lokaal model worden prompts en bestandsinhoud niet naar een provider gestuurd, hoewel optionele netwerkfuncties zoals web search of updatecontroles nog steeds gebruik kunnen maken van het netwerk. Deze optie is geschikt voor gevoelig werk waarbij je de voorkeur geeft aan volledige controle over de omgeving. Je beheert zelf de hardwarebronnen die nodig zijn voor inferentie en scriptuitvoering.

Ingebouwd model

Gebruik het ingebouwde model voor snelle taken zonder dat je externe verbindingen hoeft te configureren. Deze optie is direct klaar voor gebruik zonder je eigen eindpunt.

Controleer de verbinding

De knop Test controleert de verbinding met je eindpunt. Hij toont de responstijd en de grootte van het contextvenster. Dit helpt je om te bevestigen dat het model klaar is voor kwantiseringstaken. Je ziet echte metrics voordat je met je werk begint.

Selecteer een model voor taken

Gebruik een groter model voor complexe refactors en logica. Gebruik een kleiner model voor kleine bewerkingen. Stuur moeilijke stappen naar een groter model met run_on_model. Dit zorgt voor kwaliteit bij moeilijke kwantiseringbeslissingen.

De kwaliteit varieert per model en taak. Controleer altijd de diff in Ask first mode. Zo zie je wijzigingen voordat ze worden toegepast. Je houdt zelf de controle over elke bestandswijziging.