Connetti un modello per la quantizzazione
ModelTrim si collega al provider AI scelto in modo che il modello possa pianificare e scrivere script di quantizzazione mentre Shell li esegue sul tuo PC o server. In modalità Ask first, approvi ogni azione che modifica i tuoi file.
Scegli la fonte del modello
Provider AI cloud
Utilizza un provider AI cloud tramite un endpoint API standard. I tuoi prompt e il testo dei file escono dal PC, quindi i dati sensibili vengono inviati a quel provider. Questa opzione è adatta per logica complessa in cui hai bisogno di un modello più potente di quello integrato.
Modello locale sul PC
Esegui un modello localmente sul tuo PC. Con un modello locale, i prompt e il testo dei file non vengono inviati a un provider, sebbene le funzionalità di rete opzionali come la ricerca web o i controlli di aggiornamento possano ancora utilizzare la rete. Questa opzione è adatta per lavori sensibili in cui preferisci un controllo totale sull'ambiente. Gestisci le risorse hardware necessarie per l'inferenza e l'esecuzione degli script.
Modello integrato
Utilizza il modello integrato per attività rapide senza configurare connessioni esterne. Questa opzione è pronta all'uso senza il tuo endpoint personale.
Verifica la qualità della connessione
Il pulsante Test verifica la connessione del tuo endpoint. Mostra il tempo di risposta e la dimensione della finestra di contesto. Questo ti aiuta a confermare che il modello è pronto per le attività di quantizzazione. Vedi metriche reali prima di iniziare qualsiasi lavoro.
Seleziona il modello per le attività
Usa un modello più grande per refactoring e logica complessi. Usa un modello più piccolo per piccole modifiche. Invia i passaggi difficili a un modello più grande con run_on_model. Questo garantisce la qualità per le decisioni di quantizzazione difficili.
La qualità varia in base al modello e all'attività. Rivedi sempre il diff in modalità Ask first. Questo ti permette di vedere le modifiche prima che vengano applicate. Mantieni il controllo su ogni modifica ai file.
