Conectează un Model pentru Cuantificare

ModelTrim se conectează la furnizorul AI ales, astfel încât modelul să poată planifica și scrie scripturi de cuantificare, iar Shell să le execute pe PC-ul sau serverul tău. În modul Ask first, aprobi fiecare acțiune care modifică fișierele.

Alege Sursa Modelului Tău

Furnizor AI Cloud

Folosește un furnizor AI cloud printr-un endpoint API standard. Solicitărilor tale și textul fișierelor părăsesc PC-ul, așa că datele sensibile ajung la acel furnizor. Această opțiune se potrivește logicii complexe, unde ai nevoie de un model mai puternic decât cel integrat.

Model Local pe PC

Rulează un model local pe PC-ul tău. Cu un model local, solicitările și textul fișierelor nu sunt trimise către un furnizor, deși funcțiile opționale de rețea, cum ar fi căutarea web sau verificarea actualizărilor, pot folosi totuși rețeaua. Această opțiune se potrivește lucrărilor sensibile, unde preferi controlul total asupra mediului. Tu gestionezi resursele hardware necesare inferenței și execuției scripturilor.

Model Integrat

Folosește modelul integrat pentru sarcini rapide, fără a configura conexiuni externe. Această opțiune este gata de utilizare, fără endpoint-ul tău personal.

Verifică Calitatea Conexiunii

Butonul Test verifică conexiunea la endpoint-ul tău. Afișează timpul de răspuns și dimensiunea ferestrei de context. Acest lucru te ajută să confirmi că modelul este pregătit pentru sarcinile de cuantificare. Vezi metrici reale înainte de a începe orice lucru.

Selectează Modelul pentru Sarcini

Folosește un model mai mare pentru refactorizări complexe și logică. Folosește un model mai mic pentru editări mici. Trimite pașii grei către un model mai mare cu run_on_model. Acest lucru asigură calitatea pentru deciziile dificile de cuantificare.

Calitatea variază în funcție de model și sarcină. Verifică întotdeauna diferența în modul Ask first. Acest lucru îți permite să vezi modificările înainte să fie aplicate. Rămâi în controlul fiecărei modificări de fișier.