Hubungkan Model untuk Kuantisasi

ModelTrim terhubung ke penyedia AI pilihan Anda agar model dapat merencanakan dan menulis skrip kuantisasi sementara Shell menjalankannya di PC atau server Anda. Dalam mode Ask first, Anda menyetujui setiap tindakan yang mengubah file Anda.

Pilih Sumber Model

Penyedia AI Cloud

Gunakan penyedia AI cloud melalui titik akhir API standar. Prompt dan teks file Anda dikirim ke penyedia tersebut, sehingga data sensitif keluar dari PC Anda. Opsi ini cocok untuk logika kompleks yang membutuhkan model lebih kuat daripada model bawaan.

Model Lokal

Jalankan model di PC Anda secara lokal. Dengan model lokal, prompt dan teks file tidak dikirim ke penyedia, meskipun fitur jaringan opsional seperti pencarian web atau pemeriksaan pembaruan mungkin masih menggunakan jaringan. Opsi ini cocok untuk pekerjaan sensitif di mana Anda menginginkan kontrol penuh atas lingkungan. Anda mengelola sumber daya perangkat keras untuk inferensi dan eksekusi skrip.

Model Bawaan

Gunakan model bawaan untuk tugas cepat tanpa konfigurasi koneksi eksternal. Opsi ini siap digunakan tanpa perlu titik akhir milik Anda sendiri.

Verifikasi Kualitas Koneksi

Tombol Test memeriksa koneksi titik akhir Anda. Tombol ini menampilkan waktu respons dan ukuran jendela konteks. Ini membantu Anda memastikan model siap untuk tugas kuantisasi. Anda melihat metrik nyata sebelum memulai pekerjaan apa pun.

Pilih Model untuk Tugas

Gunakan model yang lebih besar untuk refaktor dan logika kompleks. Gunakan model yang lebih kecil untuk pengeditan kecil. Kirim langkah sulit ke model yang lebih besar dengan run_on_model. Ini memastikan kualitas untuk keputusan kuantisasi yang sulit.

Kualitas bervariasi tergantung model dan tugas. Selalu tinjau diff dalam mode Ask first. Ini memungkinkan Anda melihat perubahan sebelum diterapkan. Anda tetap mengendalikan setiap modifikasi file.