Jalankan skrip Anda
Agen membuat dan menjalankan skrip konversi Anda, lalu menampilkan outputnya.
Produk
agen kuantisasi jaringan saraf untuk Windows
01
ModelTrim adalah agen otonom yang membantu Anda menjalankan tugas dengan model jaringan saraf terkuantisasi pada proyek Anda sendiri. Ia menjalankan skrip Anda dan menampilkan hasil aslinya langsung di sistem Anda.
Kelola file
Ia membaca, menulis, dan mengedit file Python serta log Anda di dalam folder obrolan.
Periksa hasil
Ia menjalankan perintah evaluasi Anda dan menampilkan kode keluar serta output yang sebenarnya.
Fitur untuk alur kerja Anda
- Filebaca, tulis, edit, hapus, dan cari file langsung di folder kerja Anda.
- Shelljalankan perintah terminal dan lihat kode keluar serta output yang sebenarnya.
- Webcari di web atau ambil halaman dokumentasi untuk pustaka Anda.
- Tangkapan layar dan gambargunakan OCR pada tangkapan layar atau buat file gambar.
- Orkestrasijalankan sub-agen paralel atau kirim langkah keras ke model yang lebih besar.
- Mode persetujuangunakan Auto-run, Ask first, atau Plan only untuk kontrol Anda.
- Cronjadwalkan prompt untuk berjalan pada jadwal tertentu secara otomatis.
- Modelsambungkan ke penyedia cloud atau model lokal di PC Anda.
Bagaimana agen membantu
Agen tidak melakukan kuantisasi model itu sendiri; skrip atau pustaka Anda yang melakukan pekerjaan tersebut.
Buat skrip untuk memperkirakan ukuran bobot pada berbagai jumlah bit.
- write_file
size_estimate.pysaved - edit_file
size_estimate.pyedited - Shell
python size_estimate.pyexit 0 - read_file
size_estimate.pyread - Shell
python size_estimate.pyexit 0
menunggu persetujuan Anda sebelum langkah berikutnyaTolakTerima
Panduan langkah demi langkah
Perkirakan ukuran model
Anda meminta agen untuk memperkirakan ukuran bobot model buatan pada 32, 16, 8, dan 4 bit, dan agen menggunakan write_file untuk membuat skrip dengan perhitungan matematika sederhana. Skrip dijalankan. Anda meninjau skrip dalam mode Ask first sebelum menerima perubahan. Pemangkasan dan distilasi adalah teknik terpisah yang dapat digabungkan dengan kuantisasi. Anda harus mengukur kualitas sebelum memilih jalur kompresi untuk model Anda. Menjelajahi pemangkasan versus kuantisasi tingkat sangat rendah membantu Anda memutuskan jalur kompresi terbaik. Proses ini mendemonstrasikan teknik kuantisasi jaringan saraf untuk tim Anda. Kompresi model deep learning mengorbankan sebagian kualitas demi ukuran file yang lebih kecil.
Jalankan skrip konversi
Agen menulis skrip evaluasi Anda dengan write_file dan mode Ask first menampilkan diff sehingga Anda dapat meninjau perubahan sebelum menerimanya. Shell menjalankannya. Anda melihat output dan kode keluar yang sebenarnya di obrolan. Ini memastikan Anda mengendalikan proses evaluasi di sistem Anda sendiri. Ketika Anda membutuhkan panduan kuantisasi, agen membantu Anda mengukur kualitas dan kecepatan. Pendekatan ini mendukung kompresi model deep learning dengan menjaga file model asli Anda tetap tidak tersentuh. Tindakan muncul di obrolan sebagai kartu dengan hasilnya. Anda dapat membaca log dengan read_file dan grep untuk memverifikasi data.
Apa yang tidak dilakukan ModelTrim
ModelTrim bukan layanan yang di-host atau plugin; ia dimaksudkan hanya untuk file, PC, dan server Anda sendiri yang Anda miliki hak akses. Ia tidak melakukan kuantisasi model itu sendiri, skrip konversi Anda yang melakukannya, dan ia tidak memaksakan ruang lingkup, sehingga Anda tetap mengerjakan model dan sistem Anda sendiri. Itulah sebabnya Anda mungkin bertanya apa model terbaik untuk fine-tuning dengan kuantisasi.
