Buka folder
Buka folder proyek Anda di obrolan agen.
Alur Kerja
alur kerja kompresi model machine learning
03
Perkirakan ukuran bobot sebelum unduhan
Sebelum mengunduh model besar, Anda dapat memperkirakan ukurannya di disk. Ini membantu Anda memeriksa ruang kosong dan merencanakan kebutuhan penyimpanan.
Tulis skrip
Buat skrip Python untuk menghitung ukuran bobot.
Jalankan perintah
Eksekusi skrip di jendela terminal.
Periksa output
Periksa estimasi ukuran yang ditampilkan untuk setiap kedalaman bit.
Contoh skrip
Tulis skrip untuk memperkirakan ukuran bobot model.
- write_file
size_estimate.pysaved - Shell
python size_estimate.pyexit 0 - read_file
size_estimate.py18 lines - Shell
python size_estimate.pyexit 0
menunggu persetujuan Anda sebelum langkah berikutnyaTolakTerima
size_estimate.py
# comment
params = 7000000000
for b in [32, 16, 8, 4]:
size_gb = (params * b) / 1e9
print(f"{b}-bit: {size_gb:.1f} GB") Code ready.Skrip ini hanya memperkirakan ukuran bobot untuk model dengan 7 miliar parameter pada berbagai kedalaman bit tanpa akses jaringan.
langkah kompresi model deep learning
Tulis skrip konversi
Agen menggunakan write_file untuk membuat skrip konversi Anda dan menampilkan diff agar Anda dapat meninjau perubahan sebelum menyetujuinya dalam mode Ask first. Setujui. Shell menjalankan skrip konversi Anda dan mengembalikan output asli. Terminal menampilkan kode keluar dan detail waktu dengan jelas. Perbedaan antara metode kuantisasi 4bit memengaruhi kualitas dan kecepatan model. list_dir menunjukkan ukuran file baru untuk tujuan perbandingan hari ini. read_file memeriksa log untuk peringatan atau kesalahan apa pun yang ditemukan. model quantization and compression mengonfirmasi langkah-langkah alur kerja secara efektif sekarang.
Jalankan skrip evaluasi
Agen menulis skrip evaluasi Anda menggunakan edit_file dan menampilkan diff untuk persetujuan Anda sebelum Anda meninjau metrik untuk memastikan bahwa pengujian benar. Anda menyetujui. Agen menjalankan skrip melalui Shell dan melaporkan kode keluar. Skor perplexity dan akurasi muncul ketika skrip evaluasi Anda mencetaknya. Tradeoff kuantisasi dalam inferensi llm memengaruhi kecepatan dan kualitas, jadi Anda mengukur token per detik. Agen menggunakan grep untuk mencari output untuk skor kunci. Anda membandingkan hasil ini dengan baseline Anda untuk memutuskan apakah penurunan kualitas dapat diterima. Langkah model quantization and compression ini membantu Anda menghasilkan kuantisasi dinamis saya sendiri.
