ModelTrim
İş Akışları

makine öğrenimi model sıkıştırma iş akışı

03
Ağırlık boyutunu tahmin et

İndirmeden önce ağırlık boyutunu tahmin et

Büyük bir modeli indirmeden önce diskte kaplayacağı alanı tahmin edebilirsiniz. Bu, boş alanı kontrol etmenize ve depolama ihtiyaçlarınızı planlamanıza yardımcı olur.

01

Klasörü aç

Proje klasörünüzü ajan sohbetinde açın.

02

Betik yaz

Ağırlık boyutlarını hesaplamak için bir Python betiği oluşturun.

03

Komutu çalıştır

Betik terminal penceresinde yürütün.

04

Çıktıyı kontrol et

Her bit derinliği için yazdırılan boyut tahminlerini gözden geçirin.

Örnek betik

size_estimate.py
# comment
params = 7000000000
for b in [32, 16, 8, 4]:
    size_gb = (params * b) / 1e9
    print(f"{b}-bit: {size_gb:.1f} GB") Code ready.

Bu betik, ağ bağlantısı olmadan farklı bit derinliklerinde yalnızca 7 milyar parametreli bir model için ağırlık boyutunu tahmin eder.

model sıkıştırma derin öğrenme adımları

Dönüşüm betiği yaz

Ajan, dönüşüm betiğinizi oluşturmak için write_file kullanır ve Ask first modunda onaylamadan önce değişiklikleri gözden geçirebilmeniz için bir diff gösterir. Onaylayın. Shell dönüşüm betiğinizi çalıştırır ve gerçek çıktıyı döndürür. Terminal, çıkış kodunu ve zamanlama ayrıntılarını net bir şekilde gösterir. 4bit nicelleme yöntemleri arasındaki fark model kalitesini ve hızını etkiler. list_dir karşılaştırma amacıyla yeni dosya boyutunu gösterir. read_file günlüklerde herhangi bir uyarı veya hata olup olmadığını kontrol eder. makine öğrenimi model sıkıştırma, iş akışı adımlarının etkili olduğunu doğrular.

Değerlendirme betiği çalıştır

Ajan, metrikleri gözden geçirmeden önce testin doğru olduğundan emin olmanız için onayınız için bir diff göstererek edit_file kullanarak değerlendirme betiğinizi yazar. Onaylarsınız. Ajan betiği Shell aracılığıyla çalıştırır ve çıkış kodunu bildirir. Değerlendirme betiğiniz bunları yazdırdığında Perplexity ve doğruluk skorları görünür. llm çıkarımındaki nicelleme ödünleşimleri hız ve kaliteyi etkilediğinden, saniyedeki token sayısını ölçersiniz. Ajan, anahtar skorları çıktıda aramak için grep kullanır. Kalite kaybının kabul edilebilir olup olmadığını karar vermek için bu sonuçları taban çizginizle karşılaştırırsınız. Bu model sıkıştırma derin öğrenme adımı, kendi dinamik nicellememi oluşturmama yardımcı olur.

Windows için ModelTrim

Sıkıştırma iş akışınıza başlayın

ModelTrim'i İndir ↗