Betiklerinizi çalıştırın
Ajan, dönüştürme betiklerinizi oluşturur ve çalıştırır, ardından çıktıyı gösterir.
Ürün
Windows için nöral ağ nicelleme ajanı
01
ModelTrim, kendi projelerinizde nicelleme nöral ağ modeliyle görevleri yerine getirmenize yardımcı olan otonom bir ajandır. Betiklerinizi çalıştırır ve gerçek sonuçları doğrudan sisteminizde gösterir.
Dosyaları yönetin
Sohbet klasöründeki Python dosyalarınızı ve günlükleri okur, yazar ve düzenler.
Sonuçları kontrol edin
Değerlendirme komutlarınızı çalıştırır ve gerçek çıkış kodunu ile çıktıyı gösterir.
İş akışınız için özellikler
- DosyalarÇalışma klasörünüzdeki dosyaları doğrudan okuyun, yazın, düzenleyin, silin ve arayın.
- Kabuk (Shell)Terminal komutlarını çalıştırın ve gerçek çıkış kodunu ile çıktıyı görün.
- WebKütüphaneniz için web'de arama yapın veya dokümanasyon sayfalarını getirin.
- Ekran görüntüleri ve resimlerEkran görüntülerinde OCR kullanın veya resim dosyaları oluşturun.
- OrkestrasyonParalel alt ajanları çalıştırın veya zorlu adımları daha büyük modellere gönderin.
- Onay modlarıKontrolünüz için Auto-run, Ask first veya Plan only kullanın.
- CronBelirli bir zamanlamada otomatik olarak çalışacak istemleri zamanlayın.
- ModellerBir bulut sağlayıcısına veya PC'nizdeki yerel modele bağlanın.
Ajan nasıl yardımcı olur
Ajan modeli doğrudan nicellemez; bu işi sizin betiğiniz veya kütüphanesi yapar.
Farklı bit sayılarında ağırlık boyutunu tahmin etmek için bir betik oluşturun.
- write_file
size_estimate.pykaydedildi - edit_file
size_estimate.pydüzenlendi - Shell
python size_estimate.pyexit 0 - read_file
size_estimate.pyokundu - Shell
python size_estimate.pyexit 0
bir sonraki adımdan önce onayınızı bekliyorReddetKabul Et
Adım adım kılavuzlar
Model boyutunu tahmin edin
Ajanı, hayali bir modelin ağırlık boyutunu 32, 16, 8 ve 4 bit için tahmin etmesi için istersiniz; ajan, basit aritmetik işlemler içeren bir betik oluşturmak için write_file kullanır. Çalıştırır. Değişiklikleri kabul etmeden önce Ask first modunda betiği gözden geçirirsiniz. Budama (pruning) ve distilasyon, nicelleme ile birleştirilebilen ayrı tekniklerdir. Modeliniz için bir sıkıştırma yolu seçmeden önce kaliteyi ölçmelisiniz. Budama ile çok düşük nicelleme arasındaki karşılaştırma, en iyi sıkıştırma yolunu belirlemenize yardımcı olur. Bu süreç, ekibiniz için nöral ağ nicelleme tekniklerini gösterir. Derin öğrenme model sıkıştırma, daha küçük bir dosya karşılığında bazı kaliteden ödün verir.
Dönüşüm betiğini çalıştırın
Ajan, değerlendirme betiğinizi write_file ile yazar ve Ask first modu, değişiklikleri kabul etmeden önce gözden geçirebilmeniz için farkı gösterir. Shell betiği çalıştırır. Sohbet penceresinde gerçek çıktıyı ve çıkış kodunu görürsünüz. Bu, değerlendirme sürecini kendi sisteminizde kontrol ettiğinizden emin olmanızı sağlar. Nicelleme rehberliğine ihtiyacınız olduğunda ajan, kalite ve hızı ölçmenize yardımcı olur. Bu yaklaşım, orijinal model dosyanızın dokunulmaz kalmasını sağlayarak derin öğrenme model sıkıştırmasını destekler. Eylemler, sonuçlarıyla birlikte sohbet penceresinde kartlar olarak görünür. Verileri doğrulamak için günlükleri read_file ve grep ile okuyabilirsiniz.
ModelTrim ne yapmaz
ModelTrim barındırılan bir hizmet veya eklenti değildir; yalnızca yetkili olduğunuz kendi dosyalarınız, PC'niz ve sunucularınız içindir. Bir modeli doğrudan nicellemez, bu işi dönüştürme betiğiniz yapar ve kapsamı zorlamaz, bu da çalışmanızı kendi modellerinize ve sistemlerinize yönlendirir; bu da nicelleme ile ince ayar yapmak için en iyi modelin ne olduğunu sormanızın nedenidir.
