агент для квантування моделей на Windows

Функції для вашого робочого процесу

• Файличитання, запис, редагування, видалення та пошук файлів безпосередньо у вашій робочій папці.
• Shellзапуск команд терміналу та перегляд реального коду виходу та виводу.
• Вебпошук в Інтернеті або отримання сторінок документації для вашої бібліотеки.
• Знімки екрана та зображеннявикористання OCR на знімках екрана або створення файлів зображень.
• Оркестраціязапуск паралельних субагентів або передача складних кроків більшим моделям.
• Режими затвердженнявикористовуйте Auto-run, Ask first або Plan only для вашого контролю.
• Cronпланування запуску запитів за певним графіком автоматично.
• Моделіпідключення до хмарного провайдера або локальної моделі на вашому ПК.

Інструкції

Оцініть розмір моделі

Ви просите агента оцінити розмір ваг уявної моделі для 32, 16, 8 та 4 біт, і агент використовує write_file для створення скрипта з простою арифметикою. Він запускається. Ви переглядаєте скрипт у режимі Ask first перед тим, як прийняти зміни. Pruning та дистилляція — це окремі методи, які можна поєднувати з квантуванням. Вам необхідно виміряти якість перед вибором шляху стиснення для вашої моделі. Дослідження співвідношення pruning та дуже низького квантування допомагає визначити найкращий шлях стиснення. Цей процес демонструє методи квантування нейронних мереж для вашої команди. Стиснення глибоких нейронних мереж передбачає певну втрату якості заради меншого розміру файлу.

Запустіть скрипт конвертації

Агент записує ваш скрипт оцінювання за допомогою write_file, а режим Ask first показує diff, щоб ви могли переглянути зміни перед їх прийняттям. Shell запускає його. Ви бачите реальний вивід та код виходу у чаті. Це гарантує, що ви контролюєте процес оцінювання у своїй системі. Коли вам потрібні поради щодо квантування, агент допомагає виміряти якість та швидкість. Цей підхід підтримує стиснення глибоких нейронних мереж, зберігаючи ваш оригінальний файл моделі недоторканим. Дії відображаються у чаті у вигляді карток із їхніми результатами. Ви можете прочитати логи за допомогою read_file та grep, щоб перевірити дані.