агент для квантования нейросетей для Windows

Возможности для вашего рабочего процесса

• Файлычтение, запись, редактирование, удаление и поиск файлов прямо в вашей рабочей папке.
• Shellзапуск команд терминала и просмотр реального кода выхода и вывода.
• Вебпоиск в интернете или получение страниц документации для вашей библиотеки.
• Скриншоты и изображенияиспользование OCR на скриншотах или генерация файлов изображений.
• Оркестрациязапуск параллельных субагентов или передача сложных шагов большим моделям.
• Режимы одобренияиспользуйте Auto-run, Ask first или Plan only для вашего контроля.
• Cronпланирование запросов на запуск по определенному расписанию автоматически.
• Моделиподключение к облачному провайдеру или локальной модели на вашем ПК.

Пошаговые руководства

Оценка размера модели

Вы просите агента оценить размер весов вымышленной модели при 32, 16, 8 и 4 битах, и агент использует write_file для создания скрипта с простой арифметикой. Он запускается. Вы просматриваете скрипт в режиме Ask first перед тем, как принять изменения. Отсечение и дистилляция — это отдельные методы, которые можно комбинировать с квантованием. Вы должны измерить качество перед выбором пути сжатия для вашей модели. Изучение отсечения по сравнению с очень низким квантованием помогает решить лучший путь сжатия. Этот процесс демонстрирует техники квантования нейросетей для вашей команды. Сжатие моделей глубокого обучения жертвует некоторым качеством ради меньшего размера файла.

Запуск скрипта конвертации

Агент пишет ваш скрипт оценки с помощью write_file, а режим Ask first показывает diff, чтобы вы могли просмотреть изменения перед их принятием. Shell запускает его. Вы видите реальный вывод и код выхода в чате. Это гарантирует, что вы контролируете процесс оценки в своей собственной системе. Когда вам нужна помощь в квантовании, агент помогает измерить качество и скорость. Этот подход поддерживает сжатие моделей глубокого обучения, сохраняя исходный файл модели нетронутым. Действия отображаются в чате в виде карточек с их результатами. Вы можете прочитать логи с помощью read_file и grep, чтобы проверить данные.