Откройте папку
Откройте папку проекта в чате агента.
Рабочие процессы
рабочий процесс сжатия моделей машинного обучения
03
Оцените размер весов перед загрузкой
Перед загрузкой крупной модели можно оценить её размер на диске. Это поможет проверить свободное место и спланировать потребности в хранилище.
Напишите скрипт
Создайте Python-скрипт для расчёта размеров весов.
Выполните команду
Запустите скрипт в окне терминала.
Проверьте вывод
Просмотрите распечатанные оценки размера для каждой разрядности.
Пример скрипта
Напишите скрипт для оценки размера весов модели.
- write_file
size_estimate.pysaved - Shell
python size_estimate.pyexit 0 - read_file
size_estimate.py18 lines - Shell
python size_estimate.pyexit 0
ожидает вашего подтверждения перед следующим шагомОтклонитьПринять
size_estimate.py
# comment
params = 7000000000
for b in [32, 16, 8, 4]:
size_gb = (params * b) / 1e9
print(f"{b}-bit: {size_gb:.1f} GB") Code ready.Этот скрипт оценивает размер весов только для модели на 7 миллиардов параметров при разной разрядности без доступа к сети.
этапы сжатия моделей глубокого обучения
Напишите скрипт конвертации
Агент использует write_file для создания вашего скрипта конвертации и показывает diff, чтобы вы могли просмотреть изменения перед утверждением в режиме Ask first. Утвердите его. Shell запускает ваш скрипт конвертации и возвращает реальный вывод. Терминал чётко отображает код выхода и временные детали. Разница между методами квантования 4bit влияет на качество и скорость модели. list_dir показывает размер нового файла для сравнения сегодня. read_file проверяет логи на наличие предупреждений или ошибок. сжатие моделей машинного обучения подтверждает, что шаги рабочего процесса эффективны сейчас.
Запустите скрипт оценки
Агент пишет ваш скрипт оценки с помощью edit_file и показывает diff для вашего утверждения, прежде чем вы просмотрите метрики, чтобы убедиться, что тестирование корректно. Вы утверждаете. Агент запускает скрипт через Shell и сообщает код выхода. Показатели перплексии и точности появляются, когда ваш скрипт оценки выводит их. Компромиссы квантования при выводе llm влияют на скорость и качество, поэтому вы измеряете токены в секунду. Агент использует grep для поиска ключевых показателей в выводе. Вы сравниваете эти результаты с базовым уровнем, чтобы решить, приемлема ли потеря качества. Этот этап сжатия моделей глубокого обучения помогает вам генерировать мою собственную динамическую квантовку.
