Відкрийте папку
Відкрийте папку проєкту в чаті агента.
Робочі процеси
робочий процес стиснення моделей машинного навчання
03
Оцініть розмір ваг перед завантаженням
Перед завантаженням великої моделі ви можете оцінити її розмір на диску. Це допоможе перевірити вільне місце та спланувати потреби у сховищі.
Напишіть скрипт
Створіть Python-скрипт для обчислення розміру ваг.
Запустіть команду
Виконайте скрипт у вікні терміналу.
Перевірте вивід
Ознайомтеся з оцінками розміру для кожної глибини бітів.
Приклад скрипта
Напишіть скрипт для оцінки розміру ваг моделі.
- write_file
size_estimate.pysaved - Shell
python size_estimate.pyexit 0 - read_file
size_estimate.py18 lines - Shell
python size_estimate.pyexit 0
чекає на вашу згоду перед наступним крокомВідхилитиПрийняти
size_estimate.py
# comment
params = 7000000000
for b in [32, 16, 8, 4]:
size_gb = (params * b) / 1e9
print(f"{b}-bit: {size_gb:.1f} GB") Code ready.Цей скрипт оцінює розмір ваг лише для моделі з 7 мільярдами параметрів за різної глибини бітів без доступу до мережі.
кроки стиснення моделей у глибокому навчанні
Напишіть скрипт конвертації
Агент використовує write_file для створення вашого скрипта конвертації та показує diff, щоб ви могли переглянути зміни перед затвердженням у режимі Ask first. Затвердіть його. Shell запускає ваш скрипт конвертації та повертає реальний вивід. Термінал чітко відображає код виходу та деталі часу виконання. Різниця між методами квантування 4bit впливає на якість та швидкість моделі. list_dir показує розмір нового файла для порівняння сьогодні. read_file перевіряє логи на наявність застережень або помилок. стиснення моделей машинного навчання підтверджує, що кроки робочого процесу ефективно працюють зараз.
Запустіть скрипт оцінювання
Агент пише ваш скрипт оцінювання за допомогою edit_file та показує diff для вашого затвердження, перш ніж ви переглянете метрики, щоб переконатися, що тестування правильне. Ви затверджуєте. Агент запускає скрипт через Shell та повідомляє код виходу. Показники перплексії та точності з'являються, коли ваш скрипт оцінювання виводить їх. Компроміси квантування в інференсі llm впливають на швидкість та якість, тому ви вимірюєте токени за секунду. Агент використовує grep для пошуку ключових показників у виводі. Ви порівнюєте ці результати зі своїм базовим рівнем, щоб вирішити, чи є втрата якості прийнятною. Цей крок стиснення моделей глибокого навчання допомагає вам згенерувати власне динамічне квантування.
