Otwórz folder
Otwórz folder projektu w czacie agenta.
Przepływy pracy
przepływ pracy nad kompresją modeli uczenia maszynowego
03
Szacuj rozmiar wag przed pobraniem
Przed pobraniem dużego modelu możesz oszacować jego rozmiar na dysku. Pomaga to sprawdzić wolną przestrzeń i zaplanować potrzeby magazynowe.
Napisz skrypt
Stwórz skrypt Pythona do obliczania rozmiarów wag.
Uruchom polecenie
Wykonaj skrypt w oknie terminala.
Sprawdź wynik
Przejrzyj wydrukowane szacunki rozmiaru dla każdej precyzji bitowej.
Przykładowy skrypt
Napisz skrypt do szacowania rozmiaru wag modelu.
- write_file
size_estimate.pysaved - Shell
python size_estimate.pyexit 0 - read_file
size_estimate.py18 lines - Shell
python size_estimate.pyexit 0
oczekiwanie na Twoją zgodę przed wykonaniem kolejnego krokuOdrzućAkceptuj
size_estimate.py
# comment
params = 7000000000
for b in [32, 16, 8, 4]:
size_gb = (params * b) / 1e9
print(f"{b}-bit: {size_gb:.1f} GB") Code ready.Ten skrypt szacuje rozmiar wag wyłącznie dla modelu o 7 miliardach parametrów w różnych precyzjach bitowych, bez dostępu do sieci.
kroki kompresji modeli deep learning
Napisz skrypt konwersji
Agent używa write_file do stworzenia skryptu konwersji i pokazuje diff, abyś mógł przejrzeć zmiany przed zatwierdzeniem w trybie Ask first. Zatwierdź go. Shell uruchamia skrypt konwersji i zwraca rzeczywisty wynik. Terminal wyświetla kod wyjścia i szczegóły czasowe w przejrzysty sposób. Różnica między metodami kwantyzacji 4bit wpływa na jakość i szybkość modelu. list_dir pokazuje nowy rozmiar pliku dla celów porównawczych. read_file sprawdza logi pod kątem ostrzeżeń lub błędów. kompresja modeli uczenia maszynowego potwierdza skuteczność kroków przepływu pracy.
Uruchom skrypt ewaluacji
Agent pisze twój skrypt ewaluacji za pomocą edit_file i pokazuje diff do zatwierdzenia, zanim przejrzysz metryki, aby upewnić się, że testy są poprawne. Zatwierdzasz. Agent uruchamia skrypt przez Shell i raportuje kod wyjścia. Wyniki perplexity i dokładności pojawiają się, gdy twój skrypt ewaluacji je wypisuje. Kompromisy kwantyzacji w wnioskowaniu LLM wpływają na szybkość i jakość, więc mierzysz tokeny na sekundę. Agent używa grep do wyszukania kluczowych wyników w outputcie. Porównujesz te wyniki z bazą, aby zdecydować, czy utrata jakości jest akceptowalna. Ten krok kompresji modeli deep learning pomaga ci wygenerować własną dynamiczną kwantyzację.
