ModelTrim
Quy trình

Quy trình nén mô hình học máy

03
Ước lượng trọng số

Ước lượng kích thước trọng số trước khi tải xuống

Trước khi tải xuống một mô hình lớn, bạn có thể ước lượng kích thước của nó trên đĩa. Điều này giúp bạn kiểm tra dung lượng trống và lên kế hoạch cho nhu cầu lưu trữ.

01

Mở thư mục

Mở thư mục dự án của bạn trong cửa sổ chat của agent.

02

Viết script

Tạo một script Python để tính toán kích thước trọng số.

03

Chạy lệnh

Thực thi script trong cửa sổ terminal.

04

Kiểm tra kết quả

Xem lại các ước lượng kích thước được in ra cho từng độ sâu bit.

Script ví dụ

size_estimate.py
# comment
params = 7000000000
for b in [32, 16, 8, 4]:
    size_gb = (params * b) / 1e9
    print(f"{b}-bit: {size_gb:.1f} GB") Code ready.

Script này chỉ ước lượng kích thước trọng số cho một mô hình 7 tỷ tham số ở các độ sâu bit khác nhau mà không cần truy cập mạng.

Các bước nén mô hình học sâu

Viết script chuyển đổi

Agent sử dụng write_file để tạo script chuyển đổi của bạn và hiển thị diff để bạn xem xét các thay đổi trước khi phê duyệt ở chế độ Ask first. Phê duyệt nó. Shell chạy script chuyển đổi của bạn và trả về kết quả thực tế. Terminal hiển thị mã thoát và chi tiết thời gian một cách rõ ràng. Sự khác biệt giữa các phương pháp lượng hóa 4bit ảnh hưởng đến chất lượng và tốc độ của mô hình. list_dir hiển thị kích thước tệp mới để so sánh cho ngày hôm nay. read_file kiểm tra nhật ký để tìm bất kỳ cảnh báo hoặc lỗi nào. machine learning model compression xác nhận các bước quy trình hiệu quả bây giờ.

Chạy script đánh giá

Agent viết script đánh giá của bạn bằng edit_file và hiển thị diff để bạn phê duyệt trước khi bạn xem xét các chỉ số để đảm bảo rằng việc kiểm tra là chính xác. Bạn phê duyệt. Agent chạy script thông qua Shell và báo cáo mã thoát. Các điểm perplexity và độ chính xác xuất hiện khi script đánh giá của bạn in chúng ra. Các sự đánh đổi lượng hóa trong suy luận llm ảnh hưởng đến tốc độ và chất lượng, vì vậy bạn đo lường số token mỗi giây. Agent sử dụng grep để tìm kiếm các điểm số chính trong kết quả. Bạn so sánh những kết quả này với đường cơ sở của bạn để quyết định xem mức giảm chất lượng có thể chấp nhận được hay không. Bước nén mô hình học sâu này giúp bạn tạo ra lượng hóa động của riêng mình.

ModelTrim cho Windows

Bắt đầu quy trình nén của bạn

Tải xuống ModelTrim ↗