ModelTrim
เวิร์กโฟลว์

เวิร์กโฟลว์การบีบอัดโมเดล machine learning

03
ประมาณการน้ำหนัก

ประมาณการขนาดน้ำหนักก่อนดาวน์โหลด

ก่อนดาวน์โหลดโมเดลขนาดใหญ่ คุณสามารถประมาณการขนาดบนดิสก์ได้ ช่วยตรวจสอบพื้นที่ว่างและวางแผนการจัดเก็บ

01

เปิดโฟลเดอร์

เปิดโฟลเดอร์โปรเจกต์ของคุณในแชทของเอเจนต์

02

เขียนสคริปต์

สร้างสคริปต์ Python เพื่อคำนวณขนาดน้ำหนัก

03

รันคำสั่ง

รันสคริปต์ในหน้าต่างเทอร์มินัล

04

ตรวจสอบผลลัพธ์

ตรวจสอบการประมาณการขนาดที่แสดงออกสำหรับแต่ละความลึกของบิต

ตัวอย่างสคริปต์

size_estimate.py
# comment
params = 7000000000
for b in [32, 16, 8, 4]:
    size_gb = (params * b) / 1e9
    print(f"{b}-bit: {size_gb:.1f} GB") Code ready.

สคริปต์นี้ประมาณการขนาดน้ำหนักเฉพาะสำหรับโมเดลขนาด 7 พันล้านพารามิเตอร์ที่ความลึกของบิตต่างๆ โดยไม่ต้องเชื่อมต่ออินเทอร์เน็ต

ขั้นตอนการบีบอัดโมเดล deep learning

เขียนสคริปต์แปลงรูปแบบ

เอเจนต์ใช้ write_file เพื่อสร้างสคริปต์แปลงรูปแบบของคุณ และแสดง diff เพื่อให้คุณทบทวนการเปลี่ยนแปลงก่อนอนุมัติในโหมด Ask first อนุมัติแล้ว Shell รันสคริปต์แปลงรูปแบบของคุณและส่งผลลัพธ์จริง เทอร์มินัลแสดงรหัสการออกและรายละเอียดเวลาอย่างชัดเจน วิธีการ quantization แบบ 4bit ส่งผลต่อคุณภาพและความเร็วของโมเดล list_dir แสดงขนาดไฟล์ใหม่เพื่อเปรียบเทียบในวันนี้ read_file ตรวจสอบบันทึกเพื่อหาคำเตือนหรือข้อผิดพลาดที่พบ machine learning model compression ยืนยันว่าขั้นตอนเวิร์กโฟลว์มีประสิทธิภาพแล้ว

รันสคริปต์ประเมินผล

เอเจนต์เขียนสคริปต์ประเมินผลของคุณโดยใช้ edit_file และแสดง diff เพื่อให้คุณอนุมัติก่อนที่คุณจะทบทวนเมตริกเพื่อให้แน่ใจว่าการทดสอบถูกต้อง คุณอนุมัติ เอเจนต์รันสคริปต์ผ่าน Shell และรายงานรหัสการออก คะแนน Perplexity และความแม่นยำจะปรากฏเมื่อสคริปต์ประเมินผลของคุณพิมพ์ออกมา การแลกเปลี่ยน Quantization ในการ inference ของ llm ส่งผลต่อความเร็วและคุณภาพ ดังนั้นคุณจึงวัดจำนวนโทเค็นต่อวินาที เอเจนต์ใช้ grep เพื่อค้นหาผลลัพธ์สำหรับคะแนนสำคัญ คุณเปรียบเทียบผลลัพธ์เหล่านี้กับค่าพื้นฐานของคุณเพื่อตัดสินใจว่าความสูญเสียของคุณภาพนั้นยอมรับได้หรือไม่ ขั้นตอนการบีบอัดโมเดล deep learning นี้ช่วยให้คุณสร้าง dynamic quant ของตัวเองได้

ModelTrim สำหรับ Windows

เริ่มเวิร์กโฟลว์การบีบอัดของคุณ

ดาวน์โหลด ModelTrim ↗