ModelTrim
سير العمل

سير عمل ضغط نماذج التعلم الآلي

03
تقدير الأوزان

تقدير حجم الأوزان قبل التحميل

قبل تحميل نموذج كبير، يمكنك تقدير حجمه على القرص. يساعدك ذلك في التحقق من المساحة المتاحة وتخطيط احتياجات التخزين.

01

فتح المجلد

افتح مجلد مشروعك في دردشة الوكيل.

02

كتابة النص البرمجي

أنشئ نصًا برمجيًا بلغة Python لحساب أحجام الأوزان.

03

تشغيل الأمر

نفّذ النص البرمجي في نافذة طرفية (Terminal).

04

فحص المخرجات

راجع تقديرات الأحجام المطبوعة لكل عمق بت.

نموذج نص برمجي

size_estimate.py
# comment
params = 7000000000
for b in [32, 16, 8, 4]:
    size_gb = (params * b) / 1e9
    print(f"{b}-bit: {size_gb:.1f} GB") Code ready.

يُقدّر هذا النص البرمجي حجم الأوزان فقط لنموذج يحتوي على 7 مليارات معلمة بأعماق بت مختلفة دون الحاجة إلى اتصال بالشبكة.

خطوات ضغط نماذج التعلم العميق

كتابة نص التحويل

يستخدم الوكيل أداة write_file لإنشاء نص التحويل الخاص بك ويعرض الفرق (diff) لمراجعتك قبل الموافقة في وضع Ask first. وافق عليه. تقوم Shell بتشغيل نص التحويل الخاص بك وتُرجع المخرجات الفعلية. يعرض الطرفي رمز الخروج وتفاصيل التوقيت بوضوح. يؤثر الاختلاف بين طرق الكمّنة 4-bit على جودة النموذج وسرعته. تُظهر أداة list_dir حجم الملف الجديد لأغراض المقارنة اليوم. تتحقق أداة read_file من السجلات بحثًا عن أي تحذيرات أو أخطاء. يؤكد ضغط نماذج تعلم الآلة أن خطوات سير العمل فعالة الآن.

تشغيل نص التقييم

يكتب الوكيل نص التقييم الخاص بك باستخدام edit_file ويعرض الفرق للموافقة قبل أن تراجع المقاييس للتأكد من صحة الاختبار. توافق. يشغل الوكيل النص عبر Shell ويُبلغ عن رمز الخروج. تظهر درجات التشتت (Perplexity) والدقة عندما يطبع نص التقييم الخاص بها. تؤثر مقايضات الكمّنة في استنتاج النماذج اللغوية الكبيرة (LLM) على السرعة والجودة، لذا تقيس الرموز في الثانية. يستخدم الوكيل أداة grep للبحث في المخرجات عن الدرجات الرئيسية. تقارن هذه النتائج مع خط الأساس الخاص بك لتقرر ما إذا كانت خسارة الجودة مقبولة. تساعد خطوة ضغط نماذج التعلم العميق هذه في توليد الكمّنة الديناميكية الخاصة بي.

ModelTrim لنظام Windows

ابدأ سير عمل الضغط الخاص بك

تحميل ModelTrim ↗