أسئلة شائعة حول الكمّنة في الشبكات العصبية
أساسيات الكمّنة
ما هي الكمّنة في الشبكات العصبية؟
الكمّنة في الشبكات العصبية هي طريقة لتخزين أوزان النموذج بعدد أقل من البتات، مثل الأعداد الصحيحة 4-بت، وهي تتنازل عن الجودة مقابل ملفات أصغر واستهلاك أقل للذاكرة. قس الفقد. تحقق من الارتباك (perplexity) على مجموعة الاختبار الخاصة بك للتحقق من المقايضة.
كيف تعمل كمّنة نماذج التعلم العميق؟
كمّنة نماذج التعلم العميق هي تقنية ضغط تخزن الأوزان بدقة أقل، مما يقلل من استخدام الذاكرة بينما تحافظ الدقة المختلطة على الطبقات الحساسة بدقة أعلى. قد تنخفض الجودة. تساعد بيانات المعايرة في اختيار المقاييس للتحويل بعد التدريب للحفاظ على الدقة.
ما هو فرق الحجم بين مستويات الدقة؟
يخزن ضغط النموذج الأوزان بعدد أقل من البتات، لذا يحتاج نموذج بـ 7 مليارات معلمة إلى حوالي 14 جيجابايت عند 16 بت، لكنه ينكمش إلى 3.5 جيجابايت عند 4 بت. هذه هي الكمّنة. قد تكون هناك أمور تود معرفتها حول الكمّنة فيما يتعلق بهذه التخفيضات المحددة في الحجم.
كيف أقيس الجودة بعد الضغط؟
الجودة هي مقياس لكيفية احتفاظ النموذج المضغوط بقدراته ودقته الأصلية، لذا يجب عليك مقارنة الارتباك (perplexity) على عينة نصية للتحقق من النتائج. تحقق من الدقة. شغّل معايير القياس للنماذج اللغوية الكبيرة المضغوطة مقابل الدقة الكاملة على Windows 10 أو 11 عبر SSH.
استخدام ModelTrim
هل يعمل ModelTrim على Windows؟
نعم، يعمل ModelTrim على Windows 10 و 11، ويشغل سكربتاتك مع عرض كل إجراء كبطاقة في الدردشة. هذا صحيح. يحدد حجم الذاكرة العشوائية للفيديو مقابل حجم السياق مقابل كمّنة الذاكرة حدود النشر الخاصة بك.
كيف يتعامل الوكيل مع تغييرات الملفات؟
يحرر الوكيل سكربتاتك باستخدام edit_file ويعرض الفرق (diff) قبل قبول التغييرات، بينما يعمل Auto-run فوراً ويكتب Plan only خطة. نعم، يفعل ذلك. يسجل الملفات التي تم إنشاؤها أو تحريرها أو قراءتها في الدردشة.
ماذا يحدث عندما يشغل الوكيل أمراً؟
الوكيل هو وكيل ذكاء اصطناعي مستقل يشغل الأمر ويعرض رمز الخروج الفعلي والإخراج على الفور للتحقق، ويمكنك تأكيد النتيجة. Ask first يوقف التنفيذ. يتوقف قبل الإجراءات التي تغير شيئاً في مجلد العمل.
هل النتائج صحيحة دائماً؟
لا، يبلغ الوكيل عما يراه ويجب عليك التحقق من الفرق لأن كمّنة النموذج تغير المخرجات، وعليك قياس الجودة. استخدم مجموعة الاختبار الخاصة بك. تحقق من النتائج باستخدام بياناتك وسجلاتك الخاصة لرؤية مقدار تغير الجودة.
النماذج والخصوصية والتنزيل
هل تخرج ملفات من جهاز الكمبيوتر؟
نعم، مع مزود السحابة يرسل الوكيل نص الطلب ومحتوى الملف إلى ذلك المزود، بينما مع النموذج المحلي لا يخرج شيء من جهاز الكمبيوتر. تبقى الدردشات على جهازك. تبقى مفاتيح API ومجلدات العمل آمنة محلياً على جهاز الكمبيوتر الخاص بك.
كيف أتحقق من المثبت؟
مجموع التحقق SHA-256 هو بصمة رقمية فريدة للمثبت الذي تم تنزيله، وتتحقق منه باستخدام أمر certutil على جهازك لضمان السلامة. طابق التجزئة. قد يظهر تحذير SmartScreen، لكن يمكنك تحديد تشغيل على أي حال بعد مطابقة التجزئة تماماً.
هل modelshrink.com هو الموقع الرسمي لـ ModelTrim؟
نعم، modelshrink.com هو الموقع الرسمي لـ ModelTrim، ويمكنك تنزيل المثبت بحجم 34 ميجابايت باستخدام زر التنزيل في هذا الموقع. تحقق من مجموع التحقق. يدعم الإصدار الحالي 2.9.30 تقنيات ضغط الشبكات العصبية للنماذج.
