تشغيل نصوصك البرمجية
يُنشئ الوكيل نصوص التحويل الخاصة بك ويشغّلها، ثم يعرض المخرجات.
ModelTrim هو وكيل مستقل يساعدك في تنفيذ المهام مع نماذج الشبكات العصبية المكمّنة في مشاريعك الخاصة. يشغّل نصوصك البرمجية ويعرض نتائجها الفعلية مباشرة على نظامك.
يُنشئ الوكيل نصوص التحويل الخاصة بك ويشغّلها، ثم يعرض المخرجات.
يقرأ ويكتب ويحرر ملفات بايثون وسجلاتك داخل مجلد الدردشة.
يشغّل أوامر التقييم الخاصة بك ويعرض رمز الخروج الفعلي والمخرجات.
الوكيل لا يقوم بكمّنة النموذج بنفسه؛ بل تقوم بذلك نصوصك البرمجية أو المكتبة.
size_estimate.pyتم الحفظsize_estimate.pyتم التعديلpython size_estimate.pyexit 0size_estimate.pyتم القراءةpython size_estimate.pyexit 0تطلب من الوكيل تقدير حجم أوزاء نموذج افتراضي عند 32 و16 و8 و4 بتات، فيستخدم الوكيل write_file لإنشاء نص برمجي يعتمد على العمليات الحسابية البسيطة. يتم تشغيله. تراجع عن النص البرمجي في وضع Ask first قبل قبول التعديلات. يعد التقليم (Pruning) والتقطيع (Distillation) تقنيات منفصلة يمكن دمجها مع الكمّنة. يجب أن تقيس الجودة قبل اختيار مسار الضغط المناسب لنموذجك. يساعدك استكشاف الفرق بين التقليم والكمّنة المنخفضة جداً في تحديد أفضل مسار للضغط. توضح هذه العملية تقنيات كمّنة الشبكات العصبية لفريقك. يتعامل ضغط نماذج التعلم العميق مع مفاضلة بين فقدان بعض الجودة وصغر حجم الملف.
يكتب الوكيل نص التقييم الخاص بك باستخدام write_file، ويعرض وضع Ask first التغييرات (diff) لتراجعها قبل قبولها. Shell يشغّلها. ترى المخرجات الفعلية ورمز الخروج في الدردشة. يضمن ذلك تحكمك في عملية التقييم على نظامك الخاص. عندما تحتاج إلى إرشادات حول الكمّنة، يساعدك الوكيل في قياس الجودة والسرعة. يدعم هذا النهج ضغط نماذج التعلم العميق من خلال الحفاظ على ملف النموذج الأصلي دون تغيير. تظهر الإجراءات في الدردشة كبطاقات مع نتائجها. يمكنك قراءة السجلات باستخدام read_file وgrep للتحقق من البيانات.
ModelTrim ليس خدمة مستضافة أو ملحقاً؛ هو مخصص فقط لملفاتك الخاصة، وجهاز الكمبيوتر والخوادم التي تخول لك استخدامها. لا يقوم بكمّنة النموذج بنفسه، بل يقوم بذلك نص التحويل الخاص بك، ولا يفرض نطاقاً محدداً، لذا تحتفظ بأعمالك الخاصة بنماذجك وأنظمتك، وهو ما قد يدفعك للسؤال عن أفضل نموذج للتدريب الدقيق مع الكمّنة.