ModelTrim
वर्कफ़्लो

मशीन लर्निंग मॉडल कंप्रेशन वर्कफ़्लो

03
वेट्स का अनुमान

डाउनलोड करने से पहले वेट का आकार अनुमानित करें

बड़े मॉडल को डाउनलोड करने से पहले, आप डिस्क पर उसका आकार अनुमानित कर सकते हैं। इससे आप फ्री स्पेस चेक कर सकते हैं और अपने स्टोरेज की जरूरतों की योजना बना सकते हैं।

01

फोल्डर खोलें

एजेंट चैट में अपना प्रोजेक्ट फोल्डर खोलें।

02

स्क्रिप्ट लिखें

वेट साइज की गणना करने के लिए एक Python स्क्रिप्ट बनाएं।

03

कमांड चलाएं

टर्मिनल विंडो में स्क्रिप्ट निष्पादित करें।

04

आउटपुट जांचें

प्रत्येक बिट डेप्थ के लिए प्रिंट किए गए आकार के अनुमानों की समीक्षा करें।

उदाहरण स्क्रिप्ट

size_estimate.py
# comment
params = 7000000000
for b in [32, 16, 8, 4]:
    size_gb = (params * b) / 1e9
    print(f"{b}-bit: {size_gb:.1f} GB") Code ready.

यह स्क्रिप्ट नेटवर्क एक्सेस के बिना विभिन्न बिट डेप्थ पर केवल 7 बिलियन पैरामीटर वाले मॉडल के लिए वेट साइज का अनुमान लगाती है।

मॉडल कंप्रेशन डीप लर्निंग चरण

कन्वर्जन स्क्रिप्ट लिखें

एजेंट write_file का उपयोग करके आपकी कन्वर्जन स्क्रिप्ट बनाता है और Ask first मोड में मंजूरी देने से पहले आपको बदलावों की समीक्षा करने के लिए diff दिखाता है। इसे मंजूरी दें। Shell आपकी कन्वर्जन स्क्रिप्ट चलाता है और असली आउटपुट लौटाता है। टर्मिनल एग्जिट कोड और टाइमिंग विवरण को स्पष्ट रूप से प्रदर्शित करता है। 4bit क्वांटीज़ेशन विधियों के बीच का अंतर मॉडल की गुणवत्ता और गति को प्रभावित करता है। list_dir तुलना के उद्देश्य के लिए नई फ़ाइल का आकार दिखाता है। read_file किसी भी चेतावनी या त्रुटि के लिए लॉग की जांच करता है। machine learning model compression वर्तमान में वर्कफ़्लो चरणों को प्रभावी ढंग से पुष्टि करता है।

मूल्यांकन स्क्रिप्ट चलाएं

एजेंट edit_file का उपयोग करके आपकी मूल्यांकन स्क्रिप्ट लिखता है और आपको मेट्रिक्स की समीक्षा करने से पहले अपनी मंजूरी के लिए diff दिखाता है ताकि यह सुनिश्चित किया जा सके कि टेस्टिंग सही है। आप मंजूरी देते हैं। एजेंट Shell के माध्यम से स्क्रिप्ट चलाता है और एग्जिट कोड की रिपोर्ट करता है। जब आपकी मूल्यांकन स्क्रिप्ट उन्हें प्रिंट करती है तो Perplexity और accuracy स्कोर दिखाई देते हैं। llm inference में क्वांटीज़ेशन ट्रेडऑफ्स गति और गुणवत्ता को प्रभावित करते हैं, इसलिए आप टोकन प्रति सेकंड मापते हैं। एजेंट मुख्य स्कोर के लिए आउटपुट में grep का उपयोग करता है। आप गुणवत्ता हानि को स्वीकार्य माना जा सकता है या नहीं, इसका निर्णय लेने के लिए इन परिणामों की तुलना अपने बेसलाइन से करते हैं। यह मॉडल कंप्रेशन डीप लर्निंग चरण आपको अपनी स्वयं की डायनामिक क्वांट जनरेट करने में मदद करता है।

विंडोज के लिए ModelTrim

अपना कंप्रेशन वर्कफ़्लो शुरू करें

ModelTrim डाउनलोड करें ↗