अपनी स्क्रिप्ट चलाएं
एजेंट आपकी कन्वर्जन स्क्रिप्ट बनाता है और चलाता है, फिर आउटपुट दिखाता है।
उत्पाद
विंडोज़ के लिए क्वांटीज़ेशन AI एजेंट
01
ModelTrim एक स्वतंत्र एजेंट है जो आपको अपने प्रोजेक्ट्स में क्वांटीज़्ड न्यूरल नेटवर्क मॉडल के साथ कार्य करने में मदद करता है। यह आपकी स्क्रिप्ट चलाता है और उनके वास्तविक परिणामों को सीधे आपके सिस्टम पर दिखाता है।
फ़ाइलें प्रबंधित करें
यह चैट फ़ोल्डर के अंदर आपकी पायथन फ़ाइलों और लॉग को पढ़ता है, लिखता है और संपादित करता है।
परिणाम जांचें
यह आपका मूल्यांकन कमांड चलाता है और वास्तविक एक्ज़िट कोड और आउटपुट दिखाता है।
आपके वर्कफ़्लो के लिए सुविधाएँ
- फ़ाइलेंअपने वर्किंग फ़ोल्डर में सीधे फ़ाइलें पढ़ें, लिखें, संपादित करें, हटाएं और खोजें।
- Shellटर्मिनल कमांड चलाएं और वास्तविक एक्ज़िट कोड और आउटपुट देखें।
- Webअपनी लाइब्रेरी के लिए वेब पर खोजें या दस्तावेज़ पृष्ठ खींचें।
- स्क्रीनशॉट और छवियाँस्क्रीनशॉट पर OCR का उपयोग करें या छवि फ़ाइलें जनरेट करें।
- ऑर्केस्ट्रेशनसमानांतर सब-एजेंट चलाएं या बड़े मॉडल्स को कठिन चरण भेजें।
- अनुमोदन मोडअपने नियंत्रण के लिए Auto-run, Ask first, या Plan only का उपयोग करें।
- Cronनिर्दिष्ट समय पर स्वचालित रूप से चलने के लिए प्रॉम्प्ट शेड्यूल करें।
- Modelsक्लाउड प्रदाता या अपने पीसी पर स्थानीय मॉडल से कनेक्ट करें।
एजेंट कैसे मदद करता है
एजेंट स्वयं मॉडल क्वांटाइज़ नहीं करता है; आपकी स्क्रिप्ट या लाइब्रेरी काम करती है।
विभिन्न बिट गिनती पर वजन के आकार का अनुमान लगाने के लिए एक स्क्रिप्ट बनाएं।
- write_file
size_estimate.pyसहेजा गया - edit_file
size_estimate.pyसंपादित - Shell
python size_estimate.pyएक्ज़िट 0 - read_file
size_estimate.pyपढ़ा गया - Shell
python size_estimate.pyएक्ज़िट 0
अगले चरण से पहले आपकी अनुमति की प्रतीक्षाअस्वीकार करेंस्वीकार करें
वॉकथ्रू
मॉडल का आकार अनुमानित करें
आप एजेंट से एक काल्पनिक मॉडल के वजन के आकार का अनुमान लगाने के लिए कहते हैं 32, 16, 8 और 4 बिट पर, और एजेंट सादे अंकगणित के साथ एक स्क्रिप्ट बनाने के लिए write_file का उपयोग करता है। यह चलता है। आप Ask first मोड में स्क्रिप्ट की समीक्षा करते हैं परिवर्तनों को स्वीकार करने से पहले। प्रूनिंग और डिस्टिलेशन अलग-अलग तकनीकें हैं जिन्हें क्वांटीज़ेशन के साथ संयोजन में किया जा सकता है। आपको अपने मॉडल के लिए संपीड़न मार्ग चुनने से पहले गुणवत्ता को मापना चाहिए। प्रूनिंग बनाम बहुत कम क्वांटीज़ेशन का अन्वेषण आपको सर्वोत्तम संपीड़न मार्ग तय करने में मदद करता है। यह प्रक्रिया आपके टीम के लिए क्वांटीज़्ड न्यूरल नेटवर्क तकनीकों को दर्शाती है। डीप लर्निंग मॉडल संपीड़न छोटी फ़ाइल के लिए कुछ गुणवत्ता की छुट्टी देता है।
कन्वर्जन स्क्रिप्ट चलाएं
एजेंट write_file के साथ आपकी मूल्यांकन स्क्रिप्ट लिखता है और Ask first मोड diff दिखाता है ताकि आप परिवर्तनों की समीक्षा कर सकें स्वीकार करने से पहले। Shell इसे चलाता है। आप चैट में वास्तविक आउटपुट और एक्ज़िट कोड देखते हैं। यह सुनिश्चित करता है कि आप अपने स्वयं के सिस्टम पर मूल्यांकन प्रक्रिया पर नियंत्रण रखें। जब आपको क्वांटीज़ेशन मार्गदर्शन की आवश्यकता होती है, तो एजेंट आपको गुणवत्ता और गति को मापने में मदद करता है। यह दृष्टिकोण deep learning model compression का समर्थन करता है मूल मॉडल फ़ाइल को अप्रभावित रखकर। कार्यों को चैट में कार्ड के रूप में उनके परिणामों के साथ दिखाया जाता है। आप read_file और grep के साथ लॉग पढ़ सकते हैं और डेटा की जांच कर सकते हैं।
ModelTrim क्या नहीं करता
ModelTrim एक होस्टेड सेवा या प्लगइन नहीं है; यह केवल आपके स्वयं की फ़ाइलों, पीसी और सर्वरों के लिए है जिन्हें आप उपयोग करने के अधिकृत हैं। यह स्वयं मॉडल क्वांटाइज़ नहीं करता है, आपकी कन्वर्जन स्क्रिप्ट करती है, और यह स्कोप लागू नहीं करता है, इसलिए आप अपने स्वयं के मॉडल और सिस्टम पर काम रखते हैं, इसलिए आप पूछ सकते हैं कि क्वांटीज़ेशन के साथ फाइन ट्यून करने के लिए सर्वोत्तम मॉडल क्या है।
