क्वांटीज़ेशन के लिए मॉडल कनेक्ट करें

ModelTrim आपके चुने हुए AI प्रदाता से कनेक्ट होता है, जिससे मॉडल क्वांटीज़ेशन स्क्रिप्ट्स की योजना बना और लिख सकता है, जबकि Shell उन्हें आपके पीसी या सर्वर पर चलाता है। Ask first मोड में, आप हर उस एक्शन की अनुमति देते हैं जो आपके फ़ाइलों को बदलता है।

अपने मॉडल स्रोत का चयन करें

क्लाउड AI प्रदाता

मानक API एंडपॉइंट के माध्यम से क्लाउड AI प्रदाता का उपयोग करें। आपके प्रॉम्प्ट और फ़ाइल टेक्स्ट आपके पीसी से बाहर निकलते हैं, इसलिए संवेदनशील डेटा उस प्रदाता को जाता है। यह विकल्प उन जटिल तर्कों के लिए उपयुक्त है जहाँ आपको इनबिल्ट मॉडल से बेहतर मॉडल की आवश्यकता है।

स्थानीय पीसी मॉडल

अपने पीसी पर मॉडल स्थानीय रूप से चलाएं। स्थानीय मॉडल के साथ, प्रॉम्प्ट और फ़ाइल टेक्स्ट किसी प्रदाता को नहीं भेजे जाते, हालांकि वेब खोज या अपडेट जांच जैसे वैकल्पिक नेटवर्क फीचर्स नेटवर्क का उपयोग कर सकते हैं। यह विकल्प उन संवेदनशील कार्यों के लिए उपयुक्त है जहाँ आप वातावरण पर पूर्ण नियंत्रण पसंद करते हैं। आपको इनफ़ेरेंस और स्क्रिप्ट निष्पादन के लिए आवश्यक हार्डवेयर संसाधनों का प्रबंधन करना होता है।

इनबिल्ट मॉडल

बाहरी कनेक्शन कॉन्फ़िगर किए बिना त्वरित कार्यों के लिए इनबिल्ट मॉडल का उपयोग करें। यह विकल्प आपके अपने एंडपॉइंट के बिना उपयोग के लिए तैयार है।

कनेक्शन गुणवत्ता की जांच करें

Test बटन आपके एंडपॉइंट कनेक्शन की जांच करता है। यह प्रतिक्रिया समय और संदर्भ विंडो का आकार दिखाता है। यह आपको पुष्टि करने में मदद करता है कि मॉडल क्वांटीज़ेशन कार्यों के लिए तैयार है। आप किसी भी काम शुरू करने से पहले रीयल मेट्रिक्स देखते हैं।

कार्यों के लिए मॉडल चुनें

जटिल रिफैक्टर्स और तर्क के लिए बड़ा मॉडल उपयोग करें। छोटे एडिट्स के लिए छोटा मॉडल उपयोग करें। run_on_model के साथ कठिन चरणों को बड़े मॉडल पर भेजें। यह कठिन क्वांटीज़ेशन निर्णयों के लिए गुणवत्ता सुनिश्चित करता है।

गुणवत्ता मॉडल और कार्य के अनुसार भिन्न होती है। Ask first मोड में diff को हमेशा समीक्षित करें। यह आपको लागू होने से पहले बदलाव देखने देता है। आप हर फ़ाइल संशोधन पर नियंत्रण बनाए रखते हैं।