เชื่อมต่อโมเดลเพื่อทำ Quantization

ModelTrim เชื่อมต่อกับผู้ให้บริการ AI ที่คุณเลือก เพื่อให้โมเดลสามารถวางแผนและเขียนสคริปต์ quantization ในขณะที่ Shell รันสคริปต์บน PC หรือเซิร์ฟเวอร์ของคุณ ในโหมด Ask first คุณต้องอนุมัติทุกการกระทำที่เปลี่ยนแปลงไฟล์ของคุณ

เลือกแหล่งที่มาของโมเดล

ผู้ให้บริการ AI แบบคลาวด์

ใช้ผู้ให้บริการ AI แบบคลาวด์ผ่าน API endpoint มาตรฐาน ข้อความและเนื้อหาไฟล์ของคุณจะถูกส่งออกจากเครื่องไปยังผู้ให้บริการนั้น ซึ่งเหมาะสำหรับงานที่ต้องการตรรกะซับซ้อนและโมเดลที่แข็งแกร่งกว่าตัวเลือกในตัว

โมเดลในเครื่อง

รันโมเดลในเครื่องของคุณ ด้วยโมเดลในเครื่อง ข้อความและเนื้อหาไฟล์จะไม่ถูกส่งไปยังผู้ให้บริการ แต่ฟีเจอร์เครือข่ายเช่น web search หรือการตรวจสอบอัปเดตอาจยังใช้เครือข่าย ตัวเลือกนี้เหมาะสำหรับงานที่ต้องการความละเอียดอ่อนและต้องการควบคุมสภาพแวดล้อมอย่างเต็มที่ คุณจัดการทรัพยากรฮาร์ดแวร์ที่จำเป็นสำหรับการ inference และการรันสคริปต์

โมเดลในตัว

ใช้โมเดลในตัวสำหรับงานด่วนโดยไม่ต้องกำหนดค่าการเชื่อมต่อภายนอก ตัวเลือกนี้พร้อมใช้งานโดยไม่ต้องใช้ endpoint ของคุณเอง

ตรวจสอบคุณภาพการเชื่อมต่อ

ปุ่ม Test จะตรวจสอบการเชื่อมต่อ endpoint ของคุณ จะแสดงเวลาตอบสนองและขนาด context window ช่วยให้คุณยืนยันว่าโมเดลพร้อมสำหรับงาน quantization คุณเห็นเมตริกจริงก่อนเริ่มทำงานใดๆ

เลือกโมเดลสำหรับงาน

ใช้โมเดลขนาดใหญ่สำหรับงาน refactors และตรรกะที่ซับซ้อน ใช้โมเดลขนาดเล็กสำหรับการแก้ไขเล็กๆ ส่งขั้นตอนที่ยากไปให้โมเดลขนาดใหญ่ด้วย run_on_model เพื่อให้มั่นใจในคุณภาพสำหรับการตัดสินใจ quantization ที่ยาก

คุณภาพแตกต่างกันไปตามโมเดลและงาน ตรวจสอบ diff ในโหมด Ask first เสมอ เพื่อให้คุณเห็นการเปลี่ยนแปลงก่อนนำไปใช้ คุณยังคงควบคุมการแก้ไขไฟล์ทุกไฟล์