Kết nối Mô hình để Lượng tử hóa
ModelTrim kết nối với nhà cung cấp AI đã chọn để mô hình có thể lập kế hoạch và viết các tập lệnh lượng tử hóa trong khi Shell thực thi chúng trên PC hoặc máy chủ của bạn. Ở chế độ Ask first, bạn phê duyệt mọi hành động làm thay đổi tệp.
Chọn Nguồn Mô hình
Nhà cung cấp AI đám mây
Sử dụng nhà cung cấp AI đám mây qua điểm cuối API tiêu chuẩn. Các câu lệnh và văn bản tệp của bạn sẽ rời khỏi PC, vì vậy dữ liệu nhạy cảm sẽ được gửi đến nhà cung cấp đó. Tùy chọn này phù hợp cho các logic phức tạp nơi bạn cần mô hình mạnh hơn mô hình tích hợp.
Mô hình cục bộ trên PC
Chạy mô hình cục bộ trên PC của bạn. Với mô hình cục bộ, các câu lệnh và văn bản tệp không được gửi đến nhà cung cấp, mặc dù các tính năng mạng tùy chọn như tìm kiếm web hoặc kiểm tra cập nhật vẫn có thể sử dụng mạng. Tùy chọn này phù hợp cho công việc nhạy cảm nơi bạn muốn kiểm soát hoàn toàn môi trường. Bạn quản lý các tài nguyên phần cứng cần thiết cho suy luận và thực thi tập lệnh.
Mô hình tích hợp
Sử dụng mô hình tích hợp cho các tác vụ nhanh mà không cần cấu hình kết nối bên ngoài. Tùy chọn này sẵn sàng sử dụng mà không cần điểm cuối riêng của bạn.
Xác minh Chất lượng Kết nối
Nút Test kiểm tra kết nối điểm cuối của bạn. Nó hiển thị thời gian phản hồi và kích thước cửa sổ ngữ cảnh. Điều này giúp bạn xác nhận mô hình đã sẵn sàng cho các tác vụ lượng tử hóa. Bạn thấy các chỉ số thực tế trước khi bắt đầu bất kỳ công việc nào.
Chọn Mô hình cho Tác vụ
Sử dụng mô hình lớn hơn cho các lần tái cấu trúc và logic phức tạp. Sử dụng mô hình nhỏ hơn cho các chỉnh sửa nhỏ. Gửi các bước khó cho mô hình lớn hơn với run_on_model. Điều này đảm bảo chất lượng cho các quyết định lượng tử hóa khó khăn.
Chất lượng thay đổi tùy theo mô hình và tác vụ. Luôn xem lại diff ở chế độ Ask first. Điều này cho phép bạn xem các thay đổi trước khi chúng được áp dụng. Bạn vẫn kiểm soát mọi thay đổi tệp.
