Подключение модели для квантования

ModelTrim подключается к выбранному AI-провайдеру, чтобы модель могла планировать и писать скрипты квантования, а Shell выполнял их на вашем ПК или сервере. В режиме Ask first вы одобряете каждое действие, изменяющее файлы.

Выберите источник модели

Облачный AI-провайдер

Используйте облачного AI-провайдера через стандартную конечную точку API. Ваши запросы и текст файлов покидают ПК, поэтому конфиденциальные данные отправляются этому провайдеру. Этот вариант подходит для сложной логики, где требуется более мощная модель, чем встроенная.

Локальная модель ПК

Запустите модель локально на вашем ПК. С локальной моделью запросы и текст файлов не отправляются провайдеру, хотя необязательные сетевые функции, такие как поиск в интернете или проверка обновлений, могут по-прежнему использовать сеть. Этот вариант подходит для конфиденциальной работы, где вы предпочитаете полный контроль над средой. Вы управляете ресурсами оборудования, необходимыми для вывода и выполнения скриптов.

Встроенная модель

Используйте встроенную модель для быстрых задач без настройки внешних подключений. Этот вариант готов к использованию без вашего собственного конечного пункта.

Проверка качества подключения

Кнопка «Тест» проверяет подключение к вашей конечной точке. Она показывает время отклика и размер контекстного окна. Это помогает подтвердить, что модель готова к задачам квантования. Вы видите реальные метрики перед началом любой работы.

Выбор модели для задач

Используйте большую модель для сложных рефакторингов и логики. Используйте меньшую модель для мелких правок. Отправляйте сложные шаги на большую модель с помощью run_on_model. Это обеспечивает качество при принятии сложных решений по квантованию.

Качество варьируется в зависимости от модели и задачи. Всегда проверяйте diff в режиме Ask first. Это позволяет видеть изменения до их применения. Вы сохраняете контроль над каждым изменением файла.