Підключіть модель для квантування

ModelTrim підключається до обраного AI-провайдера, щоб модель могла планувати та писати скрипти квантування, поки Shell виконує їх на вашому ПК або сервері. У режимі Ask first ви затверджуєте кожну дію, що змінює файли.

Оберіть джерело моделі

Хмарний AI-провайдер

Використовуйте хмарного AI-провайдера через стандартну кінцеву точку API. Ваші запити та текст файлів виходять за межі вашого ПК, тому чутливі дані надходять до цього провайдера. Цей варіант підходить для складної логіки, де потрібна потужніша модель, ніж вбудована.

Локальна модель на ПК

Запустіть модель локально на вашому ПК. З локальною моделлю запити та текст файлів не надсилаються провайдеру, хоча такі опціональні мережеві функції, як пошук у мережі або перевірка оновлень, можуть все ще використовувати мережу. Цей варіант підходить для чутливої роботи, де ви надаєте перевагу повному контролю над середовищем. Ви керуєте апаратними ресурсами, необхідними для інференсу та виконання скриптів.

Вбудована модель

Використовуйте вбудовану модель для швидких завдань без налаштування зовнішніх підключень. Цей варіант готовий до використання без вашої власної кінцевої точки.

Перевірте якість з'єднання

Кнопка Test перевіряє з'єднання з вашою кінцевою точкою. Вона показує час відповіді та розмір контекстного вікна. Це допомагає підтвердити готовність моделі до завдань квантування. Ви бачите реальні метрики перед початком будь-якої роботи.

Оберіть модель для завдань

Використовуйте більшу модель для складних рефакторингів та логіки. Використовуйте меншу модель для дрібних редагувань. Надсилайте складні кроки до більшої моделі через run_on_model. Це забезпечує якість для складних рішень щодо квантування.

Якість варіюється залежно від моделі та завдання. Завжди переглядайте diff у режимі Ask first. Це дозволяє бачити зміни перед їх застосуванням. Ви залишаєтеся під контролем кожної модифікації файлу.