Conecte um Modelo para Quantização

O ModelTrim conecta-se ao provedor de IA escolhido para que o modelo planeje e escreva scripts de quantização, enquanto o Shell os executa no seu PC ou servidor. No modo Ask first, você aprova cada ação que altera seus arquivos.

Escolha a Origem do Modelo

Provedor de IA na Nuvem

Use um provedor de IA na nuvem por meio de um endpoint de API padrão. Seus prompts e o conteúdo dos arquivos saem do seu PC, então dados sensíveis são enviados a esse provedor. Esta opção é indicada para lógica complexa, onde você precisa de um modelo mais potente que o embutido.

Modelo Local no PC

Execute um modelo localmente no seu PC. Com um modelo local, os prompts e o conteúdo dos arquivos não são enviados a um provedor, embora recursos de rede opcionais, como busca na web ou verificações de atualização, ainda possam usar a internet. Esta opção é ideal para trabalhos sensíveis, onde você prefere controle total sobre o ambiente. Você gerencia os recursos de hardware necessários para inferência e execução de scripts.

Modelo Embutido

Use o modelo embutido para tarefas rápidas sem configurar conexões externas. Esta opção está pronta para uso, sem necessidade de um endpoint próprio.

Verifique a Qualidade da Conexão

O botão Teste verifica a conexão do seu endpoint. Ele exibe o tempo de resposta e o tamanho da janela de contexto. Isso ajuda a confirmar que o modelo está pronto para tarefas de quantização. Você visualiza métricas reais antes de iniciar qualquer trabalho.

Selecione o Modelo para Tarefas

Use um modelo maior para refatorações complexas e lógica. Use um modelo menor para edições simples. Envie etapas complexas para um modelo maior com run_on_model. Isso garante qualidade nas decisões difíceis de quantização.

A qualidade varia conforme o modelo e a tarefa. Sempre revise o diff no modo Ask first. Isso permite ver as alterações antes que sejam aplicadas. Você mantém o controle de cada modificação de arquivo.