Conecta un modelo para cuantización
ModelTrim se conecta al proveedor de IA que elijas para que el modelo pueda planificar y escribir scripts de cuantización mientras Shell los ejecuta en tu PC o servidor. En modo Ask first, apruebas cada acción que modifica tus archivos.
Elige el origen del modelo
Proveedor de IA en la nube
Usa un proveedor de IA en la nube a través de un endpoint de API estándar. Tus prompts y el texto de los archivos salen de tu PC, por lo que los datos sensibles se envían a ese proveedor. Esta opción es ideal para lógica compleja donde necesitas un modelo más potente que el integrado.
Modelo local en PC
Ejecuta un modelo localmente en tu PC. Con un modelo local, los prompts y el texto de los archivos no se envían a un proveedor, aunque funciones de red opcionales como la búsqueda web o las comprobaciones de actualización pueden seguir usando la red. Esta opción es ideal para trabajos sensibles donde prefieres un control total sobre el entorno. Tú gestionas los recursos de hardware necesarios para la inferencia y la ejecución de scripts.
Modelo integrado
Usa el modelo integrado para tareas rápidas sin configurar conexiones externas. Esta opción está lista para usar sin necesidad de tu propio endpoint.
Verifica la calidad de la conexión
El botón Prueba verifica la conexión de tu endpoint. Muestra el tiempo de respuesta y el tamaño de la ventana de contexto. Esto te ayuda a confirmar que el modelo está listo para las tareas de cuantización. Ves métricas reales antes de comenzar cualquier trabajo.
Selecciona el modelo para las tareas
Usa un modelo más grande para refactorizaciones y lógica complejas. Usa un modelo más pequeño para ediciones pequeñas. Envía los pasos difíciles a un modelo más grande con run_on_model. Esto garantiza calidad para las decisiones de cuantización complejas.
La calidad varía según el modelo y la tarea. Revisa siempre el diff en modo Ask first. Esto te permite ver los cambios antes de que se apliquen. Mantienes el control de cada modificación de archivos.
