양자화를 위한 모델 연결

ModelTrim은 선택한 AI 공급자에 연결하여 모델이 양자화 스크립트를 계획하고 작성할 수 있게 하며, Shell이 이를 PC나 서버에서 실행합니다. 'Ask first' 모드에서는 파일 변경과 관련된 모든 작업을 직접 승인합니다.

모델 소스 선택

클라우드 AI 공급자

표준 API 엔드포인트를 통해 클라우드 AI 공급자를 사용하세요. 프롬프트와 파일 텍스트가 PC를 벗어나므로 민감한 데이터가 해당 공급자로 전송됩니다. 내장 모델보다 강력한 모델이 필요한 복잡한 논리 작업에 적합합니다.

로컬 PC 모델

PC에서 모델을 로컬로 실행하세요. 로컬 모델을 사용하면 프롬프트와 파일 텍스트가 공급자로 전송되지 않지만, 웹 검색이나 업데이트 확인과 같은 선택적 네트워크 기능은 여전히 네트워크를 사용할 수 있습니다. 환경에 대한 완전한 제어를 선호하는 민감한 작업에 적합합니다. 추론 및 스크립트 실행에 필요한 하드웨어 리소스는 직접 관리합니다.

내장 모델

외부 연결 구성 없이 빠른 작업을 위해 내장 모델을 사용하세요. 이 옵션은 별도의 엔드포인트 없이 바로 사용할 수 있습니다.

연결 품질 확인

[테스트] 버튼은 엔드포인트 연결 상태를 확인합니다. 응답 시간과 컨텍스트 창 크기를 표시합니다. 이를 통해 모델이 양자화 작업 준비가 되었는지 확인할 수 있습니다. 작업 시작 전 실제 지표를 확인하세요.

작업용 모델 선택

복잡한 리팩토링과 논리 작업에는 더 큰 모델을 사용하고, 작은 수정에는 작은 모델을 사용하세요. run_on_model을 통해 어려운 단계는 큰 모델로 보내세요. 이는 어려운 양자화 결정의 품질을 보장합니다.

품질은 모델과 작업에 따라 다릅니다. 'Ask first' 모드에서 항상 diff를 검토하세요. 이렇게 하면 적용 전에 변경 사항을 확인할 수 있습니다. 파일 수정의 모든 과정을 직접 제어할 수 있습니다.