Windows용 양자화 신경망 에이전트

작업 흐름을 위한 기능

• 파일작업 폴더에서 파일을 직접 읽고, 쓰고, 편집하고, 삭제하고, 검색합니다.
• Shell터미널 명령어를 실행하고 실제 종료 코드와 출력을 확인합니다.
• Web웹을 검색하거나 라이브러리 문서 페이지를 가져옵니다.
• 스크린샷 및 이미지스크린샷에서 OCR을 사용하거나 이미지 파일을 생성합니다.
• 오케스트레이션병렬 서브 에이전트를 실행하거나 단계를 대형 모델에 보냅니다.
• 승인 모드Auto-run, Ask first, Plan only 중 제어를 위해 선택합니다.
• 크론프롬프트를 특정 일정에 따라 자동으로 실행하도록 예약합니다.
• 모델클라우드 제공업체 또는 PC의 로컬 모델에 연결합니다.

사용 가이드

모델 크기 추정

가상의 모델에 대해 32, 16, 8, 4비트 가중치 크기를 추정해 달라고 요청하면, 에이전트는 write_file을 사용하여 단순 산술 연산 스크립트를 생성합니다. 스크립트를 실행합니다. Ask first 모드에서 스크립트를 검토한 후 변경 사항을 승인합니다. 가지치기(Pruning)와 지식 증류(Distillation)는 양자화와 결합할 수 있는 별도의 기법입니다. 모델 압축 경로를 선택하기 전에 품질을 측정해야 합니다. 가지치기 vs 매우 낮은 양자화를 탐색하면 가장 좋은 압축 경로를 결정하는 데 도움이 됩니다. 이 과정은 팀을 위한 양자화 신경망 기법을 보여줍니다. 딥러닝 모델 압축은 작은 파일 크기를 위해 일부 품질을 희생합니다.

변환 스크립트 실행

에이전트는 write_file로 평가 스크립트를 작성하고, Ask first 모드에서 변경 사항을 검토할 수 있도록 diff를 표시합니다. Shell에서 실행합니다. 채팅에서 실제 출력과 종료 코드를 확인할 수 있습니다. 이를 통해 시스템에서 평가 과정을 직접 제어할 수 있습니다. 양자화 지침이 필요할 때 에이전트는 품질과 속도를 측정하는 데 도움을 줍니다. 이 접근 방식은 원래 모델 파일을 그대로 유지함으로써 딥러닝 모델 압축을 지원합니다. 작업은 결과를 표시하는 카드 형태로 채팅에 나타납니다. read_file과 grep을 사용하여 로그를 읽고 데이터를 검증할 수 있습니다.