폴더 열기
에이전트 채팅에서 프로젝트 폴더를 엽니다.
워크플로우
머신러닝 모델 압축 워크플로우
03
다운로드 전 가중치 크기 예측
대형 모델을 다운로드하기 전에 디스크상의 크기를 추정할 수 있습니다. 이를 통해 여유 공간과 저장소 계획을 확인할 수 있습니다.
스크립트 작성
가중치 크기를 계산할 Python 스크립트를 만듭니다.
명령 실행
터미널 창에서 스크립트를 실행합니다.
출력 확인
각 비트 깊이별 추정 크기를 검토합니다.
스크립트 예시
모델 가중치 크기를 추정하는 스크립트를 작성하세요.
- write_file
size_estimate.pysaved - Shell
python size_estimate.pyexit 0 - read_file
size_estimate.py18 lines - Shell
python size_estimate.pyexit 0
다음 단계를 진행하기 전에 사용자의 승인을 기다리는 중거부수락
size_estimate.py
# comment
params = 7000000000
for b in [32, 16, 8, 4]:
size_gb = (params * b) / 1e9
print(f"{b}-bit: {size_gb:.1f} GB") Code ready.이 스크립트는 네트워크 접근 없이 70억 파라미터 모델의 서로 다른 비트 깊이별 가중치 크기만 추정합니다.
모델 압축 딥러닝 단계
변환 스크립트 작성
에이전트는 write_file을 사용하여 변환 스크립트를 생성하고, Ask first 모드에서 승인하기 전에 변경 사항을 검토할 수 있도록 diff를 보여줍니다. 승인하세요. Shell이 변환 스크립트를 실행하고 실제 출력을 반환합니다. 터미널은 종료 코드와 시간 정보를 명확하게 표시합니다. 4bit 양자화 방식의 차이는 모델 품질과 속도에 영향을 미칩니다. list_dir은 비교를 위해 새로운 파일 크기를 보여줍니다. read_file은 발견된 경고나 오류가 있는지 로그를 확인합니다. 머신러닝 모델 압축은 워크플로우 단계를 효과적으로 확인합니다.
평가 스크립트 실행
에이전트는 edit_file을 사용하여 평가 스크립트를 작성하고, 테스트가 정확한지 확인하기 위해 메트릭을 검토하기 전에 승인을 위한 diff를 보여줍니다. 승인하세요. 에이전트는 Shell을 통해 스크립트를 실행하고 종료 코드를 보고합니다. 퍼플렉시티와 정확도 점수가 표시됩니다. LLM 추론의 양자화 트레이드오프는 속도와 품질에 영향을 미치므로 초당 토큰 수를 측정합니다. 에이전트는 grep을 사용하여 주요 점수를 출력에서 검색합니다. 이러한 결과를 베이스라인과 비교하여 품질 저하가 허용 가능한지 결정합니다. 이 모델 압축 딥러닝 단계는 나만의 동적 양자화를 생성하는 데 도움이 됩니다.
