機械学習モデルの圧縮ワークフロー

深層学習におけるモデル圧縮の手順

変換スクリプトの作成

エージェントは write_file を使用して変換スクリプトを作成し、Ask first モードで承認する前に差分を表示して変更を確認できるようにします。承認してください。Shell が変換スクリプトを実行し、実際の出力を返します。ターミナルには終了コードとタイミングの詳細が明確に表示されます。4bit 量子化手法の違いはモデルの品質と速度に影響します。list_dir は比較目的で新しいファイルサイズを表示します。read_file はログに警告やエラーがないか確認します。機械学習モデルの圧縮により、ワークフローのステップが効果的に完了しました。

評価スクリプトの実行

エージェントは edit_file を使用して評価スクリプトを作成し、メトリクスを確認してテストが正しいことを確認する前に承認を求めます。承認してください。エージェントは Shell を介してスクリプトを実行し、終了コードを報告します。評価スクリプトが出力すると、Perplexity と精度スコアが表示されます。LLM 推論における量子化のトレードオフは速度と品質に影響するため、秒あたりのトークン数を測定します。エージェントは grep を使用して、出力から主要なスコアを検索します。これらの結果をベースラインと比較し、品質低下が許容範囲内かどうかを判断します。この機械学習モデルの圧縮ステップにより、独自動的量子化の生成に役立ちます。