Windows向け量子化ニューラルネットワークエージェント

ワークフローに合わせた機能

• ファイル作業フォルダ内のファイルの読み書き編集削除検索を直接実行します。
• Shellターミナルコマンドを実行し、実際の終了コードと出力を確認します。
• WebWeb検索やライブラリのドキュメントページを取得します。
• スクリーンショットと画像スクリーンショットのOCRや画像ファイルの生成を行います。
• オーケストレーション並列サブエージェントの実行や、大規模モデルへの指示送信が可能です。
• 承認モード制御のためにAuto-run、Ask first、またはPlan onlyを使用します。
• Cron特定のスケジュールでプロンプトを自動的に実行するようスケジュール設定します。
• モデルクラウドプロバイダまたはPC上のローカルモデルに接続します。

チュートリアル

モデルサイズの見積もり

架空のモデルの重みサイズを32、16、8、4ビットで推定するようエージェントに依頼します。エージェントはwrite_fileを使用して単純な算術演算のスクリプトを作成します。実行後、Ask firstモードでスクリプトを確認し、変更を承認します。プルーニングとディストillationは、量子化と組み合わせられる別の技術です。モデルの圧縮パスを選択する前に品質を測定する必要があります。プルーニングと極端な量子化の比較により、最適な圧縮パスを決定できます。このプロセスは、チーム向けの量子化ニューラルネットワーク技術を示しています。ディープラーニングモデルの圧縮は、ファイルサイズを小さくする代わりに、ある程度の品質をトレードオフとします。

変換スクリプトの実行

エージェントはwrite_fileで評価スクリプトを作成し、Ask firstモードで差分を表示します。これにより、承認前に変更を確認できます。Shellで実行し、チャットで実際の出力と終了コードを確認します。これにより、システム上での評価プロセスを制御できます。量子化のガイダンスが必要な場合、エージェントは品質と速度の測定を支援します。このアプローチは、元のモデルファイルをそのままにしておくことで、ディープラーニングモデルの圧縮をサポートします。アクションはチャット内のカードとして結果と共に表示されます。read_fileとgrepを使用してログを読み、データを検証できます。