量子化用のモデルを接続する

ModelTrimは選択したAIプロバイダーに接続し、モデルが量子化スクリプトの計画と生成を行い、ShellがPCやサーバー上でそれらを実行します。Ask firstモードでは、ファイルを変更するすべてのアクションを承認してから実行します。

モデルのソースを選択

クラウドAIプロバイダー

標準的なAPIエンドポイントを通じてクラウドAIプロバイダーを使用します。プロンプトやファイルのテキストはPCから送信されるため、機密データはそのプロバイダーに送信されます。このオプションは、内蔵モデルよりも強力なモデルが必要な複雑なロジックに適しています。

ローカルPCモデル

モデルをPC上でローカルで実行します。ローカルモデルを使用すると、プロンプトやファイルのテキストはプロバイダーに送信されませんが、ウェブ検索や更新チェックなどの任意のネットワーク機能はネットワークを使用する場合があります。このオプションは、環境の完全な制御を好む機密性の高い作業に適しています。推論とスクリプト実行に必要なハードウェアリソースは自分で管理します。

内蔵モデル

外部接続の設定なしでクイックタスクに内蔵モデルを使用します。このオプションは、独自のエンドポイントなしですぐに使用できます。

接続品質を確認

[テスト]ボタンはエンドポイントの接続を確認します。応答時間とコンテキストウィンドウのサイズが表示されます。これにより、モデルが量子化タスクの準備ができていることを確認できます。作業を開始する前に実際のメトリクスを確認できます。

タスク用のモデルを選択

複雑なリファクタリングやロジックには大きなモデルを使用し、小さな編集には小さなモデルを使用します。run_on_modelを使用して、難しいステップを大きなモデルに送信します。これにより、難しい量子化の決定の品質が保証されます。

品質はモデルとタスクによって異なります。Ask firstモードで常に差分を確認してください。これにより、変更が適用される前に変更内容を確認できます。すべてのファイル変更を制御したままに保つことができます。