HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

エージェントにどこまで委任できるか?

How much can you delegate to agents? (newsletter.posthog.com)

36 pointsby duck0 コメント

要約

AIエージェントにどこまで仕事を任せられるかは、モデルの性能ではなく、タスクの性質によって決まります。タスクの「確認のしやすさ」と「間違いを元に戻すコスト」という2つの要素から、委任レベルを4段階(アシスタント、人間参加型、エージェント委任、自動運転モード)に分類し、安全かつ効率的にエージェントを活用するための指針を示しています。

全文翻訳

エージェントにどこまで仕事を委任できるか?

人々は、監視なしでAIエージェントにますます多くの作業を任せるようになっていますが、いつ信頼するかをどのように決定すればよいのでしょうか?

その答えはモデルの性能次第だと考える人もいます。つまり、モデルがより賢くなれば、より多くのことを任せられるようになる、という考え方です。しかし、モデルが賢くなったからといってエージェントを信頼するのは、高級車になったからシートベルトをしないのと同じようなものです。

真の答えはモデルとは全く関係なく、タスクにすべてがかかっています。委任するタイミングと量についてのメンタルモデルを構築し、それを適応させていく必要があります。

ここでは、エージェントの自律性を最大化し、何も壊さずに迅速にリリースするための簡単なガイドを示します。

自律性の限界を決める2つの要因

まず、自問すべき2つの質問があります。

1. エージェントの作業を確認するのは容易か?

安全に単独で実行させるためには、エージェントは間違いがあった場合に即座のフィードバックを得られる必要があります。これは、単体テストや統合テストのような決定論的なチェックでほとんどのコードで可能です。しかし、コードをより分かりやすくするためにパラメータ名を変更するなど、主観的なタスクは、人間の感性や判断なしでは難しくなります。

2. エージェントのミスを取り消すのは安価か?

従来のソフトウェアエンジニアリングと同様に、エージェントの実行を監視なしで信頼したい場合は、最悪のシナリオのための保証されたCtrl+Zが必要です。だからこそ、StampHog、私たちのPR承認エージェントは、拒否リストに含まれるキーワードを含むものをすべて人間にルーティングします。

これら2つの要因1を組み合わせることで、あらゆるタスクに対して4つのレベルのいずれかが示されます。

  • レベル0:エージェントはアシスタントとして。確認が難しく、取り消しも難しいタスク。扱いにくい、または機密性の高いコードを扱う場合に必要です。

  • レベル1:人間参加型(Human-in-the-loop)。確認が難しく、取り消しは容易なタスク。通常、主観的な評価が必要な場合です。

  • レベル2:エージェントによる委任。確認が容易で、取り消しは難しいタスク。今日のほとんどの開発作業のデフォルトの上限です。

  • レベル3:セルフドライビングモード。確認が容易で、取り消しも容易なタスク。すべてがこの方向に向かって加速しています。

これら4つのレベルは、非常にシンプルな決定木にマッピングでき、あらゆるタスクに適用できます。

[

[画像]

](https://substackcdn.com/image/fetch/$s_!HnV9!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fb8188004-4403-4b09-87ed-29462aed3aa1_1600x828.png)

これはエージェントに委任する量を決定するのに役立ちますが、特定のタスクでより高い自律性を実現するためにパイプラインを設計することもできます。

レベル0:エージェントはアシスタントとして

作業が確認しにくい + 取り消すコストが高い場合

これはエージェントの自律性の最も低いレベルです。2024年の昔ながらのように、ChatGPTにアドバイスを求めたり、Cursorのオートコンプリートを使ったりするようなものです。

しかし、時代遅れだからといって悪いわけではありません。このモードは、機密性の高いコード領域における扱いにくい問題に対処する場合に理想的です。

例えば、Dylanが昨年、PostHogのすべてのフィーチャーフラグに間接的に組み込まれていた仮定を移行する必要があった際に、汎用的なプロパティターゲティングをサポートするためにフィーチャーフラグエンジンを更新しました。

これは、grepでは見つけられないため、エージェントが決定論的に確認するには難しい作業でした。また、この更新はライブの顧客フラグ、APIレスポンスの形状、および理由スコアリング関数に触れるため、影響範囲が非常に大きいものでした。

ここからレベルアップする方法

タスクを分解する。 小さな断片にすることで、どこで委任が安全か、または安全でないかが明確になります。Dylanは、リスクの高いコア移行は手動で行い、それほどクリティカルでない作業(JavaScript、PHP、Ruby、Flutter SDK全体への新しいターゲティングロジックの伝播など)をエージェントに任せました。

レベル1:人間参加型(Human-in-the-loop)

作業が確認しにくい + 取り消しが容易な場合

このレベルのエージェント自律性は、主観的な評価を必要とするタスクで一般的です。なぜなら、現時点では、エージェントに感性や判断力を教えるのは難しいためです。

[

[画像]

](https://substackcdn.com/image/fetch/$s_!0Qs7!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F66fe69c5-2059-4181-b41d-01ff90a0037a_1600x710.png)

人間参加型のタスクは、コードがドラフトモードのままで、人間による検証なしではマージされないため、取り消しが容易と見なされます。取り消しは、単に別のイテレーションを開始することを意味します。

このコード可読性リファクタリングはThomasによってほとんど手作業で行われましたが、エージェントが採点方法を知らないようなタスクの良い例です。コメントの追加、アクションのグループ化、文字列をenumに置き換えるなど、人間が理解しやすくするための数行の変更であり、破壊的な変更は導入されませんでした。

ここからレベルアップする方法
  • LLMをジャッジとして使用する。 これが、ほとんどの人がエージェント的なコードレビューシステムを構築する方法です。モデルが進化し続けるにつれて、人間の判断を必要とするタスクの多くは、LLMで確認できるようになるでしょう。

  • スコープが限定され、測定可能な目標を定義する。 成功指標や契約は、主観的な評価の代理として機能します。例えば、コンバージョン率が3%に達するまでランディングページコピーを実験するようにシステムに指示することができます。

  • カスタムスキルを作成する。 これは、エージェントがより少ない指示で、あなたの基準、慣習、感性に確実に適合する作業を生成するのに役立ちます。例えば、多くの開発者は、チーム固有の標準に従うためにカスタムコードレビューのスキルを作成します。

レベル2:エージェントによる委任

作業が確認しやすく + 取り消すコストが高い場合

[

[画像]

](https://substackcdn.com/image/fetch/$s_!W_Ho!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fec383514-0369-4f64-b8da-a116f938c2f3_1600x710.png)

これは今日のほとんどの開発タスクが該当するレベルです。エージェントは決定論的にテスト可能なコードを記述しますが、マージの最終的な行為は最終的な安全チェックによってゲートされます。

RobbieがRustでSQLパーサーをゼロから書き直した際、彼は機械的なオラクルが作業をチェックしてくれたため、コードをほとんど読みませんでした。しかし、パーサーはPostHogのすべてのクエリに影響するため、エージェントの作業は複数の安全チェック(本番環境でのシャドウモード、次にステージングされたカットオーバー)によってゲートされました。

ここからレベルアップする方法

ポリシーとガードレールをコードで強制する。 ほとんどの人は、レベル2のタスクを人間(つまり自分自身)によってゲートすることをデフォルトにしていますが、この習慣はあなた自身をボトルネックにします。代わりに、デフォルトでのドライラン、資格情報のスコープ設定、および変更をフィーチャーフラグの後ろに置くといったポリシーを使用して、ガードレールの多くをパイプラインに直接エンコードしてください。

レベル3:セルフドライビングモード

作業が確認しやすく + 取り消しが容易な場合

このカテゴリのタスクはまだ多くありません。依存関係の更新、リンターの修正、既存コードへのテストカバレッジの追加など、比較的小さなものだけです。しかし、特に長期実行エージェント、目標駆動型ループ、およびより複雑なオーケストレーションにより、このカテゴリは急速に成長しています。

PostHogでは、セルフドライビングモードをビルダーにとって現実のものにすることに全力を注いでいます。例えば先月、私たちはScoutsをリリースしました。これは、スケジュールに基づいて実行され、プロダクトデータからのシグナルを調査し、見つかったものに基づいてPRをドラフトするエージェントです。

ここからレベルアップする方法
  • ドメイン固有のモデルをトレーニングする。 次の波のツールの多くは、現在LLMにとって難しい検証タスクを改善することになるでしょう。明白な道筋の一つは、特定のドメインで「良い」とは何かを知っている目的特化型モデルです。だからこそ、私たちはPostHogで独自のAIモデルをトレーニングしています。

  • エキスパートレベルのコンテキストバンクを構築する。 エージェントの自律性の欠如は、しばしばコンテキストの不足に起因します。私たちは、PostHog Wizardのためにコンテキストレイヤーをエンジニアリングした経験から、構造化され最新の知識でこのギャップを埋めることが、信頼性の高いエージェントのために構築できる最もレバレッジの高いことの一つであることを学びました。

  • Scoutsのための明確なシグナルを設計する。 長期実行エージェントのボトルネックは、作業する価値のあるものがあるときに知っているかどうか、そして有効なシグナルをランダムなノイズから区別する方法を知っているかどうかにかかっています。

執筆:Jina Yoon(レベル0でこれらのニュースレターを執筆しています)。

🕵️ あなたのエージェントに私たちのおエージェントと話してもらう

🔺 レベルアップするためのその他の方法

1

規模は、エージェントの自律性レベルを決定する要因ではないことに注意してください。人々はしばしば両者を混同しますが、マルチエージェントオーケストレーションは自律性を緊急のものにします。しかし、タスクレベルで自律性を正しく行えば、規模は自然に解決されます。