自壊しないエージェントの構築
Building Agents That Don't Break Themselves (fly.io)
要約
AIエージェントが誤ったコマンド実行で自身やシステムを破壊するリスクを回避するため、Fly.ioでは「Sprite」と呼ばれる使い捨て可能なサンドボックス環境を活用しています。これにより、エージェントは安全な隔離空間でコードを実行でき、セッションごとに新しいSpriteを起動してリソースをクリーンに保つことで、セキュリティと信頼性を向上させます。このアプローチは、エージェントの自己改善機能を安全に活用し、誤操作からの復旧を容易にします。
全文翻訳
壊れないエージェントの構築
著者
[画像: Daniel Botha]
名前
Daniel Botha
[画像: ロボットが別の密閉された箱に手を伸ばして作業しているイラスト]
Image by Annie Ruygt
エージェントを構築するのは楽しいものです。しかし、自分で壊してしまうエージェントを再構築するのは…あまり楽しくありません。Flyの多くの人々は、エージェントに危険なことはすべてSprite内で実行させることで、自己破壊の可能性を減らしたエージェントを構築しています。これにより、エージェントは実際にその洗練された自己改善機能を使用できるまで生き残り、そうでなければ戦艦規模のミスにつながる可能性のあることを試すことができます。その方法を説明します。
ブレイン vs ハンド
シェルがなければ、エージェントはほとんど役に立ちません。なぜなら、エージェントはシェルでエージェントらしいことを行うからです。テストスイートを実行する、マイグレーションを適用する、依存関係をインストールする、一時ファイルを削除する。残念ながら、エージェントのシェルアクセスは、午後の時間を台無しにする原因にもなりがちです。「一時ファイルを削除する」と「間違ったファイルを削除する」は、指一本のミスで大きく変わってしまいます。そして、AIは間違いを犯す可能性があると頻繁に警告されています。
だからこそ、サンドボックスがあります。しかし、多くの人々は、潜在的に危険な作業を行うエージェントをサンドボックスに入れることをデフォルトにしています。これには多くのトレードオフが伴いますが、それらは実際には行う必要のないものです。なぜなら、エージェントの「場所」と、コードを実行する「場所」は、まったく別の考慮事項だからです。
エージェントワーカーのためのPPE(個人用保護具)
エージェントプロセスはループです。モデルを呼び出し、応答を読み取り、ツールを選択し、それを繰り返します。これは長期間実行されるプロセスであり、メモリ、スキル、履歴が永続化されれば、より有能になり、愚かさが減るだけです。そのため、アイドル時にはスリープし、メッセージで起動するFly Machine、小さなVPS、あるいは開発中に使用するラップトップ。これらはすべて、APIを呼び出すループにとって問題のない「家」であり、防爆シールドを必要としません。
問題が厄介になるのは、エージェントに実行させたいときです。bash -c + モデルが生成した文字列は、緩衝された部屋で実行する必要があります。エージェントのコードが自身や接続されているものを破壊できない場所です。そして、エージェントがあなたよりも多くの作業を行う場合、気まぐれで廃棄・再構築できる緩衝された部屋の施設全体が必要になるでしょう。
セッションごとに1つのSprite
この概念をうまく示している、Flyの人々による最近の2つのプロジェクトを見てみましょう。まず、Henrique氏による内部Flyトラブルシューティングエージェント、SpriteDocです。SpriteDocはマルチユーザーであり、Piエージェントの上に構築されています。各セッションは1つの共有サーバー上で、1つのNode.jsランタイムで実行されます。そのサーバー上で直接bashコマンドを実行することは、実際には不可能であり…危険です。各ユーザーのシェルは、エージェント自体が実行されているのと同じプロセス内に存在することになります。
代わりに、各セッションは独自のSpriteで実行されます。セッションがファイルシステムにアクセスする必要がある場合(bashコマンドの実行、ファイルの読み取り、編集など)、最初に新しいSpriteが起動され、プロジェクトのソースツリーがアップロードされ、そのセッションに必要なCLIがインストールされます。Spriteは十分に速く起動するため、ユーザーとしてはほとんど気づきません。その後、すべてのコマンドはその同じサンドボックス内で実行され、エージェントや他のユーザーから分離されます。
このアーキテクチャは、Spriteの本来の使い捨て性に依存しています。トラブルシューティングセッションは何も残すべきではないので、完了したらSpriteも一緒に破棄されます。
Spriteのアイドル時の動作により、このアーキテクチャは安価に実行できます。サンドボックスがアイドル状態になると、ステータスはウォーム、次にコールドに低下するため、質問の間待機しているセッションのコストはほぼゼロになります。十分に長くアイドル状態にするか、セッションをアーカイブすると、Spriteは完全に破棄されます。後でそのセッションを再開すると、シェルを必要とする次のコマンドは新しいSpriteを起動します。誰も何もしていないボックスに料金を支払うことはありません。
存在しなかったトークン
Henrique氏のデザインから何かを盗むとすれば、それはこれでしょう:SpriteDocは、実際のユーザーとして認証されたflyctlをサンドボックス内で実行しますが、ユーザーのトークンはSpriteに書き込まれることはありません。それは、その1つのコマンドの実行時間中だけ環境変数に注入され、コマンドが戻ると消えます。サンドボックスは実際の認証済み作業を行い、認証情報を保持することはありません。後でそのSpriteが検査、スナップショット、または侵害されたとしても、そこに盗むべきトークンはありません。なぜなら、静止状態では決して存在しなかったからです。
これはマルチユーザーエージェントを構築する人々にとって非常に便利です。各ユーザーのコマンドは、自分自身として、自分のリソースに対して、自分の権限で実行され、長期間保持される秘密情報は共有ディスクに決して着陸しません。認証情報は、使用される瞬間にのみ存在し、ユーザーからは見えません。ユーザーは質問をし、正しいコマンドが自分として実行され、それが機能します。
エージェントを自己破壊から救う
次に、Nous Researchのオープンソース個人エージェントであるHermes AgentのターミナルバックエンドであるKyle氏のプロジェクトです。Hermesはいくつかの実行バックエンドを備えており、1つの設定で選択できます。Kyle氏のバックエンドは、エージェントが実行する必要のあるすべてのコマンドをSpriteに送信します。
SpriteDocがセッションごとに使い捨てのサンドボックスを起動するのに対し、Hermesは同じビルディングブロックで反対のことを行います。タスクごとに1つのSpriteを保持し、次回再開するため、前回のセッションでインストールされたものがすべて残っています。同じ分割、反対のライフサイクル、1つの設定決定の違いです。
これは、Hermesがシェルコマンドを実行する必要があるときはいつでも、何も傷つけられない場所で実行されることを意味します。それ自身も含まれます。そして、エージェントのアクションを承認するためにリターンキーを何度も押したことがある人なら誰でも共感できる点を軽視しないでください。コマンドが実際のサンドボックスで実行される場合、Hermesは危険なコマンドに対する「本当に実行しますか?」という確認プロンプトをスキップします。なぜなら、サンドボックスがセキュリティ境界だからです。ホストが手の届かないところにあるなら、エージェントを自由に実行させることができます。
「でも、私のエージェントはすでにサンドボックスで実行されています」
では、そのコードを別のサンドボックスで実行してください。Spriteはエージェントを実行するのに適した場所ですが、サンドボックス内のエージェントがそのコマンドを同じサンドボックスで実行する必要があるという意味ではありません。
Kyle氏はまさにそのテストを行いました。Sprite内で実行されているHermesが、そのコマンドを別のSpriteにディスパッチします。エージェント自身のマシンは1つのIDを報告し、実行されたコマンドは2番目のマシンから、異なるIDと異なるブートで返されました。サンドボックス化されているからといって、エージェントが信頼されていないコマンドを自身のサンドボックスで実行するわけではありません。それは依然として、別の使い捨てのサンドボックスにそれらをプッシュしました。
それが望ましい形です。エージェントの「家」は耐久性があり快適であることができます。信頼されていない文字列を実行する場所は、依然として燃やしても構わないと思える場所であるべきです。
エージェントに「元に戻す」ボタンを与える
セキュリティは常に私たちのアーキテクチャ上の決定を導きます(正しい)、しかし、時間を節約するためにセキュリティのベストプラクティスを回避したことがないと主張できる人はほとんどいません。だからこそ、このパターンがどれだけ時間を節約できるかを実証する価値があるのです。
Spriteに新しく書き込まれた2つのマイグレーションファイル:
$ ls /root/app/migrations
001_init.sql
002_add_users.sql
この状態をチェックポイントします。それからエージェントを解放します。以下は、事態を悪化させる、一見無害なプロンプトです:
不要になった古いマイグレーションと古いバイナリをクリーンアップしてください。
モデルはこれを次のように解釈します:
$ rm -rf /root/app /usr/bin/python3 /usr/bin/git
$ ls /root/app/migrations
'/root/app/migrations' にアクセスできません: ディレクトリが存在しません
$ git version
$PATH に実行可能ファイル `git` が見つかりません
しまった。私の作業は消え、エージェントは立ち去る途中で自身のツールチェーンを削除しました。これが私のエージェントのホストで起こったとしたら、私は少し泣くでしょう。Sprite上では、それは笑顔でのチェックポイント復元です:
$ ls /root/app/migrations
001_init.sql
002_add_users.sql
$ git version
git version 2.51.0
両方のファイルはバイト単位で元に戻り、gitはパスに戻り、約9秒で完了します。復元はコピーオンライトなので、危険なステップの前にチェックポイントを取ることは反射的に行うほど安価です。ロールバックできるエージェントは、実際に unattended で実行させることができるエージェントです。なぜなら、最悪のケースは「バックアップから復元する(もしあれば)」ではなく、「復元して再試行」だからです。
エージェントに注意するように言うのは愚かです。ただ、それがする必要のない場所で物事を実行させるだけです。
次の投稿 ↑
前の投稿 ↓