あらゆることを実行できるハーネスに向けて
Towards a Harness That Can Do Anything (eardatasci.github.io)
要約
この記事は、大規模言語モデル(LLM)をチャットインターフェースから解放し、より汎用的なタスクを実行できるようにするための「ハーネス」設計について考察しています。直感的で、透明性が高く、エラーに強く、リソース効率の良いハーネスの原則と、Unix/Linux環境を参考に構築された「Ambiance」というシステムが紹介されています。
全文翻訳
何でもできるハーネスに向けて
数年前から、LLMをチャットペインから解放する方法について考えてきました。人々が試してきたことや、うまくいったこと(そしていかなかったこと)を見て、そのアプローチの正しい方法について自分なりの意見を形成しました。ここでは私の考えと、最近取り組んでいることについて説明します。
優れたハーネスとは
- I. エージェントにとって自然に直感的であること。
- II. すべてが透明であり、エージェントが自己開発または自己修復(または事後監査)できること。
- III. 可能な限り軽量で柔軟であること。
- IV. エラーからの生存、アップデートからの生存、時間の経過によるメモリ破損や劣化がないこと。
LLMの知能が進歩するにつれて、ハーネスはいずれ信頼できるものになるでしょう。
本当の課題は、ボットにかける認知負荷(トークンで測定)をどれだけ減らせるかです。
事前の真実
長年にわたって学んだ最も重要なこと。
- 可能な限り決定論的であること。LLMは追求する目標を選択すべきですが、その目標への熟考は明確に定義されているか、少なくとも明確に定義されたステップの集まりであるべきです。
- コアプロンプトは可能な限り小さくし、LLMが実行時にコンテキストにロードするスキルを選択するようにします。
- コンテキストの限界に近づくと、LLMは異常な動作を始めます。
確率に賭けるな、ボットに賭けろ
[画像: ハーベイ・スペクター: 私は確率に賭けない、男に賭ける。]
A good harness MUST make use of the a priori coding knowledge of the LLM. Coding and systems administration are heavily overrepresented in the LLM's training data, so give it an environment it is already comfortable in; wrangling it through a novel one ultimately wastes tokens. Similarly, precious context should not be wasted on things like file discovery, traversal, etc. -- good harnesses make delegation easy and efficient. At the same time, a harness should feel light to the LLM, but actually do a lot of things in the background. These include logging, sanity checks, failsafes, sanitizations, etc.
監査可能性、ロギング、自己修復
すべては脆弱であり、すべてのエージェントはいずれ失敗します。エージェントの失敗には2種類あります。
- LLMレベル
- ハーネスレベル
LLMレベルの失敗は直接パッチを当てられませんが、そのような失敗のリスクはハーネスによって軽減できます。
ハーネスレベルの失敗は回復可能であり、LLMのターンベースの性質により実行時に修正できるはずです。
欠陥を修正するには、エージェントには2つのものが必要です。優れたロギングと明確なエラーメッセージです。
すべてをこなせる統一データレイヤー
これらの要件のほとんどは古くからの問いであり、言葉遣いが「ユーザー」から「エージェント」に変わっただけです。したがって、昔の時代、人々が実際にコードを書いていた頃から何を学べるかを問う価値があります。
私の仮説:Unix / Linux環境は自然な候補であり、いくつかの変更を加えることでエージェントハーネスに変えることができる。
私はUnixとその派生製品の専門家では全くありませんが、過去10年間、その歴史、設計上の選択、使用法について学んできました。その多くは私たちの窮状によくマッピングされますが、そうでないものもたくさんあります。U/Lを直接的な比較ではなく、動機付けのアナロジーと考えてください。
古い概念と新しい概念のマッピング、そしてUnix哲学
忘れてしまった、あるいは見たことがない方のために、リッチーとトンプソンの祖先の信条を以下に示します。
- 一つのことをうまくやるプログラムを書け。新しい仕事をするには、古いプログラムに新しい「機能」を追加して複雑にするのではなく、新たに構築せよ。
- プログラムが連携して動作するように書け。各プログラムの出力を別のプログラムの入力として期待せよ。
- テキストストリームを処理するプログラムを書け。なぜなら、それが普遍的なインターフェースだからだ。
これらは今日のハーネスの問題点を完璧に要約しています。それらは複雑すぎ、多くのことをやろうとしており、エージェントが取ることが期待される軌跡はしばしば不明確です。これらはすべて同じ問題の症状です。エージェントが自分自身に主体性を持つ方法がありません。今日の多くのケースでは、ツールは直接コンテキストにロードされ、システムプロンプトは開発者が持つ警告、特定のルール、ガイドラインで事前に満たされています(これらは最終的にターンごとに薄れていきます)。
そこから、ハーネス設計のための独自の原則を導き出すことができます。
- 一つのことをうまくやる、モジュール化された透明なツールを書け。それらが大きく失敗するようにせよ。
- 連携して動作するツール、スキル、コネクタを書け。スキルはワークフローを指示し、ツールはそれらを実行する手段であり、コネクタはエージェントが操作するデータである。
- テキストストリームは普遍的なインターフェースであり、言語モデルはホームコートアドバンテージを持つ。すべてはフラットなテキストファイルであるべきだ。
Ambiance:ハーネスに対する私の見解
すべてはファイルである
JSONの操作を手動で行ったことはありますか? エンドポイントをクエリするための重いcurlコマンドを作成したことは? 複雑な正規表現は? 私はやったことがありません。なぜなら、それらは非常に面倒だからです。LLMはあなたよりもそれらを扱いやすいかもしれませんが、彼らもプレーンテキストを好むことは確かです。したがって、外部データソースを扱うときは、LLMに到達する前に、それをクリーンアップするために必要なあらゆる操作をハーネスが実行する必要があります。
このすべてのデータを保存する場所が必要です。すべてをディレクトリに分類することで、エージェントのトークンを大量に節約できます。
Filesystem Hierarchy Standard (FHS) を検討する
FHSは、新しいLinuxインストールの外観を概説するだけです。当然、LLMはLinux FSのナビゲーションの専門家です。したがって、外部データソースを戦略的に配置し、VFSにルーティングすることで、エージェントは自宅にいるように感じることができます(例:ログは/varに、設定ファイルは/etcに、エージェントワークスペースは/homeなどに配置)。追加の利点は、あなたとエージェントの両方がgrep、find、which、さらにはrgやfzfのような非GNUプログラムを使用して、簡単に監査、追跡、検索できることです。
厄介で散らかった外部世界を偽のVFSに適合させるのが、大変な作業です。
私は以下のマッピングを使用しています。多くのものが直接1対1で翻訳されるわけではないことに注意してください。
| ハーネス | Unix相当 | FHS |
|---|---|---|
| エージェント | ユーザー | /home/... |
| 外部データ | ドライバー | /sys/ |
| ツール | バイナリ | /bin/ |
| ログ | ログ | /var/ |
| 自己修復 | システムバイナリ | /sbin/ & /recovery |
| スキル | ドキュメント | /usr/share/doc |
「カーネル」
ファイルシステムがどのようになるべきかを確立したので、エージェントが環境とどのように(あるいはむしろいつ)対話するかを考えてみましょう。常時稼働エージェントの業界標準であるOpenClawは、イベント駆動型メッセージ処理とハートビートをペアにしています。これは、注意が必要なものがあるかどうかを確認するための固定間隔(デフォルトで30分)での完全なエージェントターンです。問題は、ファイル変更や外部状態のような、プッシュされたメッセージではないすべてが、ハートビートの粒度でのみ認識されることです。間隔を短くすると、空のチェックごとに完全なLLMターンを消費し、間隔を長くすると、エージェントは世界から最大1時間遅れます。
したがって、私は「カーネル」と誤って名付けたイベントバスを中心にAmbianceを構築することにしました。これは、テキストファイルのカーソルを使用してFSの変更を監視し、それに応じてLLMを呼び出します(高スループットを処理するためのいくつかの合体戦略があります)。その方法で、エージェントが単一の通知を見逃すことがないことを保証できます。さらに、異なるイベントに応答するために、異なる「ユーザー」(LLMインスタンス)を配線することもできます。
カーネルが大変な作業を行う
実際のカーネルは、ソフトウェアとハードウェアの中間層として機能します。Ambianceカーネルは、LLMと外部世界の中間層として機能します。カーネルは、LLMが行うすべてが安全で、明らかに有害でないことをチェックし、保証します。
「ユーザー」
私がこれまでに開発した3つのデフォルトユーザーがあります。
root:すべてのシステムレベルのタスク、特に新しいドライバーやバイナリのコーディング、古いものの修正を処理します。pai:実際に外部世界と対話する人間向けのLLMです。librarian:paiが得意なこと、不得意なこと、そしてその日のシステムが行ったことを記録します。
これら3つはすべて、イベントバスとsend-messageバイナリを介して常に互いに通信しています。
試してみる
Ambianceの背後にある考えは単純です。モデルの事前知識は、あなたが持っている最も安価なリソースです。したがって、モデルがすでに知っているもの(ファイル、ユーザー、ログ、ドキュメント)で構築されたハーネスは、常に教えられる必要があるものよりも優れています。ここにある他のすべては、そのサービスのためだけです。
Ambianceは開発中のプロジェクトですが、本日whitematterlabs.aiで試すことができます。または、直接以下に進んでください。
curl -fsSL https://raw.githubusercontent.com/whitematterlabs/ambiance/main/install.sh | sh
PS:このようなプロジェクトに興味がありますか? あなた自身もこのようなプロジェクトに取り組んでいますか? Recurse Centerをぜひチェックしてみてください。そこで私はこれを構築し始めました!