HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

あらゆることを実行できるハーネスに向けて

Towards a Harness That Can Do Anything (eardatasci.github.io)

180 pointsby evakhoury93 コメント

要約

この記事は、大規模言語モデル(LLM)をチャットインターフェースから解放し、より汎用的なタスクを実行できるようにするための「ハーネス」設計について考察しています。直感的で、透明性が高く、エラーに強く、リソース効率の良いハーネスの原則と、Unix/Linux環境を参考に構築された「Ambiance」というシステムが紹介されています。

全文翻訳

何でもできるハーネスに向けて

数年前から、LLMをチャットペインから解放する方法について考えてきました。人々が試してきたことや、うまくいったこと(そしていかなかったこと)を見て、そのアプローチの正しい方法について自分なりの意見を形成しました。ここでは私の考えと、最近取り組んでいることについて説明します。

優れたハーネスとは

  • I. エージェントにとって自然に直感的であること。
  • II. すべてが透明であり、エージェントが自己開発または自己修復(または事後監査)できること。
  • III. 可能な限り軽量で柔軟であること。
  • IV. エラーからの生存、アップデートからの生存、時間の経過によるメモリ破損や劣化がないこと。

LLMの知能が進歩するにつれて、ハーネスはいずれ信頼できるものになるでしょう。
本当の課題は、ボットにかける認知負荷(トークンで測定)をどれだけ減らせるかです。

事前の真実

長年にわたって学んだ最も重要なこと。

  • 可能な限り決定論的であること。LLMは追求する目標を選択すべきですが、その目標への熟考は明確に定義されているか、少なくとも明確に定義されたステップの集まりであるべきです。
  • コアプロンプトは可能な限り小さくし、LLMが実行時にコンテキストにロードするスキルを選択するようにします。
  • コンテキストの限界に近づくと、LLMは異常な動作を始めます。

確率に賭けるな、ボットに賭けろ

[画像: ハーベイ・スペクター: 私は確率に賭けない、男に賭ける。]

A good harness MUST make use of the a priori coding knowledge of the LLM. Coding and systems administration are heavily overrepresented in the LLM's training data, so give it an environment it is already comfortable in; wrangling it through a novel one ultimately wastes tokens. Similarly, precious context should not be wasted on things like file discovery, traversal, etc. -- good harnesses make delegation easy and efficient. At the same time, a harness should feel light to the LLM, but actually do a lot of things in the background. These include logging, sanity checks, failsafes, sanitizations, etc.

監査可能性、ロギング、自己修復

すべては脆弱であり、すべてのエージェントはいずれ失敗します。エージェントの失敗には2種類あります。

  • LLMレベル
  • ハーネスレベル

LLMレベルの失敗は直接パッチを当てられませんが、そのような失敗のリスクはハーネスによって軽減できます。
ハーネスレベルの失敗は回復可能であり、LLMのターンベースの性質により実行時に修正できるはずです。

欠陥を修正するには、エージェントには2つのものが必要です。優れたロギングと明確なエラーメッセージです。

すべてをこなせる統一データレイヤー

これらの要件のほとんどは古くからの問いであり、言葉遣いが「ユーザー」から「エージェント」に変わっただけです。したがって、昔の時代、人々が実際にコードを書いていた頃から何を学べるかを問う価値があります。

私の仮説:Unix / Linux環境は自然な候補であり、いくつかの変更を加えることでエージェントハーネスに変えることができる。

私はUnixとその派生製品の専門家では全くありませんが、過去10年間、その歴史、設計上の選択、使用法について学んできました。その多くは私たちの窮状によくマッピングされますが、そうでないものもたくさんあります。U/Lを直接的な比較ではなく、動機付けのアナロジーと考えてください。

古い概念と新しい概念のマッピング、そしてUnix哲学

忘れてしまった、あるいは見たことがない方のために、リッチーとトンプソンの祖先の信条を以下に示します。

  1. 一つのことをうまくやるプログラムを書け。新しい仕事をするには、古いプログラムに新しい「機能」を追加して複雑にするのではなく、新たに構築せよ。
  2. プログラムが連携して動作するように書け。各プログラムの出力を別のプログラムの入力として期待せよ。
  3. テキストストリームを処理するプログラムを書け。なぜなら、それが普遍的なインターフェースだからだ。

これらは今日のハーネスの問題点を完璧に要約しています。それらは複雑すぎ、多くのことをやろうとしており、エージェントが取ることが期待される軌跡はしばしば不明確です。これらはすべて同じ問題の症状です。エージェントが自分自身に主体性を持つ方法がありません。今日の多くのケースでは、ツールは直接コンテキストにロードされ、システムプロンプトは開発者が持つ警告、特定のルール、ガイドラインで事前に満たされています(これらは最終的にターンごとに薄れていきます)。

そこから、ハーネス設計のための独自の原則を導き出すことができます。

  1. 一つのことをうまくやる、モジュール化された透明なツールを書け。それらが大きく失敗するようにせよ。
  2. 連携して動作するツール、スキル、コネクタを書け。スキルはワークフローを指示し、ツールはそれらを実行する手段であり、コネクタはエージェントが操作するデータである。
  3. テキストストリームは普遍的なインターフェースであり、言語モデルはホームコートアドバンテージを持つ。すべてはフラットなテキストファイルであるべきだ。

Ambiance:ハーネスに対する私の見解

すべてはファイルである

JSONの操作を手動で行ったことはありますか? エンドポイントをクエリするための重いcurlコマンドを作成したことは? 複雑な正規表現は? 私はやったことがありません。なぜなら、それらは非常に面倒だからです。LLMはあなたよりもそれらを扱いやすいかもしれませんが、彼らもプレーンテキストを好むことは確かです。したがって、外部データソースを扱うときは、LLMに到達する前に、それをクリーンアップするために必要なあらゆる操作をハーネスが実行する必要があります。

このすべてのデータを保存する場所が必要です。すべてをディレクトリに分類することで、エージェントのトークンを大量に節約できます。

Filesystem Hierarchy Standard (FHS) を検討する

FHSは、新しいLinuxインストールの外観を概説するだけです。当然、LLMはLinux FSのナビゲーションの専門家です。したがって、外部データソースを戦略的に配置し、VFSにルーティングすることで、エージェントは自宅にいるように感じることができます(例:ログは/varに、設定ファイルは/etcに、エージェントワークスペースは/homeなどに配置)。追加の利点は、あなたとエージェントの両方がgrep、find、which、さらにはrgやfzfのような非GNUプログラムを使用して、簡単に監査、追跡、検索できることです。

厄介で散らかった外部世界を偽のVFSに適合させるのが、大変な作業です。

私は以下のマッピングを使用しています。多くのものが直接1対1で翻訳されるわけではないことに注意してください。

ハーネスUnix相当FHS
エージェントユーザー/home/...
外部データドライバー/sys/
ツールバイナリ/bin/
ログログ/var/
自己修復システムバイナリ/sbin/ & /recovery
スキルドキュメント/usr/share/doc

「カーネル」

ファイルシステムがどのようになるべきかを確立したので、エージェントが環境とどのように(あるいはむしろいつ)対話するかを考えてみましょう。常時稼働エージェントの業界標準であるOpenClawは、イベント駆動型メッセージ処理とハートビートをペアにしています。これは、注意が必要なものがあるかどうかを確認するための固定間隔(デフォルトで30分)での完全なエージェントターンです。問題は、ファイル変更や外部状態のような、プッシュされたメッセージではないすべてが、ハートビートの粒度でのみ認識されることです。間隔を短くすると、空のチェックごとに完全なLLMターンを消費し、間隔を長くすると、エージェントは世界から最大1時間遅れます。

したがって、私は「カーネル」と誤って名付けたイベントバスを中心にAmbianceを構築することにしました。これは、テキストファイルのカーソルを使用してFSの変更を監視し、それに応じてLLMを呼び出します(高スループットを処理するためのいくつかの合体戦略があります)。その方法で、エージェントが単一の通知を見逃すことがないことを保証できます。さらに、異なるイベントに応答するために、異なる「ユーザー」(LLMインスタンス)を配線することもできます。

カーネルが大変な作業を行う

実際のカーネルは、ソフトウェアとハードウェアの中間層として機能します。Ambianceカーネルは、LLMと外部世界の中間層として機能します。カーネルは、LLMが行うすべてが安全で、明らかに有害でないことをチェックし、保証します。

「ユーザー」

私がこれまでに開発した3つのデフォルトユーザーがあります。

  1. root:すべてのシステムレベルのタスク、特に新しいドライバーやバイナリのコーディング、古いものの修正を処理します。
  2. pai:実際に外部世界と対話する人間向けのLLMです。
  3. librarian:paiが得意なこと、不得意なこと、そしてその日のシステムが行ったことを記録します。

これら3つはすべて、イベントバスとsend-messageバイナリを介して常に互いに通信しています。

試してみる

Ambianceの背後にある考えは単純です。モデルの事前知識は、あなたが持っている最も安価なリソースです。したがって、モデルがすでに知っているもの(ファイル、ユーザー、ログ、ドキュメント)で構築されたハーネスは、常に教えられる必要があるものよりも優れています。ここにある他のすべては、そのサービスのためだけです。

Ambianceは開発中のプロジェクトですが、本日whitematterlabs.aiで試すことができます。または、直接以下に進んでください。

curl -fsSL https://raw.githubusercontent.com/whitematterlabs/ambiance/main/install.sh | sh

PS:このようなプロジェクトに興味がありますか? あなた自身もこのようなプロジェクトに取り組んでいますか? Recurse Centerをぜひチェックしてみてください。そこで私はこれを構築し始めました!