HN 日本語サマリー

← 一覧へ戻る
オープンソース

FableがNanoClawのエージェントファクトリーをオープンソース化した。費用は800ドルだった。

Fable open sourced NanoClaw's agent factory. It cost $800 (twitter.com)

13 pointsby benocodes15 コメント

要約

Fable社がNanoClawのエージェントファクトリーをオープンソース化したという短いニュースです。その開発費用は800ドルだったと報告されています。

全文翻訳

FableがNanoClawのエージェントファクトリをオープンソース化。費用は800ドル

Claude Fable 5が6月9日にリリースされました。皆と同じように、私もローンチ日に色々なものを試しましたが、午前2時にはネタが尽きてしまいました。

寝る前に、最後の仕事をFableに任せました。私たちが「PRファクトリ」と呼ぶNanoClawのプライベートフォークがあります。このリポジトリでは、プルリクエストごとにSlackスレッドが作成され、エージェントが変更内容をトリアージ、レビュー、テストします。人間はSlackの承認カードから機密性の高い操作の承認を行います。

そのフォークは、オリジナルのリポジトリから405コミット遅れており、修理不能なほど古い状態でした。私はFableにNanoClawのカスタマイズガイドラインとフォークを指示し、ウルトラコードワークフローを実行して両者を一致させるように伝え、眠りにつきました。

目が覚めると、5時間実行され、約800ドルかかったセッションの結果がありました。フォークはオープンソース化可能な状態の約80%まで進んでいました。コードはマッピングされ、スキルに分解され、テストでカバーされていました。

私にとって驚きだったのは、その判断力でした。一晩で、Fableは8,000行の乱雑なコードを、シニアエンジニアが認識できるようなカテゴリに分類しました。例えば、「オリジナルのリポジトリに存在するが、皆が気づいていない潜在的なバグ、コアに送るべき」「欠けているフック、コアに提案するべき」「これはアーキテクチャ上のギャップ(1つのプラットフォームにつき1つのボットを想定するコアに3つのSlackボットが詰め込まれている)であり、その修正が私たちのフォークではなくコアに属する理由の分析」「これは私たちのプライベートなチューニングであり、コントリビューションからは除外する」といった具合です。私はFableにこれらの区別をするよう指示したわけではなく、指示したガイドラインからそれらを学習しました。

コントラクト:NanoClawのカスタマイズガイドライン

それがなぜ機能したのかを説明するには、午前2時に私が渡したコンテキストを理解する必要があります。NanoClawは最近、カスタマイズガイドラインを採用しました。これは私が問題意識から作成した3つのドキュメント(customizing、the skills model、skill guidelines)です。この問題とは、すべての拡張可能なプロジェクトが抱える問題、つまり、人々がフォークしてコードを変更し、その後のアップストリームのアップデートがすべてマージの争いになるというものです。カスタマイズすればするほど状況は悪化し、フォークは修理不能なほど古くなります。

ガイドラインの答えは1つのアイデアです:フォークに加えるすべての変更はスキルである。

スキルとは、機能を追加または変更するためにプロジェクトのソースコードに修正を適用する方法を自己完結的に記述したものです。Anthropicが作成したスキル標準の形式で構造化されています。独自のコードを含み、自身をインストールする方法と削除する方法を知っています。これを機能させるためのルールは以下の通りです。

  • 原則として追加する。 良いスキルはファイルを追加し、バレルに1行追加し、依存関係を追加します。保守性の観点から時間が経つにつれて問題となるのは、既存のコードに手を加えることですが、コードに手を加える場合は、スキルの独自のファイルからインポートする1〜2行にとどめるべきです。
  • すべての統合ポイントにテストを。 すべての機能的なコードへのアクセスには、配線が削除されたりドリフトしたりすると赤くなるテストが必要です。これはスキルのロジック自体の単体テストではなく、コアとの統合ポイントに対するガードです。アップストリームが何かを移動したとき、それはアップグレードのTODOのような失敗するテストになります。
  • 削除はスキルと共に提供される。 applyが実行したすべてのことを元に戻すREMOVE.md。
  • フォークはレシピによって定義される。 スキルを適用順にリストした1つのファイル。これにより、新しいアップストリームでフォークをゼロから再構築したり、誰かに引き渡したりできます。
  • そしてメンテナー側の取引:多くのスキルがコアの同じ場所にアクセスする場合、それはホットスポットであり、メンテナーはそこに適切なフックを追加して、アクセスをクリーンな追加処理に変えます。

私たちのエージェントファクトリフォークは、これらのいずれにも従っていませんでした。しかし、ガイドラインはエージェントに明確でチェック可能な「完了」の定義と、遭遇するコード片ごとの決定ルールを与えました。バグ修正とフックはコアへ。機能はスキルとして保持。すべての統合ポイントにはテストがあります。

夜間の80%

それは混乱をマッピングしました。 6つのリーダーエージェントがフォークの差分(78ファイルにわたる約8,000行)に広がり、機能マップを作成しました。5つの異なる機能、コアとの41の統合ポイントがあり、それぞれが分類され、テストアーキタイプが割り当てられました。また、忘れ去られていたデッドコードの山、コードと一致しないドキュメントの主張、古いマイグレーションログもありました。

テストを作成しました。 すべての統合ポイントにガードテストが設定され、すべてのガードはミューテーション検証済みでした。エージェントは実際に各アクセスを削除し、テストを実行して失敗することを要求し、その後復元してグリーンを要求しました。約90回のミューテーションが、独立したワークツリーで実行されました。1つの検証バッチはインデックスのラベル付けを誤り、サイレントにスキップしましたが、オーケストレーターはマトリックス内の不一致を検出し、手動で再実行しました。

設計上の問題を発見しました。 私たちのマルチボットサポートは、12のコアファイルにアクセスし、ステートアダプタークラスを書き直すことさえ含んでいました。なぜこんなに広範囲なのか尋ねたところ、もっとシンプルであるべきだと感じました。返ってきた分析は、12のファイルを約45%の固有部分(ボットのIDはコアの6つの独立したキースペースの座標であることが判明)、30%のリトロフィット税、15%の分離可能なポリシー、10%の私たち自身の回避可能な選択に分解しました。また、私が提案した「各ボットを独自のチャネルタイプとして登録する」という設計を評価し、それがどこで壊れるかを正確に示しました。ユーザーIDはチャネルタイプでキー付けされているため、同じ人間が3人のユーザーになり、すべてのロールチェックが2番目のボットでサイレントに失敗します。

結論として、マルチボットIDはコアに属するべきだということになりました。これが#2733となりました。ネイティブインスタンスディメンションで、後方互換性があり、FKセーフなマイグレーションと正確なキーディスパッチを備えているため、名前付きボットのトラフィックがサイレントに兄弟のIDを介してリダイレクトされることはありません。

PRトレインをリリースしました。 ガイドラインのロジックに従い、フォークは小さなPRに分解されました。3つのバグ修正(コマンドゲートの拒否パスがアウトバウンドDBの読み取り専用を開いてしまい、拒否が配信されなかったという実際のアップストリームバグを含む)、3つのフック/レジストリPR(一般的なアクセスをアペンドに変換)、およびインスタンス基盤。各PRは独立して実装、テスト、ミューテーションチェックされました。

私は7つをマージし、1つを拒否しました。それはコンテナアイドルタイムアウト機能でしたが、最適化のためにコアの表面積が大きすぎました。Fableはそれを閉じ、下流のすべてから依存関係を剥がし、先に進みました。

残りの20%

夜間のワークフローでフォークは整列され、コアトレインが提案されました。残りの20%は、次の2日間でさらにいくつかのワークフローを経て、「私たちのフォークはクリーン」から「見知らぬ人がこれを実行できる」状態になりました。

ファクトリをレシピとしてパッケージ化しました。 最後のPR、#2742には、ソースコードの変更は一切含まれていません。recipes/pr-factoryフォルダが追加されました。これは5つのコンポーネントスキルを適用するメタスキルで、それぞれが独自のコード、適用手順、削除手順、ガードテストを持っています。スキルを実行するとコアが編集されます。

そして、レシピが機能することを、唯一意味のある方法で証明しました。 ハーネスエージェントは、アップストリームの新しいクローンを取得し、レシピを渡され、参照実装を見ることを禁じられました。それは、すべてのバージョンプローブに合格し、すべてのパッチアンカーが一致し、テストスイートが6つのグリーンチェックポイントで458から547に増加した状態で、すべてを単独で適用しました。その後、すべてを2回目に適用し、ツリーがバイト単位で同一であることを確認し、すべてを削除して、ツリーが適用前の状態とバイト単位で同一であることを確認しました。適用、冪等性、削除:スキルが主張する3つのクレームすべてが機械的にチェックされました。

人間が行ったこと

これらすべてにおける人間の貢献は、どの部分をコアに送るか、バンドルにするかの選択、Sentryの除外、チューニングされたレビュー機能をプライベートに保つこと、レシピの場所の選択、PRの1つの拒否、2つの機能の修正ではなく削除の指示、単一リポジトリのスコープの宣言、「はい、プッシュ」と言うことでした。約12回のやり取りです。そのすべてが意思決定でした:好み、スコープ、リスク許容度。そのどれもが労働ではありませんでした。

労働は、12のオーケストレーションされたワークフローにわたる100以上のサブエージェント実行でした:マッピング、実装、ミューテーションテスト、自身の発見の敵対的レビュー(生のレビュー発見の約3分の1は、私たちに届く前に検証エージェントによって反論されました)。

請求書

タイトルの800ドルは、夜間のセッションの費用です。5時間 unattended で、405コミット遅れていたフォークを公開可能な状態の80%まで進めました。その後のワークフローも費用を上乗せしました。総費用で得られたものは以下の通りです:7つのマージされたコア貢献、1つのアーキテクチャアップグレード(チャネルインスタンス)、これはすべてのNanoClawマルチボットセットアップが無料で利用できるようになりました、1つの発見および修正されたアップストリームバグ、そして工場全体がワンコマンドインストールとして公開されました。

この作業の人間のバージョン(厄介な内部フォークをアップストリームに含めること)は、経験豊富なエンジニアの数週間の時間が必要なので、私の意見では800ドルは安いです。

コーダ

6月12日、FableがリリースPRの最終改訂版をプッシュしたのと同じ日、米国政府はFable 5とMythos 5に輸出管理を適用しました。Anthropicはコンプライアンス作業に取り組む間、全員へのアクセスを一時停止しました。私たちの工場をオープンソース化したモデルは、仕事を終えた数時間後にダークになり、PRはマージ可能で開いたまま残されました。アクセスは戻ってきました今朝。この投稿は、Fableの復帰から数時間後に出されています。この投稿がどのように書かれたかについては、ご自身で結論を導き出すことができます。

ファクトリはnanocoai/nanoclaw#2742にあります。Claudeに.claude/skills/recipes/pr-factory/SKILL.mdを指させると、それが1つ構築されます。