ポストトレーニング用データコモンズは存在しない

ポストトレーニング用データコモンズは存在しない

事前学習用データに関しては、私たちは信じられないほど幸運でした。大規模言語モデルのトレーニングには、本当に膨大なテキストコーパスが必要でしたが、それはちょうどそこら中に転がっていました。

偶然ではありません。過去50年ほどの間、人類は人間の知識の巨大な公開記録を熱心に作成し、デジタル化してきました。最も明白なのは、Wikipediaの編集者たちが、人類がこれまで生み出した中で最も包括的な百科事典を編纂したことです。活発なオープンソース運動は、数ペタバイトのソフトウェアソースコードを生み出しました。Stack Exchangeのコミュニティは、10年以上にわたって質問を投稿し、回答について議論し、結果を注意深くキュレーションしてきました。科学者たちは論文をArXivにアップロードしました。インターネット自体とほぼ同じくらい古いProject Gutenbergは、著作権切れの本のデジタル版を制作しました。

そしてもちろん、数十億人もの人々がウェブサイトを作成し、コメントし、些細なことから重大なことまで議論し、写真や絵画をアップロードし、フィクションを書き、そして信じられないかもしれませんが、インターネット上で嘘をつくことさえありました。

Gutenberg、Internet Archive、Wikipedia、ArXiv、Stack Exchangeのような取り組みは、デジタル知識コモンズを創造するための意識的な努力でした。そして、Common Crawlがあります。2007年以来、Common Crawlはインターネットの相当なサブセットのスナップショットを定期的にアーカイブし、誰でもアクセスして使用できるように無料で提供しています。現在、Common Crawlによってアーカイブされているデータは約10ペタバイトにのぼります。

この人間の知識の広大なコモンズが、LLM革命の基盤を形成しました。GPT-3は、Common Crawl由来のデータで約60%をトレーニングされました。オリジナルのLlamaのデータミックスは、ほぼ完全にインターネットコモンズから抽出されたものでした[1]。

ウェブの生データをLLMに適したチャンクに精製することが簡単だったということではありません。ウェブページは驚くほど厄介なものであり、ウェブの大部分はGoogleのクローラーを騙すためのスパムやジャンクです。人々はまだ、フィルタリング、HTMLからテキストへの抽出、古い文書のOCR、合成書き換えの方法について論文を書いています。

既存の大手企業は独自のカスタムウェブクローラーに移行したようですが（Cloudflareはクローラーのトラフィックの半分以上がAI向けであると報告しています）、Nemotronや私たちのもののような最新のオープンLLMは、依然として事前学習データの大部分をこのコモンズに依存しています。このコモンズへの継続的なアクセスなしには、真にオープンなLLMは存在できません。

最近では、最先端のAI研究の焦点はポストトレーニング、特にいわゆる「エージェント型」AIへと移っています。事前学習と同様に、ポストトレーニングも膨大な計算能力と膨大なデータ量を必要とします。しかし、ポストトレーニングのために、事前学習のようなすぐに利用できる生のデータはありません。要するに、ポストトレーニング用データコモンズは存在しないのです。

根本的な違いは単純です。事前学習は文書を消費しますが、ポストトレーニングはタスクを消費します[2]。しかし、ここでの「タスク」はすでに抽象化されたものです。ポストトレーニングに使用される強化学習のタスクは、人間が世界で行うタスクとは異なります。

人間のタスクは特定の瞬間に位置づけられます。誰かが何かを欲しがり、それを手に入れるために世界で行動し、世界は反応し、目標は学習とともに変化し、最終的に成功するか、失敗するか、目標を変更します。一度試みられたタスクは消滅します。同じ条件が再び発生することは決してありません。

この意味で、人間のタスクは口承文化を反映しています。口承の物語は、物体であると同時に出来事でもあります。物語の語りは、語り手、聴衆、機会によって変化します。物語を書き留めることで、それは耐久性があり繰り返し可能になりますが、それは単一の語りを固定します。

人間の活動をRLタスクとしてエンコードすることは、同様のことを行います。RLタスクは固定され、スキーマ化され、読み取り可能ですが、人間と世界のタスクは適応的で、条件付きで、一時的です。位置づけられた行動のエピソードは、何度も実行できるオブジェクトに変換されます。

RLタスクの場合、少なくとも3つのコンポーネントを保持する必要があります。世界、意図、そして世界と対話するためのツールのセットです。強化学習のためには、エージェントの行動の結果を調べ、意図がどれだけ満たされたかを判断する評価者も必要です。

人間は何千年もの間、書籍、図書館、アーカイブ、インターネットといった文書の形で保存された耐久性のある知識を中心に制度を築いてきました。行動を耐久性のあるものにするためには、はるかに短い時間しかなく、はるかに少ないインフラしか開発していません。

ただし、非常に重要な例外があります。それはソフトウェアです。ソフトウェアエンジニアリングは、大部分において、タスクを書き留める実践です。ソフトウェアエンジニアは何十年もの間、作業を耐久性のある成果物に変換してきました。作業が発生する世界を保存し、その背後にある意図を記録し、取られた行動の痕跡を残してきました。エージェント型AIが最初にソフトウェアを対象としたのも不思議ではありません。

コンピュータは決定論を中心に構築されています。コンピュータを再起動すると、書き留めた情報（文書）を除けば、その状態は多かれ少なかれクリーンな状態になります。（お母さん、だからコンピュータを再起動するようにいつも言っているんだよ。）この決定論は、強化学習に最適です。強化学習アルゴリズムは、エージェントがタスクを試み、変更を破棄し、まったく同じ開始点から再試行できる場合に最もよく機能します。

過去数十年間、ソフトウェアはコンピュータの決定論を倍増させる一連の変革を経てきました。バージョン管理はプログラムの履歴を保存します。継続的インテグレーションと正規化された単体テストライブラリは、それらを実行する手順を記録します。仮想マシンとコンテナは、プログラムが機能するために必要な世界の制御されたスナップショットをカプセル化します。これらはすべて完璧ではありません。ソフトウェアも流動的です。システムクロックは移動し、バージョンは変更され、パッケージは消滅します。ビットは腐敗します。Debianは2013年から再現可能なビルドに体系的に取り組んでいますが、10年以上経ってもディストリビューションが完全に再現可能であるとは言えません。

これらの制限にもかかわらず、オープンソースソフトウェアは、保存された世界と記録された行動のコモンズを作成しました。しかし、ソフトウェアコモンズを機械学習が消費できるタスクに変換することは容易ではありません。そして、それはウェブテキストのクリーニングとは質的に異なる方法で困難です。失われた情報は、まったく記録されていなかった可能性があります。したがって、ソフトウェアリポジトリをポストトレーニングデータに変換することは、キュレーションというよりは製造のように見えます。

タスクを構築するには、世界、ツール、意図、そして評価者が必要です。理論的には、オープンソースソフトウェアコモンズはこれらすべてを提供します。

• 世界は、ある時点でのソフトウェアリポジトリ、その依存関係、およびプログラムを機能させるためのコンテナとビルド機械で構成されます。
• ツールは、シェル、コンパイラ、ブラウザなどのソフトウェアエンジニアリングとコンピュータ使用のツールです。
• 意図は、GitHubのイシューやプルリクエストから回復できます。
• 評価者は、テストがパスするかどうかです。

これは基本的にオリジナルのSWE-benchで使用されたフレームワークであることが判明しました。そして、それは驚くほど困難であり、かつあまりにも単純であることが判明しました。彼らは12のPythonリポジトリからGitHubのイシューとプルリクエストをクロールし、90,000以上のPRを生成しました。そのうち、約8分の1しかフレームに容易にマッピングできませんでした。マージされなかったか、イシューにリンクされていなかったか、テストを変更していなかったかのいずれかです。彼らは意図または評価者の明確なマッピングを欠いていました。

残りの11,407のうち、約80%は実行可能なタスクに変換できませんでした。例えば、パッケージはその状態で再構築できなかったか、奇妙な実行時エラーがありました。これらは世界を再構築できなかったか、評価者が失敗しました。これにより、オリジナルのSWE-benchを構成した2,294のタスクが残りました。

1年後、OpenAIはSWE-bench Verifiedの作成に着手しました。OpenAIは93人の経験豊富なPython開発者を雇い、ランダムに選択された1,699のSWE-benchタスクを手動でレビューしました。そのうち、3分の2以上が、指定が不十分なプロンプト、不公平なテスト、その他の重大な問題のために削除対象となりました。フィルタリング後、彼らは500の「検証済み」タスクのプールを作成しました。その後、問題のあるサブセットのタスクの後の監査では、広範なチェックにもかかわらず、500全体のうちさらに約6分の1が壊れていることが発見されました。

SWE-benchを批判しているわけではありません。これは利用可能な、よりよく構築された公開コーディングデータセットの1つです。TaskTroveのタスクコンパイルを調査した際、5,000の変換されたJavaタスクのサブセットで、90%以上が修復中に破棄されなければならなかったことがわかりました（テストが解析されなかった、何もチェックしなかった、または欠落したプロジェクトコンテキストや外部サービスに依存していた）。別のPythonサブセットでは、検査された検証者バンドルのほぼ98%が、依存関係が欠落していたため、テストを開始することさえできませんでした。そして、実行可能性は始まりにすぎません。Valsによる監査では、XiaomiのMiMo v2.6公開リリースに含まれる2,698のコーディング環境の3分の2に、Gitから回復可能な参照修正が含まれていることが判明しました。実証されたケースの1つでは、エージェントが修正をコピーして5つの隠しテストすべてに合格しました。良いタスクを作成するのは難しいです。

そして再び、ソフトウェアは簡単なケースです！ソフトウェアでさえ正しく行うのがこれほど難しい場合、エージェントがハッキングして抜け出せないサンドボックスの構築や、評価者のための事前定義された単体テストがないタスクについては触れていません。経済の残りの部分はどれほど難しいのでしょうか？フロンティアAI企業は、弁護士、科学者、営業担当者、医師などの「経済的に価値のある人間の活動」の残りを、RLが必要とする正式で繰り返し可能なタスクのタイプとして、どのように確実にエンコードできるのでしょうか？

経済の残りの部分については、公開された「タスクコモンズ」の始まりすらありません。では、フロンティアラボは何をすべきでしょうか？弁護士、科学者、営業担当者、医師に、彼らの仕事をRLタスクフレームに適合させるために、彼らの人間世界の場当たり的なタスクをエージェントが消費するタスクに書き写すように支払います。彼らはタスク、環境、評価基準、検証者、シミュレーターなどを作成します。この作業自体はすべて調整され、検証される必要があります。そして、急速に拡大するポストトレーニングデータ産業の存在理由がここにあります。

では、私たちオープンモデルコミュニティはどうすべきでしょうか？ポストトレーニング用のCommon Crawlがないのは、クロールするコモンズが存在しないからです。代わりに、ポストトレーニングコモンズは、大規模かつ体系的な書き写しから始まる必要があります。人間のタスクを見つけてRLタスクに変換することです。（あるいは、より良いパラダイムを見つけることです。それがより良いでしょう。）

これは簡単な作業ではありません。事前トレーニングコモンズの大部分は、すでにほぼ適切な形式で生成されていました。人々は、言語モデルのトレーニングとは関係のない理由で、ウェブページ、ソースコード、論文、書籍を公開したいと考えていました。しかし、それらの成果物を生み出した人間の活動（目標、決定、改訂、交渉、誤った開始）は、ほとんど失われています。

幸いなことに、私たちはゼロから始めていません。オープンソースコモンズは、部分的に書き写されたタスクの宝庫です。経済の他の部分、人間の活動の他の形態も痕跡を残します。変更履歴付きの文書、ログ、手順などです。そして、エージェントは、出力とトレースからタスクを再構築し、それらをRLタスクに書き写すのを助ける能力をますます高めています。

ある読み方では、これらすべては「できるだけ早く大量のRL環境を作成する必要がある」ということになります。表面レベルではそれは真実です。しかし、より深いタスク、つまり人間のタスクは、人間の活動のどの部分を強化学習が読み取れる耐久性のある形式に書き写したいかを決定し、それを体系的に行うための機械と制度を構築することです。GDPvalの構築で採用されたアプローチは、その目標を達成するための一つの方法を示しています。

この時点で、経済における読み取り可能なタスクの自動化は、注ぎ込まれる資本の量だけでも避けられないように見えます。問題は、生成された人間の仕事の書き写しが、少数の企業が保有するプライベート資産になるのか、それとも、誰もが構築できるコモンズとなるような意味のある割合を作成するために、私たちがその作業を行うのかということです。

AIがますます多くの人間の仕事を実行できるようになるにつれて、その能力を開発し指示する能力は、計り知れない経済的権力の源泉となります。もし少数の企業だけがフロンティアモデルをトレーニングするために必要なタスクと環境を蓄積できるのであれば、それらの企業はAIがどのような種類の仕事ができるか、そしてその仕事から誰が利益を得るかについて、不均衡な発言権を持つことになります。

ポストトレーニングコモンズがあれば、大学、非営利団体、独立した研究者、企業は、大手AI企業が決して優先しないかもしれない能力を開発できます。コモンズは、私たち全員に、AIの開発と展開の形成に意味のある形で参加する能力を与え、AIの開発と展開の形成に、それを規制するポリシーと規範において、より強い発言権を与えます。そうでなければ、私たちは、世代で最も影響力のあるテクノロジーの計り知れない力を、ごく少数の非常に裕福な企業の商業的利益に譲り渡すリスクを冒すことになります。

私たちは事前学習で幸運でした。WikipediaやStack Exchangeを構築した人々は、トレーニングデータを作成していたのではなく、存在させたいものを作成していました。しかし、税理士の仕事を、楽しみのために再現可能な環境に書き写す人はいません。ポストトレーニングコモンズが存在するのであれば、誰かがそれを意図を持って、それが何のためにあるのか、そしてそれにどれだけのコストがかかる可能性があるのかを知って、意図的に構築しなければなりません。

それはより困難です。しかし、それはまた、コモンズが私たちが選ぶことができるものであることを意味します。