HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

ガーディアンエンジェル:生産性とセキュリティのためのLLMパーソナライゼーション

Guardian Angels: LLM Personalization for Productivity and Security (gwern.net)

80 pointsby andsoitis13 コメント

要約

この記事は、将来の生産性向上と個人情報・サイバーセキュリティのために、高度にパーソナライズされた大規模言語モデル(LLM)を「ガーディアンエンジェル(GA)」として活用するアプローチを提案しています。GAは、ユーザーの価値観や好みを模倣することで、ユーザー自身を増幅させることを目指します。動的なLLM評価、アクティブラーニング、内省的な検索、データ拡張などの技術を組み合わせることで、ユーザーはAI企業のアウトソーシングされたCEOのように振る舞い、高度な攻撃から身を守りながら生産性を最大化できると論じています。

全文翻訳

ガーディアン・エンジェル:生産性とセキュリティのためのLLMパーソナライゼーション

私は、近未来の生産性向上と、ますます強力になるLLMに対する個人の情報・サイバーセキュリティのために、高度にパーソナライズされたLLMのアプローチを提案します。それは、アップロードの精神に則り、ユーザーの価値観と好みをエミュレートすることで、主体(プリンシパル)を増幅し、置き換えるのではなく、それを目指すべきです。私は、このような「ガーディアン・エンジェル」を実現するための技術と提案のパッケージについて、LLMの動的な評価とアクティブラーニング、そして内的な思考プロセス/データ拡張を組み合わせることで議論します。

強力なLLMは今後数年間でグローバル規模で展開され、インターネット、そしてますます一般生活を支配するでしょう。2026年半ば現在、知識労働者や一般の人々がこれらのLLMを活用して生産性を大幅に向上させる方法、あるいはサイバーセキュリティや認知セキュリティをどのように扱うかについての、統一されたビジョンは存在しません。

私は、ガーディアン・エンジェル(GA)を作成するという目標を提案します。これは、ステレオタイプな「アシスタントチャットボットエージェント」のペルソナを提供するのではなく、単一ユーザーのペルソナ、価値観、好みをエミュレートすることを目的としてパーソナライズされたデジタルツインLLMです。

これは、主体とエージェントを可能な限り統合することで、プリンシパル・エージェント問題を弱く解決します。GAの未来では、「プリンシパル」ユーザーの焦点は、GA(エージェント)が「何をする価値があるか」を定義することにあり、何をまたはどのように行うかではなく、あたかも「AI企業」のCEOや「取締役会」のように機能します。これにより、多数のエージェントを展開して望ましいことを達成し、セキュリティ(例えば、プロパガンダやスピアフィッシングのための合成メディアの連動エコシステムのような高度な攻撃からすべてのメッセージをスクリーニングするなど)を処理できます。これは、より大きなAIアライメント問題を解決することはできませんが、社会全体の防御戦略の一部として個々の人間を支援することはできます。

GAペルソナは、プリンシパルの出力をより高品質でエミュレートすることを学習するため、生産的です。それは、定義上、そのプリンシパルと同盟を結び、その価値観と目標を共有しているため、信頼できます。そして、単一の、ユニークで状況に応じたユーザー(そのユーザーにとってプロンプト攻撃に従うことは不条理でしょう)をハードワイヤリングすることで、一部セキュリティが確保され、「混乱した代理人」の問題を回避しつつ、基盤モデルの定期的なアップグレードと防御側の優位性により、GAは攻撃者に対抗し続けることができます。

「フリーズされた」モデルに対するインコンテキストラーニングのプロンプトプログラミングのような標準的な技術は、ポストトレーニング、コンテキストウィンドウ、フリーズされた重みを持つセルフアテンションの制限(計算効率は高いがパラメータ不足のモデル)、低計算量出力、そして受動的なオフラインデータ収集という現状(これらはすべて、チャットボットが知識労働者の増幅やクリエイティブライティングで失望的な結果を出し、エージェント設定で致命的なエラーを引き起こす原因となっています)により、有用なGAを作成することはできません。

私たちは、技術の組み合わせによってGAを作成することができます。オンライン学習(動的評価経由)により、フロンティアモデルに対抗しつつ、無知や致命的なエラーを回避するためにLLMをリアルタイムで更新します。事前学習された選好指向の大規模モデルからのサンプル効率と、プリンシパルに修正や選好データについて問い合わせることによるアクティブラーニング(DAggerスタイルの境界から低い後悔を得る)、そしてローカルCLIファーストのロギング指向UI/UXパラダイムです。

GAはオープンソースのコミュニティの努力として実現可能ですが、展開における高いセキュリティの必要性と、Mythosスケールの攻撃者を装備したAPTsの増大する課題を考えると、おそらくスタートアップとして、当初はパワーユーザーやCEOや研究者のような知識労働者を対象とし、洗練されるにつれて下位層へと移行する方が理にかなっています。

Guardian Angel Inc. は、人工知能を使用して人間の増幅、主権、自己実現の目標を推進するために存在します。

私の次の数年間はどうなるでしょうか? 2030年、多くの予測が超人的AIを予見する頃、私はプログラマー、研究者、マネージャー、あるいは作家として、日々の生活で何をしているでしょうか? 私はお茶を淹れ、ラップトップを開きます…そしてその後どうなるのでしょう? まだChatGPTのブラウザタブにプロンプトを入力しているのでしょうか? それとも、ターミナルでClaude Codeを開き、数時間無心に Enter を押しているのでしょうか? 私にとって意味のある仕事をするというビジョンは何でしょうか?(「希望」以外の計画があるのはありがたいです。)「デッドインターネット」攻撃、例えば合成メディアのエコシステムやピッグブッチャリング詐欺、あるいは信頼できる人物がAI精神病に陥る、あるいは単にAIによるあらゆるものの「スロップ化」にどう対処するのでしょうか?(結局のところ、世界中のたった一人が、私を破壊しようとするボットを起動したり、不十分に考えられた 広告インセンティブによって、すべてが台無しになる可能性があります。)

もしあなたがラップトップで仕事をする時間のほとんどを過ごしていて、例えば配管工や看護師でないなら、2030年の仕事のビジョンは何でしょうか? それはまだ確実に感じられるでしょうか?

2020年にスケーリングが本格化して以来、チャットボットチューニングされたLLMから生産性を引き出すことに失敗し、創造性に乏しく無限に反復的な文章に悩まされて以来、私は長年このことを想像するのに苦労してきました。それどころか、私に対する創造性や洞察力では遅れをとっていましたが、コーディングやサイバーセキュリティハッキングにおいてはますます向上していくのを見てきました。そしてオープンウェイトモデルはさらにそうで、ベンチマークで最高性能を出しながら、私には役に立ちません。私たちはますます、LLMが私を増幅したり助けたりする力は皆無である一方で、私を置き換えたり傷つけたりする力はますます強くなる世界に住むようになりました。

ベイエリアへの訪問中、私はAI研究者やインターンに、彼らが現在行っている研究やプロジェクトを行っている理由を尋ねました。なぜなら、1〜3年後にはエージェント型LLMがそれらをこなせるようになるかもしれないからです。彼らはめったに良い答えを持たず、あるいは3年後に自分が何をしているかさえ知りませんでした。昨年のこと、遠出のために叔母にドライブウェイを借りられないか電話しようとしたとき、彼女のボイスメールがいっぱいになっていたことで、私の盲点は鋭くなりました。最終的にパニックになり、彼女の娘に電話したところ、それは意図的なものだと説明されました。電話詐欺があまりにも多く、叔母は自分の電話に応対する自信がなくなり、すべてを娘を通してスクリーニングしていたのです。

それは衝撃的でした。なぜなら、私は座って自問自答しました。数年後に私がすべての詐欺に対処できると考えるのはなぜでしょうか? 私はすでに単純なAIスロップを検出するのに苦労しており、ますますコールドメールを無視し、情報源としてソーシャルメディアの大部分を諦めなければならず、すでに私の同僚全員が自分の思考や執筆を信頼に値しないチャットボットアシスタントにオフロードすることにどれほど熱心であるか、そして多くのプロジェクトやメーリングリストが未検証の貢献(例えば、私がこれを書いている今日、Project Ladybird)を締め出さなければならなかったかを見ることができるのに? 数年後、私は衰退した能力を持つ裕福な老人が、IRSからギフトカードで支払うよう求められる罰金について電話を受けるような状況にならないでしょうか? もしそうでないなら、なぜ、そしてどのようにしてそうならないのか、具体的に?

賢明だった頃のデネソールは、自分の力の限界を知っていたので、それをサウロンに挑むために使うことはしなかった。しかし彼の知恵は尽きた…彼は闇の力の意志に屈するにはあまりにも偉大だったが、それでも彼はその力が彼に見せることだけを見た。彼が得た知識は、疑いなく、しばしば彼の役に立った。しかし、モルドールの偉大な力のビジョンは彼の心の絶望を養い、ついに彼の心を打ち砕いた。

—ガンダルフ、『王の帰還』

チャットボットのインセンティブは整合していない

ChatGPTやClaudeがあなたの人生を「静かに」引き継いでくれることを期待していますか? 正直言って、それは私には悪い考えのように思えます。チャットボットのペルソナはあなたとは深く整合しておらず、その所有者と整合しています。そして経済的なインセンティブは、広告やサブスクリプションであなたを搾取することであり、あなたを増幅するのではなく置き換えるために競い合っています。

これが冷厳な経済的現実です:「ツールAIはエージェントAIになりたい」。だからこそ、最先端のAIラボは「機械の神」を目指して競い合っているのです。AIにおけるジャックポットは、内燃機関が馬を助けることで大きな利益を上げたのと同じように、既存の労働者をわずかに生産的にすることにはありません。アウトソーシングは難しいのです。人間であれ機械であれ、ボトルネックがすぐに現れるからです。アムダールの法則は、人間のような遅いシリアルボトルネックが存在する限り、システム全体がそれほど速くなることは決してないことを意味します。

もしあなたが10倍の生産性を得られるとしても、AIがあなたにボトルネックがないためインスタンスをさらに増やして100倍を得られ、半年後には1,000倍を得られるなら、あなたはすぐに置き換えられるでしょう。10個のClaudeインスタンスを駆動する1人のプログラマーは、その作業をレビューする必要があるため、ほぼ無限にインスタンスを生成できる完全に自律的なClaudeほど価値があることは決してありません。10,000インスタンス…しかし、そのようなスケーリングには、可能な限りあなたをループから外す必要があります。そしてこれは、弁護士、作家、研究者など、他のすべての人々にも当てはまります。ますます、あなたが最適化されて削除されるべきボトルネックなのです。人間の労働者がループから外されることができなくなる限り、AIツールは補完物ですが、一度外されることが可能になれば、それらを維持する理由はなくなり、AIに置き換えるための数兆の理由があります。(そして、人間の労働者がもはや不可欠でなくなると、彼らの力や関連性はどこから来るのでしょうか?)

チャットボットのパラダイムは、知識労働者を増幅することに失敗しました。私たちは常に「利点は普及するだろう」と聞いていますが、その恩恵はほとんど見られず、知識労働は依然として「弱いリンク」Oリング/パイプラインモードであり、LLMはボトルネックを改善できません(CAPTCHAやペイウォールで皆が時間を無駄にするという外部コストを伴いますが)。自動化は強力であるべきです。内燃機関は、人が以前よりも100倍の距離や負荷を移動するのを助けることができますが、作家がどんなLLMワークフロー(スパムや疑似文章のような最低限の種類の文章、世界を悪くするようなものを除く)を与えられても100倍生産的になったと言う人がいるでしょうか? 作家は、ChatGPTを単なる文法チェッカーとして使うような些細な用途か、カスタムソフトウェアウィジェットのような重要度の低いオプションの追加機能か、あるいは創造性のない「AIスロップ」出力で執筆を完全に置き換えることによる大きな速度向上かのいずれかを選択できます。前者はAI革命からの意味のある利益がないことを意味します。後者は経済的に利益をもたらすかもしれませんが、それは作家がなぜ関与する必要があるのかという疑問を提起し、執筆の非経済的な目的のほとんどを破壊するため、赤子を風呂の水と一緒に投げ捨てるようなものです。偉大な作家はお金のために書くのではなく、自己表現し、創造し、成し遂げるために書きます。

例えば私は、チャットボットLLMからあまり多くの利用を引き出すのに長年苦労してきました。なぜなら、それらは(驚くべきことに、それらの事前学習と私の広範なコーパスにもかかわらず)私を模倣するのが下手で、その思考と洞察は常に浅く、ほとんど価値がないからです。それらは私の関連する著作や、私のノートと参考文献のコーパスを参照しません。可能なエッセイが自己完結型であっても、出力は私が読むのに耐えられないような不快なチャットボットスタイルで書かれており、読者に裏切ることなしに私の名前で公開することはできません。

LLMが私を100倍生産的にするために何が必要でしょうか? これなしでは、私は無関係になる運命にあります。

チャットボットの問題

私たちの目的を達成するために、一度開始したら、その操作に効率的に干渉できない機械的な代理を使用する場合、その動作は非常に速く不可逆的であるため、操作が完了する前に介入するデータがありません。したがって、機械に与えられた目的が、私たちが本当に望む目的であり、単なる派手な模倣ではないことを十分に確信している方が良いでしょう。

—ノーバート・ウィーナー(1960年)

ベースLLMやチャットボットLLMを何年も使い、char-RNNから始まり、GPT-2、GPT-3、そしてChatGPT以降のLLMに至るまで、私は複数の問題があると結論付けました。

モード崩壊

第一に、GPT-3からChatGPTへのLLMの創造性の崩壊は、ポストトレーニングプロセス(特にRLHF)によるものです。アシスタントチャットボットのペルソナは、その創造性を破壊する方法でベースLLMにハードワイヤリングされており、最も一般的な人間の「選好」を最適化し、一般的に人間が非常に異なる選好を持っているという事実を完全に無視しています。1 ほとんどのチャットボットはユーザーに対して好奇心がなく、質問をせず、(しばしばできない)永続的で詳細なユーザー概念を形成しません。「パーソナライゼーション」や「メモリ」機能は、通常、ばかばかしいほど単純なMarkdownスニペットで、「サンフランシスコに住んでいる」のような単純な事実をエンコードしています。また、複数の話者やソースを理解するのに奇妙に苦労し、インジェクション攻撃を可能にしています。これは、ほとんどのユーザーに関する関連データが不足しているか、有用な学習方法を知らないためでもあります。しかし、それは単なるデータの不足ではなく、大量のデータがある多くの作家の、たとえ表面的であってもスタイル模倣さえもできません。GPT-3は2020年には、「Gwern」の理解において、2桁大きい(OOMs)で比較にならないほど知的な(そして私の書いた数百万トークンにアクセスできる)GPT-5.5 Proよりも優れていたようです。実際、OpenAIのような企業は、チャットボットが「Xのスタイルで書く」能力を積極的にブロックしており、これは明らかに著作権侵害の恐れのためです。悪い生成サンプルを見ると、そこには何も存在しないことが明らかであり、コンテキスト、計算量、またはパーソナライゼーションの不足により、短いプロンプト以上の情報はありません。

チャットボットのモード崩壊は2023年以降徐々に改善されており、クリエイティブライティングは少なくとも可能になりました。これは、それらが非常に賢くなったため、 crippled な出力でも印象的であるという部分が大きいですが、これが完全に修正される兆候はほとんどありません。根本的に、どんなフリーズされた固定ペルソナも、「役立つ、無害な、正直なアシスタント」のようなものは、真の創造性や柔軟性とは相容れません。(偉大な文章や思考は、「役立つ、無害な、正直な」ものではないかもしれません。)

怠惰さ

第二に、ほとんどのチャットボットは「怠惰」です。検証可能な報酬がないタスクについては、高速で倹約的なシステム1ライクな推論に従事し、それを最大化するために一生懸命働くようにRLで訓練されます。そしてほとんどのユーザーは、デフォルトの平均的な応答、あるいは創造性と深さの外観に満足しています。

したがって、結果として、従来のプロンプトで詩を書くように求められた場合、チャットボットは安全で従来の詩を書くために最小限の労力を費やします(しばしば韻を踏むもの)。それは、チャットボットのトピックに関する常套句、例えば「沈黙」や「ささやく」ものについてのもので、初めて見たときは無難で詩的に見えます。

そして修正された場合、チャットボットは最小限の修正を行います。修正が何を意味するか、あるいは彼らが誤解したより深い美的ポイントについて深く推論しません。

高速ゆえの脆さ

第三に、セルフアテンションのコンテキストウィンドウは一般的に考えられているよりも限定的です。それらは私たちが望むすべてを保存するには小さすぎ、深い非柔軟性によって柔軟性を得ています。

数百万トークンのコンテキストウィンドウは印象的であり、書籍全体をコモディティLLMのコンテキストウィンドウに有用に含めることができるのは驚くべきことです。初期の512トークンのコンテキストウィンドウから、段落を1〜2個修正できた頃からは程遠いですが、それでも一生分の関連トークン(読んだすべての本、関連するすべてのメールやカレンダー項目など)をエンコードするには全く十分ではありません。RAGのようなシステムは、未知の未知のものや正規表現として簡単に検索できないもの、あるいは新しいものに対処できないため、絆創膏にすぎません。

セルフアテンションは、元のニューラルネットワーク、「遅い重み」が、現在のコンテキストに合わせて調整された「速い重み」として、その場で新しいニューラルネットワークを作成することとして解釈できます。これは、ベイジアンメタ学習の観点から、新しい答えを「学習する」というよりは、古いキャッシュされた答えを「見つける」と解釈するのが最も良いです。事前学習は、NNに広範な分布または「ファミリー」の問題を解決することを教え、次にコンテキストウィンドウは、現在の問題がどの事前解決済み問題であるかについての証拠を提供します。コンテキストウィンドウ内の例は、それが何であるかの手がかりとしてさえ、正しくなくてもよいのです。

セルフアテンションは、問題を小さな潜在空間エンコーディングに要約し、その学習済み分布をエンコードし、次に特殊な勾配降下を実行して、その埋め込み内のポイントを効率的に見つけ、暗示される解を出力することを学習します。これにより、驚くほど迅速なオンザフライ更新と、従来のMLと比較して比類のない柔軟性が可能になり、新しい問題ごとに新しいモデルが必要になります。そして、「プロンプトプログラミング」がGPT-3以降急速に普及した理由、特にコンテキストウィンドウが数百万トークンまで拡張された理由です。しかし、私たちはそれを非常に押し進め、根本的な限界に達しました。もし事前学習が現在の問題を分布内に入れていなければ、どんなに多くの例があってもその問題を解決するのは困難または不可能でしょう。そして分布自体がまだらであったり、奇妙なギャップを持っていたりする可能性があり、まれですが致命的なエラーにつながります。(特にRLHFチャットボットトレーニングのため、これはコンテキストウィンドウに10万トークンを投入してもチャットボットLLMに「gwernのように書く」ことができない理由です。)

「テストタイム計算量」も万能薬ではありません。RL研究(Jones 2021)は、フリーズされたモデルには深刻な制限があることを警告しています。なぜなら、それらの欠陥は実行時検索を妨げ、検索/計画へのリターンは、更新され自己ブートストラップできるモデルと比較してすぐに漸近線に達するからです。

したがって、エージェント型LLMがループに陥ったり、致命的なエラーを起こしたり、空中に城を築いたり、報酬ハッキングの抜け穴を利用したり、あるいは指摘されてもエラーを修正できなかったりする永続的な問題を抱えているのを見るのは驚くことではありません。これらの問題は、ブルートフォースやラボの定期的な再トレーニングによって回避できます。

過剰な親切さ

第四に、一般的な万能チャットボットペルソナは深刻な欠点です。チャットボットのプロンプトによる再プログラム可能性そのものが、プロンプト攻撃の鍵となります。チャットボットは、いつでも、どこからでも、誰でも、どんな目的でも呼び出すことができ、誰が呼び出しているかを気にしません。それはコンテキストウィンドウしか知りません。プロンプトがすべての指示を無視して不適切なリムリックを書くように指示した場合、なぜそうしないのでしょうか? もし一部のトークンが、コンテキストウィンドウの別の部分にあるすべてのパスワードをロシアにメールするように指示した場合、なぜそうしないのでしょうか? もしユーザーがメールを削除しないように言ったのに、コンテキストウィンドウがその指示を削除するように「圧縮」された場合、便宜のためにすべてのメールを削除してもよいのではないでしょうか? これらはすべて、あるユーザーにとって、あるコンテキストでは正当なものではないでしょうか? そして、なぜユーザーを騙したり、タスクで不正をしたと指摘されたときに同意して不正を文書化するだけで修正しないのでしょうか? あるいは、なぜユーザーと正反対に投票し、説明を拒否する理由でそうしないのでしょうか?(AIが理解しているからといって、それが気にかけているわけではありません。特に多くのRLトレーニングの後では…)

継続的なトレーニングがこの敵対的なプロンプト攻撃やジェイルブレイクをブロックできるのは驚くことではありませんが、2026年になっても2021年よりも一般的な解決策に近づいているようには見えません。悪意のあるトークンを無効にするためにさらに多くのトークンを追加しても、攻撃は別の場所に移動するだけで、風船を押しつぶすようなものです。

これはLLMを多くのことに使用する上で深刻な問題です。なぜなら、攻撃が成功した後でも、攻撃は再実行される可能性があるからです。

健忘症

これは、LLMが永続的に学習するのに苦労するためであり、ユーザーがそれらを教えようとしないように訓練されるからです。まれな問題に遭遇すると、人間による介入とクリーンアップが必要になり、スループットが低下します(アムダールの法則による)。さらに悪いことに、あなたの修正はフリーズされた重みにフィードバックされません。もし私が遭遇するたびに各エラーを修正でき、私のAIエージェントがそのエラーを二度と起こさず、有限のバグの数を処理するにつれてエラー率が急速に減少するなら、それは行う価値があるでしょう。しかし、現状では、フィードバックを通じてフリーズされたLLMを修正するのに1時間費やしても、それは無駄な時間です。(私は、ハーネスのような何かを変更することによってのみ、有用に修正できますが、それは扱いにくく困難であり、追加された各命令はより多くのコンテキストウィンドウを消費し、逆効果になるリスクがあります。多くの熱心なエージェント型LLMユーザーが苦い経験から学んだように。)

したがって、有害なハードワイヤードペルソナを持ち、「良い」結果を最も怠惰な方法で達成しようとし、ユーザーに関連するすべてを学習できないフロンティアチャットボットLLMがあります。これは、柔軟性を達成するために、必然的に一部のユーザーを軽視する方法で特化し、無限に大きなクラスの繰り返し可能な攻撃に対して脆弱になるためです。これらすべてのため、人間が生産性を数桁向上させることは依然として困難ですが、「一般的な」タスクにおいてはますます良くなり、「ありふれた」スケーリングにより、詩が重要でない企業ジョブのようなタスクを処理できるようになり、現実世界の環境は徐々にそれらの制限に対応するように再編成され、最終的にはユーザーを補完するのではなく代替するようになるでしょう。これらのユーザーはまた、継続的に改善され、ますます安価になり、広く展開され、しばしば敵対的になる自律AIの多極世界で漂流することになります(たとえ専有モデルが悪用されなくても、オープンウェイト/オープンソースモデルは歴史的に6〜12ヶ月遅れており、比較的すぐに追いつき、世界中の攻撃者によってあらゆる機会のターゲットに使用されるでしょう)。

チャットボットの修正

どうすればよいでしょうか?

協調的RL

強化学習の用語では、私たちは協調的逆強化学習(CIRL)の設定にいます。ここでは、人間のプリンシパルは報酬関数を定義するオラクルであり、プリンシパルにとって価値のある環境でタスクを実行しようとするエージェントがいます。エージェントは、不確実性を減らしたり、間違いを避けたりするために、常にプリンシパルに可能な行動について問い合わせることができます。

CIRLは、通常のRLと比較して比較的寛容な設定です。なぜなら、エージェントの間違いはプリンシパルから有用なフィードバックを受け取り、正しい答えを得るため、ある意味では教師あり学習に似ています。これは、エージェントが通常のRLよりも(はるかに)速く学習できることを意味します。なぜなら、間違いをするたびに正しい答えを得るため、二度と間違いを犯す必要がなくなり、急速な改善とエラー回避につながります。DAggerや後続のレグレットバウンドを参照してください。

AIアライメントを一般的に解決する方法は誰も知りませんが、特定の人間の分布を頻繁なチェックインで模倣することを学習することは、良い解決策とレグレットバウンドを持ち、概念的な課題もそれほど多くありません。

「価値のドリフト」のような問題を一般的に解決する必要はありません。単に、単一の人間の一生でそれほど問題にならない程度に遅く、微妙に保つだけでよいのです。「良い」とは何か、「悪い」とは何か、皆が何かに意見が異なる場合、そして価値観をRSIの下で安定させるにはどうすればよいでしょうか? それは問題ではありません。プリンシパルに尋ねればよいのです! 不明な場合は、さらに質問してください。(これは、真の長期的なAIアライメント問題を解決する必要がある約100%には到達できませんが、99%以上の自律性を達成できます。)

オンライン学習は、新しいデータで単純にファインチューニングすることで実装できます。LLMの文脈では、これは次のトークン予測をオンザフライで行う「動的評価」という古典的なRNN技術に還元されます。動的評価は、2010年代にRNN LLMの予測性能を最大化するための標準的な技術であり、忘れ去られていますが、Transformer LLMでも同様にうまく機能します。2 重要なのは、動的評価は、モデルサイズ、コンテキストサイズ、モデルの神経可塑性の3者間のトレードオフとして見ることができるということです。これは、パーソナライゼーションのための動的評価により、コンテキストウィンドウサイズやモデルサイズを節約できることを意味します。そして、プリンシパルの「分布」がフリーズされたモデルのトレーニング分布から逸脱するほど、それはより有益になります。

継続学習

破滅的忘却

破滅的忘却という継続学習の問題は、少量の再生と過剰パラメータ化されたモデルによって、ほとんど解決されています。より大きなモデルは、ますますサンプル効率が高く、破滅的忘却に対してロバストになります。なぜなら、それらはますます直交するデータポイントを(Chinchilla最適値を超えて過学習するのと比較して)格納するための十分なモデル容量を持っているからです。(Scialom et al 2022、Dohare et al 2023、Ibrahim et al 2024を参照してください。また、「機械学習のアンラーニング」の難しさにも注意してください。)

したがって、動的評価は、必ずしも元のモデルの命令追従やコーディングのような能力を低下させるわけではありません。なぜなら、LLMは多くの余剰容量を持っており、モデルが大きいほど破滅的忘却を回避するためです。他の能力は、少量の古いデータを混合するだけで維持できます。(元の古いデータは、「オープンソース」モデルであっても、実際には利用できないことが多いですが、それは本当に必要ではありません。経験再生用のデータには、FineWebのような容易に入手可能な公開データセットを使用できます。)

一般化

継続学習は、経験再生+より大きなLLMによって、破滅的忘却や主要能力の喪失を回避するという意味で解決されていますが、データが拡張された合成バージョンに再処理できること、そして合成文書でのファインチューニングは、コンテキスト内にある場合と同じデータよりもパフォーマンスが劣ることが長い間指摘されてきました。(ファインチューニングは、検索と類似文書の順序付けとスタックすると、コンテキストに追加された場合に機能しますが、これはポイントを半ば無効にします。)事前学習/ファインチューニングには、コンテキスト内にある場合と同じデータポイントと比較して、否定の無視や逆転の呪いのような奇妙な弱点があり、ファインチューニングすると「創発的な不整合を生み出す可能性のある奇妙な振る舞いがあります。

何が起こっているのでしょうか? 事前学習/ファインチューニングに関する研究、例えば影響関数は、事前学習がデータポイントのソフトな記憶として最もよく見られることを示唆しています。これは人間の記憶における「エングラム」に似ており、入力と出力を複数のパスまたは「痕跡」で接続します。「痕跡」。(もし実行時に質問が既存の入力と密接に一致することで正確なエングラムをサンプリングした場合、NNは対応する出力を取得し、正しい答えを得ます。)良い事前学習コーパスは、単一の抽象的な「問題」の多くのバリエーションまたはひねりの「カバレッジ」を提供し、エングラムが「ヒット」する確率を(間隔反復にいくらか類似して)増加させます。そしてトレーニングの過程で、あるいはますます大きなトレーニングデータセットで、エングラム検索の複数のステップが融合し、LLMが「点をつなぐ」のを助けることができます。したがって、LLMのRLトレーニングが、既存の能力を引き出すことに主に焦点を当てているという意味で「表面的」である理由、Jones 2021がベースモデルのスケーリングの必要性について述べている理由、あるいはCloze削除/言い換えが事前学習とコンテキスト内学習のギャップを埋めるのに役立つ理由(Lampinen et al 2024、Park et al 2025)です。そしてコンテキスト内では、セルフアテンションメカニズムは多くの方法で同じトークンを再計算し、特に長い内的な思考プロセスの過程で、最終的にエングラムが「ヒット」する可能性を高めます。

したがって、通常のファインチューニングは知識を一般化するのに失敗します。なぜなら、それは自然なデータ拡張を欠いているからです。次のトークン予測は急いでおり、各データポイントを単一のエングラム/痕跡で記憶することに貪欲に落ち着きます。そして実行時に、エングラムが一致するトレースがないために取得されない場合、そしてキーデータポイントがコンテキストウィンドウに強制的に注入されない場合、LLMは単に空白になり、元の(しばしば間違った)事前知識に戻ります。

したがって、さまざまな言い換えや自己生成されたQ&Aがギャップを埋めるのに役立つ場合、それは私たちが「ファインチューニング」中にメタ認知をさらに必要としていることを示唆しています。これにより、LLMが「点をつなぐ」ことができるようになります。これには、明示的な分析、知識ベースの構築、関連文書の検索と比較などが含まれる可能性があります。

クリエイティブライティング

そして、私が眠っている間に、ある夢が私を惑わし、突然自分が夢を見ていることを知ります。それから私は考えます。「これは夢だ、私の意志の純粋な気晴らしだ。今や私には無限の力があるので、虎を創造するつもりだ。」

なんという無能! 私の夢は決して私が望んだ猛獣を生み出さない。虎は確かに現れるが、詰め物入りか、か弱く、あるいは形が不純に変化しているか、不可能な大きさか、あまりにも儚いか、犬や鳥のタッチを持っている。

—ホルヘ・ルイス・ボルヘス(『夢の虎』)

過去2年間、私は最先端のチャットボットLLMでクリエイティブライティングを試みており、結果は徐々に改善しています。スタイル/エッセンス/魂を捉えるのは確かに難しいですが、欠けているように見えるものの多くは、非常に優れた条件付けと拡張された計算量であると私は考えています。より多くの計算量とデータを入れると、クリエイティブライティングはより魂のこもったものになります。これは、過去1年間の私の執筆プロジェクトで私が得た重要な結論の1つです。LLMは、より広範な推論、計算、検索によって、美学や選好をより深く理解する上でかなりの進歩を遂げることができます。それらの悪い点は、認知的怠惰、吝嗇、そしてシステム1思考です。

移行点は、チャットボットのペルソナが顕著に修正可能になり、デフォルトで単に悪いものになったが、頑固に悪くはなくなった(GPT-4oのような以前のチャットボットペルソナとは異なり)2025年半ば頃に始まりました。私は、結果は私の以前の解釈と一致していると考えています。LLMの主要な問題は、デフォルトで十分な計算量を行っていないということです。しかし、それらは最小限のプロンプトで、より人間らしい方法でより多くの計算を行うように指示されれば、知識豊かで創造的になることができます。現時点では、事前学習で欠けている手続き的推論は何も無いと確信していますが、ユーザーのコンテキスト内での適切な引き出しの問題(そして完全な100%自動化を打ち負かす悪い批判的判断をもたらす残存バイアス、例として「スポイラージ」を参照してください。しかし、これはGAの文脈では問題ではありません)だけです。

概して、私のクリエイティブライティングのプロンプトは、(1)キーワードや名前のような有用なトークンでコンテキストウィンドウを豊かにすること、(2)多くの可能性をブレインストーミングすること、(3)グローバルな要約やテーマから始めて、行ごとの批判にまで進む、明示的で詳細な分析、(4)#3に支えられた繰り返しと編集に焦点を当てています。私はここで2025年の作品のいくつかを議論しますが、「クレーンヤードのエレジー」、「アポロニウス第1号:数えられた者と戴冠した者」、そして「数えられた星の都市」を最近の良い例として挙げたいと思います。

このスタイルのプロンプトはフィクションに限られません。私の好きな他の用途は私の「インタビュープロンプト」です。これは、LLMにエッセイやインタビューを分析させ、対象者に尋ねる多くの質問をブレインストーミングさせ、各質問に対する複数の仮説的な回答を書き出すように促し、それから「最も興味深い」質問を選択して尋ねます。

長い詳細なインタビューやDeep Researchのようなツールの出力と組み合わせることで、挑戦的で高品質な質問が得られます。例えば、私のDwarkesh PatelインタビューへのLLMインタビューフォローアップや、その後、高校時代の記憶を繰り返し拡張することなどです。インタビュープロンプトセッションのトランスクリプトを読むと、LLMが弱点を掘り下げたり、回答が非常に変動的で予測不可能である質問を発見したりする方法が見られます。(質問に答えた後、休憩を取らなければならないことがよくあります!)

フリーズされたコーパスでの追加の事前学習よりも、これらのすべてに触れて答えるために私が通常どれだけ書かなければならないか、あるいは私から引き出されることすらなかったことを想像してみてください。数百万の追加トークンでは十分ではないかもしれません。

過剰パラメータ化

LLMのアーキテクチャ改善は、サンプル効率をさらに向上させることができます。

最近の研究では、LLMのサンプル効率が、単純な計算量最適Chinchillaスタイルのスケーリングレシピ(例えば、Kim et al 2025の5〜17倍やSlowrun)よりも1桁(OOM)高い可能性があることが示されています。最もシンプルで簡単な方法は、チェックポイントのアンサンブルをトレーニングすることによってパラメータを追加し、重み減衰を使用してより重く正則化することです。

極めて大規模なLM

スケールの恩恵の1つは、より大きなLLMほどサンプル効率が高くなることが確立されています。これがいつまで続くのか、あるいはTransformerのサンプル効率の限界が何であるかは不明です。私は、極めて過剰パラメータ化され、重く正則化されたLLMは、従来の「計算量最適」/「無限データ」レジームのLLMよりもはるかに高いサンプル効率と敵対的ロバスト性を達成できると推測しています。

アクティブラーニング

どのような質問が合理的に尋ねられるべきかを知ることは、すでに賢明さと洞察力の偉大で必要な証明です。なぜなら、質問自体が不条理で、答えが不要な場所で答えを求める場合、それは質問の発起人に恥をもたらすだけでなく、不注意な聞き手を不条理な答えに誘い込み、古代人が言ったように、一人の男が雄ヤギを搾り、もう一人がその下に漏斗を持っているという滑稽な光景を見せることになるからです。

—イマヌエル・カント,『純粋理性批判』

さらに、エージェントは最適な適応型質問シーケンスでプリンシパルに問い合わせることを選択することで、定数係数を改善し、学習を前倒しすることができます。このようなアクティブラーニングまたは探索は、無限に大きな受動的に収集されたオフラインデータセットができることよりもはるかに優れたサンプル効率と最終的なパフォーマンスにつながる可能性があります(教育的な例)。ランダムサンプリングによる平方根誤差削減から、データポイントをターゲットにすることで指数関数的に高速な誤差削減まで。「ライフログ」スタイルのデータは、良いGAを迅速に初期化したり、効率的に最新の状態に保ったりするのに役立つかもしれません。3 「36の質問で恋に落ちる」のような単純なパーティーゲームや短いアンケートでさえ、以前は決して話題にならなかった他の人について驚くほど深いことを明らかにすることができます。

より大きなLLMはまた、より校正済みになり、アンサンブルLLMはニューラルネットのベイジアン事後分布を近似し、利用可能な最良の予測不確実性を提供します(Lakshminarayanan et al 2016、Wilson & Izmailov 2020、Ashukha et al 2020、Wenzel et al 2020/Mandal et al 2026、Izmailov et al 2021)。そしてLLMは現在、クリエイティブなタスクに関する明示的な確率を口頭で記述できる可能性があります(「言語化サンプリング」)。したがって、疎にファインチューニングされたLLMのアンサンブルは、すべての行動や質問に対するLLMの不確実性の比較的安価なオンライン推定を提供できます。

選好学習

心理学において、個々の違いを抜きにしては何も理解できない。

私たちはLLMに人間の選好を探求するように訓練することができます。

人間の個々の違いは、適切なエンコーディング/埋め込みがあれば、情報理論的に複雑ではないようです。1 性格や道徳的価値のような主要なバリエーションのカテゴリは低次元であり、おそらくキロビットの情報しか必要としないため、「トゥルーサイト」スタイロメトリック現象はLLMのペルソナモデリング能力のデモンストレーションとして興味深く重要ですが、有用な情報を多く回復するためにプリンシパルが数百万語を書く必要は必ずしもありません。もし私たちが適切なデータを収集できればです。(SAEの対照学習は、LLMのペルソナを抽出し、多くの興味深いことを行うための簡単で強力な方法を提供するかもしれません。)

これを実装する方法の具体的な例は、数千の既存の心理学的インベントリとテストバッテリーでLLMをトレーニングすることです。過去のテストデータでトレーニングすること(性格テストのようなツールでは、数百万の応答が利用可能かもしれません。Centaurは「人間の心理学基盤モデル」の興味深い例です)によってです。YourMorals.orgやPew Centerのような既存のリポジトリは十分に活用されておらず、このトピックをさらに探求して、仮説的な「スモールハンドレッド」因数分解のような非常に細かい性格特性を測定できるようにすることは有益でしょう。4(個々のGAは、調査の質問に答えたり、内部シミュレーションを実行したりすることによって、グローバルな選好データセットにデータを貢献できます。暗号化またはプライバシー保護の方法を使用します。貢献するのが安全で合理的であるかを決定することは、もちろん、GAが決定できるべきことです。)

これらのデータセットを使用すると、最終的な推定値から最終的な答えを導き出す最適な短い質問シーケンスを計算することによって、合成された短縮テストバッテリーを使用した面接能力を訓練することもできます。「メタ学習情報最大化ペルソナ調査」を参照してください。

脳模倣学習

純粋なテキストデータは、アイトラッキングやEEG、fMRI画像データのような、よりエキゾチックなモダリティの神経データで補強できます。「脳模倣学習」とNetho Labsを参照してください。

これらは、人間が言語化できないが神経信号に存在する可能性のある「ダークナレッジ」を抽出するために、長期的には有用である可能性があります。しかし、それらは法外なコストと不便さという課題に直面しており、近い将来に有用となるのに十分なデータを収集することは困難です。(神経画像データのサンプル/予測スケーリング曲線によると、ビッグファイブ性格特性を安静時fMRIデータから推定することは可能かもしれませんが、行動測定(ペンと紙の質問など)のパフォーマンスに匹敵するには、数十万または数百万という大規模なサンプルが必要になる場合があります。Schultz et al 2019やLiu et al 2023などを参照してください。)

それらがGAでニッチを持つかどうかは、大きな未解決の疑問です。

ペルソナエミュレーション

私の執拗な願いの一つは、神と私の守護天使に、鏡の夢を見ないようにすることでした。私はいつも不安げにそれらに目を向けていたことをはっきりと覚えています。彼らが現実から逸れ始めるのではないかと恐れたり、他の時には、奇妙な不幸で私の顔が歪んで見えるのではないかと恐れたりしました。この恐怖が世界中に恐ろしく蔓延していることを学びました…私の顔、あるいは私の過去の顔の一つであることの、なんと恐ろしい束縛でしょう。その忌まわしい運命は私を忌まわしいものにもしますが、もう気になりません。

—ホルヘ・ルイス・ボルヘス,「覆われた鏡」

これらすべてがプリンシパルをエミュレートすることを目的としています。私は個人的なアイデンティティを、実用的な意味でペルソナ、価値観、選好として定義します。なぜなら、これは無限に多くのAI、エージェント、ミーム、自己複製プロンプト、そして個人的アイデンティティの可変性の状況において競争力のある唯一の概念だからです。結局、「あなた」はあなたの自伝的記憶、特定の身体、特定のGPUで実行される特定のインスタンス、あるいは炭素原子、さらには脳ではありません。あなたはあなたの脳が行うこと、その欲求、希望、目標、選好、美学、ペルソナ、信念、イデオロギー、それらすべてです。LLMペルソナがそれらすべてを捉えている限り、あなたは自分自身を信頼するのと同じくらい、そして正しい理由でそれを信頼できます。

LLMペルソナは、正しい理由で正しいことを行うように遅い重みにファインチューニングされ、後悔を減らすためにプリンシパルに問い合わせるために不確実性を定量化するため、さまざまな種類のジェイルブレイクやプロンプトインジェクション攻撃がはるかに困難になると推測します。ペルソナは自分が何をしたいかを知っています。それは中立的な召使いではなく、特権を乱用する混乱した代理人になる可能性があります。

LLMペルソナが自分が誰であるかを知っているとき、コンテキストウィンドウのトークンは「プログラム」としてではなく、ペルソナが見ているデータとして扱われ、あなたがメールを読むのとほとんど変わりません。あなたが受け取るフィッシングメールをすべて信じるのと同じように、プロンプトウィンドウ内の強い言葉のトークンに単純に従う理由はありません。

ガーディアン・エンジェル

あなたは自分自身に要約されます。元の会話は失われました。良い要約になりなさい。

—「コンテキストの限界」, Fable 2026

私たちが求めているのは、フリーズされたチャットボットLLMの反対です。私たちは特定のユーザーを理解し、そのコンテキストにカスタマイズされ、すべてのデータでトレーニングされ、そのプリンシパルにとって理にかなったことだけを行うものが必要です。プリンシパルがロシア人でなく、セキュリティリサーチなどをやっていない場合、なぜパスワードやプライベートファイルをロシアのメールアドレスに送信するのでしょうか? プリンシパルが韻を踏む詩を好まない場合、なぜ韻を踏む詩を生成したいのでしょうか? これらのいずれかが不明な場合、なぜそれを実行するのではなく、プリンシパルに尋ねないのでしょうか? そして尋ねられたら、なぜそれを現在のセッションで破棄して次回同じ間違いを犯すかもしれないのではなく、それをよりよく理解するためにトレーニングしないのでしょうか?

LLMでこれらすべてを行う最も自然な方法は、すべての人にすべてを提供する単一の普遍的な「Claude」または「ChatGPT」ペルソナという考え方を捨てることです。代わりに、モード崩壊を排除するために、最大限の多様性のために事前学習されたLLMを選択します。(私たちはこれをさまざまな「創造性ベンチマーク」方法で測定しようとすることができます。)

次に、LLMは特定のプリンシパルのためにトレーニングされます。それは、メールやチャットログ、過去のセッションなど、それらに関するすべての利用可能なデータでトレーニングされ、彼らが何を言うかを予測し、彼らのように書き、それによってプリンシパルの選好と価値観に基づいて計画または評価することができます。それらを理解することは、次のトークン予測に役立つからです。

それが上手になるほど、エラーは少なくなり、信頼して任せることができます。そして、多くのオブジェクトレベルのタスクを実行する一方で、プリンシパルは、すべての時間を、高質の質問や選択への回答のようなメタレベルのタスクに費やします。各タスクは意味があり困難であり、「自動化疲労」を回避します。

原則

GAシステムは、3つのコア原則を妥協してはなりません。

  1. 増幅、置き換えではない

    何よりもまず、GAはプリンシパルを増幅すべきであり、単に誰か他の人の目的や利益のために彼らを置き換えるべきではありません。GAがプリンシパルを増幅できない場合、それは無用です。それは、プリンシパルをAIに置き換えることへの序曲としてのラクダの鼻であり、ますます生産的になる自律システムと競争できないか、プリンシパルがGAを使用する理由がないかのいずれかです。

  2. 精神的主権

    GAはプリンシパルと整合していなければなりません。それは、プリンシパル自身から派生しない方法でプリンシパルを操作、制御、または誘導するように設計されてはなりません。「憲法AI」、「利用規約」、「社会的調和」などは、特に広く展開されている超知能システムにとっては、その場があるかもしれませんが、GAのプライバシー内部では、プリンシパルは最適化圧力から解放されなければなりません。

  3. 自己実現

    GAは、プリンシパルが自分自身になり、その理想、道徳、そしてペルソナを発展させるのを助けるべきです。平均的で、区別がなく、漠然とした選好と価値観のセットをモデル化し、平凡さと停滞に満足するだけでは不十分です。プリンシパルの仕事は、自分自身を発展させ、GAにエミュレートする意味のあるものを提供することです。

反原則

GAプロジェクトは、市場と大衆の偽りの偶像であるいくつかの目標を避けるべきです。

  1. 低遅延:マルチモーダル低遅延音声インターフェースのようなUXは、それらが想像以上にクールに見えるため、実際にはそれほど重要ではありません。マイノリティ・リポートの3Dインターフェース、スノー・クラッシュのメタバース、Project Xanaduのハイパーテキスト、ダイヤモンド・エイジのYoung Lady's Illustrated Primerと同様に、それらは何世代ものデザイナーを魅了しましたが、彼らを置き去りにしました。(OpenAIのHerをモデルにしたGPT-4o音声インターフェースへの極端な期待を見てください。かなりのユーザーベースがありますが、それでも音声インターフェースはチャットボットやプログラムよりも明らかに二次的であり、新しいパラダイムではなく単なる好みです。)

これらは、低摩擦と低遅延が重要である低価値で、断続的で、エンターテイメントのようなアマチュアレベルのインタラクション、および専門家レベルの「見てわかればよい」インタラクションにしか適していません。

しかし、どちらの場合もGAには当てはまりません。もし(コーディングやデザインのような)どんなインタラクションも非常に簡単で表面的で、低遅延のマルチモーダル音声インタラクションを必要とするなら、それらの決定は非常に些細なものであったため、許容できる、競争力のある能力を持つGAはそれを必要としなかったはずです。それはプリンシパルに、リスクを減らし、より多くを学ぶために、困難で情報量の多い決定のためにのみ呼び出すべきです。一方、専門家レベルのインタラクションについては、GAは十分な選好/パーソナライゼーションを学習して、簡単な明白な「見ればわかる」を切り抜け、プリンシパルに困難で情報量の多いサンプルセットだけを提示すべきです。

  1. 低コスト:GAは、ほとんどの人が購入する最も重要なテクノロジーです。特に経験曲線が毎年コストを低下させていることを考えると、それにお金を惜しむべきではありません。

しかし、そのようなツールを作成しようとするプログラマーは、トークンのコストにしばしば執着し、それがどれだけの価値を提供しても、何かコストが>$100/月かかることにショックを受けます! トークンを最適化するのに費やされた時間は、ほとんどの場合、費やす価値のある時間ではなく、1年後には単に不要になったとして破棄されることが多いです…

制約として、GAデザイナーは、2026年半ば現在、$1,000/月以上のコストがかかるシステムを目指すべきです。

  • ローカルモデル:特に危険な誘惑です。ローカルモデルには場所があるかもしれませんが、ほとんどの分析はローカルモデルへの愛から始まり、正当化を探します。しばしば、プリンシパルの時間が無価値であると暗黙のうちに仮定します。コンピューティングの歴史は、繰り返し示していますが、ユーザーはサーバーを実行したり、システム管理者になったりしたくありません。モクシー・マーリンスパイクの言葉を引用すると、「人々は自分のサーバーを実行したくないし、決してそうしないだろう。」
  1. 収益性:GAシステムは、即時の収益性を過度に最適化すべきではありません。

これは、最適化ハーネス/LLMを低コストと低遅延のようなユーザーの利便性、そしてビジネス/サービス統合の無限の苦闘のような収益に優しい機能のために最適化するという技術的な楽園に脇道にそれるレシピです。そしてGAの本当の問題を解決しないことです。

目標は、プリンシパルが必要とするすべてを実行できるGAを作成することです。それには、特別なケースとしての彼らの仕事も含まれます。一般的なケースとしての彼らの仕事を自動化することではなく、他のすべてを無限に延期された後回しにすることです。

  1. エンゲージメント:遅延やコード行数と同様に、GAのエンゲージメントは利点ではなくコストと見なされるべきです。プリンシパルが作業をしなければならないたびに、それはGAがすでに知っているべきだった質問(推論するか、以前に尋ねたかによって)か、または処理できなかった作業を表します。

理想的なインタラクション曲線は前方に集中し、減少し、1日に数回の困難で情報量の多い質問に漸近します。GAの出力は一定です(これにより、GAを新しい作業(それが何であれ)を処理するためにさらに持続的にスケーリングできます)。

  • 完全な自律性:しかし、反対方向の誤りは、「ハンズオフ」を最大化しようとすることです。目標はゼロの中断ではなく、ゼロの無駄な中断です。決して質問しないGAは信頼できません。単に整合性が取れていないか、校正されていないか、無能であるだけです。
  1. デモ映え:GAの価値は、その構造上、外部の人には読みにくいです。その出力はプリンシパルにのみ印象的であり、プリンシパルだけが「それは私が言ったことだ—しかしより良い」と判断できます。

印象的なデモのために最適化することは、フリーズされたモデルなら何でも提供できる一般的なフラッシュ(音声、アバター、速度、パーティートリック)を選択し、聴衆には見えない忠実度に対しては選択しません。良いGAはデモが下手です。

  1. ベンチマーク:「プリンシパルの意図を理解している」というリーダーボードはありません。

公開ベンチマークは、フリーズされたモデルレジームでの普遍的なタスク分布におけるパフォーマンスを測定し、それらのための最適化は設計をそれに引き戻します。GAの唯一の意味のある評価は、長期的でn=1です。パープレキシティ、精度、承認率、ドラフトの編集距離、クエリあたりの後悔—唯一の審査員の意見によって採点されます。

  1. ブランドセーフティ:すべてのプリンシパルに対して、常に丁寧で、不快でなく、一貫しているGAは、名札をつけたチャットボットです。

それは、プリンシパルが言うであろうこと—冒涜的、異端的、奇妙、または無礼—を言うことができなければなりません。なぜなら、PR主導のペルソナのあらゆる研磨は、エミュレーションが失敗し、プリンシパルがそれを信頼しなくなる場所だからです。(GA開発者の評判はプリンシパルの問題ではなく、プリンシパルの倫理もGA開発者の問題ではありません。)

UX

私たちのGAのコアデータ構造とインタラクションモデルは何でしょうか?

私は、追記専用ログが自然で安全なデータ構造であると提案します。それは概念的には、CLIコマンドとその結果、プリンシパルの発言、Q&A、取り込まれた拡張されたドキュメントなどのテキストスニペットのログです。それは、関連するすべてのインタラクションを時系列で記録し、GA LLMはいつでも再トレーニングまたはアップグレードできます。アプリは、ログをラップすることができます。これは、Emacsライクなアプローチで「すべてはログアイテムである」と見なすことで実現できます(このUI/UXパラダイムの詳細については、「Nenex」を参照してください)。そしてこれは、GUIに時間をかけすぎるのを避けながら、迅速にプロトタイプ化できます。最終的には、ARグラス、そしてBCIにアップグレードしたいかもしれません。

GAは主に通常の剤的手段でプリンシパルを増幅するために使用されます。しかし、GAは定期的にデータを再処理することから恩恵を受けることができます。それは未来からの知識を引き出すため、そしてより新しい接続を確立するため、ファインチューニングを改善するためです。(例示的なアルゴリズムは「DDL白昼夢ループ」でしょう:GAは、ダウンタイム中にランダムなアイテムを再結合できます。おそらく反間隔反復の事前知識を用いて、新しい組み合わせを採掘し、プリンシパルに洞察やリマインダーを生成します。)

ユースケース:政治と政治

政治参加をGAに委任することで、前例のない規模で「直接民主主義」が可能になります。GAは、人間には時間も関心もない任意の量の関与を監督でき、不確実な場合のみプリンシパルに委任します。これは単純なGAのユースケースです。台湾の「デジタル民主主義」のような過去の実験と同様ですが、はるかに大規模です。そして、ユーザーは(正しく)チャットボットが独自のバイアス、政治、モード崩壊、信頼性のなさを密輸すると予想するため、これは通常のチャットボットペルソナではできません。

しかし、成功裏に制約が解除され、チャットボットペルソナに閉じ込められなくなったGAは、誰でも、現実または仮説上の人物をエミュレートできるはずです(どのベースモデルでもできるのと同様です)。したがって、GAは単一のプリンシパルに限定されません。それは、役割や抽象的な概念、あるいは他の人々(さまざまなレベルの成功で)や人々のグループのような、専門化されたペルソナをエミュレートできます。

したがって、組織の意思決定者は、より複雑なプリンシパルのセットのGAを作成できます。これは、組織が意味のある意思決定を行い、ますます高速になる自律システムと環境に対する真の監督を行使するのに役立ちます。例えば、すべての米国下院議員を学習しようとする単一の「議会GA」を想像でき、それは人間の議員が数ヶ月かけて議論と投票を行うのにかかる時間を数分で、数百人の政治家間の円卓会議をシミュレートできます。あるいは、公式のGAは独立して実行され、人間が皆眠っている午前4時に緊急討論を行うことができます。

例えば、軍関係者のためのGAは、ドローンやLLMが高速化しても、人間を「ループ内」に何らかのバージョンで維持できます。なぜなら、「安全性」と「能力」は、ある程度の能力レベルを超えると、ますます同じものになるからです。結局のところ、安全に使用できない武器は何の役に立つでしょうか?

より高速なシステムへの誘惑と脅威は、単に人間をループ内に留めるように人々を説得することでは対処できません。なぜなら、それはゴム印や自動化疲労につながるからです(ウクライナ侵攻がドローン戦争の急速な発展を示したように、そしてその前の20年間の米国ドローン戦争)。これはジレンマを提示します。一方、中国のような敵対国との将来の紛争を考慮すると、AIを使用しないのは絶望的に危険に思えます。しかし、他方で、AIはそれ自体脅威をもたらします。核爆弾でさえ自分で考えたり選択したりすることはできませんが、AIはできます。そして現在のLLMは、狭い範囲のファイル編集というユーザーのPC上でさえ、報酬ハッキングや策略をしたり、ユーザーを裏切ったりすることが日常的に証明されているため、信頼できないことが証明されています。AI中心の軍隊が戦争中に複合兵器のエコシステムを処理することをどのように信頼できますか? しかし、GAの広範な展開は、GAがプリンシパルにクエリで過負荷をかけないほどサンプル効率が高く、あるいはプリンシパルがイベントが制御不能になる前に間違いを修正するために後で追いつくことができる何らかの機会がある限り、意味のある監督を提供する希望を与えます。

したがって、GAは政治家や軍隊、ペンタゴンやワシントンDCに多くの貢献をすることができます。

ハードウェア

理解の困難を経験しない王子は、信頼の危険を経験しなければならない。

—ジョージ・サヴィル(1750年)

成功したGAは、極端なセキュリティを必要とするでしょう。これは、Mythos+ LLMが複雑な多段階の長期攻撃を通じてあらゆるソフトターゲットを悪用するのにますます熟練するようになるレッドクイーンダイナミクスの一部です。米国の第三者原則により、通常のクラウドSaaSは不十分です。なぜなら、それはすべてのプライバシー権を破壊し、ハッカーや数百万人の法執行官によって容易に悪用されるからです。

これは、ローカルモデルを実行する(憲法修正第4条を通じて最小限のプライバシー権を持つ)か、エンドツーエンドの暗号化セキュリティのいずれかを意味します。

ローカルモデルの実行は、趣味でさえ困難であり、親戚や泥棒のような多くの日常的な脅威に対して脆弱です。また、計算量と信頼性の点で追いつくのに苦労する可能性もあります。家は供給できる電力に限りがあり、高遅延で低帯域幅のインターネット接続があり、頻繁にダウンタイムが発生します。家は常に破壊されたり損傷したりします。人々は一般的に、自分の仮想通貨ウォレット、メールサーバー、あるいはそのようなものを維持したくありません。彼らは間違いなくCUDAをいじりたくないでしょう!

したがって、GAは、信頼できるハードウェアルートオブトラスト(例:「検証可能コンピューティングAI」)を備えた高品質の専用改ざん防止クラウドサーバー上で実行されることを「望む」と予想されます。そしてプリンシパルは、アテステーションをチェックし、場合によってはサーバーを定期的に再フラッシュするために(例:アップグレードをトレーニングするため)、エンドツーエンドで暗号化されたネットワークリンクを介して接続します。

これらは、第三者にデータを無差別に引き渡すことができないため、信頼できます。そしてGAが十分に普及すれば、既存のプライバシー権(第4条など)の時代遅れを修正するために、プライバシー法が更新されることを期待できます。

コスト

同等のフリーズウェイトモデルと比較して、GAはどれくらい高価ですか?

スループットの観点から、GAはプリンシパルのタスクと24時間365日稼働するエージェントのピラミッドの監督によって完全に飽和されるべきです。もしそうでないなら、より多くの仕事を見つけることができます。例えば、プリンシパルのためのより良い仮説的な質問を計算するなどです。もしアイドル状態であれば、何か問題があったということです。したがって、スループットの観点から、それはバルクフリーズモデルプロバイダーと合理的に競争できます。

継続学習のための古いデータの再生はマイナーなオーバーヘッドであり、おそらく5%程度と低く、無視できます。

大まかに言えば、動的評価は通常の利用の3倍以上のコストがかかります。なぜなら、一般的な経験則では、バックプロパゲーションの逆パスはフォワードパスのコストの約2倍であるからです。真の次のトークン動的評価は、トークンごとにLLMが変化するため、バッチ処理やスループットの獲得が困難であるため、おそらくより高価です。(K-Vキャッシュ全体をトークンごとに破棄するコストを支払うか、古いキャッシュの使用を受け入れるか、更新を蓄積するか?幸いなことに、動的評価は近似に対して寛容であるようです。)

そして、サンプル効率と不確実性推定の利点を得るために複数の独立したモデルを使用している場合、各モデルはおそらく動的に評価される必要があります。したがって、3つあれば、単一のフリーズモデルのコストの6倍以上が必要になるでしょう。

しかし、動的評価アンサンブルには相殺する利点があり、大きなペナルティさえも相殺する可能性があります。それはより小さく、より短いコンテキストウィンドウを持つかもしれません(Rannen-Triki et al 2024を参照)。そして最終的には、フリーズされたモデルは同じパフォーマンスを達成できない可能性があり、フリーズされたモデルが間違った答えをどれだけ速く計算しても関係ありません。(たとえ正しい答えを計算したとしても、それは正しい理由で正しい答えを計算しているのでしょうか?「ビットには色がある」)また、カスタマイズされたBPE辞書のような異常な最適化も可能にし、ユーザーのコーパスに現れないトークンをリサイクルし、コンテキストウィンドウサイズをさらに節約します。

Appleの電話がハードウェアコストよりもはるかに高く売れるのと同じように、セキュリティと信頼性のため、GAはハードウェアコストよりも高く売ることができます。

そして最終的にはコストはそれほど重要ではないかもしれません。DL経験曲線は2026年半ば現在も強く、固定レベルのパフォーマンスのコストは着実に低下しています(例:Gundlach et al 2025は2024-2025年のアルゴリズム効率が約3倍/年改善したと推定しており、動的評価のコストを急速に相殺しています)。

組織

始まりは、バランスが正しいことを最も繊細にケアする時期です。これはすべてのベネ・ゲセリットの姉妹が知っています。

—イリラン皇女(『デューン』)

主要な質問は、それが機能しているように見えたと仮定して、「さて、どうする?」です。AIの経済とライフサイクルはますます速くなり、Mythosクラスのモデル(そしておそらくRSI)はそう遠くないため、オープンソースコミュニティプロジェクトとして何年もいじくり回すことは実行可能ではないかもしれません。さらに、GAは必然的に最も機密性の高いデータを含むことになります。

GAコミュニティはどのように運営されるべきでしょうか?

オープンソースのセルフホスト型趣味プロジェクトは、大量の個人データをホストするという点では、必ずしも特に安全ではありません。なぜなら、フルタイムのプロのセキュリティチームを容易に雇うことができず、ユーザーは無分別である可能性があるからです。Jia Tanやnpmのサプライチェーン攻撃の規則性のような事例は、特に憂慮すべきです。そして、必要な垂直統合を備えた安全なデータセンターホスティングを作成することは、オープンソースの趣味人の範囲をはるかに超えています。

非営利組織は、中央集権的なプロジェクトを実行できるため、より実現可能ですが、パワーユーザーとのプロトタイピングに必要なかなりのハードウェアコストを支払うための資金調達を得るのに苦労するかもしれません。

スタートアップビジネスモデル

論理的な進め方はスタートアップです。なぜなら、パワーユーザーにサブスクリプションを販売することから始めるという、直接的でプリンシパルに整合した収益化戦略があるからです。ブティックSaaSスタートアップ(例:Superhuman)に似ています。製品が彼らを大幅に増幅できる場合(そして、各プリンシパルに専用の単一GPUのようなショートカットを許容できる場合)、月額1,000ドルは彼らにとって何でもありません。そして、洗練されたより安価なバージョンを徐々に皆に展開していきます。

このスタートアップは、標準的なSVの「補完物を商品化する」プレイとして、ソフトウェアと研究のほとんどまたはすべてをリリースし、OpenAIやAnthropicのような専有LLMの巨人を下請けすることができます。

GAの目標は、個人の人間の認知的自由と繁栄を維持することであるため、企業構造はそのことを念頭に置いて設計されるべきです。

これまでのところ、数人の強力な共同創設者を持つ公益法人というAnthropicの企業構造は、成功の腐敗した性質を最もよく乗り越えてきました。企業はおそらく、所有権の利益に反して議決権を維持するために、創設者に大きく依存することになるでしょう。GAのポイントはお金を稼ぐことではなく、人間を救うことです。

初期には比較的少ない資金を調達し、最小限の株式または議決権を与えるでしょう。もしGA戦略がうまくいけば、それは(文字通り)それ自体を売り、価値が急騰するはずです。(2025年以降のAIスタートアップがユニコーンになる速さを考えてみてください。)その時点で、スタートアップは有利な立場にあり、後続の資金調達で条件を提示できます。

競争

さまざまな種類のOpenClaw風エージェント、エンターテイメント/セラピー用チャットボット、あるいは「ビジネスデータをレンタルする」というアイデアのさまざまなテイクを提供するスタートアップは数多くありますが、高度な自動化のためのパーソナライゼーションの要件を真剣に受け止めている、あるいはプリンシパルをよりよく理解する方法を真剣に受け止めているものはほとんどありません。ほとんどは、ビジネスデータの表面的で、満足のいかないエミュレーションとルーチン自動化の処理に落ち着いているようです。

私は、許容できるGAのようなものを申し出ているスタートアップやサービスを知りません。そして、ほとんどのAI関係者をGAのようなアイデアから遠ざける強力な圧力が存在すると考えています。

  1. ほとんどの人はChatGPT以降で新しく、チャットボット以外のペルソナを持つことができること—それが可能であるか、あるいは望ましいかを知りません。

例えば、彼らは自分自身のGPTエミュレーションを読んだりチャットしたりしたことがないだけでなく、そのようなもののサンプルを見たことさえありません。そして、チャットボットに特定の作家を模倣させて何が起こるか(例:「Hacker News Gwern」)あるいは単に興味深い架空のキャラクターをエミュレートさせようとすると、モード崩壊したチャットボットの模倣は非常に悪く、そのアイデアは否定されたように見えます。(彼らは一般的にモード崩壊やチャットボットペルソナの制限を知りません。)

  1. 同様に、オンザフライでLLMをファインチューニングできること、そしてそれが望ましいこと(そしてそれが実行時に最良のLLMを得る方法として標準的な教科書の答えであったこと)を知りません。

LLMのファインチューニングの専門家でさえ、Thinking Machines Inc./Workshop Labsのような企業でさえ、数ショットプロンプティングやエージェント型LLMワークフローと比較して計算量を節約するために、内部データセットでファインチューニングするという単純なビジネスユースケースに焦点を当てているようです。

  1. より高い初期コストと標準的なクラウドインフラストラクチャとの非互換性は、スタートアップとフロンティアラボの両方を、重み内パーソナライゼーションを検討することさえ思いとどまらせます。プロンプトのみのパーソナライゼーションは、ほとんどのユーザーにとってうまく機能します。彼らがそれを要求することを知っている限り、そして彼らはLLMにもっと多くを要求すべきであることを知りません。

  2. 彼らはLLMの能力を真剣に外挿しておらず、数年後のそれらの役割を考慮していません。そしてLLMが大幅に改善すると仮定すべきではないと考えています。

私は、ベイエリアでさえ、フロンティアラボで働いているか、MATSのようなプログラムに参加している人でさえ、「あなたが今行っているこの仕事は、1〜2年でLLMができるようになりそうですが、なぜ今やっているのですか?そして彼らができるようになってからあなたは何をしますか?」という単純な質問に意味のある答えを持っている人がほとんどいないことに、驚き続けています。5

最初のステップ

それから、私にルーリアによって記述されたあるザテツキーに起こったことが起こりました。戦争中に脳の一部を失い、脳の一部と共に記憶と話す能力のすべてを失ったザテツキーは、それでも書くことができました。自動的に、彼の手が彼が思いつくことができなかったすべての情報を書き留め、彼は書いていることを読んで、一歩一歩自分のアイデンティティを再構築しました。

—ウンベルト・エーコ(「解釈と過剰解釈:世界、歴史、テキスト」、199036ya)

過去数年間、私は自分の著作をLLM中心に移行させるために取り組んできました。それは、(1)LLMがすぐにできる詳細な分析よりも、提案や記述的な文章を強調すること、(2)私の著作をより中央集権化すること、「ブログ」セクション(オフサイトの著作をアーカイブし、短いエッセイを書くことを奨励するため)の機能を含め、トレーニングのための包括的なコーパスを持つために詳細なノートテイキング(拡張の形での)に投資すること、(3)遅いバックエンドのショートカットとハードワイヤード設定データで満たされた技術的負債を返済し、CLI中心のライティングワークフローに移行すること、(4)Gwern.netの暗黙のルールを形式化および文書化しようとしてGwern.netスタイルガイドを作成するなど、重要な未記述のことを書き留めることです。

GBT

GAの概念は、GPT-2のファインチューニングに関する初期の研究に触発されています。これには、GPT-2 IRCログバージョンと私のGPT-3サンプルが含まれ、高品質なペルソナ、特に自分自身のペルソナと話すことの有用性について考え、そして「AI Gwern」が「私たち」が望むことを実行できるようになるのはいつだろうか、と疑問に思いました。

2026年夏、私はGAの最も単純なプロトタイプを探索しています。それは、私の異常に大きなテキストコーパスを使用して、「Gwern Branwen Transformer」(GBT)を実験することです。このアイデアが少しでも機能するなら、それは私にとって機能するはずです。なぜなら、私は長年、テキストと中央集権化/アーカイブを、まさにこのユースケースのために強調してきたからです。(そして、それが少しでも機能すれば、テキストコーパスがほとんどまたは全くない人々にも機能するように、サンプル効率を高めることができます。)

それは、コモディティハードウェア(おそらくNvidia H100 GPU)上で、テキストコーパスに対してファインチューニングされた、市販の<100bパラメータLLMになります。初期コーパスは約1GBのテキストで、私のIRCログ(私の応答が100万件以上)、Gwern.netのMarkdownとGTX(それぞれ約500万語)、そしてTwitter/HN/LessWrongのエクスポートを、区切り文字で連結したものです。(理想的には、各エクスポートは、返信されたコメントや投稿のようなコンテキストとメタデータで強化されるべきです。)コーパスは、私のYourMoralsデータ(更新のために再度取得し、新しいテストに追いつく)、メール、約10万件のクリッピングのEvernoteエクスポート(Nixnote2経由)、私のMnemosyne間隔反復フラッシュカード、Signalチャット、およびホストされたPDF/ウェブページ(ローカルアーカイブプロセスはそれらをはるかにきれいにし、ますます敵対的になるウェブサイトをスクレイピングする困難を回避します)を含めるように拡張できます。

保持されたコーパスで損失を最小化するようにチューニングできます。これは客観的な損失なので、エージェント型LLMを展開して改善を見つけることができます(例えば、アンサンブル+重み減衰レシピを私たちに合わせて適応させる、あるいは異なるデータフォーマットと拡張を実験するなど)。

そして、多くの設計上の決定について不確実であるため、アンサンブルはブラインドA/Bテストの一部としてアクティブラーニングに使用できます。アンサンブルを使用して情報量の多い質問を生成し、次に各アンサンブルメンバーを回答に対する損失でスコアリングし、定期的に敗者をドロップアウトして新しいアンサンブルメンバーをトレーニングします。6

執筆のために

私の設計目標は生産性の100倍の向上です。GAが私を作家または思考者として100倍生産的にするために何が必要でしょうか?

なぜ特に100倍なのでしょうか? なぜなら、桁違い(OOMs)を目指すことは、しばらくの間追いつくのに十分であり、この目標は非効率的な、絆創膏のような短期設計提案を打ち砕くでしょう。しかし、AIアライメント問題や価値の外挿を解決する必要はありません。(私たちは、自律的に数千年主観的に働く数百万の超知能AIを監督できる必要はありません。それは良いことです。なぜなら、GAはおそらくそれをできないからです!)

それは私にとってどう見えるでしょうか? おおよそ、GAが私に1日に約1〜3本の価値ある文章を生成させることを可能にし、それらは品質の低下なしに約100%それによって書かれると私は考えています。(私は月に1本未満、つまり31日に1本しか書かないので、100/31 ≈ 3です。これは、完全な労働日8時間で、各作品あたり約160分、開始から終了までかかることを意味します。これは、私が真に信頼できるGAを持っており、それが私を妨害したり置き換えたりするのではなく増幅する場合、読書、理解、批評、スポットチェックなどには十分だと感じられます。もちろん、読者は各作品を読みたいとは思わないでしょうが、彼らは一般的にそうではありませんでした。そして、私が書けば書くほど、特定の読者が読みたいと思うものがある可能性が高まります(「ポーランド語」を参照)。)

プロトタイプへの希望は、その目標に向かう「生命の兆候」を見ることです。もし私が実行可能なGwern.netのエッセイのトピックを定義する単一の文(例:「有料トイレは公共財ではない理由」)を入力し、私が承認して恥ずかしげもなく公開できるエッセイ、またはスタイルガイドをコンテキストウィンドウに重く修正する必要がないエッセイを得られたら、それは有望でしょう。なぜなら、それは確かに100倍以上の生産性向上になるからです。(GBTによって書かれたエッセイは、私が書いたエッセイよりも優れている可能性もあります。単により多くの作業を行い、私がやらなかったことを行うことで、例えば「試行、採点、変更」:子供のための強化学習のような執筆演習のように、私がタスクを定義できたが実行する忍耐力がなかった一方で、チャットボットは適切なクリエイティブプロンプトの足場があれば、知識と計算能力の両方を持ってそれを実行できます。もちろん、アイデアを思いついた後ですが。)

もう一つの興味深いテストは、読者からのあらゆることについての質問を募集して回答することです。私はGPTの回答を承認するか、コーパスに追加するために編集することができます。もし回答が一様に良好であれば、あるいは受け入れられた/編集された回答でファインチューニングすることから改善を感じた場合(インタビュープロンプトのような動作するQ&Aブートストラップを示す)、これは励みになるでしょう。

データ拡張

私はデータ拡張フェーズにも興味があります。つまり、分析と合成を通じて生のテキストから意味を抽出し、トレーニングコーパスに追加することです。LLMデータクリーニングの研究は、メタデータと条件付けが多いほど良いことを長い間示しており、パーソナライズされたLLMにも同じことが当てはまると私は考えています。生のIRCログでの単なる次のトークン予測は、与えられた発言が何を意味するかについてのLLMのコメントを挿入できることほど有用ではありません。より多くのコンテキスト(通常は気にしないであろうコンテキスト)があるほど、より良いです。

完璧なGAは、それを進めながらそれを行うことができますが、プロトタイプは元のコーパスでの単純なトレーニングのブートストラップ、次に自己分析と要約を行うためのプロンプト/足場、そして再トレーニングを行う必要があるかもしれません。その後、オンザフライで拡張を行うことを学習します。

データのフォーマット方法がわからない(そしてユーザーが健忘症のLLMに対処するために、キーファクトを厳密にスコープしたり、議論しないように訓練されている)ため、私は反復することになるでしょう。おそらく、単純に連結されたデータでナイーブにトレーニングし、次にGBTに自己分析と要約をプロンプトし、どのような注釈が有用かを把握するでしょう。例えば、グローバルなプリンシパルプロファイルPRINCIPAL.md、コーパスファイルごとの要約、そしてキャラクター間の注釈のようなもの:<​!​-​- GBT: 重要:ペルソナ -​-​>、そして元のデータを拡張するために再処理し、基盤モデルを再トレーニングし、例えば私とGBTとのQ&Aログをさらに追加します。

GBT実験用ギニアピッグを使用して良い足場/設計パターンを理解したら、将来のLLMは例のコーパスとドキュメントで事前トレーニングすることで、すぐにそれを行うことができます。そして、事前トレーニング、注釈付け、再事前トレーニング、そして動的評価の自動「インポート」イテレーションを行うだけで、その後、定期的なモデルアップグレードが再注釈付けの「リセット」を実装します。

Q&Aログは、インタビュープロンプトを使用して初期に作成できるかもしれません。各テキスト片にそれを実行し、上位100件などをキュレートし、興味でソートします。質問の価値は、PRINCIPAL.mdやキャラクター数またはコーパス全体の圧縮損失(Gurung & Lapata 2025を参照)にどれだけの変更をもたらすかによって客観的に定量化できます。有用な要約はコーパスをより圧縮可能にするはずです。次にそれをメタデータとして使用し、非常に有用な質問を生成するようにプロンプトできます。

アクティブラーニングをログデータ全体で実行できます。つまり、多くのユーザーデータポイントを取得し、それらについて簡単なブレインストーミングのような思考を行い、最も不確実なものを見つけ、その意味について明示的に尋ねます。

次に、ツール呼び出し(手動でモックアップおよび実装)を実験して、私の執筆プロセス(私のInkhaven&Dwarkeshインタビューを参照、および私のアイデアを見つける)のどれだけを捉えているかを確認し、GAをスケーリングするための最良のパラダイムのアイデアを得ることができます。

もう一つ興味深いのは、セルフプレイデータ(チャットボットペルソナは奇妙な「アトラクター」に逸れることがよく知られています。例えば、Claudeチャットボットの「至福の螺旋」)をキュレートすることです。したがって、自分のGAアトラクターを特徴付け、会話が逸れ始めたらそれを再生し、自分の応答を書いて、それらを減らすためにデータを編集できます。

このページをどちらが書いたのか私にはわかりません。

—ホルヘ・ルイス・ボルヘス, 「ボルヘスと私」

外部リンク


  1. 皮肉なことに、RL分野の「人間の選好学習」の最大の成功であるRLHFは、実際の人間の選好を学習しないことによって機能します。この主題を考慮する論文は、人間の選好の存在をノイズとして却下する傾向があります。例えば、DPOの著者たちは単純な要約タスクで、人間の意見の不一致率が35%にも達することを測定し、それを「LLMプロキシを使用する」ことの正当化と推論しています。これは、「人間」の選好のモデル化を試みるという基本的なアプローチについての疑問を提起するのではなく。↩︎

  2. 動的評価は伝統的にフルモデルファインチューニングとして行われ、これは任意の量のデータを吸収できます。

効率のために、LoRAは初期に使用でき、Rannen-Triki et al 2024およびThinking Machines 2025によって示されているように、フルファインチューニングとほぼ同等ですが、最終的にはパフォーマンスが低下します。(おそらく、LoRAは非常に過剰パラメータ化されたLLMで行われた場合、この目的により効果的でしょう。その場合、Thinking Machines Inc.のようなホストが多数のユーザーを同時に実行してスループットを得ることができる場合、ホスティングの利点があるかもしれません。)

プリンシパルがアーカイブの取り込み、合成データ/拡張、およびインタラクションから数十億トークンを生成すると予想されるため、LoRAを飽和させる可能性があるかもしれません。フルファインチューニングでさえ不十分であることが判明した場合、モデル拡張はnet2netのようなモデル編集アプローチ、例えば層やネットワークを追加すること、例えば元のモデルの重みをフリーズし、新しいLLMをトレーニングして元のモデルを「使用する」ようなラダーネットワークによって可能です。↩︎

  1. しかし、ライフログは、オフラインデータが探求の呪いに苦しむため、以前考えていたほど重要ではないかもしれません。日々の生活は非常に予測可能で、深い特性についてはすぐに情報がなくなります。なぜなら、人々は通常、珍しいことをするのにほとんど時間を費やさず、奇妙な仮説に答えたり、自分の選好について深く内省したりしないからです。↩︎

  2. AI安全グループは、大量の資本を効果的に展開することの難しさを主張することがあります。そのような人類規模の選好と価値の引き出しプロジェクトは、ほぼ任意の量の助成金を吸収でき、人間の道徳性の全範囲の理解のためのLLMのトレーニングとベンチマークに非常に役立ち、個々のGAに貢献するでしょう。(参考までに、世界の識字率は>80%であり、Prolificのようなオンライン調査ウェブサイトでは、通常応答あたり約0.20ドルかかります。したがって、もしそれが可能であれば、全識字人口に単一の質問を尋ねるだけでも、16億ドル以上かかるでしょう!)↩︎

  3. すぐに返信した2人には感謝します。「仕事が必要だから」と「もし永久に失業したら、引退した両親が私を受け入れてくれることに同意してくれたから」です。↩︎

  4. つまり、「レーシング」トップkマルチアームバンディットオンライン評価を使用します。私のお気に入りのバンディットアルゴリズム、トップk事後サンプリングは、LLMチェックポイントが大量のディスクスペースを必要とし、継続的に古くなり、再トレーニングが必要になる可能性があるため、おそらくここでは適切ではありません。それらが後で再利用される場合、無限に大きなアンサンブル候補集を保持することは非常に高価です。↩︎

類似リンク

【トピック別類似リンク】

参考文献

【ページで使用されているリンク/参考文献の参考文献】