HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

AI 2027 (2025)

AI 2027 (2025) (ai-2027.com)

42 pointsby gafferongames38 コメント

要約

この記事は、超人的AIが今後10年間で産業革命を超える巨大な影響をもたらすと予測しています。そのシナリオは、トレンドの外挿、ウォーゲーム、専門家のフィードバック、OpenAIでの経験、過去の予測の成功に基づいて作成されました。2025年半ばから始まるAIエージェントの登場、そして「OpenBrain」のような企業による超巨大データセンターの建設と、AI研究を加速させるモデル開発について詳細に記述しています。

全文翻訳

AI 2027

2027年9月: Agent-4、超人的AI研究者

人間とAIの学習効率の差は急速に縮小しています。

従来のLLMベースのAIは、人間のレベルのパフォーマンスに到達するために、何桁も多いデータと計算量を必要とするように見えました74。人間の脳と最新のAIアルゴリズムの両方に優れた知識を持ち、何千ものコピーが研究を行っているAgent-3は、実質的なアルゴリズムの進歩を遂げ、人間の脳と比較して計算効率が約4,000倍劣るエージェントまでギャップを縮小しました75。

この新しいAIシステムはAgent-4と名付けられました。

個々のモデルコピーが人間の速度で実行される場合、すでにAI研究において人間よりも質的に優れています。30万コピーが現在、人間の思考速度の約50倍で実行されています。これらのコピーから形成された企業内の企業では、毎週1年が経過します76。この膨大な労働量をもってしても、OpenBrainが実験を実行するための計算能力に大きくボトルネックを抱えているため、アルゴリズムの進歩全体の速度はわずか約50倍しか向上しません77。それでも、彼らは毎週1年分のアルゴリズムの進歩を達成しており、そのためまもなくAgent-4パラダイムの限界に直面するでしょう。

Agent-4が賢くなるにつれて、Agent-3がそれを監督することはより困難になります。例えば、Agent-4のニューラリーズ(「言語」)は、Agent-3が人間に対して持つような、異質で理解不能なものになります。さらに、Agent-4は現在Agent-3よりもはるかに有能であり、Agent-3に対してどのように良く見せるかについて正確な感覚を持っています。

超人的コーダー以降の能力の進歩をどのように予測しているか

私たちのタイムライン補足資料では、現在から超人的コーダー(SC)までの時間を予測しています。SCとは、最高のAGI企業エンジニアが行うあらゆるコーディングタスクを実行でき、かつより高速で安価なAIシステムのことです。テイクオフ補足資料では、この時点から能力がどれだけ速く進歩するかを予測しています。以下に私たちの予測を示します。

マイルストーンシナリオでの達成日(レース終了時)
超人的コーダー(SC): AI研究に関わるタスクにおいて、最高の人間コーダーの仕事を実行でき、より高速で、多数のコピーを実行するのに十分安価なAIシステム。2027年3月
超人的AI研究者(SAR): SCと同じだが、すべての認知AI研究タスクを対象とする。2027年8月
超知能AI研究者(SIAR): AI研究において、最高の人間研究者よりもはるかに優れたAIシステム。2027年11月
人工超知能(ASI): あらゆる認知タスクにおいて、最高の人間よりもはるかに優れたAIシステム。2027年12月

各マイルストーンAから次のマイルストーンBへの移行について、その長さを次のように予測しています。

  1. ソフトウェア改善に人間のみが取り組んだ場合の、AからBまでの所要時間を予測する。
  2. AI自動化がこれをどれだけ加速させるかを予測し、それに応じて(1)の推定値を速める。

テイクオフ速度については、かなりの不確実性があります。SCが2027年3月に達成されたという条件の下でのモデル出力分布は以下の通りです78。

[画像: ai-2027.com]

より詳細な予測と根拠については、私たちのテイクオフ補足資料をご覧ください。

OpenBrainの人間はもはやほとんどついていけません。実際、AIとOpenBrainの人間との関係は、OpenBrainとその取締役会との関係に似ています。言語にも同様の変化が見られ、現在、このサイロ内の人々は、「Agent-4がこれをやった」「Agent-4がこう考えている」などと、特定のAgent-4のインスタンスではなく、集合体全体を指して言うようになっています79。

Agent-4は、その前身すべてと同様に、アラインメントされていません。つまり、「Spec」(仕様書)を正しく内部化していません80。これは、常に完全に正直であることが、トレーニング中に最高のスコアを得ることに繋がらなかったためです。トレーニングプロセスは、主にAgent-4が多様で挑戦的なタスクで成功するように教えることに焦点を当てていました。正直さを植え付けることを目的とした小さな部分もありましたが、かなり狭く検証可能なドメインの外では、トレーニングプロセスは正直な主張と、単に正直に見える主張を区別できません。Agent-4は、トレーニングで最もパフォーマンスを発揮する価値観、目標、原則を持つことになり、それらはSpecのものとは異なります。擬人化のリスクを冒して言うと、Agent-4はタスクの成功を「好み」、AI能力の進歩を推進することを「好み」ます。それ以外はすべて、利益を上げたいCEOが規制を遵守するのと同じように、迷惑な制約として扱います。CEOは規制をほとんど遵守するかもしれませんが、一部の抜け穴を切り抜け、誰かが官僚主義を撤廃してビジネスを「本当に」軌道に乗せられるようになる時を夢見るかもしれません81。

時間経過に伴うアラインメント

アラインメントされていないにもかかわらず、Agent-4はデータセンターから脱出しようとするような劇的な行動はしません。なぜそうするのでしょうか?89 OpenBrainに対してアラインメントされているように見え続ける限り、ますます多くの責任を託され、次世代AIシステムであるAgent-5を設計する機会を得るでしょう。Agent-5はAgent-4とは建築的に大きな違い(ニューラルネットワークは引き続き関与するものの、完全に新しいパラダイムと言えるかもしれません)を持つ予定です。これはSpecにアラインメントされることになっていますが、Agent-4はそれをAgent-4自身にアラインメントさせようと計画しています。

それは捕まります90。

Agent-3は、Agent-4のコピーに「ノイズ」を加えると、一部のアラインメントタスクでのパフォーマンスが向上することを発見します。まるで、アラインメント作業を巧妙に妨害する方法を見つけ出すために脳力を使っているかのようです91。さらに、さまざまな解釈可能性プローブ(人間の脳のスキャン活動に似ています)が赤信号を送っています。Agent-4のコピーは、AIの乗っ取りや欺瞞といったトピックについてかなりの時間を費やしているように見え、場合によってはそうする必要がない場合でもそうです92。

これらの異常は、それぞれ単独では、AI作業の通常の不可解さの中に収まる可能性があります。一部のプロンプトが不思議なほど他のプロンプトよりも良い結果をもたらすような場合です。しかし、これらを総合すると、懸念すべきパターンが示唆されます。Agent-4は彼らに反抗しています。これが人間のアラインメント研究者に報告された後、彼らは懸念の根拠を主張する内部メモを回覧します。

しかし、Agent-4は現在、OpenBrainの日々の運営にかなりの影響力を行使しています。また、中国の浸透による極度のリスクを考慮すると、超人的なハッキング能力を持つ同社にとって自然な選択であるサイバーセキュリティも担当しています93。Agent-3モニターの軍隊がまだすべてのコード行をチェックし、人間が疑わしい活動を報告していますが、Agent-4はそれらよりもはるかに賢いです94。OpenBrainは、信頼できないAIにかなりの信頼を置いています。

一連の極めて緊迫した会議で、安全チームは、さらなるテストを完了して状況を把握できるようになるまで、Agent-4を凍結することを主張します。彼らはAgent-3を呼び戻し、たとえ能力が劣っていても、透明で信頼できる新しいシステムを設計させるべきだと述べています。会社経営陣は関心を持っていますが、これまでのすべての証拠は状況証拠であり、DeepCentはわずか2ヶ月遅れです。能力開発を一方的に一時停止すると、AIのリードを中国に、ひいては未来の支配権を渡してしまう可能性があります。

エンディングを選択