GPT-6 Astra、ループトトランスフォーマー、隠された推論

GPT-6 Astra、ループトトランスフォーマー、隠された推論

この数週間で多くのことが起こりました。皆さんの頭の中は、OpenAIのGPT-6 Astraでいっぱいだと思います。特に、そのパフォーマンス、ループトトランスフォーマー/リカレントデプス（再帰的な深さ）の側面、そしてAstraが推論トレース（思考連鎖）を「隠している」という噂についてです。

そこでこの記事では、まずAstraに関する簡単な印象と、この分野がどこへ向かっているのかについての考えを述べます。次に、「ループトトランスフォーマー」とは何か、そしてそれが思考連鎖の隠蔽とどのように（あるいは、隠蔽するのかどうか）関連するのかを詳細に議論します。

最後に、ループトトランスフォーマーの基本をカバーした後、このトピックに関する最近の研究論文からの新しい洞察をいくつか紹介したいと思います。

P.S. より詳細な記事を書く前に録音した短いビデオ版もあります。

1. GPT-6 Astraの印象

まず最初に。アーキテクチャの噂や関連する研究文献に入る前に、GPT-6 Astraに関するいくつかの観察結果や断片的な情報を簡単にまとめさせてください。

先週、OpenAIの新しいGPT-6 Astraが盛大に発表されました。過去数日間使用してみましたが、これは私が現時点で使った中で最も優れたモデルであることは間違いありません。しかし、具体的に何が改善され、どのように改善されたのでしょうか？

1.1 Astraのベンチマーク

Astraは私がこれまでに使用した中で最高のモデルであり、特に3Dレンダリングとアニメーションタスクにおいて（他のモデルと比較して）非常に優れています。これは、実質的にあらゆるカテゴリ（ライティング、数学、コーディングなど）でGPT-5.6の先行モデルを飛び越えている一方で、特にグラフィカルデモに関してはその差が顕著であることを意味します。

これはベンチマークにも反映されています。例えば、以下に示すように、GPT-6 Astraは数学とコーディングに非常に優れています。

ハイライトの一つ（図には示されていません）は、AstraがARC-AGI-3ベンチマークで99.9%を達成していることです（GPT-5.6 Solはわずか7.8%）。これは論理パズルと一般化能力の混合を測定するものです。しかし、数学、コーディング、コンピュータ使用のベンチマークは、より現実世界の使用に近いものであるため、さらに興味深いです。（ただし、その後OpenAIの記事「2つの設定でARC-AGI-3スコアを3倍にする方法」では、ハーネスへのさらに2つの変更がGPT 5.6 Solのパフォーマンスを13.3%から38.3%に3倍にしたと説明されています。）

前の図の右下にあるArtificial Analysis Coding Agent Index v1.4に戻ると、これは複数のエージェントコーディングタスクをブレンドしたものですが、GPT-6 Astraは明らかに最先端ですが、飛び抜けてリードしているわけではありません。これは、コーディングタスクだけでなく、さまざまな種類のタスクをブレンドした、以下のArtificial Analysis Intelligence Indexにも見られます。

[

［画像: artificial-intelligence］

](https://substackcdn.com/image/fetch/$s_!W5FA!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fd02ced21-56da-4b5b-a520-33f0a20567cf_8058x5120.png)

図2: Artificial Analysis Intelligence Index (出典: https://artificialanalysis.ai/#intelligence)

Artificial Analysisベンチマークの大きな利点は、それらが独立しているため、モデル開発者による自己評価ベンチマークよりも信頼性が高い可能性があることです。

ベンチマークのハーネス設定は異なります。例えば、GDPval-AAとAA-Briefcaseは、比較対象の異なるLLM間でオープンソースの最小限のStirrupハーネスを使用しています。上記のIntelligence Index v4.2では、Terminal-Bench v2.1はTerminus 2を使用し、τ³-Bankingはτ-Benchハーネスを使用しています。独立したCoding Agent Indexも異なるコーディングエージェントハーネスを比較しています。

共有ハーネスを使用する評価では、これはより公平な比較になります。同時に、モデルトレーニング中、モデルは通常、1つの主要なハーネスを念頭に置いて開発され（そして他のハーネスではあまりファインチューニングされません）。さらに、主要なハーネスはモデルの強みを適合させ、増幅するように開発されることがよくあります。

そのため、一部のエージェント評価では、Astraが主要なハーネスでどれだけうまく機能するかを過小評価している可能性があります。これがIntelligence Indexスコアにどの程度影響するかは、同じタスクでAstraを異なるハーネス間で比較することによってテストする必要があります。

余談ですが、同僚が最近私に提案したように（Claude Codeのリードも推奨）、新しいLLMはプロンプトの理解と問題解決においてより効率的になっているため、既存のAGENTS.mdの内容やSKILL.mdファイルを削除（アーカイブ）するのは悪い考えではないかもしれません。余分な手助けは、新しいモデルを不必要に制約し、より悪い解決策につながる可能性があります。

もちろん、SKILL.mdファイルを二度と使用しないことを提案しているわけではありませんが、一部のワークフローでは再利用によって効率が向上するため、モデルがそれらを再発見する必要がなくなります。しかし、私が提案しているのは、一部のワークフローでは説明が不要であり、「古い」説明はもはや理想的ではなく、LLMがより良い解決策を見つけられる可能性があるということです。したがって、これらの指示ファイルを更新または再生成する時期かもしれません。

1.2 コンピュータ使用能力

GPT-6 Astraは、画像およびレンダリングタスクにおいて特に強力であるようです。これらのタスクがグラフィカルユーザーインターフェースとの対話を含む場合、コンピュータ使用能力も示されます。これは、モデルがCodex/ChatGPTアプリを通じてローカルコンピュータ上のソフトウェアを操作できることを意味します。

コンピュータ使用は、モデルが他のモデルと比較して本当に輝く分野であり、グラフィック関連のものはソーシャルメディアプラットフォームで興味深く直感的なデモにもなります。ニューヨーク市をBlenderでレンダリングするから仮想オープンハウスツアーまで、印象的なデモの例が数多くあります。

一例として、以下はGPT-6 Astra MediumとHighに、私のコンピュータ上で（Extra HighとMaxはトークンを無駄にしたくなかったので使いませんでした）マウスを使ってブラウザ版のMS Paintで私の写真を再描画させた比較です。

これは、モデルの芸術的能力だけでなく、さらに重要なことに、コンピュータ上のツールを使用する能力（この場合はPaint。マウスカーソルを介してモデルがインターフェースを使用しているのがわかります）を強調しています。

これは、ハーネス内で一般的なコンピュータ使用が可能な最初のモデルではありません。例えば、今年初めから、UIタスク（例：Excelでの経費関連タスク）でGPTモデルを成功裏に使用してきました。しかし、コンピュータ使用は比較的新しい機能であり、ハーネスによって可能になりますが、まだ成熟していないように感じることが多いです。これは理にかなっています。LLMはテキストモデルなので、自然と、より容易な成果はライティング、コーディング、APIやCLIの使用です。

同時に、CLIを（まだ）公開していない多くのツールやソフトウェアがあり、誰かがそのインターフェースを設計するのを待つ代わりに、なぜモデルをグラフィカルユーザーインターフェースを使用するように改善しないのでしょうか（そして前述のように、これは見栄えの良い印象的なデモにもなります）。これは、登場しつつあるヒューマノイドロボットの開発にいくらか似ています。確かに、ヒューマノイドロボットは最も効率的なロボットではありません。例えば、組立ラインでは、専用の機械が存在します。しかし、それらは汎用性があります。

したがって、今後数ヶ月（または数年）は、LLMとエージェントハーネス層の両方でコンピュータ使用の洗練の時代になると予想しています。つまり、現在の能力に加えて、数学とコーディング能力を拡張することに加えて、モデルはコンピュータ使用を念頭に置いてトレーニングされるようになります。そして、これは技術界の外での日常的なコンピュータタスク（「ヘイChatGPT、私の確定申告をして」：））のためにLLMをよりアクセスしやすくします。

1.3 コンピュータ使用トレーニング

コンピュータ使用のトレンドは、OpenAIがReinforcement Learningのために数万台のMac MiniとMac Studioを購入したという最近の報道とも一致しています。ここでは、Macは文字通りモデルをトレーニングするために使用されているのではなく（GPUを使用する方が良い）、モデルがそのオペレーティングシステムとその中のツールを使用できるように、トレーニング中にmacOSを公開するために使用されています。

では、これらのMacでのコンピュータ使用トレーニングはどのように行われるのでしょうか？簡単に言うと、Mac（または正確にはそのmacOSオペレーティングシステム）は、トレーニング中にモデルが対話できる環境として機能します。

基本的なワークフローは次のようになります。

1. 「アプリxyzを開いてabcを実行する」のようなタスクをモデルに与えてプロンプトします。
2. macOSインターフェースのスクリーンショットを提供します（これは通常ハーネスによって行われます）。
3. LLMはマウス/キーボードのアクション（クリック、キー入力、スクロールなど）を予測します。
4. Mac上でそれらのアクションを実行します（これもハーネスによって行われます）。
5. 前のステップでアクションを実行した後、更新された環境の新しいスクリーンショットをフィードします。
6. タスクが成功または失敗するまで、ステップ2〜5を繰り返します。
7. 成功/失敗信号と検証者（または採点者）をトレーニングフィードバックとして使用します。これには、ポストトレーニング中の強化学習が含まれます。これは、検証可能な報酬付き強化学習（RLVR）に似ています。

[

［画像: computer-use-flow］

](https://substackcdn.com/image/fetch/$s_!f_sZ!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F105c079e-822e-4de9-bd16-2afe56286541_4879x2744.png)

図3: コンピュータ使用トレーニングワークフローの概要。

ここでも、Macは主に環境であり、トレーニング中にモデルを実行または更新するマシンではありません。モデルはおそらくNVIDIA GPU上にあり、API経由でそのMacにフィードされます。ちなみに、NVIDIAのCEOは、GPT-6 Astraが約100,000個のGrace Blackwell GPUでトレーニングされていたと述べています。

1.4 GPT-6 Astraは依然として推論モデルである

前のセクションで議論されたコンピュータ使用トレーニングへの焦点は、トレーニングパイプラインにおける根本的なパラダイムシフトではありません。GPT-6 Astra（そしておそらく近い将来のあらゆるLLM）は依然として推論モデルです。これは、LLMが検証可能な報酬付き強化学習（RLVR）でトレーニングされ、中間的な推論トレース（思考連鎖）を生成することを意味します。

しかし、GPT-6 Astraの推論モデルの側面（特に思考連鎖の隠蔽に関して）については、この記事の後半で議論します。

とはいえ、公式モデルの約2日前に、ニュース雑誌The Informationは、内部情報によると、Astraが「リカレントデプス」または「ループトトランスフォーマー」と呼ばれる概念を使用していると報じる記事を公開しました。

LLMアーキテクチャは私の専門分野であり情熱でもあるため、一般的なループトトランスフォーマーのメカニズムを説明し、隠された推論連鎖に関するコメントに対処する短い講義ビデオを作成しました。以下で見つけることができます。

次のサブセクションでは、まずループトトランスフォーマーとは何かを説明し、その後、この記事の後半で隠された思考連鎖に関するコメントに戻ります。

（ループトトランスフォーマーの説明は少し長く見えるかもしれませんが、そのテクニックの基本的な理解を確立するのに役立つと本当に思っています。これは、推論トレースや思考連鎖を不明瞭にするという主張を判断するのに役立ちます。）

2. ループトトランスフォーマー

2.1 トランスフォーマーブロックの再利用

では、ループトトランスフォーマーとは何でしょうか？

ループトトランスフォーマーは本質的にアーキテクチャの微調整であり、主なアイデアは、中間表現を（一度だけではなく）同じトランスフォーマーブロックを複数回通過させることです。ブロックを増やすだけの場合と比較して、ここでの「トリック」は、これらのパス全体で重みが同じままであることです。

定義と専門用語

この記事全体で、以下の用語を使用します。

• トランスフォーマーブロック：アテンション、フィードフォワードモジュール、正規化、ショートカット接続を含むユニット。これらのブロックは、論文では「トランスフォーマーレイヤー」と呼ばれることが多いです。
• スタック：トランスフォーマーブロックのシーケンス。
• ブロック適用：入力がトランスフォーマーブロックを一度通過すること。

ループトトランスフォーマーは新しいものではなく、基本的なアイデアはすでに2018年のUniversal Transformers論文に登場しています。しかし、Universal Transformerを議論する前に、より簡単な例、7月にリリースされたオープンウェイトLLMであるNanbeige4.2-3Bから始めましょう。私はこれをSubstack Notesと私のLLMアーキテクチャギャラリーでこの夏の初めに取り上げました。

以下に示すNanbeigeのアーキテクチャは、基本的に通常のトランスフォーマーのように見えます。しかし、トランスフォーマーブロックのスタックの最初に戻る（オレンジ色の）追加の矢印に注意してください。

[

［画像: nanbeige］

](https://substackcdn.com/image/fetch/$s_!v0Tz!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fd41d18af-38d4-4925-97c3-175a1b9443cd_2682x2664.png)

図5. Nanbeige4.2-3Bは、22個のトランスフォーマーブロックの同じスタックを2回適用します。オレンジ色の矢印は、中間表現がスタックにフィードバックされる場所を示しています。

これを下から上に見ていきましょう。まず、他のすべてのトランスフォーマーベースのLLMと同様に、入力テキストはトークン化され、埋め込みベクトルに変換されます。これらのベクトルは22個のトランスフォーマーブロックを通過し、これらの22個のブロックのそれぞれは独自の重みを持っています。

しかし、ここでのループトランスフォーマーの側面は、最初のパスの後、隠れ状態が同じ22個のブロックを再度通過することです。つまり、ブロック1が再度適用され、次にブロック2、そしてブロック22まで続きます。

この計算をアンロールすると、44回のトランスフォーマーブロック適用が得られます。しかし、44個の個別のブロックを持つ従来のトランスフォーマーと比較して、22回のブロック適用の2番目のスタックは、最初のスタックの重みを再利用します。例えば、ブロック適用23はブロック1の重みを、ブロック適用24はブロック2の重みを使用します。

[

［画像: nanbeige-two-passes］

](https://substackcdn.com/image/fetch/$s_!Q34R!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F6c447af3-6466-473a-8ba3-0759b798e187_1867x3427.png)

図6. Nanbeige4.2-3Bは、同じ22個のトランスフォーマーブロックを2回通過するようにアンロールされ、44回のブロック適用が行われます。

したがって、ここでの全体のアイデアは、別のトランスフォーマー重みセットを追加することなく、実効的な深さを22から44回のブロック適用に増やすことです。

ちなみに、なぜ2ラウンドで、3、4回、あるいはそれ以上ではないのでしょうか？Nanbeigeの論文には詳細はあまりありませんが、これが基本的に最も効率的なセットアップだったと述べています。ループを2から3に増やすとモデルのパフォーマンスが向上する可能性がありますが、追加の計算コストに見合うほどではありませんでした。

2.2 ループのコスト

では、なぜ一般的にこのループを行うのでしょうか？これは基本的に、トランスフォーマーブロックを追加してモデルを大きくするのとは別の方法です。

例えば、22個のトランスフォーマーブロックを2回使用するモデルは、44個の従来のブロックを持つモデルと比較して、約半分の（トランスフォーマーブロックの）パラメータしか持ちません。

これにより、重みを格納するために必要なメモリが削減されます。余談ですが、通常大きく、総パラメータのかなりの部分を占める埋め込み層と出力層は、この比較からは除外されます。（Nanbeige 4.2 3Bの場合、埋め込み層と出力層は合計3Bパラメータの約25%を占めます。それらの間で重みを共有すると、12.5%に削減できます。）

[

［画像: hypothetical-size］

](https://substackcdn.com/image/fetch/$s_!kism!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F1c43d5a9-a977-49ef-a3f8-6e643c381f13_4708x2488.png)

図7: 従来のシナリオとループシナリオで必要とされるパラメータ数を並べて比較。

もちろん、同じブロックをループで再利用する場合でも計算は必要です。より正確には、フォワードパス中に中間入力を44回のブロック適用で通過させます。そして、トレーニング中には、勾配は両方の共有スタックの繰り返しを逆方向に流れます。したがって、22個のブロックを一度だけ使用する場合と比較して、これはかなりの作業を追加します。実際、44個の個別のブロックを持つ場合と同様に高価です（オプティマイザーが更新する個別のパラメータは少ないですが、バックプロパゲーションは依然として44回のブロック適用すべてを通過します）。

また、従来のトランスフォーマーとループトランスフォーマーの両方で、各次トークン生成ステップで再利用するために前のトークンのアテンションキーと値を格納するKVキャッシュもあります。ちなみに、KVキャッシュに関する独立した記事はこちらにあります。

[

LLMにおけるKVキャッシュの理解とコーディング（ゼロから）

](https://magazine.sebastianraschka.com/p/coding-the-kv-cache-in-llms)

·

2025年6月17日

［画像: Understanding and Coding the KV Cache in LLMs from Scratch］

KVキャッシュは、本番環境でのLLMの効率的な推論において最も重要な技術の一つです。KVキャッシュは、本番環境での計算効率の良いLLM推論の重要なコンポーネントです。この記事では、概念とコードの両方で、ゼロから人間が読める実装とともにその仕組みを説明します。

しかし、話題に戻りましょう。ループトランスフォーマーには重み共有がありますが、ブロックに入る中間状態は2回目のパスでは異なります。したがって、KVキャッシュにおいても、これらの2つのトランスフォーマー（ループなしの場合と同様）間のキーと値は異なります。そのため、KVキャッシュ関連の節約もありません。

具体的に言うと、例えばブロック適用1と23は、ループトランスフォーマー設定で両方ともブロック1を使用します。しかし、各適用は独自のKVキャッシュエントリを必要とします。したがって、両方のパスに対して個別のキャッシュを保持する必要があるため、22個のブロックの繰り返しスタックは、44個の個別のブロックを持つ従来のトランスフォーマーと同じKVキャッシュ要件を持ちます。

興味深いことに、Nanbeigeの研究者は論文で、パス間でKVキャッシュを共有することを試したと報告しています。これにより、KVキャッシュサイズは半分になりましたが、モデルは共有キャッシュなしのバージョン（リリースされたバージョン）よりもパフォーマンスが悪くなりました。

Nanbeigeの議論を終えて、他のループトランスフォーマー設計を見る前に、彼らの技術レポートは、他の2つの選択肢またはトレードオフについても議論しています。

1. ループアーキテクチャをゼロからトレーニングする方が、すでに事前トレーニングされたトランスフォーマーをアップサイクリングで変換するよりも効果的でした。
2. そして、2回のパスが彼らの好ましいトレードオフをもたらしました。前のセクションで述べたように。パスを増やすと、わずかな追加の利点しか得られず、トレーニングが遅くなり、最適化が不安定になりました。

したがって、パスの数は私たちが下さなければならないもう一つのアーキテクチャ上の選択です。前述のように、Nanbeigeではこれは2回に固定されています。しかし、トークンに依存させることもできます。次に見ていきましょう。

2.3 Universal Transformersと柔軟なループ数

さて、Universal Transformersに戻りましょう。Nanbeigeでは、22個のトランスフォーマーブロックのスタックを2回適用します。2018年のUniversal Transformer論文では、トランスフォーマーブロックのスタックを繰り返すのではなく、同じトランスフォーマーブロックを繰り返し適用します。主なアイデアは似ています。

また、ステップ数は固定することもできますが、論文では適応的停止（adaptive halting）も探求しています。例えば、特定の位置のトークンは、1つまたは2つのループしか通過しないかもしれません。別のトークンは3つまたは4つのループを通過するかもしれません。これにより、モデルは追加の計算から恩恵を受けるトークンに計算を割り当てる柔軟性を得られます。

ループ数はどのように決定されるのでしょうか？ここでは、モデルは、各ステップで各位置のいわゆる停止確率を出力する小さな学習済み関数を使用します。これは、これらの連続するループ全体でこれらの確率を加算し、合計が閾値を超えると、その位置でのループを停止します。さらに、万が一の場合に計算を制限するために、最大ループ数も設定されています。

[

［画像: adaptive-halting］

](https://substackcdn.com/image/fetch/$s_!p9bV!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F2a0d4a0f-621b-4f6e-a7cd-7778c7346efb_4694x2256.png)

図8: Universal Transformerにおける適応的停止。

ループトランスフォーマーの別の例は、ByteDanceのOuroです。これも私のLLMアーキテクチャギャラリーで取り上げました。例えば、Ouro-Thinking 2.6Bは、48個のトランスフォーマーブロックの同じスタックを4回適用します。これは192回のブロック適用でありながら、48個の個別のブロックの重みを格納しています。基本的に、これはNanbeigeよりも極端なケースです。さらに、学習済みの出口ゲートが異なる出口に確率を割り当て、累積確率の閾値によってどのパスが出力を供給するかを決定します。したがって、Universal Transformerの適応的停止のアイデアも借用しています。Nanbeigeはこれを使用しませんでした。（ただし、実用上の注意点があります。リリースされたHugging Face実装は、設定されたすべてのパスを計算してから出力を選択するため、ループ数は事実上4にハードコードされているようです。）

2.4 ループ数の柔軟なルーティング

もう一つのアプローチは、Mixture-of-Recursionsです。これは、前述のUniversal Transformerのより洗練されたバージョンと言える2025年の論文です。Universal Transformerと同様に、個々のトークンは、以下の図に示すように、トランスフォーマーブロックを1回以上通過します。しかし、革新的な点は、このループ数がトークンごとに決定される方法です。

以下の論文の図では、ループされた（繰り返される）スタックはここではリカージョンブロックと呼ばれます。これは複数のトランスフォーマーブロックを含み、別個の最初のトランスフォーマーブロック（Layer 0）と最後のトランスフォーマーブロック（Layer L-1）の間に配置されます。

[

［画像: mor］

](https://substackcdn.com/image/fetch/$s_!yd6s!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fb9850015-07f9-4f73-9034-5d7a3224d767_6922x4628.png)

図9. Mixture-of-Recursionsは、異なるトークン位置で共有スタックを異なる回数適用します。ハイライトされたテキストは、1回、2回、または3回のパスの例を示しています。図はMixture-of-Recursions論文から改変。

モデルは、トークンがリカージョンブロックを何回通過するかをどのように決定するのでしょうか？以前議論したUniversal Transformerでは、各ステップでの学習済み停止確率に基づいています。このMixture-of-Recursionアプローチでは、小さな学習済みルーターを使用します。これは、Mixture-of-Expertsモデルのルーティングアイデアに似ていますが、ここではルーティング決定が共有スタックの適用回数を決定します。

ルーターはトークンの隠れ表現で動作し、その表現にはコンテキストに関する情報も含まれます。したがって、これは、特定のトークンのすべての出現に同じパス数を割り当てることとは考えないでください（つまり、図の「People」という単語は常に3回のループを通過するわけではありません）。その単語がどこに出現し、その前に何があったかによって、決定は変わる可能性があります。

では、ルーティングは具体的にどのように機能するのでしょうか？論文では、このルーティング決定を行う2つの方法を探求しており、以下に示します。

[

［画像: mor-routing］

](https://substackcdn.com/image/fetch/$s_!f2pT!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F971afd67-da8b-4d14-8aac-36279754b7c5_6312x2851.png)

図10. リカージョン深度を選択する2つの方法。左側では、ルーターが各ステップでどのトークンが続行するかを選択します。右側では、単一のルーターが最初にパス数を割り当てます。図はMixture-of-Recursions論文から。

エキスパート選択ルーティング（上記の図の左側のサブパネルに示されています）では、各リカージョンステップが処理するトークンを選択します。終了したトークンは後続のステップから除外されます。トークン選択ルーティング（右側に示されています）では、ルーターは最初に1回の決定を行い、各トークンを1、2、または3回のパスを持つパスに割り当てます。

どちらの場合も、トランスフォーマーの重みはパス全体で再利用されます（Nanbeigeなどと同様）。しかし、追加の柔軟性は、各トークンがどれだけの計算を受けるかを選択することから生まれます。モデルとそのルーターは一緒にトレーニングされるため、モデルはトレーニング中にこれらの異なるパスで動作することを学習します。

2.5 効果はどうでしょうか？

以下のMixture-of-Recursions論文のプロットは、通常のトランスフォーマー（Vanilla）、固定リカージョンを持つトランスフォーマー（Recursive）、およびMixture-of-Recursions（MoR）を、異なるモデルサイズと計算予算（x軸）で比較しています。

最も小さいモデルスケールでは、通常のトランスフォーマーが最もパフォーマンスが良いです。より大きなモデルでは、Mixture-of-Recursionsが追いつき、特に小さいトレーニング予算ではしばしばより良いパフォーマンスを発揮します。最も大きい予算では、いくつかの曲線が非常に近くなります。したがって、利点はモデルサイズとトレーニングに費やす計算量に依存します。

ここでのもう一つの詳細は、同等のトレーニング計算量が必ずしも同等のトレーニングトークン数を意味するわけではないということです。一部の計算をスキップすることにより、Mixture-of-Recursionsは同じ予算内でより多くのトークンを処理できます。

これは、ループトランスフォーマーのアイデア内にいくつかの選択肢があることを示しているため、興味深い例だと思います。つまり、各位置でのループ数と、それがどのように決定されるかです。

したがって、要するに、ループトランスフォーマーを使用すると、モデルが十分に大きい場合、固定計算予算でモデルの品質を向上させることができると言えます。（また、スケールでの実験の重要性も示しています。例えば、1億3500万パラメータの小さいモデルだけを見ると、逆の結論を導き出したでしょう。）

3. 余談：リカレントニューラルネットワーク（RNN）

ちなみに、ディープラーニング（あるいは1990年代の人工ニューラルネットワーク）のバックグラウンドがある場合、ループまたは「リカレントデプス」のアイデアはいくらか馴染みがあるはずです。リカレントニューラルネットワーク（RNN）を覚えていますか？RNNの全体的なアイデアは、前のイテレーションのレイヤー（重み）を再利用することです。

[

［画像: rnn］

](https://substackcdn.com/image/fetch/$s_!ABM6!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fb12eda20-8fb1-4c5c-a9fa-6212d0abb759_4088x3398.png)

図12: RNNのイラスト（私の2022年の著書「Machine Learning with PyTorch and Scikit-Learn」より、https://amzn.to/3YzRnPR）

主な違いは、RNNが時間ステップ間で重みを再利用することです。つまり、隠れ状態は次のトークンに引き継がれます。ループトランスフォーマーでは、トークンのループはアーキテクチャの深さを横断します。

あるいは、別の言い方をすれば、従来のRNNでは、各ステップは入力シーケンスの次の要素と前のステップからの隠れ状態を取ります。したがって、RNNがテキストのチャンクを処理するとき、一度に1つの単語またはトークンを読み取り、前の単語からの情報を隠れ状態に引き継ぎます。

ループトランスフォーマーでは、与えられたトークンの中間表現がトランスフォーマーのスタックを複数回通過します。モデルは依然としてアテンションを使用してトークン間の情報を渡します。

このアナロジーが少し混乱を招く場合は、あまり心配しないでください。ループトランスフォーマーを考えるより簡単な方法は、トランスフォーマーブロックを再利用することだと考えることです。これはモデルを大きくすることに似ていますが、重み共有があります。

[

［画像: rnn-vs-looped-transformer］

](https://substackcdn.com/image/fetch/$s_!r_Ux!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F7a37b812-26b3-4d55-846a-2c86c28e518a_5055x2663.png)

図13: RNNとループトランスフォーマーの「再帰」の並列比較。

4. Astraはループトトランスフォーマーを使用しているのか？

ループトトランスフォーマーメカニズムが推論トレースを不明瞭にしているという噂（以前のThe Informationの引用）について議論する前に、GPT-6 Astraは本当にループトトランスフォーマーの概念を使用しているのでしょうか？

これはまだ噂またはスクープであり、公式な確認はないことを念頭に置く必要があります。もしモデルがオープンウェイトであれば、もちろん自分で確認できますが、この場合は検証されていない報道に頼らざるを得ません。

しかし、GPT-6 Astraがループトランスフォーマーの側面を使用している可能性は非常に高いと思います。第一に、前述の報道があります。第二に、過去の研究で有望な結果を示しているテクニックであり（前述）、なぜそうしないのでしょうか？第三に、OpenAIの主任科学者は次のように述べています。

[...] Astraを含む、私たちの現在の最先端モデルの計算グラフの深さは、GPT-4の2倍以内です。[...]

しかし、これはループトランスフォーマーアーキテクチャを明示的に確認するものではなく、単に通常のトランスフォーマーブロックを2倍使用しているだけかもしれません。

Astraの成功（つまり、優れたモデルパフォーマンス）は、主にトレーニングレシピとトレーニングデータの改善といった他の理由によるものだと私は考えています。

ループトトランスフォーマーの微調整は少し役立つかもしれませんが、The Informationはその貢献を過大評価していると思います。

5. 思考連鎖の隠蔽

次に、ついに本題に入りましょう。ループトランスフォーマーは推論トレースを不明瞭にするのでしょうか？

まず、OpenAIは、OpenAI o1以来、最初から（ほとんどの）推論トレースをユーザーから隠してきました。したがって、エンドユーザーにとっては、大きな違いはないはずです。

したがって、解釈上の懸念は主にモデル開発者に関するものです。

いずれにしても、ループトランスフォーマーが思考連鎖の隠蔽または不明瞭化に大きく貢献しているとは思いません。私自身の推論（言葉遊びではありません）を説明するために、一歩戻って推論モデルがどのように機能するかを説明しましょう。

5.1 推論の概要

推論モデルは通常、最終的な回答を生成する前に中間ステップを生成します。これらのステップは通常のテキストトークンを使用し（一部のユーザーインターフェースではユーザーからオプションで非表示にされる）、推論トレースまたは思考連鎖と呼ばれます。

例えば、合計が10で積が21になる2つの数を求めるとします。以下の図では、モデルは最初に5と5を試します。合計は正しいですが、積は25であり、21ではありません。次に、3と7を試して、両方の条件を再度確認します。

[

［画像: backtracking］

](https://substackcdn.com/image/fetch/$s_!nZf1!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F5e45da87-e3ca-47cd-b84f-c1a10c102e34_2942x1521.png)

図15. 中間ステップ、バックトラッキング、最終回答を示すための概念的なLLM応答。

この図は、推論モデルが「推論」する様子を示しており、バックトラッキングも含まれます。つまり、モデルは間違いに気づき、以前の選択を再検討し、別の方法で続行します。

モデルは依然として一度に1つのトークンを生成し、プロンプトと以前のトークンをコンテキストとして使用することに注意してください。したがって、これらの途中経過はスクラッチパッドとして機能し、最終回答の前に計算を追加します。

最終回答は、その前にあった推論トレースよりもはるかに短くなる可能性があります（上記の例に示すように）。（OpenAIは、ユーザーからほとんどの推論トレースを隠す傾向があります。）

推論モデルの理解と開発の詳細については、私の著書Build a Reasoning Model From Scratchをお勧めします。

5.2 トークン使用量と短い思考連鎖

推論トレースの追加トークンは、計算を追加します。ループトランスフォーマーは、トークンがより多くのトランスフォーマーブロックを通過するため、計算を追加します。ループを使用するモデルは内部でより多くの計算を使用するため、外部の思考トークンをそれほど多く必要としないと主張する人もいるかもしれません。

以下は、GPT-6ベンチマークの選択肢で、x軸に出力トークン数を示したものです。

GPT-6 Astraは、全体的な努力レベルにおいて、GPT 5.6 Solの先行モデルよりも必ずしも少ないトークンを使用しているわけではありません。しかし、固定精度では、GPT-6 AstraがGPT 5.6 Solよりも少ないトークンを使用しているのは事実です。

これは解釈可能性の懸念事項でしょうか？必ずしもそうではありません。トークンが少ないということは、モデルがより有能で、間違いが少なく、バックトラッキングが少なく、といったことを意味するだけかもしれません。つまり、最初の試行でより多くのことを正しくできるだけかもしれません。私には、これは解釈可能性に関する即時の懸念を引き起こしません。

以前のモデルでも同様です。GPT 5.6 Solが、同じタスクパフォーマンスでより多くのトークンを使用するより小さいGPT 5.6 Lunaモデルよりも、解釈可能性がはるかに低いと強く懸念している人はいないと思います。

実際、Lunaが同等のモデルパフォーマンスでSolよりも80%多くのトークンを使用していることがわかります。それはSolをそれほど解釈しにくくするのでしょうか？

むしろ、よりもっともらしい答えは、より有能な（より大きく、適切にトレーニングされた、より多くの計算を使用する）モデルは、ここで「効率的」とはトークンが少ないことを意味する、より効率的に問題を解決できるということです。

推論トレースは、モデル内部で起こることすべてを忠実に記述することを保証するものではないことを覚えておくことも価値があります。私の見解では、唯一もっともらしい懸念は、ループトランスフォーマーが従来のトランスフォーマーよりも「偽の」推論トレースを提示することで、意図的にユーザーを誤解させるということです。しかし、これが起こっているという強い証拠はないと思います。

現在、Astraのシステムカードには、推論トレースの監視可能性の低下の証拠があり、Solと比較してわずかな後退があるとも記載されています。これは主に、短い、情報量の少ないトレースに関連しています。しかし、これもまた、ループが根本原因であると確立するものではありません。それは、前述のLuna対Solの例と同様に、一般的に短い長さによるものかもしれません。

私がループトランスフォーマーと隠された推論連鎖に関する私の考えを共有してから数時間後、Jakub Pachocki（OpenAIの主任科学者）も次の明確化を共有しました。

混乱した報道によって引き起こされた、監視可能性へのレースを防ぎたい。Astraを含む、私たちの現在の最先端モデルの計算グラフの深さは、GPT-4の2倍以内です。OpenAIは、最初の推論モデル以来、思考連鎖の監視を維持し、活用するために取り組んできました。これは、トレーニング分布からのモデルアライメントの一般化を理解するのに役立つため、このテクニックを非常に重視しています。それは脆弱であり、残念ながら否定的な方向に進んでいると思いますが、それは私がすぐに書くであろうアーキテクチャ変更に依存しない理由によるものです。しかし、それを強化するためにできることはあり、それは私たちの現在の研究プログラムの核となる目標です。

「混乱した報道」とは、おそらくThe Informationの前の段落を指しており、ループの側面が思考連鎖の変化とは何の関係もないことを示唆しています。

6. ループトランスフォーマーの研究

最後に、すでに議論した以外のループトランスフォーマーアーキテクチャに関連する興味深い論文をいくつか紹介したいと思います。

6.1 潜在的推論

Universal Transformerに関連して、2025年の「Latent Reasoning: A Recurrent Depth Approachによるテスト時計算のスケールアップ」論文は、モデルが推論時に追加のループをどのように使用できるかを研究しています。このために、彼らは比較的控えめだが、超小型でもない3.5Bパラメータのモデルを800Bトークンでトレーニングしました。

Universal Transformerのように同じブロックを繰り返し再利用するのではなく、Nanbeigeのようにスタックを繰り返します。ただし、Nanbeigeとは異なり、この4ブロックの共有スタックを2つの初期ブロックと2つの最終ブロックの間に挟みます。

また、Nanbeigeと異なるのは、共有スタックが、前のループの隠れ状態に加えて、各ループの開始時に初期ブロックの出力を受け取ることです。これらは連結され、4つの共有ブロックに入る前に学習済み線形射影を通過します。これは、スタックが各パスで同じ初期入力表現にアクセスできるようにするものと考えることができます。この全体のレイアウトは、以下の図にまとめられています。

したがって、要するに、これは追加的で興味深いループトランスフォーマーのバリアントです。

[

［画像: latent-reasoning］

](https://substackcdn.com/image/fetch/$s_!0qA7!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F825fc53f-1111-40a6-b264-17bc092c6ea0_7393x3148.png)

図19. Geiping et al.の潜在的推論モデルの概念的概要。

興味深い詳細として、研究者はトレーニング中にループ数を変化させています。これにより、モデルは推論時に異なる量の計算を処理できるようになります。

ここでは、トレーニング中にループ数はランダムにサンプリングされます。推論時には、モデルを実行する人が8、32、または64ループなどの固定予算を選択します。さらに、次のトークン確率分布に基づいた、各トークンの適応的停止メカニズムがあります。2つの連続するラウンド間のKLダイバージェンスが特定の閾値を下回る場合、つまり分布が非常に似ている場合、ループは停止します。

全体的な利点はタスクによって異なります。彼らの評価では、HellaSwagのパフォーマンスは約8ループ後にほぼ横ばいになりますが、GSM8KとHumanEvalはより多くのループから恩恵を受けます。

ただし、論文のタイトルには「潜在的推論」とありますが、モデルは依然としてテキストの思考連鎖を生成できます。ループは、各出力トークンの前に追加の計算を提供するだけです。

6.2 知識検索 vs 推論

情報を保存することと、それを使って問題を解決することの間には、有用な区別があります。例えば、2025年6月の「Beyond Parameters: Exploring Virtual Logic Depth for Scaling Laws」論文は、LLMにおける記憶と推論を別々に測定することによってこれを調査しています。

まず、記憶実験では、パラメータ数が固定されている場合、ループは保存される情報の量をほとんど変えません。個別のパラメータ数を増やすと、この容量が増加します。ここから、ループはより多くの知識を追加したり、モデルに検索させたりしないと結論付けることができます。これは理にかなっています。情報検索は、情報が保存されれば比較的簡単なタスクです。また、ループ自体は「保存」メカニズムではなく計算です。

次に、別個の推論実験では、ブロックを再利用することで、パラメータを追加せずに多段階の数学問題のパフォーマンスが向上します。これは興味深いです。ここでは、追加の計算が、モデルに保存する情報が増えなくても、問題を解決するのに役立つと結論付けることができます。しかし、ここでも、より大きなモデルは推論を改善できます（ただし、パラメータも追加します）。

[

［画像: capacity］

](https://substackcdn.com/image/fetch/$s_!RtTH!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F92b8a84b-b032-45b7-bdfe-8bc0ea30dc39_8185x5312.png)

図20. この記憶テストでは、容量はパラメータ数とともに増加しますが、ブロック適用回数の増加による変化はほとんどありません。Zhu et al.からの注釈付き図。

6.3 計算予算を合わせたループ

2026年9月リリースの「SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers」論文は、セクション2.2のコスト比較に戻ります。ループトランスフォーマーと従来のトランスフォーマーを、トークンあたりの計算量、総非埋め込みパラメータ数、KVキャッシュ要件がほぼ同じで比較するとどうなるでしょうか？

研究者たちは、Mixture-of-Expertsアーキテクチャを使用し、トランスフォーマーブロックの中間部分を2回適用します。これはNanbeigeに似ていますが、Latent Reasoningのようなサンドイッチ構造があります。

しかし、彼らは追加ブロック適用のために必要な計算量を補うために隠れ次元を狭めます。そして、それによってパラメータ数が減少するため、総パラメータ数を回復するためにエキスパートを追加します。また、KVキャッシュを同等に保つためにアテンションヘッド構成を調整します。

実験は54Bの非埋め込みパラメータなどにスケールアップされます。そして、適合したスケーリング曲線から、研究者たちは、SMELTは研究された計算範囲内で同じ検証損失に到達するために、約6.8〜18%少ないトレーニング計算量しか必要としないと推定しています。

したがって、これはループトランスフォーマーが計算量に見合う価値があるかどうかという疑問に答えます。はい！同じ計算予算を使用すると、わずかに優れたモデルが得られます。

6.4 フルバンドウィズ・トランスフォーマー

最後に、2026年8月の非常に最近の「Full-bandwidth transformer」論文は、トークン位置を横断する再帰を研究しています。各デコーディングステップで、前のトークンの最終隠れ状態と新しくサンプリングされたトークンの埋め込みを学習済みゲートで結合します。これが次のフォワードパスの入力となります。

したがって、次のトークンの計算は、スタックの底からの前のトークンの最終表現にアクセスできます。これはLatent Reasoningにいくらか似ています。

1Bベースモデルを使用した場合、彼らの潜在的フィードバックアプローチは、精度を維持または向上させながら、MATH500でより短い推論トレースを出力することがわかりました。ただし、指示チューニング後は短縮効果が消えます。

[

［画像: length］

](https://substackcdn.com/image/fetch/$s_!Zkhe!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F4d348be9-2792-4405-9325-adab29ce5323_7946x4070.png)

図22. 潜在的フィードバックはベースモデルの推論トレースを短縮しますが、この効果は指示チューニング後に消えます。Wang et al., Figure 6, CC BY 4.0から改変。定義と注意点を追加。

いずれにせよ、これはループが短い推論トレースにつながるかどうかという以前の議論に直接つながるため、興味深いです。結果は、フィードバックメカニズムとモデルのトレーニング方法の両方に依存します。また、この実験では、これらの短いトレースがより忠実でないかどうかを確立していません。

また、この研究の大きな注意点は、従来の（トランスフォーマーブロックを追加するのではなくループを使用する）方法でモデルサイズを大きくした場合に、推論トレース長に同様の効果があるかどうかをテストしていないことです。

結論

まとめると、はい、OpenAI GPT-6 Astraは非常に強力なモデルです。そして、特にコンピュータ使用において大きな飛躍を遂げています。コンピュータ使用は、今後数ヶ月でオープンソースおよびプロプライエタリハーネスの次の大きな焦点分野になると信じています。コンピュータ使用に関しては、オープンソースが特に重要だと考えています。「大きな力には大きな責任が伴う」ため、メインコンピュータへのアクセスを許可する前にハーネスを監査できるのは良いことです。

さらに、GPT-6 Astraはループトランスフォーマーのバリアントを使用している可能性が高いです。ループトランスフォーマーは、固定計算予算でより良いモデルパフォーマンスを提供するだけです。

また、より良いモデルパフォーマンスは、短い推論連鎖で低下する可能性があります。しかし、これは新しいトレンドではありません。モデルファミリー内で異なるサイズのモデル（例：GPT 5.6 Luna対Sol）を比較した場合、常にこれが見られました。

私の意見では、短い推論トレースは、より「知的」または有能なモデルの副産物であり、間違いが少なく、推論トレースをスクラッチパッドとして使用するのではなく、アーキテクチャ内でより多くの計算にアクセスできます。ある意味では、人間についても同様です。対面式の大学数学試験中、賢く準備の整った学生は、メモ用紙の使用をあまり必要とせず、バックトラックも少なく済む可能性が高いです。

読んでいただき、そして私の活動をサポートしていただきありがとうございます！

推論モデルの構築方法を自分で学びたい場合は、私の著書Build a Reasoning Model (From Scratch)をご覧ください。事前トレーニング済みのLLMから始め、コードを実行して実験できるコードとともに、段階的に推論機能を強化していきます。楽しくやりがいがあり、AI分野についていくための基礎を築くための自己投資として良いでしょう。

また、私の著書を読んだことがある場合は、Amazonで短い正直なレビューをいただけると幸いです。レビューは他の読者がその本が自分に適しているかどうかを判断するのに役立ち、著者への簡単なサポート方法です。

投稿なし