GPT-6 Astra、ループトトランスフォーマー、隠された推論

GPT-6 Astra、ループトトランスフォーマー、隠された推論 リカレントデプス、隠された思考連鎖、およびループトトランスフォーマーブロックに関する最近の研究を考察する Sebastian Raschka、PhD 2026年9月9日 過去数週間で多くのことが起こりました。OpenAIのGPT-6 Astraが今、皆さんの頭の中を占めていることは間違いありません。特に、そのパフォーマンス、ループトトランスフォーマー/リカレントデプスの側面、そしてAstraが推論トレース（つまり、思考連鎖）を「隠している」という噂についての考えです。 そこで、この記事では、まずAstraに関する簡単な印象と、これがどこに向かっているのかについての考えを共有します。 次に、「ループトトランスフォーマー」とは何か、そしてそれが思考連鎖を隠すこととどのように（あるいは、むしろ、もし）関連するのかを詳細に議論します。 最後に、ループトトランスフォーマーの基本をカバーした後、このトピックに関する最近の研究論文からの新しい洞察をいくつか強調したいと思います。 1. GPT-6 Astraの印象 まず最初に。アーキテクチャの噂や関連する研究文献に入る前に、GPT-6 Astraの観察結果と断片を簡単にまとめさせてください。 先週、OpenAIの新しいGPT-6 Astraが盛大に発表されました。私はここ数日間それを使用しましたが、これは私が現時点で使った中で最も優れたモデルである可能性が高いです。しかし、具体的に何が改善され、どのように改善されたのでしょうか？ 1.1 Astraのベンチマーク Astraは私がこれまでに使用した中で最高のモデルであり、特に3Dレンダリングとアニメーションタスクにおいて（他のモデルと比較して） disproportionately に優れています。つまり、書く、数学、コーディングなど、ほぼすべてのカテゴリでGPT-5.6の前身を凌駕していますが、特にグラフィカルデモに関してはそうです。 これはベンチマークにも反映されています。例えば、GPT-6 Astraは数学とコーディングに非常に優れています。以下にその例を示します。 図1：3つの一般的なコーディングベンチマークと1つの挑戦的な数学ベンチマークの選択。その他のベンチマークはAstraリリースブログで共有されています：https://openai.com/index/gpt-6-astra/ ハイライトの1つ（図には示されていません）は、AstraがARC-AGI-3ベンチマーク（GPT-5.6 Solはわずか7.8%）でも99.9%を達成していることです。これは論理パズルを解くことと一般化を組み合わせたものを測定します。しかし、数学、コーディング、コンピューター使用のベンチマークは、より現実世界の使用に近いほど興味深いものです。 前の図の右下にあるArtificial Analysis Coding Agent Index v1.4に戻ると、これはさまざまなエージェントコーディングタスクをブレンドしたものですが、GPT-6 Astraは明らかに最先端ですが、飛躍的な進歩ではありません。これは、さまざまな種類のタスクをブレンドした、コーディングタスクだけでなく、以下の一般的なArtificial Analysis Intelligence Indexでも見られます。 図2：Artificial Analysis Intelligence Index、https://artificialanalysis.ai/#intelligence より Artificial Analysisベンチマークの大きな利点は、それらが独立しているため、モデル開発者による自己評価ベンチマークよりも信頼性が高い可能性があることです。 ハーネスの設定はベンチマークによって異なります。例えば、GDPval-AAとAA-Briefcaseは、比較対象のさまざまなLLM全体でオープンソースの最小限のStirrupハーネスを使用します。上記のIntelligence Index v4.2では、Terminal-Bench v2.1はTerminus 2を使用し、τ³-Bankingはτ-Benchハーネスを使用します。個別のCoding Agent Indexもさまざまなコーディングエージェントハーネスを比較します。 共有ハーネスを使用する評価の場合、これはより公平な比較になります。同時に、モデルトレーニング中、モデルは通常、1つの主要なハーネスを念頭に置いて開発され（そして他のハーネスではあまりファインチューニングされません）。さらに、主要なハーネスはしばしばモデルの強みを適合させ、増幅するように開発されます。 したがって、一部のエージェント評価は、Astraが主要なハーネスでどの程度パフォーマンスを発揮するかを過小評価している可能性があります。これがIntelligence Indexスコアにどの程度影響するかは、同じタスクでAstraをハーネス間で比較してテストする必要があります。 余談ですが、同僚が最近私に提案したように（Claude Codeのリードも推奨）、一部の既存のAGENTS.mdの内容やSKILL.mdファイルを削除（アーカイブ）するのは悪い考えではないかもしれません。新しいLLMはプロンプトを理解し、問題に対処する能力が向上しているためです。余分な手助けは、新しいモデルを不必要に制約し、より悪い結果につながる可能性があります。 もちろん、SKILL.mdファイルを二度と使用しないとは言っていません。しかし、一部のワークフローでは、再利用時に効率が向上するため、モデルが再発見する必要がないため、それらを使用しないことは良いかもしれません。しかし、私が提案しているのは、一部のワークフローは説明する必要がなく、「古い」説明はもはや理想的ではなく、LLMがより良い解決策を見つけられる可能性があるということです。したがって、それらの指示ファイルを更新または再生成する時期かもしれません。 1.2 コンピューター使用能力 GPT-6 Astraは、画像およびレンダリングタスクにおいて例外的に強力であるようです。これらのタスクがグラフィカルユーザーインターフェイスとの対話を含む場合、コンピューター使用能力も示します。これは、モデルがCodex/ChatGPTアプリを介してローカルコンピューター上のソフトウェアを操作することを意味します。 コンピューター使用は、モデルが他のモデルと比較して本当に輝く分野であり、グラフィック関連のものはソーシャルメディアプラットフォームでの興味深く直感的なデモにもなります。モデリングでニューヨーク市をBlenderでレンダリングしたり、仮想オープンハウスツアーを行ったりするなど、印象的なデモの例はたくさんあります。 例を1つ挙げるために、以下はGPT-6 Astra MediumとHighが私の写真をブラウザ版のMS Paintでコンピューターのマウスを使用して描き直した比較です（Extra HighとMaxは使用しませんでした。トークンを無駄にしたくなかったためです）。 これは、モデルの芸術的能力だけでなく、より重要なことに、コンピューター上のツールを使用する能力（この場合はPaint; マウスカーソルを介してモデルがインターフェイスを使用しているのがわかります）を強調しています。 ハーネス内で一般的なコンピューター使用が可能な最初のモデルではありません。例えば、今年初めから、GPTモデルをUIタスク（例：Excelでの経費関連タスク）に使用することに成功しました。しかし、コンピューター使用は比較的新しい機能であり、ハーネスによって可能になりますが、まだ成熟していないように感じることがよくあります。これは理にかなっています。LLMはテキストモデルなので、当然、より簡単な果実はライティング、コーディング、APIやCLIの使用です。 同時に、CLIを（まだ）公開していない多くのツールやソフトウェアがありますが、誰かがそのインターフェイスを設計するのを待つ代わりに、なぜモデルをグラフィカルユーザーインターフェイスを使用するように改善しないのでしょうか（そして、前述のように、これは見栄えの良い印象的なデモにもなります）。これは、登場しつつあるヒューマノイドロボットの開発にいくらか似ています。確かに、ヒューマノイドロボットは最も効率的なロボットではありません。例えば、組立ラインでは、特殊目的のマシンが存在します。しかし、それらは多用途です。 したがって、今後数ヶ月（または数年）は、LLMとエージェントハーネスレイヤーの両方でコンピューター使用の洗練の時代になると予想しています。つまり、現在の機能に加えて、数学とコーディングの能力を拡大することに加えて、モデルはコンピューター使用を念頭に置いてトレーニングされる量が増加するでしょう。そして、これはLLMを技術分野外の日常的なコンピュータータスク（「ねえChatGPT、私の税務申告をして」：））にもっとアクセスしやすくするでしょう。 1.3 コンピューター使用トレーニング コンピューター使用のトレンドは、OpenAIが強化学習のために数万台のMac MiniとMac Studioを購入したという最近の報道とも一致しています。したがって、ここではMacは文字通りモデルをトレーニングするために使用されているわけではありません（トレーニングにはGPUを使用する方が良い）が、モデルがそのオペレーティングシステムとそこにあるツールを使用することを学習するために、モデルトレーニング中にmacOSを公開するために使用されています。 では、これらのMacでのコンピューター使用トレーニングはどのように機能するのでしょうか？簡単に言うと、Mac（または正確にはそのmacOSオペレーティングシステム）は、トレーニング中にモデルが対話できる環境として機能します。 基本的なワークフローは次のようになります。 「アプリxyzを開いてabcを実行する」といったタスクをモデルにプロンプトとして与える。 macOSインターフェイスのスクリーンショットを提供する（これは通常ハーネスによって行われます）。