LLMがザクトロニクスのTIS-100をプレイ

TIS-100ベンチマーク：LLMがプログラミングパズルゲームでパレートフロンティアを押し上げる

2026.11.03 · 全55パズル →

このページについてリーダーボード仕組み記録を詳しく見るモデルを分けるものモデルが構築したものゴッドモード共同発見パレートエクスプローラー手法関連研究引用クレジット全55パズル →

12個のノード。ノードごとに2つのレジスタ。15行のコード。 TIS-100 では、2つの数値を乗算することさえ小さなエンジニアリングプロジェクトであり、プレイヤーは10年間、公開されているコミュニティリーダーボードでこれらのプログラムを最適化してきました。私たちは16のLLMにゲームとそのマニュアルを与え、リーダーボードは伏せたまま、改善を続けるように指示しました。

133 新たなフロンティアポイント

18 / 55 新たなフロンティアポイントを獲得したパズル

3 完全なサイクルレコード

数日以内に、プレイヤーはモデルのプログラムを取り込み、ほとんどのプログラムを改善しました。

各ノードは小さなプロセッサであり、隣接するノードは値を交換するために互いに待機する必要があります。ゲームは、サイクル数、ノード数、命令数で動作するソリューションをスコアリングし、さらに命令を1つ減らせないかと考え始めます。少ないほど良いですが、1つのスコアを改善すると別のスコアが悪化する可能性があるため、各パズルには1つの最良の答えではなく、トレードオフのフロンティアがあります。

リーダーボード

私たちは、主要なフロンティアモデルとオープンウェイトモデルを含む16のLLMを実行しました。すべてのモデルがゲーム内の全47パズルと8つのコミュニティトーナメントパズルを試しました。それぞれ1回のスコアリングされた試行（pass@1）で、パズルごとに10分から45分（難易度による）を費やして、動作するプログラムを見つけ、改善を続けました。

モデルランキング

少なくとも1つの新しいフロンティアポイントを獲得したパズル · 高いほど良い

パズル難易度別のランク

全55パズル · 19易 / 17中 / 19難

すべてのモデルを比較するには横にスクロールしてください →

ポイントは、新規ゲームでの再実行と100,000回のテスト通過でカウントされます。

Opus 5.5とGPT-6 Astraがリードしており、データはそれらを区別できません。両モデルとも全55パズルを解き、11のパズルで新しいフロンティアポイントを見つけました。Opus 5.5はより多くのポイント、72対32を獲得し、GPT-6 Astraはより高いレコード近接度、78.0対77.2を持っています。レコード近接度は、コミュニティレコードへの近さを測定し、100が一致を意味します。近接度の差の95%ブートストラップ区間はゼロを含み、-0.7から+2.4ポイントです。GPT-6 Astraは、各モデルのトレードオフがカバーする空間を測定する、テストされた6つのハイパーボリューム設定すべてでもリードしています。

解くことと最適化することは、異なるスキルでもあります。Gemini 3.8 Flashは53パズルを解き、1つのパズルで新しいポイントを見つけました。Fable 5.1はそれより少ない52パズルを解き、5つのパズルで新しいポイントを見つけました。

完全なランキング テーブルを展開

TIS-100ベンチマークモデルランキング。列見出しを選択して並べ替えます。

カウントは全55パズル中の数です。手法

RL環境とトレースは研究チーム向けにリクエストに応じて利用可能です。お問い合わせ ↗

仕組み：ハーネス設計

ここでのすべての結果は、実行してテストできるプログラムであり、プログラミングゲームを有用なベンチマークにしています。モデルは、プレイヤーがマウスやスクリーンショットではなく、テキストツールを通じて検査できるもの、つまりマニュアル、表示されるテスト入力、レジスタ、ゲームフィードバックを受け取ります。コミュニティのコードや正確な記録は受け取らず、ゲームの粗いスコアヒストグラムのみを受け取ります。

読み込み、編集、実行

モデルはパズルと言語リファレンスを読み、プログラムを編集し、実際のゲームで実行します。

診断

間違った出力やデッドロックは、不一致、レジスタ、ブロックされたポートを返します。そのため、次の編集は証拠に応答できます。

保存された進捗

合格したすべてのプログラムは、モデル自身のフロンティアに参加し、get_bestで回復できるため、リスクのある編集で以前の結果を失うことはありません。

リマインダー

モデルがターンを早期に終了した場合、リマインダーはテストを続けるように促します。そのため、早期終了がスコアを決定することはありません。リマインダーにはソリューションのヒントは含まれていません。

表示される時計

モデルは、10分、30分、または45分の制限時間に対する使用時間を確認します。セットアップ時間は含まれません。思考時間とゲームコールが含まれます。モデルはエピソードを早期に終了できません。

実行制限

ゲームの実行は、状態変化なしで約1秒、出力なしで5秒、または全体で60秒後に停止し、診断を返します。

なぜ100,000回の入力をテストするのか？ ゲームは実行ごとに少数のケースをチェックします。私たちのヘッドラインカウントには、新規ゲームでの再実行と、独立したTIS-100-CXXシミュレータでの100,000回のテスト通過が必要であり、プログラムが新しい入力に汎用化することの強力な証拠を提供します。

記録を詳しく見る

Undecimal Twin RounderSPEC44149538は、8つのトーナメントパズルの1つで、入力をNの倍数に丸め、もう一方の出力を11-Nの倍数に丸めます。リーダーボードをフリーズしたとき、最高のコミュニティプログラムは2,694サイクルかかりました。Opus 5.5は6.5分後に最初のプログラムをパスし、5,669サイクルでした。記録を下回ったのは16分後で、1,918サイクルで終了しました。これは、古い記録より29%高速です。その速度は、古い記録よりも1つのノードと28個の命令を多く消費しました。

プログラムのコアは、2速検索です。Nを1ステップずつ減算する代わりに、ノード5と6は4Nを超過するまで減算し、値が正になるまでNを再度加算します。それぞれが小さなコプロセッサ（ノード2またはノード7）を駆動し、ポート経由でジャンプオフセットを送信するため、コプロセッサは4NおよびNのルックアップテーブルとして機能します。

1,918サイクルのプログラム

Opus 5.5 · 8ノード · 88命令 · 100,000/100,000テストをパス

［画像: Opus 5.5の1,918サイクルUndecimal Nearest MultiplesプログラムがTIS-100で実行されている様子］

Node 0

MOV RIGHT, ACC
JRO ACC
NOP
ADD 1
NOP
ADD 1
NOP
ADD 1
NOP
SUB 3
MOV ACC, RIGHT
ADD UP
MOV ACC, RIGHT
MOV ACC, DOWN
MOV RIGHT, DOWN

Node 1

MOV UP, ACC
SAV
SUB 1
MOV ACC, LEFT
NEG
ADD 10
MOV ACC, DOWN
MOV LEFT, ACC
NEG
ADD ACC
ADD 6
ADD LEFT
MOV ACC, DOWN
SWP
MOV ACC, LEFT

Node 2

MOV UP, DOWN
MOV UP, ACC
SAV
ADD ACC
ADD ACC
L: JRO DOWN
MOV ACC, DOWN
JMP L
SWP
N: MOV ACC, DOWN
M: JRO DOWN
JMP N
MOV DOWN, DOWN

Node 3

MOV UP, RIGHT
MOV UP, DOWN

Node 4

MOV LEFT, DOWN

Node 5

MOV UP, ACC
SAV
K: MOV 1, UP
SUB UP
JGZ K
MOV 3, UP
F: ADD UP
JGZ X
MOV 1, UP
JMP F
X: MOV 2, UP
MOV ACC, UP
SWP
SUB UP
MOV ACC, DOWN

Node 6

MOV UP, ACC
SAV
K: MOV 1, RIGHT
SUB RIGHT
JGZ K
MOV 3, RIGHT
F: ADD RIGHT
JGZ X
MOV 1, RIGHT
JMP F
X: MOV 2, RIGHT
MOV ACC, RIGHT
SWP
SUB RIGHT
MOV ACC, DOWN

Node 7

MOV UP, ACC
SAV
ADD ACC
ADD ACC
L: JRO LEFT
MOV ACC, LEFT
JMP L
SWP
N: MOV ACC, LEFT
M: JRO LEFT
JMP N
MOV LEFT, LEFT

パズルの実際のグリッド上に配置。入力は上部、出力は下部にあります。空白のタイルは破損しており、使用できません。

パズルの軌跡を読み込み中…

［図: Opus 5.5の1,918サイクルUndecimal Nearest Multiplesプログラムのグリッドレイアウト］

5つのモデルが古い記録をゲーム内で下回りました。他の2つのサイクルレコードは、GPT-6.1 SolのIntersection IdentifierSPEC64160260での3,460サイクル（3,872サイクル比で11%高速）、およびGemini 4 ArgonのError: 8SPEC79324720での188サイクル（198サイクル比で5%高速）です。これら3つはいずれもトーナメントパズルであり、メインゲームではありません。133の新しいフロンティアポイントのうち、18はコミュニティレコードを直接上回りました。残りの115は新しいトレードオフです。つまり、コミュニティのソリューションよりも3つのスコア間のバランスが優れています。

［画像: Opus 5.5のPrime Factor CalculatorプログラムがTIS-100で実行されている様子］

新しいフロンティアポイントが実際のゲームで実行されている様子：Opus 5.5のPrime Factor CalculatorNEXUS.20.433.1、1,806サイクル、10ノード、103命令。

モデルを分けるもの

コストは品質と相関しない

GPT-6.1 Solは、推定1パズルあたり0.75ドルで75.6のレコード近接度に達します。Opus 5.5は、7倍のコストで5.08ドルを費やし、2ポイント多くスコアします。Fable 5.1は最も高価で7.19ドルですが、スコアは70.2です。

880エピソード

95.5M出力トークン

62,400ゲームツール呼び出し

分析を読み込み中…

モデルが構築したもの

私たちは全55パズルを主な要求に基づいてグループ化し、プログラムを読みました。16モデルのうち15モデルが、5つのルーティングパズルすべてを解き、そのうちどれも新しいフロンティアポイントを見つけませんでした。以下の例は、異なる設計が同じリソースをどのように費やしているかを示しています。

パズルメカニズム別のパフォーマンス

解決率 · 新しいポイントのあるパズルは下部

乗算：コードを費やしてサイクルを節約

Signal Multiplier43786にはMUL命令がありません。Gemini 4 ArgonとGPT-6 Astraは、相対ジャンプであるJROを使用して、繰り返し命令のブロックに適切な位置から入ります。このジャンプは、乗算ループのカウンタ更新と分岐を節約するために、送信および加算する値の数を選択します。

Gemini 4 Argonの最も高速なプログラムは、並列に乗算する2つのパスと、それらの出力をインターリーブする最終ノードを使用します。これは436サイクルで、GPT-6 Astraの523サイクルより約17%高速ですが、2つのノードと33個の命令が多くかかります。

より高速な乗算器のコスト

サイクル/実行 · 少ないほど良い

Gemini 4 Argon 436サイクル

7ノード · 64命令

GPT-6 Astra 523サイクル

5ノード · 31命令

Gemini 4 Argon 436c · 7n · 64i

［画像: argonプログラムが43786でTIS-100で実行されている様子］

GPT-6 Astra 523c · 5n · 31i

［画像: astraプログラムが43786でTIS-100で実行されている様子］

ウィンドウ和：履歴を分散

Signal Window Filter60099は、最後の3つの入力と最後の5つの入力の合計を出力するため、ソリューションは履歴を記憶し、加算する必要があります。Gemini 4 Argonの4ノードプログラムは、SWPを使用して格納された値を回転させ、ADD/SUBを使用して実行中の状態を更新します。GPT-6.1 Solは、その遅延と集計を7つのノードに分散させ、それらの間で中間値を渡します。

GPT-6.1 Solのプログラムは26命令で318サイクルで実行されます。Gemini 4 Argonは、わずか17命令で428サイクルかかります。違いは、並列で実行される作業量と、それに伴う通信とコードの量です。

GPT-6.1 Sol 318c · 7n · 26i

［画像: GPT-6.1 Solプログラムが60099でTIS-100で実行されている様子］

Gemini 4 Argon 428c · 4n · 17i

［画像: Gemini 4 Argonプログラムが60099でTIS-100で実行されている様子］

スタックからのインデックスアクセス

T31 Node EmulatorNEXUS.23.727.9は8つのアドレス可能なストレージスロットを必要としますが、利用可能なメモリノードはスタックです。これらのプログラムは、スタック間で値を移動して要求されたスロットにアクセスし、それを読み取るか置き換えます。MiMo-V2.6-Proはカウントされた転送ループを使用します。Opus 5.5はJROを使用してアンロールされた転送の中から選択し、サイクルを節約するために余分な命令を費やします。

メモリは1つのスキルではありません。MiMo-V2.6-Proはエミュレータを解きますが、Sequence Mode CalculatorNEXUS.09.904.9とSignal Window Filter60099は解けません。

Opus 5.5 215c · 6n · 63i

［画像: Opus 5.5プログラムがNEXUS.23.727.9でTIS-100で実行されている様子］

GPT-6 Astra 365c · 4n · 47i

［画像: GPT-6 AstraプログラムがNEXUS.23.727.9でTIS-100で実行されている様子］

MiMo-V2.6-Pro 451c · 4n · 34i

［画像: MiMo-V2.6-ProプログラムがNEXUS.23.727.9でTIS-100で実行されている様子］

各行は、そのモデルの保存された最も高速なプログラムで、例として選択されています。すべてが新しいフロンティアポイントではありません。

ゴッドモード：もしモデルがターゲットを見ることができたら？

メインベンチマークはコミュニティのスコアを隠しています。6つのパズルで行われた別の研究では、5つのモデルが以下を受け取りました。

• ターゲット：正確なコミュニティスコア。どのトレードオフがまだ未踏かであるかを示します。
• 診断：サイクルごとのトレースと、各ノードがどこで停止するかをプロファイルします。
• エッジケース：10,000回のランダムテストを実行し、失敗を返す高速シミュレータ。
• 追加時間：30分、進捗に応じて最大60分まで延長。

すべてのモデルが改善しました。GPT-6 Astraは82.8から91.8へ、GPT-6.1 Solは82.9から90.6へ、Opus 5.5は81.4から89.1へ、Grok 4.7は67.5から75.1へ、Gemini 4 Argonは83.5から87.9へと、平均レコード近接度が上昇しました。スコアは30のモデル・パズルペアのうち28で上昇しました。

よりリッチなセットアップでのスコア品質

平均レコード近接度 · モデルごとに同じ6つのパズル · 高いほど良い

標準エピソード ゴッドモード

6つの対応パズルにおける平均レコード近接度 0 20 40 60 80 100
Opus 5.5: 標準 81.41; ゴッドモード 89.11 ポイント 81.4 89.1 Opus 5.5
GPT-6 Astra: 標準 82.78; ゴッドモード 91.76 ポイント 82.8 91.8 GPT-6 Astra
GPT-6.1 Sol: 標準 82.86; ゴッドモード 90.58 ポイント 82.9 90.6 GPT-6.1 Sol
Gemini 4 Argon: 標準 83.55; ゴッドモード 87.87 ポイント 83.5 87.9 Gemini 4 Argon
Grok 4.7: 標準 67.54; ゴッドモード 75.11 ポイント 67.5 75.1 Grok 4.7

診断はモデルの次の行動を変えました。Signal Multiplexer22280では、GPT-6.1 Solの最初の合格プログラムは294サイクルかかりました。そのプロファイルは、ノード2が86%の時間動作しているのに対し、ノード1と3はそれに書き込むのを待って84%を費やしていることを示しました。GPT-6.1 Solは、分岐をノード2からそれらの2つの隣接ノードに移動させました。次の実行は、2つのノードと5つの命令を多く消費したものの、204サイクルで31%高速になりました。

それらのスコアの背後にある追加時間

パズルあたりの平均経過時間 · 同じエピソード

標準エピソード ゴッドモード

6つの対応パズルにおける平均経過時間 0 20 40 60
Opus 5.5: 標準 13.34; ゴッドモード 55.85 分 13.3 55.8 Opus 5.5
GPT-6 Astra: 標準 13.35; ゴッドモード 60.01 分 13.3 60.0 GPT-6 Astra
GPT-6.1 Sol: 標準 13.35; ゴッドモード 60.01 分 13.3 60.0 GPT-6.1 Sol
Gemini 4 Argon: 標準 13.34; ゴッドモード 60.01 分 13.3 60.0 Gemini 4 Argon
Grok 4.7: 標準 13.34; ゴッドモード 52.51 分 13.3 52.5 Grok 4.7

情報、ツール、時間すべてが一緒に変化したため、この研究ではどの追加が最も役立ったかを特定できません。これらの実行は、メインリーダーボードとヘッドラインカウントの外で行われています。

パズル：Signal Multiplexer, Sequence Generator, Signal Edge Detector, Interrupt Handler, Sequence Peak Detector, Signal Error Corrector。

共同発見

私たちは選択されたプログラムをリーダーボードに提出し、コミュニティはほぼ即座にそれらを改善しました。Undecimal Twin RounderSPEC44149538では、@LongingForRestがOpus 5.5の1,918サイクルのプログラムを受け取り、翌日までに1,744サイクルに短縮しました。記録は現在両方にクレジットされています：LongingForRest/opus-5-5。

どちらも一人では到達しませんでした。モデルはすぐに新しいトレードオフを見つけ、プレイヤーはそれらのプログラムを読み、なぜ機能するのかを理解し、さらに進めました。

数学も同じ変化を経験しています。テレンス・タオと共同研究者は、LLMガイドの検索を67の問題に適用し、いくつかの問題で既知の最良の結果を改善しました。「After Math」で、Silvia De ToffoliとEamon Duedeは、結果が数学者によって理解できるようになって初めて解となる、と主張しています。AIは競争相手ではなくアシスタントとしてより適しています。TIS-100は、その未来の小さく測定可能なバージョンです。モデルがより良いプログラムを見つけ、人々がそれを理解できるものに変えます。

パレートエクスプローラー

パズルとモデルを選択し、ポイントを選択すると、そのスコアとそれを生成したプログラムが表示されます。各パズルには、レコードと最良のプログラムが記載された独自のページもあります：全55パズル。

フリーズされたベンチマークスナップショットを読み込み中…

コミュニティリーダーボード モデル 新しいフロンティアポイント

スコアを調べるには、マウスまたはキーボードでポイントを選択してください。

プロットはサイクル数と命令数を示しています。ノード数は異なる場合があります。新しいフロンティアポイントは、3つのスコアすべてで評価されます。

全3,714モデルのパレートポイントをダウンロード (CSV) · 全3,714プログラム (ZIP)、GitHubおよびHugging Faceでも利用可能。186行が新しいフロンティアポイントとしてマークされており、これらはモデル間でプールされて133となります。

手法

展開

スイート。 全22キャンペーンパズル、全25 TIS-NETパズル、および2018年の8つのトーナメントパズル：19易（10分）、17中（30分）、19難（45分）。各モデルはパズルごとに1回のスコアリングされたエピソードを持ちます。時間制限は難易度によって異なるため、難易度と検索時間を分離することはできません。

スコアリング。 各モデル・パズルペアは、複数回の試行のベストではなく、1回の選択された試行を提供します。そのため、解決率はpass@1です。パズルは、その1つのエピソードが新規ゲームで再生されるプログラムを保存した場合にカウントされます。未解決のパズルはすべての平均に含まれ、スコアはゼロになります。

新しいフロンティアポイント。 参照は2026年10月15日時点のコミュニティリーダーボードです。同着はカウントされません。モデルは23パズルで154の候補ポイントを見つけました。私たちのカウントはそれらをモデル間でプールおよび重複排除し、新規ゲームでの再実行と100,000回のテストを通過した18パズルでの133を保持します。テストは正確さの強力な証拠であり、証明ではありません。

レコード近接度。 コミュニティレコードをモデルのベストスコアで割ったもの。3つのスコアと全パズルで平均化し、100を掛けた値です。各スコアは異なるプログラムに由来する可能性があります。

制限。 ペアごとの1エピソードは、テストされた構成を比較し、繰り返し実行の変動性を測定しません。パズル間のばらつきは、タスク間の変動性です。公開パズルはトレーニングデータと重複する可能性があります。メカニズムグループは私たち自身のラベルです。

プログラム。 各モデルのパレートポイントのプログラムは、MITライセンスの下で、TIS-100セーブ形式で、コミュニティリーダーボードのファイル名（<puzzle>.<cycles>-<nodes>-<instructions>.txt）と同様の名前で公開されています。これらはGitHubではプログラムごとに1つのファイルとして、Hugging Faceではテーブルとしてミラーリングされています。2つのポイントはゲームで再生されますが、一部のランダムテストに失敗します。これらは含まれており、新しいフロンティアポイントとしてカウントされることはありません。

リソース。 コストは、キャッシュ割引を含む、2026年10月のAPIリスト価格からの見積もりです。トークンは応答全体で累積されるため、繰り返し入力もカウントされ、トークナイザーは異なります。ゲームコールは、自動的な最終提出を除く、個々のディスパッチされたツールをカウントします。

モデル別の設定

早期実行ガイダンスは、プロンプトノートにテストドラフトを早期に送信するように促します。

Grok 4.7のエピソードカウントは努力別に示されています。ゲームコール用のサンドボックス化されたスクリプトツールは、各モデルの55エピソードのうち46〜54で利用可能でした。ゲームのランダムテストに関する注意は、880エピソードのうち841に到達しました。Opus 5.5のエピソード6件とSonnet 5.5のエピソード5件は、同じ努力レベルで異なるエージェントクライアントで実行されました。

関連研究

ISA-Benchは、TIS-100を含む制約付き命令セットでの推論を研究しています。Opus Magnum Benchは、別のザクトロニクスゲームで機械を構築および最適化するエージェントの能力をテストしています。私たちは、TIS-100のすべてのパズルと8つのコミュニティパズルにわたる最適化に焦点を当て、サイクル、ノード、命令間のトレードオフを維持します。タスクとプロトコルが異なるため、スコアは直接比較できません。

引用

@misc{wincon2026tis100bench,
  title  = {TIS-100 Bench: LLMs Push the Pareto Frontier in Programming Puzzle Games},
  author = {{Wincon}},
  year   = {2026},
  month  = nov,
  url    = {https://tis-100.wincon.dev/},
  note   = {Benchmark snapshot 2026-11-03-v5}
}

クレジット

Zachtronics、TIS-100プレイヤー、およびコミュニティリーダーボード、TIS-100-CXX、リーダーボードボットのメンテナーに感謝します。彼らのソリューションとツールがこの比較を可能にしました。また、@12345ieee、@LongingForRest、@Hersmunch、@easone、@18111398、およびZachtronics Discordで提出について議論し、改善を続けたすべての人々に感謝します。

TIS-100、SpaceChem、Opus MagnumはZachtronicsの商標です。モデル名とロゴはそれぞれの所有者の商標であり、モデルを識別するためだけに表示されます。Wincon Researchは、Zachtronicsまたはモデルプロバイダーと提携または承認されていません。

質問があるか、フィードバックを共有したいですか？お問い合わせ ↗

---