OpenAIはどのように自社のLLMを使ってJalapeñoチップを設計したか

OpenAIはどのように自社のLLMを使ってJalapeñoチップを設計したか

8月25日、OpenAIは同社初のAIアクセラレータチップ「Jalapeño」を正式に発表しました。Jalapeñoは、最大13.4ペタフロップスの4ビット演算能力と、毎秒15.4テラバイトという驚異的な速度でアクセス可能な232ギガバイトの最先端メモリを備えています。OpenAIが引用したベンチマークによると、Jalapeñoは現在同社が依存しているNvidiaのGB300と比較して、プロンプトから最後のトークンまでのエンドツーエンドのレイテンシを最大3.6倍削減でき、しかも消費電力は少なくて済みます。

これらの数値が、JalapeñoがOpenAIの推論フリートに広く導入された際に実際の性能向上につながるかはまだ分かりませんが、性能は物語の半分に過ぎません。もう半分は、チップがどのように設計されたかということです。ご想像のとおり、このプロセスはOpenAIの大規模言語モデル（LLM）によって加速されました。Jalapeñoは、最初のアーキテクチャコンセプトから最初のシリコンまで20ヶ月未満で移行しました。RTL（Register-Transfer Level：チップのロジックを定義するコード）の初版から、製造に出される最終設計であるテープアウトまで、わずか9ヶ月でした。

これは急速なタイムラインですが、専門家はLLMの改善とチップ設計ツールへの統合が進むにつれて、すぐに遅く見えるようになる可能性があると考えています。OpenAIはもちろん、この機会に楽観的です。「モデルはエンジニアにスーパーパワーを与えています」と、OpenAIのハードウェア担当バイスプレジデントであるRichard Ho氏は述べています。「エンジニアは依然として作業を主導しています。彼らが最終的な判断を下しています。しかし、彼らは物事をはるかに速く行えるようになり、より多くの経路を探索できるようになりました。」

OpenAIは小規模な設計チームで迅速な成果を達成

Ho氏によると、Jalapeñoを設計したチームはプロジェクト期間中、平均して100人未満で、現在も第2世代および第3世代のデザインを追求するチームは100人程度で推移しています。この数字には、システム設計からソフトウェア、サプライチェーンまで、ハードウェアチームの幅広い役割が含まれますが、プロジェクトでOpenAIと提携したBroadcomの担当者は含まれていません。

OpenAIとBroadcomの作業分担は、一般的に設計と実装に分かれていました。OpenAIのチームは、推論アクセラレータ、メモリ階層、ネットワーキングを含むエンドツーエンドのシステム設計を担当しました。Ho氏によれば、Broadcomは「ゲート以降の物理設計」を担当しました。

Broadcomとの提携は、OpenAIのスピードに対する一部の意見を和らげました。agenticチップ設計スタートアップVerkor.ioの共同創設者であるDavid Chin氏は、「彼らが私たちに提示したスケジュールは非常に信頼できる」と述べつつも、Jalapeñoの迅速なタイムラインにはBroadcomの支援が不可欠だったと考えています。「もし誰かにゼロから始めてもらったら、それは不可能でしょう」と彼は言います。Verkorの共同創設者であるRavi Krishna氏も、OpenAIのスピードを「比較的印象的な結果」と呼びましたが、もし今日プロジェクトが開始された場合、LLMの能力向上によりさらに迅速なタイムラインが期待できると付け加えています。

カリフォルニア大学サンディエゴ校の著名な教授であるAndrew Kahng氏も、OpenAIのスピードを注目すべきものだとし、「おそらく今日ではクラス最高」だと述べています。Kahng氏は、2016年に共催したIEEE Design Automation Futures workshopを思い出しました。そのワークショップでは、当時GoogleのエンジニアだったRichard Ho氏が基調講演を行いました。Ho氏は設計自動化について強い意見を持っており、チップ設計完了に必要な時間を、チームが1日に完了できるイテレーションの数に依存する関数としてフレーム化しました。

OpenAIのLLMはJalapeñoの設計をどのように加速したか

メリーランド大学カレッジパーク校の半導体イニシアチブ＆イノベーションディレクターであるAnkur Srivastava氏は、「自動化自体はチップ設計において何十年も前から存在しており、新しい問題ではありません」と述べています。しかし、LLMが従来の自動化ツールと異なるのは、言語とコードを理解する能力です。このため、LLMは「問題の言語的な領域にまだある」チップ設計タスクに特に適していると彼は言います。

OpenAIのチームは、この強みを活かすワークフローを設計しました。OpenAIのフロントエンドワークフローは、元々Googleで開発されたオープンソースの高レベル合成ツールチェーンであるAccelerated Hardware Synthesis（XLS）を中心に構築されました。高レベル合成は、エンジニアがより馴染みのあるプログラミング環境でチップを設計できるチップ設計自動化の一形態です。XLSの場合、チップ設計者はDSLX（Rustにインスパイアされたドメイン固有言語）やC++などの言語で記述できます。XLSはこれらを、電子システムを記述するために使用されるハードウェア記述言語であるVerilogに変換します。

OpenAIの技術スタッフであるChris Leary氏は、「AIを活用してプロジェクトを速くする方法を考えていましたが、AIはソフトウェアのようなものにずっと優れていました」と述べています。「XLSは、ある意味でソフトウェアのように見えるため、その恩恵を受けました。」Leary氏がGoogle在籍中にXLSを開始したため、XLSがどのように機能すべきかについて非常に精通していたことも助けとなりました。

Kahng氏は、XLSのような高レベル合成を加速するためにAIを使用するという決定は理にかなっていると同意しており、それは「LLMがより自然に作業できる」ものであり、迅速なイテレーションの機会を提供すると述べています。「これは一般的に有用なワークフローであり、将来性があると考えています。」

同じ論理により、Jalapeñoチームはソフトウェア最適化に焦点を当てました。5月に最初のチップがファウンドリから戻ってきたとき、チームはSemiAnalysisのInferenceXのようなベンチマークを実行するソフトウェアを設計するために、内部のAIモデルを投入しました。DeepSeekのマルチヘッド潜在アテンションカーネルベンチマークでは、パフォーマンスは理論上の天井（チップの演算能力とメモリ帯域幅によって設定される）の0.31％から、約40時間で88.94％に向上しました。Ho氏によると、この結果は再現可能であり、ファウンドリが最初のチップを納品してから量産が開始されるまでの時間を短縮できるとのことです。「私たちのスケジュールのすべての仮定は、この能力を現在持っているという事実に基づいています。」と彼は述べています。

［画像: サーバーラック内のワイヤーとライト。］ Jalapeñoは、2,048個のチップを含むポッドに展開するように設計されています。OpenAI

JalapeñoチームのAI支援ワークフローの概略は、Ho氏とLeary氏によって事前に推測されていましたが、OpenAIのモデルの改善はいくつかの驚きをもたらしました。

Leary氏によると、プロジェクトは2025年4月に一般公開された（しかしJalapeñoチームにはそれ以前から利用可能だった）OpenAIのo3のようなモデルの支援から始まりました。しかし、プロジェクトが完了する頃には、チームは2026年9月3日まで一般公開されなかったGPT-6 Astraの前身となるモデルにアクセスできるようになっていました。新しいモデルは、XLSによる通常のプログラミング言語からの翻訳を必要とせずに、Verilogで直接作業できるとLeary氏は述べており、独自の設計ツールを独自に操作できる状態に近づいています。

Ho氏も、チームが一般公開されていない、チップ設計用にファインチューニングされた内部LLMにアクセスしていたことを確認しました。使用されたモデルの詳細については言及を避けましたが、JalapeñoチームはOpenAIの研究チームと提携したと付け加えています。Jalapeñoの設計に使用されたすべての特定のモデルが公開されているわけではありませんが、Ho氏によれば、プロジェクトから得られた教訓を同社の商用LLMに反映させることが目標です。「Astraおよびそれに続くモデルがチップ設計に非常に優れていることは安全に言えます」と彼は述べています。

バックエンド最適化にはAIの有用性は低かったが、それは変化する可能性がある

前述のように、OpenAIのJalapeñoに関する作業の大部分は、チップの初期コンセプトからRTLコードの記述、物理実装時の設計の検証までをカバーする「フロントエンド」設計に焦点を当てていました。「バックエンド」設計の多く—配線接続のルーティング、クロックと電源仕様の完了と検証、ファウンドリへの必要な設計情報の送信などのタスクを含む—はBroadcomに委託され、同社がチップの製造を完了しました。

しかし、OpenAIのワークフローがバックエンドを無視していたわけではありません。Jalapeñoチームには、Broadcomの担当者と協力して、チップのフロアプランやルーティングなどについてガイダンスを提供する物理設計エンジニアが含まれていました。

IEEE Hot Chips 2026で、Ho氏とLeary氏はAI主導の物理設計最適化によるゲインを数値化し、最適化された人間のベースラインと比較して、行列乗算ユニットの面積を10％削減したことを示しました。つまり、OpenAIはAI主導の最適化により、以前よりも同じシリコン面積により多くの回路を設計できたと主張しています。

Broadcomは独自のワークフローを使用しました。同社のチームは、OpenAIがJalapeñoの設計に使用した内部モデルにアクセスできませんでしたが、OpenAIの公開されている商用モデルにはアクセスできました。

VerkorのRavi Krishna氏は、OpenAIのバックエンド設計へのアプローチはすでにやや保守的に感じると述べています。彼は、プロジェクトが2024年10月に開始された時期の成果であると考えています。「過去4〜5ヶ月のモデルは改善されました。2026年4月以降…それらのタスクをよりうまく処理できるようになり始めたのです」と彼は言います。Verkorの共同創設者Suresh Krishna氏も同意し、「バックエンドプロセスも大幅に加速できるエージェントループがあっても不思議ではない」と述べています。

Ho氏とLeary氏はまた、Jalapeñoを設計するために使用されたワークフローが、チームの次の取り組みと比較すると時代遅れに見える可能性があることを示唆しました。

Leary氏は、「Jalapeñoでは、可能な限り速く進もうとしました。そのため、『イノベーションを行うために時間をかけるか、歴史的に機能することがわかっていることを行うか』というトレードオフがありました。第2世代では、すべてをセットアップするためにリセットの機会があります」と述べています。

Ho氏は、第2世代チップのワークフローには「AIを導入する場所がたくさんある」と述べています。彼は、検証と物理設計でAIを活用する機会に言及しています。Leary氏は、チームが現在、自動波形操作および表示のためのツールを持っていると付け加えています。これにより、障害に関連するチップクロック信号を特定するための分析が自動化され、ハードウェアが設計中であってもデバッグが改善される可能性があります。

これらの予想される改善にもかかわらず、Ho氏とLeary氏は、チップ設計が完全に自動化できるとは考えていないことを明確にしました。「私たちは、誰でもOpenAIのコーディングプラットフォームだけを使って最先端のフロンティアAI/MLアクセラレータチップを構築できると言っているわけではありません」とHo氏は説明しています。「私たちは、Codexでより良くするための非常に具体的なこと、そして少人数のチームと迅速なタイムラインに焦点を当てて質の高い結果を達成する方法について言っています。」