AIはもう回路基板を設計できるか？

昨日、OpenAIがGPT-6 AstraがKiCadで回路基板を操作するデモをローンチ投稿のフロントページに掲載したとき、私たちは非常に興奮しました。このようなメジャーなモデルリリースにエレクトロニクスが登場するのは素晴らしいことです。もちろん、1回のプロンプトでAIに電話機全体を構築させるには、まだ程遠い状況です。しかし、このデモは、私たちがしばらく考えてきた疑問を提起します。AIが生成するエレクトロニクスが実際にどれほど優れているかを、どのように測定するのでしょうか？ モデルはエレクトロニクスについて驚くほど多くのことを知っています 私たちの経験では、現在のモデルは、従来の設計ツールでの出力が示すよりも、エレクトロニクスについてはるかに多くのことを知っています。それらは教科書、データシート、アプリケーションノート、そして多くのコードを読んでいます。グラフィカルなCADツールを操作するエージェントを配置することはできますが、それは画面上の操作に多くの時間を費やし、何が表示されているかを追跡します。そのコンテキストの多くは、座標、メニュー、アプリケーションの状態から成ります。EEBenchは代わりにatopileを使用します。回路は宣言的なコード内に存在するため、エージェントはコンポーネント、接続、電気的制約を直接操作できます。設計を変更し、ビルドし、シミュレーションを実行し、プロジェクトを離れることなく失敗したことを検査できます。これは、モデルにGUIで線を描くように依頼するよりも、私たちにとってずっと効果的でした。また、ベンチマークはコンピューターの使用テストに費やす時間を減らし、エレクトロニクスをテストする時間を増やすことができます。 EEBenchの公開タスクの1つであるato v2 .ELECのスターターデザインの一部: @STD::Import { .project &= "electronics" .org &= "atopile" } .Submission: @type { .vin: ELEC::ElectricPower .vhold: ELEC::ElectricPower .vhold.lv ~ .vin.lv .c_bank: ELEC::Capacitor { .capacitance &= 22uF +/- 20% .max_voltage &= 10V..25V .temperature_coefficient &= "X5R" .package &= "0805" } .vhold.hv ~> .c_bank ~> .vhold.lv } 現実は複雑です 公開タスクの1つは、住宅用エネルギーメーターに基づいています。その5V電源が失われた場合、回路は蓄積された読み取り値を保存するために、プロセッサをさらに20msの間生かしておく必要があります。保護されたレールは、そのウィンドウ中にプロセッサの3.0Vブラウンアウト閾値を上回ったままでなければなりません。ほとんどのモデルは直感的に正しい基本的な結論に飛びつきます。コンデンサを追加するということです。実際のコンデンサは、タスクをより面白くします。セラミック部品は、電圧がかかると、広告された容量よりもはるかに少ない容量を提供する可能性があります。部品には許容誤差があります。より多くの容量を追加すると、コストがかかり、スペースを取り、電源が戻ったときにレールが再充電されるのが遅くなります。公称値で機能する設計は、到着した部品で失敗する可能性があります。EEBenchはシミュレーションで入力電力をカットし、何が起こるかを測定します。それは、停電中の電圧、動作点での実効容量、電源復帰後の回復、およびパッケージ、誘電体、電圧定格、コストの制限をチェックします。 そのサブミッションから保存されたngspice出力。 保護されたレールは0.85ミリ秒後に3Vの要件を下回ります。 保護されたレールは、約4.55ボルトから始まり、必要な20ミリ秒よりもはるかに早く、0.85ミリ秒後に必要な3ボルトの閾値を下回ります。 05101520 ms 012345 V 3 V minimum fails at 0.85 ms メーターは比較的簡単なタスクの1つです。より難しいアナログタスクでは、エージェントはオペアンプの周りに多重フィードバック低域通過フィルタを合成し、必要な極に対して抵抗とコンデンサの比率を解決し、各コンポーネントが最悪ケースの許容誤差コーナーにプッシュされた後もゲイン、カットオフ周波数、Qをその制限内に保つ必要があるかもしれません。ハーネスは、それらのコーナーのSPICEデッキを再構築し、ACおよびトランジェントキャプチャを実行し、測定値を名前付きプローブにバインドし、各結果をその下限および上限仕様限界に対して記録します。しかし、方程式を正しく理解することは、電気工学の半分にすぎません。EEBenchは実際のメーカー部品を使用し、そのデータシートから抽出された仕様がSPICEモデルに組み込まれています。エージェントは、それらの許容誤差コーナー全体で機能する組み合わせを見つけると同時に、存在する、注文可能で、製品に対して合理的な価格の部品を選択する必要があります。電気的性能、コスト、供給の間のそのトレードオフは、教科書から理想的な値を選択することよりも、実際のハードウェアの設計にずっと近いものです。これは、他のすべての工学分野と同様に、電気工学が最終的に何に帰着するか、つまりトレードオフであるため、私たちが最も興味を持っている部分です。 採点方法 EEBenchのチェックは完全に決定的です。提出された設計をビルドし、回路グラフと部品表を作成し、一連のSPICEシミュレーションと設計チェックを実行します。各要件は、制限を持つ測定値を生成します。エネルギーメータータスクでは、ハーネスは入力がドロップアウトして復帰する間に保護されたレールを測定します。他のタスクは、ゲイン、閾値、リップル、過渡応答、およびコンポーネント許容誤差コーナーでの動作を測定します。技術スコアは、参照部品表に対するコスト効率と組み合わされます。コストは、回路が機能した後でのみ役立ちます。これは、コーディングエージェントにコンパイラとテストを与えるのに似ていますが、テストは電圧とコンポーネントの動作を測定します。 EEBench V1は、シミュレーションを通じてアナログおよびデジタル設計をカバーしています。まだ、モデルが完全な製品のレイアウト、製造、および立ち上げを行えるかどうかはわかりません。後でそれらの部分を追加したいと考えています。現在のベンチマークは、要件、設計、検証ループに集中しています。なぜなら、そこで有用な工学作業を客観的に評価できるからです。完全な方法論とサンプル結果エクスプローラーは公開されています。 リーダーボードで見られるもの 9月1日の結果は有望です。Claude Opus 5は、EEBench V1の13のタスク全体で61.6%を獲得しました。Grok 4.6は57.1%で2位となり、Claude Fable 5.1の56.4%をわずかに上回りました。数ヶ月前なら、モデルがこれほどうまくやるとは予想していなかったでしょう。 1Claude Opus 61.6% 2Grok 4.6 57.1% 3Claude Fable 5.1 56.4% 4Claude Fable 5 54.3% 5Claude Opus 4.8 Max 51.4% 完全なリーダーボードと実行の詳細を見る 特に嬉しかったもう1つの結果は、xAIがGrok 4.6のモデルカードにEEBenchを含めたことです。これは「エンジニアリング加速」セクションに、3DモデリングとパラメトリックCADの評価とともに表示されます。彼らの公開された実行では、Grok 4.6はxhighの推論努力で60.0%でした。フロンティアラボがEEBenchを使用して新しいモデルのエンジニアリング能力を説明しているのを見ると、これは人々が気にするカテゴリになりつつあると考えています。Anthropicのモデルは、この環境で一貫して良好な成績を収めています。Grokの台頭も興味深いです。Grok 4.6のローンチ投稿で、xAIは、モデルがコンピュータ支援設計を含むドメイン固有の環境で高品質のエンジニアリングデータとRLトレーニングを受けたと述べています。そのEEBenchの結果は、そのストーリーに合致しています。私たちがこれまでにテストしたOpenAIのモデルは、テーブルの下の方に位置しています。GPT-5.5は42.3%、GPT-5.6 Solは39.4%でした。GPT-6 Astraの結果はまだありません。KiCadでボード上で動作するのを見た後、この回路設計タスクをどのように処理するかをぜひ知りたいです。 トレーニング環境 回路を採点できるシミュレーションハーネスができたとき、RL環境のエレクトロニクスも始まりました。同じチェックを、トレーニング後の報酬信号として使用できます。失敗した実行には有用な情報が含まれています。どの電圧が制限を下回ったか、どの動作コーナーで失敗したか、またはモデルが不必要に高価な設計で問題を解決したかを見ることができます。これにより、トレーニングループは、スキマティックがもっともらしいと述べるモデルよりも多くの作業を行うことができます。EEBenchは、この作業の小さく公開されたビューです。また、モデルをエレクトロニクスでより良くしたいと考えているフロンティアラボと直接協力し始めています。評価やトレーニング後の作業をしている場合は、私たちが提供するより大きな評価スイートとシミュレーション支援トレーニング環境について私たちに相談できます。 では、回路基板を設計できるのでしょうか？有用で成長している一連の回路問題については、答えはすでに「はい」だと考えています。スコアはまた、まだ多くの改善の余地があることを明確に示しています。