HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Un-0:結合振動子を用いた画像生成

Un-0: Generating Images with Coupled Oscillators (unconv.ai)

172 pointsby babelfish41 コメント

要約

Unconventional AIは、GPU上での深層ニューラルネットワーク実行に代わる、物理法則を利用した新しいコンピューティング手法「Un-0」を発表しました。結合振動子システムをシミュレートすることで画像を生成し、ImageNet 64x64でFID 6.74を達成、従来の初期の画像生成手法と同等の品質を示しています。この研究は、将来的にAIモデルのエネルギー効率を1,000倍向上させる可能性を秘めており、モデルの重み、トレーニング、アブレーションコードはオープンソースで公開されています。

全文翻訳

Introducing Un-0: Generating Images with Coupled Oscillators

コンテンツへスキップ

[画像: Un-0 サンプルモザイク]

TL;DR. GPU上でのディープニューラルネットワークの実行は、過去10年間AIを席巻してきましたが、エネルギー効率の次の飛躍には、物理学が計算を行う、根本的に異なるコンピューターが必要だと考えています。私たちは、新しい物理的コンピューティング基盤の例である、連成振動子のシミュレーションシステムで駆動される画像ジェネレーター、Un-0を構築しました。ImageNet 64×64において、FID 6.74を達成し、最初に公開された際の最先端の従来の画像生成手法と同等の品質を実現しています。重み、トレーニング、アブレーションコードはすべて公開されています。Unconventionalな旅にぜひご参加ください!

[画像: 図 0]

図 0: 時間経過に伴うUn-0生成の軌跡のサンプル。各線の色は、クラスと時間経過に伴う生成画像をdenotedする、同様の色のボックスに関連付けられています。
Un-0

Unconventional AIでは、物理法則を活用して計算を行う新しい種類のコンピューターを構築しています。私たちの目標は、今日のマシンが必要とするエネルギーのわずかな割合、約1,000分の1で最新のAIを実行することです。最初のステップとして、物理的な力学系を大規模に画像生成できるようにトレーニングできるか、という問いを投げかけます。

今日の最高のAIモデルは、トランスフォーマーバックボーンを持つ従来のディープネットワークです。しかし、アナログ電圧と電流で計算するアナログ回路のノイズが多く時間変化する振る舞いを利用することで、エネルギー効率を追求する代替手法も長い歴史があります。

これらの物理ベースの代替手法には、ニューロモルフィックコンピューティング(Mead, 1990)、ホップフィールドネットワーク(Hopfield, 1982)、リザーバーコンピューティング(Jaeger, 2001; Maass et al., 2002)などがあります。最近では、ハミルトニアン(Greydanus et al., 2019)およびリキッド(Hasani et al., 2021)ネットワーク、ニューラルウェーブマシン(Keller & Welling, 2023)、熱力学コンピューティング(Coles et al., 2023, Jelinčič, 2025)、振動子(Rusch & Mishra, 2021, Lanthaler et al., 2023, Miyato et al., 2025, Song et al., 2025)といった手法も開発されています。

これらの代替コンピューティング手法を活用するには、AIタスクを物理システムのダイナミクスに効率的にマッピングする必要があります。Un-0は、最新のAIワークロードが今日のハードウェアよりも物理基盤上でより効率的に実行できることを検証します。

[画像: データ空間の軌跡]

画像が形成されるクラスのデータ空間の軌跡: Daisy, Lakeside, Agaric, Geyser, Volcano, Jellyfish.

物理的および非従来的な基盤上でAIを構築する成長中のコミュニティの中で[1–8、その他]、Un-0は、物理的な力学系のシミュレーションを使用した、知る限り最も高性能な画像ジェネレーターです。Un-0はクラス条件付きImageNet 64×64でFID 6.74を達成しますが、パラメータ数に対するモデル性能を従来のフロンティアに向けて改善する機会はまだあります。

私たちが探求する物理的なプリミティブは新しいものではありませんが、それをより大きな生成ベンチマークにスケールアップし、ダイナミクス自体の解析的分析を実行し、モデルの振る舞いを解釈的に分析します。

モデルの重みとともに、トレーニング、評価、アブレーションコードを公開し、物理システムのダイナミクスに基づいたモデルを誰でも簡単に実験できるようにします。Un-0をすぐに超えることができると信じています。物理的ダイナミクス上に最新のAIを再配置し、約1000倍のエネルギー効率向上を達成する旅はまだ始まったばかりです。

Un-0の仕組み

[画像: 図 1a]

図 1a: 2つのメトロノームのような振動子が、時間とともに切り替わる3つの結合レジームを示しています: 1) ドリフト(結合なし)、2) 同期(正の結合)、3) 位相反転同期(負の結合)。

隣り合ってカチカチ音を立てる2つのメトロノームを想像してみてください(図1a)。それぞれは、その腕がスイングのどの角度にあるかを示す位相によって、いつでも記述できます。2つのメトロノームを同じテーブルに置くと、共有された表面を通して互いに影響し合います。互いにどれだけ敏感か、つまり結合の強さに応じて、それらは同期したり、反対の位相になったりします。それが振動子です。これは、自身の自然な速度で回転しようとし、隣接する要素からの力に影響される位相を持つ、基本的なコンポーネントです。

[画像: 図 1b]

図 1b: 連成振動子の集合の進化のイラスト。

それを2つの振動子から数千にスケールアップします。それぞれの結合強度が異なる、この振動子の大きな集団は、パターンへと自己組織化します(図1b)。Un-0の計算エンジンは、すべての振動子のペア間の結合強度がモデルの主要な学習可能なパラメータである、大規模な振動子集団です。

これらの連成振動子は、一般的にクラモト振動子としてモデル化されます。具体的には、各振動子の運動は、時間とともに連続的に適用される単一のルールに従います。それは、他のすべての振動子からの引きに nudged され、自身の自然周波数で回転します。以下の常微分方程式(ODE)は、時間経過に伴う振動子の進化を記述します。

ext{d} heta_i / ext{d}t = ext{ω}_i + ext{Σ}_{j=1}^{N} K_{ij} ext{sin}( heta_j - heta_i), ext{ } i = 1, ext{ }, ext{ }, ext{ }, N

各振動子 i は位相 heta_i ext{ ∈ } [0, 2 ext{π}) を持ち、 ext{ω}_i はその自然周波数です。行列 K_{ij} は、振動子 j が i を同期または非同期にどれだけ強く引き寄せるかを設定する結合強度を指定します。このUn-0のコンポーネントの学習問題は、結合行列 K と周波数 ext{ω} を学習することです。これらが物理システムのパラメータです。

なぜ振動子なのか? 脳では、リズミカルな活動と同期が遍在しており、分散された特徴を coherent な知覚に結合したり、領域間の通信をゲートしたり、スパイクのタイミングを整理したりするなど、計算作業を行うと長年仮説が立てられてきました(Gray et al., 1989; Buzsáki, 2006; Fries, 2015)。連成振動子は、そのような行動の最も単純な数学モデルの1つであり、神経刺激モデルの計算(Winfree, 1967; Kuramoto, 1975; Ermentrout, 1996; Ermentrout et al., 2010)を研究するための自然なプリミティブとなっています。

Unconventionalにおける私たちにとって最も重要なのは、振動子が基本的な物理回路であることです。CMOSやその他の物理基盤に連成振動子システムを直接実装でき、システムの物理学が直接ダイナミクスを計算します。これがUn-0の背後にある賭けです。物理法則がAIワークロードを計算できるなら、実行基盤は今日のものとは大きく異なるものになる可能性があります。

モデル

[画像: 図 2]

図 2: 連成振動子(条件付け振動子から振動子プールへの単方向低ランククラス条件付き行列を持つ)は、トレーニングされた結合の下で時間とともに進化します。画像は、デコーダーを介して時間 T で読み出され、画像を生成します。画像分布は、初期条件を何度もサンプリングすることで生成されます。

モデルアーキテクチャ。 Un-0で画像を生成するための推論は、5つのステップに従います。

  1. ランダムから開始。 すべての振動子の位相をランダムな角度 heta_i ext{ ∈ } [0, 2 ext{π}) に設定します。このランダムな開始状態がシードであり、拡散モデルやGANがサンプリングするノイズに対応します。異なるシードは異なる画像を生成します。
  2. クラスを選択。 2番目の、より小さな振動子のグループが要求されたクラス(例:「デイジー」または「火山」)を駆動し、メインの集団に結合され、そのクラスに関連付けられた配置にメインの集団をバイアスします。
  3. 物理学を実行させる。 システムを解放し、振動子がお互いを引き合うようにします。振動子は初期のランダムな状態から進化し、結合によって決定される状態へと落ち着きます。
  4. スナップショットを撮る。 指定された時間 T で、すべての振動子の位相を記録します。この最終位相のコレクションは数値のグリッドであり、画像の潜在表現です。
  5. レンダリング。 従来のデコーダー(モデルパラメータの13%未満)が、その潜在表現を完成したピクセルに変換します。

トレーニングは、モデル内で3つのことだけを変更します。1) 振動子がどのように結合されるか(行列 K)、2) 各振動子の自然周波数( ext{ω}_i)、3) デコーダーの重み。これらを合わせると、振動子は、そうでなければ従来のニューラルネットワーク層のスタックになるものを置き換えます。

なぜこのモデルアーキテクチャなのか? 計算を実行するために、ダイナミクスに最大限の柔軟性を与えるために、このモデルアーキテクチャを選択しました。具体的には、トレーニングのフォワードパスには、1) 結合行列、振動子周波数、初期位相の設定、2) ダイナミクスの進化、3) 最終的な画像潜在表現の読み出しのみが必要です。これは、拡散[Sohl-Dickstein et al., 2015]やフローマッチング[Lipman et al., 2022]のような他の種類の力学系生成とは対照的であり、トレーニング中にダイナミクスを明示的にガイドします。しかし、私たちの方法のトレードオフは、生成されたサンプルのみに基づいて動作する、より複雑な損失が必要になることです。

詳細については、付録にモデルのリッチな仕様を記載しました。

構築方法

CIFAR-10とImageNet 64×64の両方で、3つの異なるサイズのモデルをトレーニングしました。

CIFAR-10:

名前振動子数総学習可能パラメータ数振動子パラメータ数デコーダーパラメータ数デコーダーの割合FID@50k
Un-0.n102410241.29M1.13M0.16M12.24%11.01
Un-0.n204820484.94M4.36M0.58M11.77%9.32
Un-0.n4096409619.43M17.11M2.33M11.96%8.76

ImageNet 64×64:

名前振動子数総学習可能パラメータ数振動子パラメータ数デコーダーパラメータ数デコーダーの割合FID@50k
Un-0.n6656665657.17M50.96M6.21M10.86%8.41
Un-0.n1024010240129.80M115.11M14.69M11.32%8.01
Un-0.n1638416384322.44M284.84M37.61M11.66%6.74

トレーニング。 結合行列、振動子周波数、デコーダーを、最近提案されたドリフト損失(Deng et al., 2026)とDINOv2特徴抽出器[Oquab, Darcet, Moutakanni et al., 2024]、AdamWオプティマイザーを使用して、CIFAR-10およびImageNet 64×64でエンドツーエンドでトレーニングしました。モデルは、明示的なオイラー法でダイナミクスを統合します。

評価。 これらのベンチマークには標準的な評価方法を使用しました。CIFAR-10モデルでは、50kの生成サンプルを使用して評価し、標準パッケージと評価パイプラインを使用して参照CIFAR-10統計と比較しました。ImageNet 64×64モデルでは、50kの生成サンプルを使用して評価し、ADM評価スイートを使用してFIDを計算しました。

計算。 すべてのCIFAR-10モデルを1xB200 GPUで、すべてのImageNet 64×64モデルを8xB200 GPUでトレーニングしました。最大のCIFAR-10モデルのトレーニングには20 B200時間、最大のImageNet 64×64モデルのトレーニングには640 B200時間かかりました。トレーニングにおける最大のボトルネックは、ドリフト損失関数の計算であり、これには従来の画像特徴抽出器の使用が必要で、多くの特徴ビューで計算されます。

Un-0の位置づけ

従来のモデルと非従来のモデルの両方に対して、品質対パラメータ数の曲線上にUn-0を配置します。

[画像: 図 3a]

図 3a: CIFAR-10におけるパラメータ数対FID。

[画像: 図 3b]

図 3b: ImageNet 64×64におけるパラメータ数対FID。

グラフでは、実線点は、データセットごとに同一のFID-50kプロトコルで測定したモデルです。空線点は、コード、チェックポイント、または正確な評価設定が利用できなかったため直接再現できなかった公開された数値です。

これらの公開された数値は、厳密に同一の測定値というよりは参照点として読むべきです。なぜなら、評価プロトコルは論文間で異なる場合があるからです。例えば、一部の結果はCleanFIDより前のものを使用しており、異なるInception実装や前処理の詳細を使用している可能性があります。私たちの再現が公開された結果と密接に一致する場合、測定値を報告します。再現がセットアップの不一致により明らかに劣る場合は、公開された値に依存し、空線点でマークします。

ImageNet 64×64については、ImageNet 256×256のような高解像度ImageNetモデルからの後処理やダウンサンプリングによって得られた結果ではなく、ImageNet 64×64解像度でトレーニングおよび評価されたモデルを特に含めています。各モデルに使用されたコードとチェックポイントのリンクについては、参照セクションを参照してください。

議論。 Un-0の品質は、初期の従来のジェネレーター、例えばNCSN、DCGAN-TTUR、WGAN-GP、BigGAN、iDDPM、CD、TRACT(Song & Ermon, 2019; Heusel et al., 2017; Gulrajani et al., 2017; Brock et al., 2019; Nichol & Dhariwal, 2021; Song et al., 2023; Berthelot et al., 2023)と同等かそれ以上です。Un-0は依然として、EDMやGDD(Karras et al., 2022; Zheng & Yang, 2024)のような後期の高性能モデルには及びません。Un-0を有望な最初の試みと見なしており、その品質は、コミュニティに初めて導入された際のいくつかの確立された画像生成ファミリーの品質と重なります。

パラメータ数に関しては、Un-0は、見つかった比較ポイントの中で、小規模モデルのパレートフロンティアを拡大します。大規模になると、Un-0はまだ最先端の従来のベースラインに匹敵しません。品質はスケールとともに向上し続けますが、従来のフロンティアよりも遅いです。これらの結果を新しいアプローチの出発点と解釈しています。比較対象の従来のメソッドは、初期段階から現在に至るまで、アーキテクチャとアルゴリズムの洗練に数年を要しました。より良い学習アルゴリズム、モデルアーキテクチャ、物理プリミティブを通じてUn-0のスケーリングを改善することが次のステップです。

アブレーション

Un-0は、モデルの品質だけでなく、非従来的なコンポーネント(振動子)と従来的なコンポーネント(デコーダー)の間のその振る舞いを帰属させたいという点で、珍しいモデルです。もしすべての作業が従来的なコンポーネントによって行われているなら、モデルは物理的ダイナミクスを活用していません。これをテストするために、責任を帰属させるためにモデルをアブレーションし、振動子が有用な計算を行っていることを発見しました。

以下のすべてのアブレーションを実行しました。各アブレーションについて、学習率の完全なスイープを実行し、その特定のアブレーションで最も低いFIDをもたらした学習率を選択しました。

デコーダーのみ。 ダイナミクスなしでデコーダーを単独でトレーニングしました。事前分布からのノイズを生成し、それをデコーダーに直接通し、フルモデルと同じ損失を最適化しました。このベースラインは、デコーダーがそれ自体で生成モデルとしてどれだけうまく機能するかを示しています。ダイナミクスの恩恵なしに。

リザーバー。 フルモデルと同じ損失でトレーニングしますが、ダイナミカルな重みを初期のランダムな初期化に固定します。このアブレーションは、ダイナミクスをランダムな特徴抽出器、または特徴リザーバー(Tanaka et al., 2019)として使用するだけで十分かどうかをチェックします。

タイムデルタ。 Un-0とリザーバーの両方について、トレーニング中の推論ステップ数を変更します。単一ステップの統合では、モデルは典型的なニューラルネットワークの単一レイヤー、または初期条件の周りで線形化された力学系のように動作します。統合ステップ数を増やすと、基盤となる力学系の忠実度(および潜在的な非線形性)が増加します。ダイナミクスが実際に非自明な計算を行っている場合、ダイナミクスの忠実度と非線形性が高まることでモデル性能が向上すると予想されます。リザーバーの場合、単一統合ステップモデルを、事前ノイズの学習されていないランダム特徴射影と解釈し、マルチステップモデルを力学的な特徴リザーバーと解釈します。

[画像: 図 4a]

図 4a: FID-50kプロトコル(低いほど良い)を使用して、CIFAR-10生成に対するすべてのアブレーション(グレー:ダイナミクス除去、グリーン:ダイナミクス凍結、パープル:ダイナミクス近似)の影響を定量化します。学習されたダイナミクスは、リザーバーダイナミクスよりもサイズ減少に対してはるかに堅牢であることがわかります。最大のモデルサイズでも、ダイナミクスをトレーニングすることは、パフォーマンスに明確なメリットをもたらし、長いトレーニング時間も価値を生み出し続けています。

[画像: 図 4b]

図 4b: FID-50kプロトコル(低いほど良い)を使用して、ImageNet 64×64生成に対するすべてのアブレーション(グレー:ダイナミクス除去、グリーン:ダイナミクス凍結、パープル:ダイナミクス近似)の影響を定量化します。学習されたダイナミクスは、リザーバーダイナミクスよりもサイズ減少に対してはるかに堅牢であることがわかります。最大のモデルサイズでも、ダイナミクスをトレーニングすることは、パフォーマンスに明確なメリットをもたらし、長いトレーニング時間も価値を生み出し続けています。

議論。 CIFAR-10およびImageNet 64×64モデルの両方で、追加構造の助けなしでは、デコーダーは事前分布からのノイズをターゲット画像分布にマッピングするのに苦労することがわかりました。しかし、ランダムなクラモトダイナミクスによって提供されるわずかな構造でさえ、リザーバーはデコーダーFIDと1ステップおよび10ステップのリザーバーモデルFIDの間に位置する大幅な改善をもたらします。これは、ランダムなダイナミクスが、ターゲットクラスによってより分離可能な入力をデコーダーに提供するためであると仮説を立てています。

興味深いことに、学習された1ステップダイナミクスを持つモデルは、CIFAR-10ではリザーバーダイナミクスを大幅に上回らないことがわかります。このセットアップでは、そのような単純な線形化されたダイナミクスを学習することにあまり利点はないようです。しかし、統合ステップ数を1から10に増やすと、ランダムダイナミクスベースラインを超えてFIDが向上するという明確な傾向が見られ、最もパフォーマンスの高いモデルは、最も多くの統合ステップと学習されたダイナミクスを持つモデルでした。

これらの学習されたダイナミカルモデルが、使用されたインテグレーターの特定の値に単に過剰適合しているかどうかについてもチェックしました。10統合ステップでトレーニングされたモデルの場合、より多くの統合ステップや適応型ソルバーを使用した場合でも、FIDの増加は約3%にとどまりました。

これらの結果を合わせると、Un-0は、他​​のアブレーションでは行われていない非線形ダイナミクスで計算していることが示唆されます。

ダイナミクスが何をしているか

私たちのすべてのアブレーションは、ダイナミクスが重要であることを示しています。次に自然な質問は、ダイナミクスはどのように振る舞うかということです。以下の分析は、いくつかの角度からダイナミクスの振る舞いを調べ、最終的な仮説へと向かいます。ダイナミクスとデコーダーは異なる役割を果たし、ダイナミクスは多様性、デコーダーは画像品質を担当します。

分離可能性。 私たちの手法は、完全な軌跡をトレーニングするのではなく、T=1に焦点を当てています。T=1でのデコーダー空間における相対位相を見ることで、ダイナミクスが画像生成の改善という目標にどのように役立つかをよりよく理解します。クラス分離可能性を示すために、低次元投影を定義するために最初の3つの主成分にわたって50のImageNet 64×64クラスを可視化します。

[画像: 図 5a]

図 5a: T=1まで1024の初期条件を統合すると、デコーダー空間の低次元投影(主成分)で明確なクラスタリングが明らかになります。

[画像: 図 5b]

図 5b: 低次元座標から1kのImageNet 64×64クラスすべてにMLPを適合させることで、この低次元空間の32次元がトレーニング済みモデルのクラスの90%以上(トップ1)を分類するのに十分であることを示しています。一方、リザーバーは低次元空間での分離が少ない明確な兆候を示しています。

(図5aを参照)トレーニングされたネットワークは、この重要な時点でのクラス間に高いレベルの視覚的分離性を示すことがわかりました。これが1000のImageNet 64×64クラスすべてに当てはまるかを確認するために、各低次元座標セットがクラスについてどれだけエンコードしているかを特定するように設計されたデコーダビリティ分析に拡張しました(図5bを参照)。この組み合わせ分析は、T=1で作用する私たちの目的が、効果的なデコーダー入力次元(例:利用可能な次元の0.25%)と比較して、低次元空間でT=1での分離を駆動することを確認します。

アトラクター。 T=1を超えて推論を統合した場合、ダイナミクスはこのクラスタリングを(図6を参照)固定点またはアトラクター多様体を使用して学習したのでしょうか?これは、ランダムな初期条件が与えられると、ダイナミクスがダイナミクス内に格納されている多数の合計固定点(回転するデコーダー空間内)の1つに向かって流れることを意味します。

[画像: 図 6]

図 6(図 0と同じ): 時間経過に伴うUn-0.n4096生成の軌跡のサンプル。各線の色は、クラスと時間経過に伴う生成画像をdenotedする、同様の色のボックスに関連付けられています。

デコーダー空間の低次元投影(共分散行列の主成分)でダイナミクス(ここではCIFAR-10)をプロットすると、ダイナミクスの2つのフェーズが観察されます。フェーズ1:クラス条件付き軌跡の急速な分離、フェーズ2:画像の遅い洗練。この注目すべき第2フェーズは、クラス条件付きアトラクター多様体の形成を示しています。

画像品質対多様性。 FIDのような分布測定値は、単一サンプル画像品質と画像多様性/カバレッジを組み合わせています[Sajjadi et al., 2018; Kynkäänniemi et al., 2019]。これは、FIDが画像精度(画像品質—スクリーンショットで見られるように)またはリコール(生成における分布カバレッジ)のいずれかによって制限される可能性があることを意味します。

例えば、すべての生成を単一の猫の画像にマッピングするモデルのFIDスコアは、その猫の画像の品質が最高(高精度)であっても、多様性が低い(低リコール)ために悪くなります。したがって、FIDを補完するために、画像品質と多様性の測定可能な代理として精度とリコールを活用します[Kynkäänniemi et al., 2019; Dhariwal & Nichol, 2021]。

[画像: 図 7]

図 7: モデルクラスは時間とともに画像を生成します。ここでは、パフォーマンスの3つのメトリックをプロットします。a) FID(低いほど良い)、b) 精度(高いほど良い)を画像品質の代理として、c) リコール(高いほど良い)を画像多様性の代理として。FIDはダイナミクスが展開されるにつれて急速に低下し、分布の形成においてダイナミクス(トレーニングされているかどうかにかかわらず)の中心的な役割を示していることに注意してください。最大のシステムサイズでダイナミクスが画像を約2.5改善することを示しており、リコールが制限されているレジームにあるため、この改善は主に測定可能なリコールピークの増加、ひいてはT=1でのリコールの増加(+0.10リコール)に起因すると考えられます。

画像生成の時間ダイナミクスを見ると、トレーニングされたモデルはランダムに開始し、大量に低品質の画像を生成しますが、非常に多様性があります(低精度、高リコール)。時間が経過するにつれて、クラモトシステムのダイナミクスは、犬、猫、キノコと一致する状態に多様な初期条件を引き付けます(高精度+中程度の精度/多様性)。トレーニングされていないリザーバーでは、ダイナミクスはリコールを劇的に低下させ続けます。時間が経過するにつれて、FIDは画像品質ではなく画像多様性によって制限されます。驚くべきことに、トレーニングされたネットワークは時間とともにこの状態の多様性を測定可能に増加させ、ダイナミクスがクラス多様体と一致し始めることを意味します。実際、私たちのすべてのアブレーション研究もこれを低最終リコールで示しています。デコーダーのみおよびリザーバーは、トレーニングされたクラモトダイナミクスと比較して。

これにより、探求しようとした仮説の単純化された図が得られます。このハイブリッドシステムは、ダイナミクスがクラモトの多様性を維持し(推論時間全体でのパフォーマンスの一般化を生み出す)、従来のデコーダーが画像品質ジェネレーターの役割を果たすように責任を分解します。地平線には、チップ上の物理的ダイナミクスに適した、高品質な多様なサンプルの生成のための完全に非従来的な手段を構想しています。

結論

Un-0の品質は、今日の最先端の生成手法が始まった時点と同等です。従来のジェネレーターは、絶対的な品質とパラメータ効率において依然として強力です。そのギャップを新しいアルゴリズムとモデルアーキテクチャで埋めることが、今後の作業です。

全体として、Un-0の連成クラモト振動子システムは、これまでにない規模で物理的ダイナミクスによる学習の可能性を提供します。Un-0は、エネルギー効率というトップライン目標を達成するために物理学を活用する新しいコンピューターの機会の方向性を示しています。つまり、最新AIの等品質、推論あたりのジュールです。

試してみてください、そしてミッションに参加してください

私たちは以下をリリースします:

  • CIFAR-10とImageNetの両方のクラモトモデルのモデル重み。
  • トレーニング結果を再現し、カスタムモデルに拡張するためのトレーニングスクリプト。
  • 誰でも独自のダイナミクスに同じコントロールを実行できるように、すべてのアブレーションスクリプト。

詳細については、GitHubをご覧ください。

新しいアルゴリズム、モデル、物理プリミティブでギャップを埋める私たちと他の人たちに注目してください。私たちはコミュニティとして、非従来的なAIシステムの「始まりの始まり」にいます。最新AIの1000倍の効率向上を達成することは、壮大でフルスタックな挑戦ですが、コミュニティの結果は、共に前進するための有望な道筋を提供しています。

物理ベースのモデル、またはダイナミカルコアを持つ何かを構築した場合、それらを私たちのUn-0スキャフォールドに接続し、トレーニングして、どこに着地するかを確認してください。もしこれが私たちと一緒に取り組みたい質問であれば、私たちと一緒に働きませんか、コラボレーターとして連絡してください、そして/または私たちの次の活動をフォローしてください。

参考文献
  1. Shiqi Chen, Yuhang Li, Yuntian Wang, Hanlong Chen, Aydogan Ozcan. “Optical generative models.” Nature 2025.
  2. Ilker Oguz, Niyazi Ulas Dinc, Mustafa Yildirim, Junjie Ke, Innfarn Yoo, Qifei Wang, Feng Yang, Christophe Moser, Demetri Psaltis. “Optical Diffusion Models for Image Generation.” NeurIPS 2024.
  3. Tiankuang Zhou, Yizhou Jiang, Zhihao Xu, Zhiwei Xue, Lu Fang. “Hundred-layer photonic deep learning.” Nature Communications 2025.
  4. Jiaqi Chu, Heiner Kremer, Fabian Falck, Grace Brennan, Burcu Canakci, James Clegg, Daniel Cletheroe, Doug Kelly, Christos Gkantsidis, Michael S. Hansen, Paul Jeha, Kirill P. Kalinin, Jim Kleewein, Babak Rahmani, Saravan Rajmohan, Victor Rühle, Jannes Gladrow, Francesca Parmigiani, Hitesh Ballani. “Analog Diffusion Models.” 2026.
  5. Andraž Jelinčič, Owen Lockwood, Akhil Garlapati, Guillaume Verdon, Trevor McCourt. “An efficient probabilistic hardware architecture for diffusion-like models.” 2025.
  6. Zhihao Xu, Tiankuang Zhou, Muzhou Ma, ChenChen Deng, Qionghai Dai, Lu Fang. “Large-scale photonic chiplet Taichi empowers 160-TOPS/W artificial general intelligence.” Science 2024.
  7. Stephen Whitelam. “Generative thermodynamic computing.” Physical Review Letters 136, 037101, 2026.
  8. Cyrill Bösch, Geoffrey Roeder, Marc Serra-Garcia, Ryan P. Adams. “Local Learning Rules for Out-of-Equilibrium Physical Generative Models.” arXiv:2506.19136, 2025.
  • Carver Mead. “Neuromorphic Electronic Systems.” Proceedings of the IEEE 78(10):1629–1636, 1990.

  • Patrick J. Coles, Collin Szczepanski, Denis Melanson, Kaelan Donatella, Antonio J. Martinez, Faris Sbahi. “Thermodynamic AI and the fluctuation frontier.” arXiv:2302.06584, 2023.

  • Andraž Jelinčič, Owen Lockwood, Akhil Garlapati, Peter Schillinger, Isaac Chuang, Guillaume Verdon, Trevor McCourt. “An efficient probabilistic hardware architecture for diffusion-like models.” arXiv:2510.23972, 2025.

  • Sohl-Dickstein, Jascha, et al. “Deep unsupervised learning using nonequilibrium thermodynamics.” ICML, 2015.

  • Lipman, Yaron, Ricky TQ Chen, Heli Ben-Hamu, Maximilian Nickel, and Matt Le. “Flow matching for generative modeling.” 2022.

  • Jonathan Ho, Ajay Jain, Pieter Abbeel. “Denoising Diffusion Probabilistic Models.” NeurIPS 2020.

  • Yang Song, Stefano Ermon. “Generative Modeling by Estimating Gradients of the Data Distribution.” NeurIPS 2019.

  • Oquab, Maxime, Timothée Darcet, Théo Moutakanni, Huy Vo, Marc Szafraniec, Vasil Khalidov, Pierre Fernandez et al. “DINOv2: Learning robust visual features without supervision.” TMLR 2024.

  • Yang Song, Stefano Ermon. “Improved Techniques for Training Score-Based Generative Models.” NeurIPS 2020.

  • Yang Song, Prafulla Dhariwal, Mark Chen, Ilya Sutskever. “Consistency Models.” ICML 2023. arXiv:2303.01469

  • Tero Karras, Miika Aittala, Timo Aila, Samuli Laine. “Elucidating the Design Space of Diffusion-Based Generative Models” (EDM). NeurIPS 2022. arXiv:2206.00364

  • Alex Nichol, Prafulla Dhariwal. “Improved Denoising Diffusion Probabilistic Models.” ICML 2021. arXiv:2102.09672

  • Mingyang Deng, He Li, Tianhong Li, Yilun Du, Kaiming He. “Generative Modeling via Drifting.” 2026. arXiv:2602.04770

  • J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. Fei-Fei. “ImageNet: A large-scale hierarchical image database.” CVPR 2009.

  • Krizhevsky, Alex, and Geoffrey Hinton. “Learning multiple layers of features from tiny images.” 2009.

  • Sajjadi, Mehdi SM, Olivier Bachem, Mario Lucic, Olivier Bousquet, and Sylvain Gelly. “Assessing generative models via precision and recall.” Advances in Neural Information Processing Systems 31 (2018).

  • Kynkäänniemi, Tuomas, Tero Karras, Samuli Laine, Jaakko Lehtinen, and Timo Aila. “Improved precision and recall metric for assessing generative models.” Advances in Neural Information Processing Systems 32 (2019).

  • Charles M. Gray, Peter König, Andreas K. Engel, Wolf Singer. “Oscillatory responses in cat visual cortex exhibit inter-columnar synchronization which reflects global stimulus properties.” Nature 338(6213):334–337, 1989. doi:10.1038/338334a0

  • György Buzsáki. Rhythms of the Brain. Oxford University Press, 2006. OUP

  • John J. Hopfield. “Neural networks and physical systems with emergent collective computational abilities.” PNAS 79(8):2554–2558, 1982. pnas.org

  • Herbert Jaeger. “The ‘echo state’ approach to analysing and training recurrent neural networks.” GMD Report 148, 2001. PDF

  • Wolfgang Maass, Thomas Natschläger, Henry Markram. “Real-time computing without stable states.” Neural Computation 14(11):2531–2560, 2002. MIT Press

  • Sam Greydanus, Misko Dzamba, Jason Yosinski. “Hamiltonian Neural Networks.” NeurIPS 2019. arXiv:1906.01563

  • Ramin Hasani, Mathias Lechner, Alexander Amini, Daniela Rus, Radu Grosu. “Liquid Time-constant Networks.” AAAI 2021. arXiv:2006.04439

  • Takeru Miyato, Sindy Löwe, Andreas Geiger, Max Welling. “Artificial Kuramoto Oscillatory Neurons.” ICLR 2025. arXiv:2410.13821

  • Yue Song, T. Anderson Keller, Sevan Brodjian, Takeru Miyato, Yisong Yue, Pietro Perona, Max Welling. “Kuramoto Orientation Diffusion Models.” NeurIPS, 2025. arXiv:2509.15328

  • T. Anderson Keller, Max Welling. “Neural Wave Machines: Learning Spatiotemporally Structured Representations with Locally Coupled Oscillatory Recurrent Neural Networks.” ICML 2023. PMLR v202

  • Tanaka, Gouhei, Toshiyuki Yamane, Jean Benoit Héroux, Ryosho Nakane, Naoki Kanazawa, Seiji Takeda, Hidetoshi Numata, Daiju Nakano, and Akira Hirose. “Recent advances in physical reservoir computing: A review.” Neural Networks 115 (2019): 100–123. arXiv:1808.04962

  • Fries, Pascal. “Rhythms for Cognition: Communication through Coherence.” Neuron 88, 220–235 (2015). neuron

  • Ermentrout, Bard. “Type I Membranes, Phase Resetting Curves, and Synchrony.” Neural Computation 8, 979–1001 (1996). doi:10.1162/neco.1996.8.5.979

  • Ermentrout, Bard, and Terman, David. Mathematical Foundations of Neuroscience, Interdisciplinary Applied Mathematics. Springer, New York, NY (2010). doi:10.1007/978-0-387-87708-2

  • Kuramoto, Yoshiki. “Self-entrainment of a population of coupled non-linear oscillators, in: Mathematical Problems in Theoretical Physics.” pp. 420–422 (1975). doi:10.1007/BFb0013365

  • Winfree, Arthur T. “Biological rhythms and the behavior of populations of coupled oscillators.” J Theor Biol 16, 15–42 (1967). doi:10.1016/0022-5193(67)90051-3

  • Prafulla Dhariwal, Alex Nichol. “Diffusion Models Beat GANs on Image Synthesis.” NeurIPS 2021. arXiv:2105.05233

付録

形式モデル仕様。 モデルは、クラス条件付きの暗黙的生成モデルであり、初期位相は0から2 ext{π}の一様分布からサンプリングされます。初期ランダム位相は、上記のODEに従って固定時間 T まで進化します。クラス条件付けを組み込むために、モデルは N 個の共有振動子の大きなシステムを、単方向のクラス条件付き結合を持つ N_c 個の条件付け振動子の別個の小さな配列に結合します。

ext{d} heta_i / ext{d}t = ext{ω}_i + ext{Σ}_{j=1}^{N} K_{ij} ext{sin}( heta_j - heta_i) + ext{Σ}_{k=1}^{N_c} ilde{K}^{(c)}_{ki} ext{sin}( ext{φ}_k - heta_i) ext{ } i = 1, ext{ }, ext{ }, ext{ }, N

ここで、 ilde{K}^{(c)} ext{ ∈ } ext{ℝ}^{N_c imes N} は、条件付け振動子へのクラス固有の結合重みを表すクラス固有の結合行列です。条件付け振動子はクラモトダイナミクスに従って進化します。

ext{d} ext{φ}_i / ext{d}t = ext{ν}_i + ext{Σ}_{j=1}^{N_c} C_{ij} ext{sin}( ext{φ}_j - ext{φ}_i), ext{ } i = 1, ext{ }, ext{ }, ext{ }, N_c

条件付け振動子 ext{φ} と結合 C_{ij} ext{ ∈ } ext{ℝ}^{N_c imes N_c} に対して。Tで位相が読み出され、sin/cosデコードを介してユークリッド空間に変換されます。

x_i, ext{ }y_i = ext{cos}( heta_i - heta_{ ext{ref}}), ext{ } ext{sin}( heta_i - heta_{ ext{ref}})

ここで、 heta_{ ext{ref}} は参照位相です。CIFAR-10モデルではすべての位相の平均 heta_{ ext{ref}} = rac{1}{N} ext{Σ}_{i=1}^N heta_i、ImageNet 64x64モデルでは最初の振動子の位相 heta_{ ext{ref}} = heta_0 です。デコードされたx_i, y_i特徴は、画像のような潜在グリッド (C_l, h_l, w_l) にリシェイプされ、画像潜在表現を最終的な (3, H, W) 画像に変換するアップサンプリングデコーダーに供給されます。デコーダーはCIFAR-10モデルでは16倍、ImageNet 64x64モデルでは8倍にアップサンプリングします。各モデルでは、デコーダーは総パラメータ数の15%未満を占めます。振動子配列は初期状態では構造化されていないことに注意してください。結合には明示的なタスク固有の帰納的バイアスを含んでいません。

FID x パラメータ図の再現

CIFAR-10

ImageNet 64×64

ページ読み込みリンク

トップへ移動