ミュンヘン1991年: 現在のAIブームのルーツ

David Ha, Sakana AI Jürgen Schmidhuber, KAUST & IDSIA 2026年6月18日 @hardmaru @SchmidhuberAI AIブログ ミュンヘン1991年: 現在のAIブームのルーツ David Haによる序文 今日の人工知能ブームの莫大な規模を見ると、この数兆ドル規模の産業の基盤が30年以上前のミュンヘンで築かれたことを忘れがちです。今日、世界トップクラスのテクノロジー企業は、ChatGPTのような大規模言語モデル（LLM）のスケールアップに何千億ドルも投資しています。しかし、数人の歴史愛好家や機械学習コミュニティの古株の人々を除けば、現代のこれらのシステムのほとんどすべてのコアビルディングブロックが、わずか数ヶ月間の間に1991年に発表されたことを人々は認識していないかもしれません。信じられないことに、それらはすべてJürgen Schmidhuberが率いるミュンヘン工科大学の単一の研究所から生まれました。その年が終わるまでに、彼のチームは事実上、ディープラーニングの現代を概説していました。彼らは最初のTransformerバリアント（ChatGPTの「T」を参照）、教師なし事前学習（ChatGPTの「P」）の概念を導入し、ニューラルネットワーク蒸留の先駆者となりました。また、20世紀と21世紀でそれぞれ最も引用されたAI論文であるLSTMとResNetの中心となるディープ残差学習も導入しました。これらの4つの技術が、今日の最も先進的なLLMを動かしています。さらに、彼らは「生成AI」の基礎となる敵対的生成ネットワークの初期の基礎を築きました。Jürgenの貢献は、Google Brain時代から、現在Sakana AIで推進している再帰的自己改善（RSI）研究に至るまで、長年にわたり私の思考を深く形作ってきました。特に、彼の研究室が1990年代に導入した概念を直接基盤として、2018年にワールドモデルの普及に貢献できたことを誇りに思います。これらのアイデアのいくつかが、世界のAIコミュニティに完全に受け入れられるまで、いかに時代の試練に耐えてきたかを見るのは驚くべきことです！ディープラーニングの真の歴史に興味がある方のために、Jürgenは1991年にミュンヘンでこれらの種がどのように植えられたかを詳細なタイムラインにまとめました。 David Ha、2026年6月 Jürgen Schmidhuberの1991年のタイムライン（注釈付き参照） コンピューティングが今日より数百万倍も高価だった1991年に、私の故郷で私のチームが行った仕事と、そこで、そしてその後も一緒に働いたすべての素晴らしい人々を誇りに思います。[RAW] ミュンヘン工科大学の以下の主要なAI出版物（1991年3月26日～1991年8月31日付）をご覧ください。 ★ 1991年3月26日: 最初の種類のTransformer（ChatGPTのTを参照）—現在では非正規化線形Transformer[ULTRA][FWP0-6][WHO10][DLH]と呼ばれています。正規化二次Transformer[TR1]の先駆者です。ULTRAは、その効率性のために依然として重要であり、その計算コストは入力サイズに対して線形にスケーリングし、二次的ではありません。 ★ 1991年4月30日: ディープニューラルネットワーク（NN）の事前学習—ChatGPTのPです[UN0][UN1][UN2][UN][DLH]。これにより、非常にディープな学習が可能になりました[WHO5]。 ★ 1991年4月30日: ニューラルネットワーク蒸留—有名な2025年DeepSeek「Sputnik」やその他の大規模言語モデル（LLM）の中心です[UN0][UN1][UN2][WHO9][DLH]。 ★ 1991年6月15日: 非常にディープなNNのための残差接続を備えたディープ残差学習[WHO11]（Sepp Hochreiterの卒業論文[VAN1]を参照）—20世紀で最も引用されたAIであるLong Short-Term Memory [LSTM1]のコア要素であり、2010年代の最初のLLM（ELMO、ULMFiT）の基礎です。21世紀で最も引用された科学論文[MOST25-26]もディープ残差学習に関するもので、以前のフィードフォワードNNより10倍深いLSTMに着想を得たディープ残差ハイウェイネット[HW1-25b]のバリアントに焦点を当てています[WHO11][DLH]。ディープ残差学習は現在、事実上すべてのLLMで使用されています。 ★ 1991年8月31日: 人工的好奇心と創造性によって訓練されたニューラルワールドモデル[WM26,WM26b]のための生成的および敵対的ネットワーク[GAN90-25]に関する最初の査読済み出版物[GAN91]—現在、ディープフェイクや生成AIの他のアプリケーションに物議を醸す形で使用されています[WHO8][DLH]。 2026年1月現在、史上最も頻繁に引用されている論文（3年以内の引用数が最も多いもの—マニュアルを除く）の2つは、1991年の研究に直接基づいています[MOST26][MOST][MIR]。 しかし、1991年にはすでに、LLMのようなNNだけでは汎用人工知能（AGI）を達成するには不十分であることは完全に明らかでした。実世界の習熟なしにAGIはありえません[DLH]！そのため、私たちはAGIを達成するために必要な追加の技術、例えば適応型ワールドモデル[PLAN1-6][WM26,WM26b]を用いた計画（ミュンヘン工科大学で1990年から）、人工科学者[AC]によって作成された計画、メタ学習と再帰的自己改善（1987年から）[META1][META]などに取り組み始めました[DLH][AIB]。ほぼ同時期に、ミュンヘンは、交通における最初の自動運転車[AUT]（Ernst Dickmannsのチームによる）の発祥地でもあり、最高175 km/hに達しました。この都市は真にAIの中心地でした。しかし、過去30年間で、商業AIのほとんどはミュンヘンから遠く離れた環太平洋地域にシフトしました。なぜこのようなことが起こったのでしょうか？何かできることはあるのでしょうか？答えは[95-25]をご覧ください！1991年に発表された研究[MIR]のより広範な歴史的背景[DLH]については[WHO3-11]をご覧ください。私は、私が自分自身よりもはるかに賢い何かを構築するという1970年代の10代のビジョンが実現し、引退できる日が来ることをまだ願っています。 Jürgen Schmidhuber、2026年6月 謝辞 有益なコメントをくださった数人の専門家査読者に感謝します。（残りのエラーを見つけたらお知らせください。）この記事の内容は、ウィキペディアや同様のサイトの記事を含む、教育的および非営利目的で使用できます。この作品は、Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International Licenseの下でライセンスされています。 注釈付き参照 [95-25] J. Schmidhuber (AI Blog, 2025). 1995-2025: ドイツと日本の衰退 vs 米国と中国。万能ロボットは巻き返しを加速できるか？1995年、名目国内総生産（GDP）の観点から、IMFによると、ドイツと日本を合わせた経済規模は米国と中国を合わせた経済規模とほぼ1:1でした。わずか30年後、この比率は1:5にまで低下しています！自己増殖するAI駆動型万能ロボットが解決策となるかもしれません。2024年のF.A.Z.ゲスト記事に基づいています。 [AC] J. Schmidhuber (AI Blog, 2021, updated 2025). 30年間の人工的好奇心と創造性。Schmidhuberの人工科学者は、与えられた質問に答えるだけでなく、新しい質問を発明します。彼らは以下の方法で好奇心を達成します: (1990) 敵対的生成ネットワークの原理、(1991) 学習進捗を最大化するニューラルネット、(1995) 情報獲得を最大化するニューラルネット（2011年以来最適）、(1997) 驚くべき計算実験の敵対的設計、(2006) 科学者/芸術家/コメディアンのように圧縮進捗を最大化、(2011) PowerPlay... 2012年以来: 実ロボットへの応用。 [AIB] J. SchmidhuberのAIブログ。AIとコンピューティングの歴史に関する教訓、例: ディープラーニングを発明したのは誰か？バックプロパゲーションを発明したのは誰か？畳み込みニューラルネットワークを発明したのは誰か？人工ニューラルネットワークを発明したのは誰か？敵対的生成ネットワークを発明したのは誰か？Transformerニューラルネットワークを発明したのは誰か？ディープ残差学習を発明したのは誰か？ニューラル知識蒸留を発明したのは誰か？コンピューターを発明したのは誰か？トランジスタを発明したのは誰か？集積回路を発明したのは誰か？... [ATT] J. Schmidhuber (AI Blog, 2020, updated 2025). エンドツーエンド微分可能なシーケンシャルニューラルアテンションの30周年。さらに目標条件付き強化学習。Schmidhuberは、中心窩のためのハードアテンション（1990年）と、線形化された自己アテンションを備えたTransformerの形のソフトアテンション（1991-93年）の両方を持っていました。[FWP] 今日、両方のタイプが非常に人気があります。 [AUT] J. Schmidhuber (AI Blog, 2005). ロボットカーの歴史のハイライト。1986年頃、ミュンヘン連邦軍大学のErnst Dickmannsとそのグループは、サッカードビジョン、カルマンフィルターなどの確率論的アプローチ、および並列コンピューターを使用して、世界初の実際の自律ロボットカーを構築しました。1994年までには、彼らは高速道路の交通を、最高180 km/hで自動走行していました。