Jevの興隆と衰退

The rise and fall of Jev

これは、Jevに対する業界の反応がAIの絶望的な状態をいかに明らかにしているかについての簡単なメモです。以下を解剖します。

• Jevとは何か、どのように誇大宣伝され、なぜJevが集団ヒステリーのように広まったのか？

• ChatGPTが「AI」を一般化させて以来、注目すべきイノベーションは何があったか？

• 業界は真のイノベーションからいかに飢えているか？

• 4年間の革命 漸進的な改善の後、私たちはまだ何を失っているのか？

読み終わる頃には、私たちがバブルの中にいるのかどうか、そしてどのように準備すべきかがわかるはずです。

[画像: No AI used in this work]

おそらく、現時点ではJevの紹介は不要でしょう。なぜなら、発表から33日前に、それは大いに話題になったからです！

しかし、賢明にもそれを無視したあなたのために、本当に重要なことを示します。

Jevは基本的に汎用分類器（例：迅速な判断）です。興味深いのは、大量のデータを必要としないことです（ただし、そのような特殊なトレーニングの欠如はその有用性に悪影響を与えます）。

それを「意思決定モデル」と呼ぶのは少し大げさです。なぜなら、それは見ることさえできず（競合するオープンウェイトモデルはマルチモーダル機能を持っています）、推論もできないからです（だからこそ非常に安価なのです）。

Jevの背後にあるアイデアは新しいものではありません！RLを用いた非自己回帰意思決定モデルのアイデアは1年以上前に遡ります。オリジナルの作者は怒っていますが、後述するように、ドラマはAIの誇大広告に不可欠な部分です。

Hype

彼らの発表をhackernews経由で読んだときの、私の感情のジェットコースターを追ってみましょう。

OpenAIで、私は言語モデルを指示に従わせたり、人と話したりするのに役立つ方法を構築しました。その仕事はChatGPTの研究につながりました。

😎 つまり、創業者は史上最も急速に成長した製品の一つであるChatGPTの背後にいたのです。話を聞きましょう…

当時、チャットモデルがAGIにつながるかもしれないと思いましたが、誇大広告にもかかわらず、何か非常に大きなものが欠けていることが私には明らかになりました。

😃 なんということでしょう！これだ！ChatGPTには何か大きなものが欠けている、そしてそれを明らかにしようとしているのです！AGIに一歩近づいた、あるいはすでに到達したのかもしれません！もっと読むのが楽しみです…

2年間のステルス期間、数え切れないほどの技術的課題、そして研究のブレークスルーを経て…発表できることを非常に嬉しく思います。

😱 早く言ってください！読むのが待ちきれません…

TypeSafe AIは、最初のSystem One Modelをリリースします。

😯 待て、何だって？「System One」？

何を話しているのかわかりますか？ダニエル・カーネマンが2つのシステムを定義したときの私の記憶です。

1. システム1： 速く、安価（計算能力の観点から）、感情的、無意識的、そして判断的。
2. システム2： 遅いが、高価（より多くの脳力が必要）、論理的、意識的、そしてより詳細。

Jevがシステム1なら、LMはシステム2なのか？それは論理的推論さえ扱えない！

最も重要なのは、Jevが別の興味深いフレーミングとともに登場したことです。

幻覚を見ない

幻覚（Hallucination）は、現在の言語モデルの最大の課題の一つですが、幻覚を見ないからといって、その応答が論理的に正しいわけではありません。Jevの文脈では、出力がスキーマに一致するというだけです。

技術的には、従来の言語モデルは制御ループ（例：型チェッカー、JSONスキーマパーサー）を付け加えることでこの能力を得ることができます。Jevはこれをはるかに速く、推論なしで行います。それが名前の由来です。

私たちはJevをウィリアム・スタンレー・ジェボンズにちなんで名付けました。機械知能は石炭と同様の道をたどると予想しています。蒸気機関の効率が需要の増加につながった後です。

私はJevのアーキテクチャを知りません。なぜなら、元「Open」AIの従業員の伝統に従い、多くは（おそらく「安全性」や「堀」の名目で）公開されていないからです。しかし、それは彼らが専門用語を落とすのを止めません。

私たちは、Reinforcement Learning for Calibrated Decisions（RLCD）と呼ぶ新しい[...]トレーニング方法を構築しました。

注：RLCDは「従来の」方法と韻を踏んでいます。

• RLHF： 人間のフィードバックによる強化学習
• RLVR： 検証可能な報酬による強化学習

彼らはさらに主張しています。

Jevは小さくもなく、LLMでもないため、知能のパレート曲線の外にあります。

幸いなことに、同様のモデルには事欠きません。中にはさらに優れたパフォーマンスを持つものもあります（Laya、Kev、Nimble、NanoJevなど）。

マーケティング戦略をまとめましょう。

• 名前の連呼： 元ChatGPTクリエイター、ジェボンズのパラドックス、パレート曲線、システム1
• 大きな主張： 幻覚を見ない、指数関数的に高速かつ安価、完全に新しいスタック、驚異的なベンチマークとデモ
• 曖昧さと専門用語： 「新しいトレーニングアルゴリズム」やRLCDデータセットに関する有用な実装詳細はなし
• ドラマ： LayaがJevのローンチの1.5年前にこのアイデアを示した

OK、このパターンは十分に認識できるほど見たと思います。私はJevのチームがそれをコメディレベルまで引き上げたと思います。彼らのマーケティングがLLMによって書かれたかどうかは別として、彼らはそれをうまくやりました。

幸いなことに、Jevの初期の騒ぎは、それが盛り上がったのと同じ速さでほぼ消え去りました。より多くの人が実験するにつれて、私たちは理解したと推測するしかありません。

1. 幻覚は見ないが、それでも間違っている可能性がある。 従来の言語モデルよりもさらに間違っており、その意味で「システム1」は正しい命名です。現在の世代の言語モデルはすべてシステム1（推論モデルでさえ）だと考えていますが、なぜならそれらは本当に推論していないからであり、システム2に期待される意味での推論ではありません。
2. 安価だが、パフォーマンス/コスト比でそれを上回るオープンウェイトモデルが存在する（タスクによる）。Jevを最先端LLMと区別する点は、同等の品質でエッジ（例：ローカル）で実行できることです。

Jevは完全に誇大広告ではありません。私たちは「期待のピーク」から「幻滅の谷」へと記録的な速さで移動しました。

私はJevを叩きたいわけではありませんが、業界の現状を示す例として使用したいのです。

Incremental improvements

私はGPT-2が招待制だった頃にアクセスできた数少ない幸運な一人でした。

シニアテックリードとして、私は新しい技術を調査し、関連性を保つために実験に時間を割いています。それ以前にもIBM Watsonや他の多くの製品を経験してきましたが、個人的には大したことではありませんでした。

GPT-2には実際、がっかりしました。なぜなら、当時それは以下のようなことができたからです。

• テキストを要約する
• テキストの後に続くものを予測する
• …本当にそれだけでした！😄 他に覚えていません。それで私は先に進みました…

その後、誰かがこれらのモデルの一つからターンベースの対話を作成し、それを面白くするためにアバターを追加したのを見ました。それは不気味で面白いと思いました。

次に、ブレイク・レモインがGoogleのLaMDAという言語モデルが意識を持っていると主張しました。驚くことではありませんが、これはまだサイドで進行中の哲学的な議論を引き起こしました。再び、私はあまり深く考えませんでした。

しかし、スタートアップアクセラレータ（Y Combinator）で数年を過ごしたサム・アルトマンは機会を見出しました。特にチャットアプリケーションが彼の注意を引いたようで、すぐにChatGPTが発表されました。

当時、私はトークン予測モデルを大衆向けのユーザーフレンドリーな製品に変えるクールな方法だと思っていました。

個人的には、真剣に使用することはできませんでした。なぜなら：

1. 品質が低い： 何を知らないかを知らなかったため、適当に（別名：幻覚）答えていました。ただし、「プロンプトエンジニアリング」と「推論モデル」の台頭はこの問題を軽減すると約束されていました。
2. プライバシー： 私は当時20年以上コンピューターを扱っており、「可能なことは何でも、それが起こったと仮定せよ」という信条で生きてきました。つまり、OpenAIが私の会話を保存する技術的能力があるなら、会社のIPや個人情報を共有するのに十分信頼できるとは言えません。

人々がリアルタイムで録画されたものではないことに気づいたとき、Googleがマルチモーダルデモで受けた反発を鮮明に覚えています！あの頃は、小さな欺瞞でさえ陰謀になる時代でした。

llama.cppが登場したとき、私は（当時はAIマシンは一般的ではありませんでした）NVIDIAカードを搭載したゲーミングマシンを入手してAIを構築しました。

その間、人々は言語モデルがコードを生成できることを発見しました。コピー＆ペーストするのは面倒だったので、初期バージョンのハーネスが登場しました。

すぐに、「関数呼び出し」が登場し、モデルが何かを実行できるようになりました！

当時私はVS Codeを使用していましたが、私の会社はAIツールの使用に厳格なポリシーを持っていました（はい！わずか3〜4年前には、企業が速度よりもIPを優先していたとは信じがたいです）が、誇大広告を無視するのは困難でした。

私は個人的にCopilotのサブスクリプションに支払い、オープンソースプロジェクトでVS Code insiderを使用していたことを覚えています。

あまりにフラストレーションが溜まったので、会社のSlackにこのミームを共有しました。

[画像]

その間、OpenAIではドラマがありました（イーリヤはCEOを解任したクーデターに参加しました。その後、サティアは4Dチェスをプレイし、イーロンは弁護士を雇っていました）。それは大騒ぎでしたが、まさにそれが非技術者たちの関心を捉えることに成功した方法であり、その傾向は今日まで続いています。「全能の暴走AI」が他のものをハッキングする一方で、内部告発者や警鐘を鳴らす人々が存亡の危機について語っています。

同時に、時期尚早なAI製品はそれ自身のドラマ（犯罪幇助、不正行為など）を生み出し、AIブロガーはあたかもツールが独自の欲求を持っているかのように擬人化しています（私の解釈：彼らは責任を問いたいのです）。

循環投資、国防総省のドラマ、チップ戦争、自律型殺人ドローンなどもありますが、簡潔さを期すために、技術的な側面に焦点を当てましょう。

その後、ピーター・スタインバーガー（燃え尽き症候群でコンピューターから離れていたベテラン開発者）がAIコンパニオンを作成し、エージェント（何かを実行できるLM）を一般化させました。

これまでにカバーしたこと：

• 指示チューニングモデル
• 関数呼び出し
• コーディングハーネス
• AIエージェント

他の漸進的な改善を駆け足で見ていきましょう。

• より大きなパラメータサイズは、マイクロレベルのアーキテクチャ分析では説明が難しい創発特性をアンロックします（主に洗練された知覚行動につながりますが、不均一なアライメントも生じます）。
• より大きなコンテキストウィンドウは精度を向上させます（ただし、実用的な限界は理論的なサイズよりもはるかに小さいです）。
• マルチモーダルモデルは、音声、音楽、画像、ビデオの生成を可能にし、ますます多くのモデルがこれらのモダリティを理解できるようになっています。
• MCPは実装を抽象化し、さまざまなAI製品が生産的な作業に必要なツールを使用できるようにします。
• ACP、サブエージェント、およびさまざまなオーケストレーション技術により、より大きなタスクを計画し、小さなピースに分割できます。
• サンドボックスはセキュリティを向上させ、エージェントワークフローの望ましくない副作用を分離するのに役立ちますが、それが不十分な場合はHITLがありますが、承認疲労はまだ解決していません。
• スキル、ウェブ検索、ウェブアクセスにより、エージェントはトレーニングデータや知識カットオフ日外の情報にアクセスできます。
• さまざまなメモリアーキテクチャと統合技術により、モデルは学習したことを思い出すことができます。
• 中国の研究室は、モデルのトレーニングと実行のより効率的な方法を示しました。
• フィードバックループとスクラッチパッドは、モデルに近い検証の一部を実行することで、モデルの知覚品質を向上させます。

[画像: AI Fluency Leveling]

これは間違いなく良い進歩です。しかし、AIが話題になっている理由の一部は、それを取り巻くすべてのドラマにあると思います。

• 地政学： サービスベースが中心の米国経済とは異なり、中国は製造業の大国です。DeepSeekが計算方程式を操作できることを発見するまで、中国にはしっかりしたAI計画がなかったと思います。今ではあります。昔ながらのアメリカの制裁はチップの輸入を標的にしていますが、中国（エンジニアによって運営されている）はチップ製造とモデルアーキテクチャの両方で最近大きな進歩を遂げました。その間、AIはドローンからインテリジェンス（そして国内での大量監視）まで、戦争で使用されています。ベストセラーのHow the mighty fallsで、コリンズは滅亡の5段階を挙げています：a) 成功から生まれた傲慢、b) より多くのものを無規律に追求する、c) リスクと危険の否定、d) 救済にしがみつく、e) 無関係または死への屈服。これらの同じ段階が衰退する帝国に適用され、この場合、米国はAIに大金を賭けており、中国はオープンウェイトモデルで米国の巨大な賭けを拡散しています。消費者は今のところ勝っています。

• 債務バブル： Bloombergでさらに読むことができますが、基本的に、国のGDPに影響を与えるほど巨大な相互依存的な賭けのシリーズです。うまくいかなければなりません、どれだけのIPが盗まれ、どれだけの嘘が語られなければならないかに関わらず。この時点では、賭け金は高すぎます。

[画像: The Circular AI Ecosystem and the Hazard of Becoming Trapped ...]

• 安全性： AIベンダーが他社や政府機関に侵入したことに対して責任を問われない「暴走AI」の物語に慣れてしまいました。なぜそうするのでしょうか？トレーニングデータが合法的に取得されていないことは公然の秘密です（そしてそれを証明する複数の集団訴訟があります）。さらに、AIによって人々が命を落とした複数のケースがあります。そして、「バイブ戦争」（yes, I actually put an em-dash there! 🙃）は数えていません。

• 雇用への影響： ソフトウェアエンジニアリングは、その性質上（トレーニングデータが豊富で、ツールがしばしば言語モデルの得意分野にあるため）、AI自動化にとって容易なターゲットです。UBI（ユニバーサル・ベーシック・インカム）とUHI（ユニバーサル・ハイ・インカム）の議論がありましたが、ショーを運営している億万長者の慈悲深さを見ると、私は全く信じていません。

[画像: Coding is NOT solved]

AIはホットですが、それは潜在的に私たち全員に影響を与える可能性があるからです。しかし、私たちは単純な事実を覚えておく必要があります。

人間は未来を予測することに関して根本的に欠陥がある。

最も悪名高いのは、Sカーブを理解するのが難しいことです（つまり、変化のペースは最初と最後が遅い）。

そして、著名な科学者たちが莫大な収入を得る職を離れて開発ペースを遅くしているため、AIが実際に変化をもたらすのにどれくらい時間がかかるか、あるいはまったくもたらさないか、確信が持てません。

What’s missing?

過去数年間のすべての漸進的な改善にもかかわらず、私たちはまだいくつかの根本的な問題を解決していません。

真にゲームチェンジャーだと私が考えるものの短いリストを以下に示します。

• 抽象的推論： ニューラルネットワーク（言語モデルに限らない）は、作り話（幻覚）をしがちです。手が5本以上あったり、ビデオが簡単に検出できたりした頃から業界の状態は大きく改善しましたが、真のシステム2に最も近づいたのは、モデルにコードをペアリングすることであり、それでもフィードバックループと人間の介入が必要です。

• 継続学習： 補助的なコンテキスト（例：スキル、グラウンディング、検索、さまざまなモデルアーキテクチャ）は長い道のりを歩んできましたが、モデルがリアルタイムで学習する状態からは程遠いです。拡張すると、次世代AIはより少ないサンプル、データ、繰り返しから学習する必要があります。

• 具体化（Embodiment）： ロボットのボディフォームファクターでは素晴らしい進歩がありましたが、AIがロボットボディに搭載され、リアルタイムで感覚刺激に反応したり、細かい運動制御を公開して「単純な」人間の家事をこなすのに十分な先見性を持って3D世界をナビゲートしたりするのに十分な速さと効率性がある状態にはまだなっていません。

• AI実行の経済性： ジェンスン・フアンは、「ギガワット」級のコンピューティングをインストールすることについて、温度を時速キロメートルで測定するのが普通であるかのように話しています！真実はこうです：私たちの脳は20ワットでAGIレベルの知能を提供しており、その問題を解決するまで、大規模な労働力変化を現実的に可能にするのに十分な水、電力、データセンターはありません。残念ながら、私たちはポストトゥルースの世界に住んでおり、ヒステリー、パーソナライズされたプロパガンダ、集団精神病が支配的な言説に過大な影響を与えているため、私たちは皆恐れ、気を散らされていることになっています。もし私たちが人間人口のわずかな割合でさえ置き換えることを期待しているなら、経済性はさらに意味をなさなくなります。ボットとは異なり、私たちの有機体は自然に戻り、金属とプラスチックで構築されたロボットよりもはるかに速く自然の再利用システムに参加します。時々、私たちは有限の資源を持つ小さな岩の上に住んでおり、その抽出がますます困難になっていることを忘れているように感じます。

これらすべては、AIが以下に使用されないという意味ではありません。

• ロボット兵士とロボット警官
• 新しい病気の生成
• 大量監視とパーソナライズされたプロパガンダの接続
• 企業の諜報活動とコンピューターシステムへの大規模な侵入
• etc.

真実はこうです：破壊を引き起こすためにAGIレベルの知能は必要ありません。現在の世代のAIは、ハーネス、ツール、スキルと組み合わせることで、間違った手に渡れば十分な損害を与える能力があります。

そして、これがすでに起こっていないと思っているなら、私は彼の地下室で無料のアイスクリームを配っている男を知っています！🙃

Closing thoughts

私はJevが、素晴らしいマーケティングが現実の前に fizzle した良い例だと思います。

• 役立つか？ はい。
• 関連性があるか？ はい。
• 革新的か？ コスト、品質、速度の三角形によります。
• 主張されたほど大きいか？ 今、答えがわかったはずです。

魔法の杖があれば、私たちは皆一歩引いて、最近の出来事の全体的な弧を見て、少し落ち着きたいです。赤信号は簡単に見えます。

• 名前の連呼： 新しい未知のものと信頼できる既知のものとの間に橋を架けます。
• 専門用語： 文脈を理解していないと、自分が愚かに感じさせます。
• 曖昧さ： あなたの脳に空白を埋めさせます。そして、あなたが楽観主義者なら、過度に興奮して最終的に失望するリスクがあります。
• 大きな主張： 大きな証拠が必要です。特にベンチマークが利害関係を持つ同じエンティティから来ている場合、あなたが実際にどのように使用するかを反映しない孤立したベンチマークを信頼しないでください。
• ドラマ： 論理的な技術的決定になりうるものに人間の感情を関与させます。「すべての宣伝は良い宣伝です」。

残念ながら、その船はすでに去ったのかもしれません。大量生産された合成コンテンツとパーソナライズされたプロパガンダの時代には、私たちは正気に戻って考えるにはストレスが多すぎるのかもしれません。

もし私たちが批判的思考を失い、最近見られたようなマーケティングと操作で感情を操られたとしたら、LLMは「システム2」なのかもしれません。

Hacker Newsで共有する

この作品が洞察に富むと感じたなら、あなたのサークルやソーシャルメディアで共有して、他の人にインスピレーションを与えてください。

Share

私の収益化戦略は、ほとんどのコンテンツを無料で提供することですが、これらの投稿は、下書き、編集、調査、イラスト、公開に数時間から数日かかります。私はこれらの時間をプライベートな時間、休暇、週末から捻出しています。この作業をサポートする最も簡単な方法は、それをいいね、購読、共有することです。もし本当に私を支援してコミュニティを盛り上げたいなら、有料サブスクリプションを検討してください。節約したい場合は、このリンクから20%割引で購入できます。感謝の印として、購読者はPro-Tipsセクションと私のオンラインブックReliability Engineering Mindsetにフルアクセスできます。あなたの貢献は、Service Level Calculatorのような私のオープンソース製品にも資金を提供します。また、友達を招待して無料アクセスを獲得したり、グループサブスクリプションで割引を受けたりすることもできます。

そして、すでに私をサポートしてくださっている方々、ありがとうございます。他の人々のためにこのコンテンツをスポンサーしてくださっています。🙌 質問やフィードバックがある場合、または何かをさらに掘り下げてほしい場合は、コメントでお知らせください。

No posts