あなたのハードウェアで最先端AIを

dlab Open Source Week: 自前のハードウェアで最先端AIを動かす

私のクラスで、聞くのが怖かったけれどどうしても答えを知りたかった質問をしました。「卒業後に就職できなくなることを恐れている人は？」部屋にいた150人のうち、約80パーセントが手を挙げました。これは、約120人の学生が、自分たちの未来の居場所がないと信じていると、一つの動作で答えたことになります。

もう一つの話はメールで届きます。博士課程の学生たちが、卒業を待ちきれないと言っています。なぜなら、最先端の研究室に参加したいと考えており、学術界での研究は無意味だと結論づけたからです。彼らは大学を離れるまでの年数を数えています。

私は、両方の話が間違っていると信じています。そして、同じ理由で間違っています。彼らは、研究の未来は最もGPUを持っている者が所有すると仮定しています。私はその逆が真実だと考えています。学術界は、おそらくルネサンスを迎えようとしており、次の10年で最もエキサイティングな仕事は、限られたリソースにもかかわらず、大学の研究室で起こるでしょう。

今週は、その主張のための私たちの議論であり、言葉ではなくコードでそれを提示します。

この記事は6つのパートで構成されています。なぜ私たちの研究室のような場所が、今や論文ではなくエコシステムを発表するのか。このオープンソースウィークには何が含まれるのか。私が遭遇し続ける悲観論はなぜ間違っているのか。何を捨て、何にしがみつくべきか。それを手放したとき、研究はどのように見えるのか。そして、なぜルネサンスは学術界で起こるのか。

研究の単位はもはや論文ではない

この1年で何かが変わりました。そして、私たちのほとんどはその変化に合わせて習慣を更新していません。

エージェントが登場したことで、プロジェクトごとの研究は簡単かつ迅速になりました。かつて1年のエンジニアリングと実験を要した作業が、今では数週間、時には数日で完了します。私が理解するのに時間がかかった部分は次のとおりです。個々のプロジェクトが容易になると、断片的な作業はもはや良い研究ではなくなります。あちこちに論文があり、それぞれが自己完結しており、読者に自分で断片を繋ぎ合わせるように求めています。これは、あらゆる断片が高価だった世界のフォーマットです。

困難は消えませんでした。それは移動しました。論文を発表することはもはや難しくありません。一貫したエコシステムを発表することが難しいのです。

研究の単位はエコシステムです。

それがOpen Source Weekの目的です。私の学生と私が始めたとき、私たちは互いに積み重ねられるコンポーネントを構築することを目指しました。単に共存するだけでなく、各ピースが次のピースをより有用にするようにしました。私の研究室と私は、学術的な自由を最大限に活用して、最高のAIツールをすべての人に無料で提供することを信じています。大学でユニークにできることです。具体的には、オープンシステムを構築し、モデルをローカルで実行するコストを削減し、ローカルモデルを強化し、深層的かつ自律的な研究で最先端のパフォーマンスを再現するローカルシステムを構築し、ドメイン固有の強化学習環境を構築するための新しい方法を作成することを含みます。

これらすべては、3つの交差点に位置します。推論サービングフレームワーク、エージェントハーネスと作業、そしてそれらを自律的な研究システムに組み合わせることです。そして、すべてが使いやすい必要があります。なぜなら、経験豊富な研究者しか実行できないオープンソースは、オープンソースではないからです。アクセシビリティには2つの側面があります。必要なリソースと必要な専門知識です。そして、そのうちの1つだけがハードウェアによって固定されます。数個のGPU、またはMacBookがあれば十分です。専門知識の要件は設計上の問題であり、ユーザーが考える必要のないすべての技術的な詳細を抽象化することで解決します。そこに私たちのほとんどの労力が費やされ、それはエージェントハーネスで最もよく見られます。

オープンソースウィークが始まる前にすべてを明かすつもりはありませんので、現時点で言えることは以下の通りです。

もし私が、小さな研究室が今日何ができるかを尋ねられたら、3つのことを示します。最先端の自律研究、私が知る中で最も効率的なテストタイムスケーリング、そしてClaude CodeやCodexが実装しているものよりもはるかに効率的な自動コンパクションです。

ハーネスから始めてください。それが他のすべてを使い可能にするものだからです。

数時間、数日、あるいは数週間続くエージェントセッションについて聞いたことがあるかもしれません。ほとんどの人、特にエージェントを扱ったことのない人にとって、それがどのように達成されるかは謎です。あなたは私たちのハーネスをリポジトリに向けます。例えばCUDAカーネルを持つ推論フレームワークに、そしてカーネルを最適化するように指示します。そして、あなたは立ち去ります。それは、進歩が遅く、作業がフラストレーションになる部分を改善し続け、あなたが戻ってくるまで続きます。途中でフィードバックは提供されないため、エージェントは不明確または不確実な場合に自分で物事を理解しなければなりません。

それが、私たちの推論フレームワークのMacおよびMetal実装で行ったことです。一つのコマンドでエージェントをカーネルに解放しました。戻ってきたのは、Qwen 3.6 35B-A3Bモデルの量子化推論で、毎秒450トークン、高品位な出力で1.5ビット/重みでした。半精度モデルは各重みに16ビットを必要としますが、1.5ビットでは、同じモデルがメモリの約10分の1で実行され、リモートサービスではなくローカルプロセスのように感じられるほど高速に実行されます。

次に、この投稿のタイトルのテーマがあります。かつて手の届かなかったモデルが、あなたがすでに所有しているハードウェアに収まるようになると、何が起こるでしょうか？

パラメータ数270億のQwen 3.8は、人気のローカルモデルでした。私たちのフレームワークを使用すると、そのより大きな兄弟であるパラメータ数1250億のQwen 3.8 Flash Nextを、通常のデスクトップマシンにある24GB GPU 1枚で実行できます。AMD Strix、NVIDIA DGX Spark、または128GBメモリのMacBookを使用すると、DeepSeek V4.1（550Bモデル）を実行できます。コンテキスト長の管理も不要になります。圧縮とコンテキスト処理は自動で行われ、長いコンテキストでも推論は高速に保たれます。

次に、私が最も興奮している部分です。

これらのピースを組み合わせ、自律研究をさらに推し進めました。その過程で、これまで見たことのない精度を持つ新しい情報検索技術を構築しました。このシステムは、最先端の研究室の深層研究システムを凌駕し、Sakana AIのシステムやGoogleのScientistOneよりも優れた自律研究結果を生み出します。インターネットアクセスなしで、完全にローカルで実行されます。

使用は簡単です。私が実行した実験を例に挙げましょう。

私はエージェントに、バイオインフォマティクス分野で取り組む価値のある問題を見つけるように依頼しました。なぜなら、私はその分野についてあまり知らないからです。そして、基準は具体的でした。進歩は速くなければなりませんでした。評価は、私たちがすでに持っているハードウェアで実行できるほど安価でなければなりませんでした。そして、それは新しい問題でなければなりませんでした。過去4週間以内に公開されたアクティブな研究があり、その分野がまだ定まっていないものに取り組むことになります。エージェントは3つの問題を持って戻ってきました。私たちは最初の問題を取り上げ、約2時間で、ヒューリスティック手法の新しい下限を設定し、文献の中で最良のヒューリスティック手法を開発・テストし、AIモデルで訓練された高価な手法に近づき、この問題の評価に使用されているデータソースの課題を見つけました。全体の問題で最先端に到達したわけではありません。それでも、私の研究室のマシンでの2時間の作業で4つの結果が得られ、そのうちの1つは、この分野全体が依存している評価データに疑問を投げかけるものでした。

このシステムは、ブログ記事のために披露するデモではありません。私の学生たちは毎日それを使用しています。それがハーネス内に収まる前は、Slackボットの中にあり、ボットが時々ダウンするほど不安定でした。Slackボットがオフラインになったことを知らせるメールシステムはありませんでしたが、それに次ぐ最良のものがありました。私の学生たちはしばしば私に「ティム、Slackボットに何か問題があって、もう動かないんだけど。手伝ってくれる？」と書いてきました。共同作業の場では、会議を録画した後、それを使用しました。録画から研究の質問を生成し、議論されたアイデアを文献と比較して評価し、有望な方向性とそうでないものを分類しました。そして、Googleドキュメントを作成して学生に送りました。私はそれを2回の会議で行いました。学生たちはそれを気に入りましたが、私がパイプラインに2つの部分をコピー＆ペーストする手動のコンポーネントがあったため、煩雑で、私はそれを止めました。次の2回の会議では使用しませんでした。すると学生たちは、研究を理解するのに非常に役立つので、再びシステムを使用できるかと期待して尋ねてきました。

それが、私が信頼する研究ツールの唯一の評価です。あなたが提供するのをやめた後、人々がそれを求めてくるのです。

最後の部分は、私たちが最も頻繁に使用し、最も話さない部分です。会話が終わった後、エージェントをどのように機能させ続けるか？

私たちの答えは、CliffCompactionと呼ばれる自動コンパクション技術です。私たちは数ヶ月間研究室で使用しており、私は個人的には、それなしでエージェントを実行したくありません。Claude CodeやCodexの自動コンパクションよりもかなり強力です。この機能を持つセッションは数百万トークン実行され、私のいくつかは1億トークンを超えました。また、全体的なコストを約50パーセント削減します。私たちのパートナーの1社がそれを社内に展開し、AI予算の45パーセント削減を測定しました。AIに費やす金額のほぼ半分がなくなったのです。何も犠牲にすることなく。KernelBenchでは、はるかに複雑な手法、AlphaEvolveスタイルのアプローチ、階層メモリシステムなどを大幅に上回り、最先端に到達しています。私たちは強力なバージョンを公開します。すでに次の自動コンパクション技術の一部を開発しており、それはさらに優れています。

コスト/能力のトレードオフの両方の側面を同時に動かします。セッションはより長く実行され、請求書はより小さくなります。つまり、エージェントは自分が何をしているかを忘れなくなり、あなたは忘却のために支払うのをやめます。

長いセッション、より低い請求書。

それは、テストタイムスケーリングの部分につながります。なぜなら、それは同じトリックから派生するからです。自動コンパクションはコストを約50パーセント削減し、その節約分を再投資できます。1回のロールアウトの代わりに、同じ予算で複数購入できます。私たちは、複数のロールアウトを同じコストで大幅な改善に変える最初の実用的な方法を見つけました。まだ日常的なエンジニアリング作業には実用的ではありませんが、そのレベルへの飛躍は難しくないでしょう。しばしば過小評価されているローカルデプロイメントと組み合わせることで、誰もが単一の問題に対して多くの並列エージェントを実行できる未来につながると信じています。

なぜ悲観論は間違っているのか

では、なぜあの150人の学生のうち120人が恐れているのでしょうか？

3つのことが同時に起こっており、そのうちの1つだけがAIに関するものです。第一は、AIがすべての人の仕事を奪うという信念です。第二は、AIが仕事に何をするかについての理解不足です。第三は、伝染です。自己破壊的な考えは人から人へと広がり、同じ悲観的な言葉を10回聞いた人々の集まりは、11回目の手を生産するでしょう。

まず、AIが仕事に何をするかから始めましょう。それは、私たちが実際に推論できる部分だからです。

最初に犠牲になると予想されていた職業から始めましょう。ソフトウェアエンジニアが最初に職を失うという予測がありましたが、最近の傾向はその逆です。ソフトウェアエンジニアの需要はかつてないほど高まっています。優れたエージェントを持つソフトウェアエンジニアは、新しい製品を開発し、既存のシステムを維持・拡張し、はるかに効率的に行うため、企業はエンジニア一人当たりの支出からより多くの価値を得ます。仕事に求められるものが変わりました。強力なエージェントスキルと、しばしば以前よりも深い専門知識が必要です。「ソフトウェアエンジニア」という仕事はもはや存在しません。そして、その両方が手の届くところにあります。エージェントスキルは時間とともに習得でき、かつては数年かかった深い専門知識は、エージェントを使えば素早く習得できます。

私たちは、漸進的な改善の経済に生きています。次の電話は前のものほど良くはありません。改善は現実ですが小さく、毎年気づくのが難しくなっています。多くのサービスも同様に収束しています。LyftやUberでの移動は、以前と根本的に異なる体験ではありません。そして、おそらくそうなることもないでしょう。なぜなら、変更できることはあまり残っていないからです。同じものを少しずつ改善することには限界があり、誰かが次のバージョンにお金を払うのをやめるまでです。

進歩は2つの形態で起こり、それらは全く似ていません。ペアを改善/能力と呼びましょう。改善は、あなたがすでに持っているものを少し良くし、能力は、あなたが全く持っていなかったものを提供します。最初の種類だけを生産する経済は、たとえその中の誰もがどれだけ一生懸命働いても、天井があります。したがって、テクノロジーが後者の種類を提供するときに何が起こるかを見てみましょう。

自動運転車は明白な例であり、興味深いのはその到着がどれほど不均一になるかということです。ヨーロッパやアジアのような複雑な場所での運転は、数十年先です。しかし、グリッド構造で、交通がうまく制御されている場所（アメリカの大部分）では、それははるかに早く機能し、次の20年間で大きく変化するでしょう。ロボット工学も同様の道をたどるでしょう。家庭用ロボットは、洗濯機がそうしたように仕事を解放するでしょう。仕事を解放するポイントは、仕事そのものではありません。それは、その代わりに得られる人生です。

同じ論理が、あなたのポケットの中のデバイスにも当てはまります。次の電話は、チップがそれほど速くならなくなったため、それほど速くならないかもしれません。それは非常に異なるデバイスになるかもしれません。

AIが製品を悪化させると人々が持ち出すケースを取り上げましょう。それは正直に聞く価値があります。後付けのAIが製品の体験を破壊するというのが、今や陳腐な言葉になっています。そして、Microsoftの製品のAI機能は、ほぼ普遍的にひどく嫌われています。私は、その反応は正しいと思います。そして、それはテクノロジーではなく、統合に対する判決だと思います。うまく設計されたAI体験は、あなたの対話方法、働き方、そして一日の構造化方法を変えます。そのバージョンは存在し、うまく行われた場所ではその違いを感じることができます。ChatGPTがその代表例です。

一般人口におけるChatGPTの採用は、米国では遅れています。人々が追いつき、追いついたときに、それが彼らの人生に違いをもたらすことは否定できません。それは小さな違いではなく、構造的な違いです。知識の生産方法と消費方法は、永久に変わるでしょう。

その変化は混乱と複雑さをもたらし、私はそれを否定するつもりはありません。しかし、混乱が物語の終わりではありません。新しい体験や新しい製品への需要は収益を牽引し、収益は雇用を牽引し、雇用とは人々が雇用の安定と言うときに意味することです。悲観的な読み方は、混乱で止まり、その後に続くすべてを忘れてしまいます。

働き方を手放せ。あなた自身をではない。

来るべき未来は劇的な変化であり、多くの人々にとってそれは衝撃的で、失望的で、幻滅的なものになるでしょう。しかし、そうである必要はありません。

今すぐできる最も役立つことは、手放すことです。あなたが物事を行ってきた方法を手放してください。教えられた順序を手放してください。つまり、基本を学び、より一般的に物事を行う方法を学び、最終的に問題に取り組むという順序です。あなたの価値が、すでに学んだことの中に蓄えられているという考えを手放してください。なぜなら、あなたが学んだツールは、あなたがそれらを使用している間に書き換えられているからです。

物事のやり方を手放すことは、あなた自身を手放すこととは異なります。そして、その違いこそがすべてです。アイデンティティとは、まっすぐでなければならないものです。あなたがすること（what you do）は交渉可能ですが、あなたが誰であるか（who you are）はそうではありません。私たち一人ひとりは、関与し、人生を楽しむために物事を行います。そして人生が変わるとき、あなたの時間の過ごし方もそれに伴って変わります。新しい仕事であれ、家族を始めることであれ、あるいは他の多くのことであれ。しかし、人々は自分の個性に近づきます。彼らが立ち往生しているからではなく、それが好きだからです。それが彼らが誰であるかです。私たちは皆欠点があり、皆誰かを愛し、自分自身と他者にとって重要だと考えることがあります。テクノロジーはそれらに一切触れません。あなたが誰であるかに確固たる信念を持てば、他のすべては交渉可能になり、他のすべてを交渉できることが、次に何が来ても素早く適応することを可能にします。

では、実践において手放すとはどのようなものでしょうか？

あなたが学術関係者であれば、論文を手放さなければなりません。書くことや、それらを気にかけることを手放すのではありません。論文は依然としてコミュニケーションの方法です。手放さなければならないのは、論文を達成の単位、数えられ比較されるものとして扱うことです。エコシステムが研究の単位であるならば、他の人々がそれを基盤に構築できるものを構築することが、次の増分よりも重要でなければなりません。

あなたが学生であれば、まずスキルと基本的な知識を習得してから問題に取り組むという考えを手放さなければなりません。順序が逆転します。徒弟制度モデル（それが最良の場合の博士課程です）では、後で問題を解決するために教科書を読むのではありません。問題にアタッチし、その過程で理解と直感を学び、構築し、注意を払うべきは、今や調べられる部分ではなく、難しい部分に費やします。

難しい問題は、これまで以上に一般的になるでしょう。世界がより困難になるからではなく、困難でないものはすべて自動化されるからです。重要なスキルは、博士課程が教えるものであり、それ以外のほとんどが教えないものです。それは、解決しない問題に固執することです。

それが投資する価値のあるスキルセットです。

研究はどのようになり、どのように訓練するか？

エージェントが研究をこれほど変えるなら、ここから研究はどのようになり、学生をどのように訓練すべきでしょうか？

私は約1年間、その質問と共に生きてきましたが、明確な答えはありません。しかし、それは私の中で夜明けを迎えているようです。教員の職を開始することは、博士課程の学生として研究を行うよりも多くの責任を伴い、スキルに深く飛び込んでからそれを学生に引き渡すための余地が少なくなります。しかし、私はその時間を確保するために何かを犠牲にすることを決めました。それは、自分でエージェントを使い、エージェントとの研究がどのようになるべきかを考え、実際に生産的になるものを発見することです。そのトレードオフは、私が繰り返し行っているものです。

約1年間の経験の後、博士課程の学生が働くための特定の方法が現れました。例えば、学生は仕事の単位としてエコシステムに焦点を当てるべきです。学生は多くのプロジェクトを並行して行うべきです。学生は、まず問題に取り組み、進むにつれてそれを理解するという方法を受け入れるべきです。

私はCMUで来週から4週間の短期コースを、来学期にはフルコースを設計しており、これらすべてをYouTubeに公開して、誰もがこれらのエージェントスキルを構築できるようにすることを目指しています。

適切なエージェントスキルがあれば、未来は暗く見えません。エキサイティングに見えます。移行期間があり、それが快適であるとは偽りません。しかし、それが終われば、可能性は無限です。その興奮のすべてが続くわけではありません。エージェントを使い始めた最初の数週間は、ほとんどそうではありません。現実がやってくるのは後です。エージェントが実際に何を生み出せるかについての冷静な理解に達したら。そこから興奮は続き、研究の急速な進歩に変わります。

Open Source Weekは、その進歩がどのようなものかを示しています。

ルネサンスは学術界にある

では、その仕事はどこで行うべきでしょうか？

私の答えは、大学の研究室で、そしてあなたが思うよりも早くです。

その理由は、私が始めたものです。エージェントを使えば、多くのリソースを必要としない問題を見つけて取り組むことができます。それでも、その影響は計り知れません。その空間、つまり攻撃するのは安価だが解決するのは価値のある問題は広大であり、完全に争われていません。なぜなら、リソースを持つすべての人々が他の場所で競争しているからです。規模、数千のGPUを必要とする問題、最大の研究所だけが試みることができるもの。小さな研究所が代わりに持つものは、創造性、時間、そして最先端の研究室が取り組めない問題に取り組む自由です。それは、誰もが追い求めているものとは異なる種類の利点であることが判明します。

Open Source Weekは、この物語を信じることで何ができるかを示す私たちの試みです。そして、私たちはうまくやったと思います！学生たちとこれらすべてに取り組むのはとても楽しかったです。私たちは数個のGPUを持つ小さな研究室です。オープンソースウィークは1日遅れます（まだドラフトを仕上げています）。しかし、明日から2つのオープンソースプロジェクトと4つの論文を公開します。そして、それらはすべて一緒に、互いをより有用にする1つのパッケージとして到着するという点が重要です。

計画通りにはいきませんでした。この週がまとまったのは、学生と私が同じことを望んでいるからです。オープンソースに貢献し、人々が使用できるもの（必ずしも製品ではありませんが、それらのいくつかは研究製品です）を構築したい。しかし、新しい知識とテクニックを構築したいのです。私は4週間前にリリースしたかったのです。学生プロジェクトは1ヶ月以上前に完成しており、学生たちは数週間にわたる散発的な発表ではなく、すべてを1つのエコシステムとしてリリースできるように、辛抱強く待ってくれました。すべてをまとめることは、私が予想していたよりもはるかに圧倒的でした。6つのリリースを調整することは、研究を行うこととは異なるスキルであり、私が練習していないスキルです。それが価値があることを願っています。

これがうまくいけば、研究はこれまで存在しなかったレベルでアクセス可能になり、学生が今すぐ聞く必要があると私が強く信じていることを証明します。数個のGPUを持つ数人の人々が、最先端と競合できるシステムを構築できます。ルネサンスには誰かの許可は必要ありません。あなたはただ物事を実行できるのです。

だから次に私が150人の学生に、卒業後に職を得られないことを恐れている人はいるかと尋ねるとき、より少ない手が挙がることを願っています。仕事はそこにあります。学術界の未来は非常に明るく、私はこれからの数年間を楽しみにしています。

---