ワットあたりの知能：ローカルAIの知能効率の測定
Intelligence per Watt: Measuring Intelligence Efficiency of Local AI (arxiv.org)
要約
本論文では、ローカルAIの知能効率を測定するための新しい指標「ワットあたりの知能（IPW）」を提案しています。LLMのクエリ処理が中央集権型クラウドインフラに集中する問題に対し、ローカルデバイスでの推論の可能性を探求します。ローカルAIは多くのクエリを正確に処理でき、クラウドよりも電力効率が高いことを示しています。
全文翻訳
タイトル: Intelligence per Watt: ローカルAIの知能効率を測定する
著者: Jon Saad-Falcon, Avanika Narayan, Hakki Orhun Akengin, J. Wes Griffin, Herumb Shandilya, Adrian Gamarra Lafuente, Medhya Goel, Rebecca Joseph, Shlok Natarajan, Etash Kumar Guha, Shang Zhu, Ben Athiwaratkun, John Hennessy, Azalia Mirhoseini, Christopher Ré
要約: 大規模言語モデル（LLM）のクエリは、主に中央集権的なクラウドインフラの最先端モデルによって処理されています。需要の増加は、プロバイダーがスケーリングできる速度よりも速く、このパラダイムに負担をかけています。2つの進歩が、このパラダイムを見直す機会を生み出しています。それは、小規模なローカルLLM（アクティブパラメータ数20B以下）が、多くのタスクで最先端モデルに匹敵する性能を達成していること、そしてローカルアクセラレータ（例: Apple M4 Max）がこれらのモデルをインタラクティブなレイテンシでホストできることです。これにより、ローカル推論が中央集権的なインフラからの需要を実用的に再配分できるかという疑問が生じます。これには、ローカルLLMが実際のクエリに正確に回答できるかどうか、そして電力制限のあるデバイス（例: ラップトップ）で効率的に回答できるかどうかの両方を測定する必要があります。私たちは、モデルとアクセラレータの構成全体にわたるローカル推論の能力と効率を統一的に測定する指標として、Intelligence per Watt（IPW）、すなわち単位電力あたりのタスク精度を提案します。私たちは、20以上の最先端ローカルLLM、8つのハードウェアアクセラレータ（ローカルおよびクラウド）、および100万件の実際のシングルターンチャットおよび推論クエリを評価します。各クエリについて、精度（最先端モデルに対するローカルLLMの勝率）、エネルギー、レイテンシ、および電力を測定します。私たちは3つの主要な結果を見出しました。第一に、ローカルLLMはこれらのクエリの88.7%を正常に回答し、精度はドメインによって異なります。第二に、2023年から2025年までの経時分析では、アルゴリズムとアクセラレータの両方の進歩によりIPWが5.3倍改善し、ローカルでサービス可能なクエリのカバレッジが23.2%から71.3%に増加しました。第三に、ローカルアクセラレータは、同一モデルを実行するクラウドアクセラレータよりも少なくとも1.4倍低いIPWを達成しており、ローカルアクセラレータの最適化のための大きな余地があることを明らかにしています。これらの発見は、ローカル推論がクエリの相当なサブセットに対して中央集権的なインフラからの需要を意味のある形で再配分できることを示しており、IPWはこの移行を追跡するための重要な指標として機能します。
| コメント: | Conference on Neural Information Processing Systems (NeurIPS) 2026 |
| 科目: | Distributed, Parallel, and Cluster Computing (cs.DC); Artificial Intelligence (cs.AI); Computation and Language (cs.CL); Machine Learning (cs.LG) |
| 引用: | arXiv:2511.07885 [cs.DC] |
| (またはこのバージョンについては arXiv:2511.07885v7 [cs.DC]) | |
| https://doi.org/10.48550/arXiv.2511.07885 DataCite を介した arXiv発行の DOI |
投稿履歴
From: Jon Saad-Falcon
v1 Tue, 11 Nov 2025 06:33:30 UTC (5,373 KB)
v2 Fri, 14 Nov 2025 00:53:12 UTC (5,538 KB)
v3 Thu, 26 Feb 2026 17:09:14 UTC (5,538 KB)
v4 Thu, 21 May 2026 03:40:21 UTC (5,134 KB)
v5 Fri, 7 Aug 2026 02:40:27 UTC (5,621 KB)
v6 Sun, 6 Sep 2026 05:29:37 UTC (5,608 KB)
v7 Thu, 1 Oct 2026 15:46:15 UTC (5,608 KB)