ワットあたりの知能：ローカルAIの知能効率の測定

大規模言語モデル（LLM）のクエリは、主に中央集権的なクラウドインフラの最先端モデルによって処理されています。需要の増加は、プロバイダーがスケールアップできるよりも速いペースでこのパラダイムに負荷をかけています。2つの進歩が、このパラダイムを再考する機会を生み出しています。それは、小規模なローカルLLM（アクティブパラメータ数20B以下）が、多くのタスクで最先端モデルと同等の性能を達成できるようになったこと、そしてローカルアクセラレータ（例：Apple M4 Max）がこれらのモデルをインタラクティブなレイテンシでホストできるようになったことです。これにより、ローカル推論が中央集権型インフラからの需要を実用的に再配分できるかという疑問が生じます。これには、ローカルLLMが現実世界のクエリを正確に回答できるかどうか、そして電力制約のあるデバイス（例：ラップトップ）で効率的に処理できるかどうかの両方を測定する必要があります。 私たちは、モデルとアクセラレータの構成全体にわたるローカル推論の能力と効率性を統一的に測定する指標として、ワットあたりの知能（IPW）、すなわち単位電力あたりのタスク精度を提案します。私たちは、20以上の最先端ローカルLLM、8つのハードウェアアクセラレータ（ローカルおよびクラウド）、および100万件の現実世界のシングルターンチャットおよび推論クエリを評価します。各クエリについて、精度（最先端モデルに対するローカルLLMの勝率）、エネルギー、レイテンシ、および電力を測定します。 私たちは3つの主要な結果を見出しました。第一に、ローカルLLMはこれらのクエリの88.7%を正常に回答し、精度はドメインによって異なります。第二に、2023年から2025年までの経年分析では、アルゴリズムとアクセラレータの進歩の両方によってIPWが5.3倍改善し、ローカルでサービス可能なクエリのカバレッジは23.2%から71.3%に上昇しました。第三に、ローカルアクセラレータは、同一モデルを実行するクラウドアクセラレータよりも少なくとも1.4倍低いIPWを達成しており、ローカルアクセラレータの最適化には大きな余地があることが明らかになりました。 これらの発見は、ローカル推論がクエリの相当なサブセットに対して中央集権型インフラからの需要を意味のある形で再配分できることを示しており、IPWはこの移行を追跡するための重要な指標として機能します。