Apple ML Research: Muse Spark OpenをMac Studio上のMLXで実行

コンテンツタイプ: 注目のハイライト ローカルおよび分散型大規模LLM推論をMac Studio上のMLXとRDMAで実行 2026年10月15日 Appleシリコン搭載Mac上のMLXは、AI研究者や開発者がプライベートな環境で最新モデルや手法をローカルで実験できるようにします。オープンソースの配列フレームワークは、Appleシリコンのユニファイドメモリアーキテクチャを活用し、誰でも自身のハードウェア上で新しい推論およびファインチューニング手法を実行し、他のAI技術を探求できるようにします。以前の投稿では、M5アーキテクチャとそのGPUニューラルアクセラレータの利点を強調しました。この投稿では、最新のフロンティアクラスモデルである、ほぼ1兆パラメータを持つMuse Spark Openを、最新バージョンのMLXを使用して、デスクから直接実行する方法を示します。MLXは本日リリースされました。4台のMac Studioのクラスタ上で、Muse Spark Openは毎秒36トークン以上を生成します（図1参照）。これは平均的な人間の読書速度を大幅に上回ります。単一のMac Studio（最大512GBのユニファイドメモリ）から開始し、Thunderboltドライバー上のRDMAを使用して複数のMacにスケールアウトする方法について、Mac Studioで実行できるモデルの範囲の概要を以下に共有します。 Muse Spark Open デコード速度 コンテキストサイズ 8,192トークン 図1: Muse Spark Openのデコード速度（トークン/秒）、M5 Ultra搭載Mac Studio、コンテキストサイズ8,192トークン。高いほど良い。3つの並列化スキームのパフォーマンスを報告します：2台のMac Studioコンピュータでのパイプライン並列化（2 M5 Pipeline）、および2台（2 M5 Tensor）と4台のMac Studio（4 M5 Tensor）コンピュータでのテンソル並列化。 MLXによる大規模言語モデルの実行 以前の投稿で説明したMLX LMパッケージを使用して、Mac Studio上でいくつかの人気のあるオープンウェイトLLMをベンチマークします。Mac Studioの2世代を比較します：最近リリースされたM5 Ultraと、以前の世代であるM3 Ultraです。M5世代は、多くの機械学習ワークロードに不可欠な専用行列乗算操作をサポートするGPUニューラルアクセラレータを特徴としています。3つのフロンティアクラスモデル（表1）を、さまざまなサイズ（パラメータ数、B）で評価します：新しくリリースされたMuse Spark Open（816 B）、Mistral Medium 3.5（128 B）、およびQwen 3.8（27 B）。Muse Spark Openはエキスパート混合（MoE）モデルであり、推論時にエキスパートの一部（したがってパラメータ）のみをアクティブに保ち、計算を削減します。これはNVFP4精度で評価されます。Mistral Medium 3.5とQwen 3.8は密なアーキテクチャであり、推論時にすべてのパラメータがアクティブになります。これらはネイティブ浮動小数点精度（それぞれFP8およびBF16）で評価されます。 モデル | 総パラメータ数 | アクティブパラメータ数 | ネイティブ精度 | 評価精度 Muse Spark Open | 816B | 42B | BF16 | NVFP4 Mistral Medium 3.5 | 128B | 128B | FP8 | FP8 Qwen 3.8 | 27B | 27B | BF16 | BF16 表1: この投稿で使用される言語モデル。モデルはさまざまな精度フォーマットで提供されます。Qwen 3.8とMistral Medium 3.5はネイティブ精度で評価し、Muse Spark Openは4ビット（NVFP4）精度で評価します。 評価では、さまざまなコンテキストサイズにわたる3つのメトリックを測定します：最初のトークンまでの時間（TTFT、秒）、生成スループット（トークン/秒）、およびピーク消費電力（ワット）。この投稿のすべてのパフォーマンス数値はmlx_lm.benchmarkで取得されました。たとえば、8,192トークンのコンテキストでQwen 3.8を実行し、128トークンを生成するには、次のコマンドラインを使用します：mlx_lm.benchmark --model Qwen/Qwen3.8-27B -p 8192 -g 128 -b 1 Mac StudioでのローカルLLMの一般的な用途は、プライベート環境でのエージェント型エクスペリエンスの実行であり、これにはしばしば大規模なコンテキストを必要とするエージェント型コーディングアプリケーションが含まれます。したがって、8,192および65,536のコンテキストサイズの両方でパフォーマンスを報告します。生のTTFTとデコードスループットは、それぞれ表2と表3に報告されています。 単一Mac Studioでの推論パフォーマンス Qwen 3.8 27BとMistral Medium 3.5 128Bは、512GBの単一Mac Studioに快適に収まり、大規模コンテキストサイズ（65,536トークン）の設定で最大68GBおよび158GBのRAMを使用します。図2では、M3 UltraとM5 Ultraの両方で、単一のMac Studio（512GB RAM）での推論パフォーマンスを比較します。最初のトークンまでの時間（TTFT）は基本的に計算バウンドであり、M5 Ultra GPUのニューラルアクセラレータがここで輝きます。GPUニューラルアクセラレータの高速行列乗算のための専用ハードウェアサポートは、TTFTのパフォーマンスを大幅に向上させ、M3 Ultraと比較して最大4.6倍高速になります（図2参照）。これにより、Mac Studio（M5 Ultra搭載）は、非常に大規模なコンテキストを扱うタスクにおいて、デスクトップの選択肢となります。生成速度（トークン/秒）はメモリ帯域幅バウンドです。M5 Ultraチップは1.2 TB/秒のユニファイドメモリ帯域幅を提供し、M3 Ultraの819 GB/秒から増加しています。ここでも、これは直接生成速度に反映されます（図3参照）。Mac Studio（M5 Ultra搭載）は1.6倍高速なトークン/秒を報告しています。 TTFT スピードアップ 単一Mac Studio、M3 Ultraに対するM5 Ultraのベースライン（1.0倍） 図2: M3 Ultraベースラインに対するM5 UltraのTTFT（最初のトークンまでの時間）スピードアップ。Qwen 3.8とMistral Medium 3.5、コンテキストサイズ8,192および65,536トークン。M5 Ultra GPUニューラルアクセラレータは、計算バウンドワークロードで輝きます。 デコード スピードアップ 単一Mac Studio、M3 Ultraに対するM5 Ultraのベースライン（1.0倍） 図3: M3 Ultraベースラインに対するM5 Ultraのデコードスピードアップ。Qwen 3.8とMistral Medium 3.5、コンテキストサイズ8,192および65,536トークン。デコードはメモリ帯域幅バウンドであり、M5 Ultraの1.2 TB/秒（M3 Ultraの819 GB/秒に対して）は主要な利点です。 Mac StudioはLLM推論においてもエネルギー効率が高いです（図4参照）。Mac Studio（M3 Ultra搭載）のピーク消費電力は約200W、Mac Studio（M5 Ultra搭載）は約300Wです。これは一般的なトースターが使用する電力のわずかな割合です。より重要なのは、この控えめな電力消費量により、Mac Studioを家庭やオフィス環境のあらゆる場所でAI作業に展開できるということです。 ピーク消費電力 コンテキストサイズ 65,536トークン 図4: Qwen 3.8とMistral Medium 3.5の推論中のピーク消費電力（ワット）、コンテキストサイズ65,536トークン、M3 Ultra搭載Mac StudioおよびM5 Ultra搭載Mac Studio。 QwenとMistralモデルは両方とも512GB RAMの単一Mac Studioに収まりますが、Muse Spark Openは、モデルパラメータだけでもネイティブ精度（BF16）で1.6TB以上のRAMを必要とします。4ビット量子化（NVFP4）フォーマットでは、モデルのメモリフットプリントは約493GBに低下します。推論中の追加計算に必要なメモリを加えると、モデルは単一のマシンに収まりません。複数のMac Studioコンピュータにまたがる並列化が必要です。 2台のMac Studioコンピュータにまたがるパイプライン推論 Muse Spark Openのような非常に大規模なフロンティアクラスモデルは、単一のマシンには収まりません。しかし、モデルの半分を1台のMac Studioに、もう半分を別のMac Studioに格納することは可能です。その後、2台のコンピュータ間でモデルの推論をパイプライン化できます。最初のMac Studioはモデルレイヤーの最初の半分を実行し、その出力を2番目のMac Studioに送信します。2番目のMac Studioは残りの半分を実行します。この並列化スキームはパイプライン並列化と呼ばれます（図5参照）。実装は非常に簡単で、最小限のコード変更しか必要としません。 大規模モデルを複数のコンピュータに分割 図5: MLXは、大規模モデルを複数のコンピュータに分割するための2つのアプローチをサポートします。パイプライン並列化では、モデルは深さ方向に分割され、テンソル並列化では、モデルは幅方向に分割されます。MLXは、MLX分散ドキュメントに記載されているように、さまざまな並列化スキームをサポートします。これらは高速なマシン間通信に依存します。macOS 26.2はThunderbolt 5 over RDMAの低遅延ドライバーを導入しました。MLX（v0.30.1以降）はこのドライバーの上に構築され、さまざまな並列化スキームのための新しい通信コレクティブ（jaccl、「ジャッカル」と発音）を提供します。私たちのセットアップでは、2台のMac Studioは2本のThunderboltケーブルで接続されており（リンク帯域幅を倍増させるため）、Thunderbolt over RDMAリンクを提供します。