10月15日、Apple Machine Learningが「Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio」と題した記事を公開した。MLXとThunderbolt 5上のRDMAを活用し、Mac Studioのクラスター上で大規模LLMをローカル推論する技術的手法を詳細に紹介した内容だ。
データセンターの専用インフラなしに、手元のMacだけで1兆パラメータ規模のモデルをローカル推論する——その光景はすでに実現した。従来、RDMA（Remote Direct Memory Access）はInfiniBandやRoCE（RDMA over Converged Ethernet）を備えたサーバーラック上でしか使えない技術だった。それが2026年秋リリースのmacOS 26（Appleが2026年よりmacOSのバージョン番号をiOSと統一した体系で、本記事執筆時点の最新版は26.2）で追加されたThunderbolt 5向けRDMAドライバーにより、Thunderboltケーブル数本とコマンド数行で一般開発者が利用できるようになった。
約8000億パラメータのモデルをデスクで動かす
記事の核心は、816Bパラメータ（アクティブパラメータは42B）のMoE（Mixture of Experts）モデル「Muse Spark Open」を、Mac Studio 4台のクラスターで毎秒36トークン以上生成できることだ。
単体のMac Studio（最大512GB統合メモリ）では、Muse Spark OpenをネイティブのBF16精度で動かすのに1.6TB以上のメモリが必要で、そもそも搭載できない。4ビット量子化（NVFP4）で約493GBまで圧縮しても、中間計算用メモリを含めると単体では足りない。そこで複数台への分散推論が必要になる。同じ構成ではMistral Medium 3.5（128B）やQwen3-27Bといった密なアーキテクチャのモデルもベンチマークされており、モデル規模や構造の違いによる性能特性の差異も詳細に報告されている。
Thunderbolt 5上のRDMA：低レイヤーの仕組み
分散推論を支える技術的な肝がここにある。macOS 26.2で導入されたThunderbolt 5経由のRDMAドライバーを使い、MLX v0.30.1以降が新しい通信コレクティブ「jaccl」を提供する。jacclはMLXの分散バックエンドとして--backend jacclフラグで指定するもので、MLX分散処理ドキュメントに詳細が記載されている。
RDMAはCPUを介さずにリモートマシンのメモリへ直接アクセスできる技術で、レイテンシと帯域の両面でソフトウェア経由の通信を大きく上回る。帯域を倍増するためThunderboltケーブルを2本使い、Mac Studio同士を接続する構成が推奨されている。
実際のベンチマーク実行コマンドはこうだ：
mlx.launch --hostfile hostfile.json --backend jaccl --env MLX_METAL_FAST_SYNCH=1 -- \
mlx_lm.benchmark --model mistralai/Mistral-Medium-3.5-128B -p 8192 -g 128 -b 1 --prefill-step-size 8192 --pipeline
MLX_METAL_FAST_SYNCH=1はCPU（Thunderbolt通信を開始する）とGPU（計算を担う）間の同期オーバーヘッドを削減する実験的フラグだ。
パイプライン並列 vs テンソル並列：使い分けの実際
MLXは2種類の並列化スキームをサポートしており、その特性の違いが重要だ。
パイプライン並列化はモデルを「深さ方向」に分割する。1台目のMac Studioが前半レイヤーを処理し、出力を2台目に渡して後半レイヤーを処理する。実装がシンプルで、デコード速度は基本的に単体と同等だ。大きなコンテキスト（65,536トークン）ではチャンク（8,192トークン）ごとにパイプライン処理できるため、TTFT（最初のトークンが返るまでの時間）が最大約1.8倍高速化する。
テンソル並列化はモデルを「幅方向」に分割し、各レイヤーの計算自体を複数台で並列化する。各レイヤーごとに入力のブロードキャストと出力の集約が必要になるため、超低レイテンシの通信技術が必須だ。ここでThunderbolt RDMAが真価を発揮する。
Mistral Medium 3.5（128B）のような密なアーキテクチャはテンソル並列化でよくスケールする。一方でMuse Spark OpenのようなMoEモデルは、エキスパート出力の正規化処理が通信量を増やすため、大きなコンテキストでは2台構成のテンソル並列化が2台のパイプライン並列化より遅くなることもある。4台構成になると逆転する、という細かな使い分けが記事では丁寧に解説されている。
Thunderboltケーブルを2本つなぐことの効果も定量的に示されている。4台のM5 Ultra、65,536トークンのコンテキストでMuse Spark OpenのTTFTは、1本では約50.5秒、2本では40.6秒に短縮される。
M5 Ultra vs M3 Ultra：世代差の数字
単体性能の比較でも興味深い数字が並んでいる。M5 UltraはAppleが2025年に発表した最新世代のチップで、GPU Neural Acceleratorによる行列積演算の専用ハードウェア処理が強化されている。
- TTFT（コンピュート律速）：M5 UltraがM3 Ultra比で最大4.6倍高速化
- デコード速度（メモリ帯域律速）：M5 Ultraは1.2 TB/sの統合メモリ帯域（M3 Ultraは819 GB/s）を持ち、1.6倍高速
- 消費電力：M3 Ultraで約200W、M5 Ultraで約300W。記事は「一般的なトースターより少ない」と表現しており、トースターの定格消費電力（800〜1,200W程度）と比較して、この規模のAI処理としては驚くほど低い水準だということを強調している
ベンチマークはすべてmlx_lm.benchmarkコマンドで再現可能な形で公開されており、例えばQwen3-27Bの測定は：
mlx_lm.benchmark --model Qwen/Qwen3.8-27B -p 8192 -g 128 -b 1
で実行できる。
データセンター向けのインフラ技術（RDMA、テンソル並列化）が、Thunderbolt 5ケーブルとmlx.launchコマンド数行で一般開発者にも使える形になった。MLXの分散処理ドキュメントやMLXのGitHubも合わせて参照するとよい。
詳細はLocal and Distributed Large LLM Inference with MLX and RDMA on Mac Studioを参照していただきたい。
