powered by TechFeed
表示モード
Deep Dive

MCPサーバー36万件を横断分析して判明したこと — 機能的に同等なツールペアの41%でコード複雑度が2.5倍以上異なる

10月9日、Tingxuan Tangらが「Understanding the Hierarchical Structure and Functional Landscape of the Model Context Protocol Ecosystem」と題した論文を公開した。数十万規模のMCPサーバーを横断的に収集・分類し、AIエージェントがツールを発見・比較しやすくする階層型タクソノミー「MCPacific」の構築と分析結果について詳しく報告している。

10月9日、Tingxuan Tangらが「Understanding the Hierarchical Structure and Functional Landscape of the Model Context Protocol Ecosystem」と題した論文を公開した。数十万規模のMCPサーバーを横断的に収集・分類し、AIエージェントがツールを発見・比較しやすくする階層型タクソノミー「MCPacific」の構築と分析結果について詳しく報告している。


MCPエコシステムの規模感と現状の問題

Model Context Protocol(MCP)は、Anthropicが2024年11月に公開したオープン規格で、AIエージェントが外部ツールやデータソースと標準化されたインターフェースで通信するための仕組みだ。公式仕様はJSON-RPC 2.0をベースとしており、ツール・リソース・プロンプトの3種類のプリミティブを定義している。LLMアプリケーションの普及に伴い、MCPサーバーの数は急増している。

しかし現状では、17の主要マーケットプレイスに368,754件のMCPサーバーリストが存在するにもかかわらず、各マーケットプレイスが独自の粗いカテゴリ分類しか持っていない。この状態では、AIエージェントも人間のユーザーも「ある操作を実現するツール」「それに代わる代替ツール」「代替ツール間の品質差」を把握することが難しい。

本研究はこの課題に正面から取り組んだものだ。


MCPacific:クロスマーケットプレイスの最大規模ツールマップ

研究チームが構築したMCPacificは、以下の規模を持つ。

  • 368,754件のMCPサーバーリストを収集(ユニークサーバーは124,267件)
  • 対象マーケットプレイス:17箇所
  • 静的解析により抽出したツール仕様:1,328,233件(7言語対応)
  • 整理した階層型タクソノミーのケイパビリティ数:58,915件

タクソノミーの構築には「LLM駆動の設計→テスト→改善」のイテレーティブなプロセスを採用し、全コーパスへのマッピングにはキャリブレーション済みの埋め込みルーティングを使用している。静的解析のアプローチはPython・TypeScript・Go等7言語に対応しており、ソースコードから直接ツール仕様を抽出することでマーケットプレイスのメタデータに依存しない分析を実現している。


分析で明らかになった3つの知見

1. MCPはデベロッパーツールだけではない

一般的にMCPサーバーは「開発者向けツール」のイメージが強いが、本研究では全ツールの85%が開発者向け以外のドメインに属することが判明した。MCPエコシステムの広がりは、一般的な認識を大きく超えている。

2. 代替ツールは広く存在するが分布が偏っている

98.5%のツールには少なくとも1つの代替ツールが存在する。しかし全ケイパビリティのうち約4分の1は、それを担うツールが1つしかない。つまり、大多数の機能は選択肢があるが、一部の機能は事実上ベンダーロックイン状態にある。

3. 機能的に同等なツールでも品質差が大きい

同じ機能を持つツールを比較した場合、以下の差異が見られた。

  • セキュリティアラートの有無
  • コードの複雑度
  • プロジェクトのメンテナンス状況

特にコードの複雑度については、機能的に同等なツールペアの41%で、複雑度が2.5倍以上異なる。全体の41%ではなく「同等機能を持つペアを比較した際の割合」である点に注意が必要だ。ツールを選ぶ際に機能の一致だけを見ていると、保守性やセキュリティリスクで大きな差が生じる可能性がある。


タクソノミー提示がエージェントのタスク完了率を向上させる

実用面での検証として、ツールの候補一覧をフラットなリストで提示する場合と、タクソノミー(階層構造)で提示する場合を比較している。

結果として、評価した4つのモデルすべてでタスク完了率が向上した。特に候補ツールが多い(crowded)ケースでは、Pass@0.75が最大12ポイント改善した。

この結果は、エージェントへのツール提示方法がパフォーマンスに直結することを示している。※編集部の考察:RAGシステムのリトリーバル設計やエージェントのツール選択ロジックを検討する際にも参考になる知見といえる。


エンジニアにとっての意味

MCPサーバーの選定は現状、マーケットプレイスの検索頼みになりがちだ。本研究が示すように、機能的に同等なツールペア間でもコード複雑度やセキュリティ状況が大きく異なる以上、単純なキーワード検索では不十分だ。MCPacificのようなツールレベルの横断的マップは、エージェントシステムのツール選択戦略を再考する上での基盤になりうる。

MCP関連の先行研究・周辺動向としては、ツールの安全性評価を扱ったMCP Security研究や、LLMエージェントのツール利用に関するToolBench等の研究も参照すると、本論文の位置づけをより立体的に把握できる。論文はarXiv上でPDF・HTML形式で公開されており、データセットや手法の詳細を確認できる。

詳細はUnderstanding the Hierarchical Structure and Functional Landscape of the Model Context Protocol Ecosystemを参照していただきたい。