人気MCPサーバー36件をエージェントの使いやすさで評価した結果、3分の1がDまたはF評価だった
I graded 36 popular MCP servers on agent usability. A third got a D or F (tengli.dev)
要約
この記事では、人気のある36のMCP(Model Context Protocol)サーバーをAIエージェントの使いやすさの観点から評価した結果を報告しています。評価ツールmcpgradeを用いた分析の結果、プロトコル準拠はしていても、エージェントが正しく利用できないサーバーが多数存在することが明らかになりました。特に、パラメータの説明不足が深刻な問題であり、評価の低いサーバーの多くがこの問題を抱えていました。
全文翻訳
人気MCPサーバー36件のエージェント利用可能性を評価:3分の1がエージェントの利用に失敗している
2026-07-21
Agents
MCPEngineering
あなたのMCPサーバーは、仕様に100%準拠していても、エージェントには利用不能である可能性があります。
Model Context Protocol(MCP)の仕様は、ツールの転送方法を指示しています。JSON-RPCのフレーミング、機能ネゴシエーション、スキーマの形状などです。しかし、モデルが実際に提供されたものを利用できるかについては何も述べていません。モデルがカタログから正しいツールを選択できるか、引数を正しく埋められるか、あるいはリクエストごとに8kトークンを費やしてスキーマを解析するか、といった点には触れていません。
私は、本番環境のAIエージェントに、ファーストパーティおよびサードパーティのMCPコネクタを統合する仕事をしていますが、同じ失敗を繰り返し目にします。それは、すべてのコンプライアンスチェックをパスするサーバーであっても、モデルが間違ったツールを呼び出したり、引数を誤って生成したり、ツールを完全に無視したりするというものです。問題はプロトコル層にあるのではなく、誰もチェックしない部分、つまり説明、命名、スキーマ設計にありました。
そこで私は、MCPサーバーのためのLighthouseスタイルのスコアカードである mcpgrade を作成しました。コマンドは1つ、APIキー不要、数秒でレポートが生成されます。
npx mcpgrade --stdio "npx -y your-mcp-server"
そして、人気のある36件のサーバーにそれを適用しました。結果は芳しいものではありませんでした。
結果
ソート可能な完全なテーブルは tengli.dev/mcp-leaderboard.html で確認できます。概要(静的解析、スナップショット。(archived) とマークされたサーバーはメンテナンスされていない参照実装ですが、広くインストールされコピーされているため含まれています):
クラスのトップ(A): brave-search (archived), exa, google-maps (archived), slack (archived), perplexity-ask, @shopify/dev-mcp, @apify/actors-mcp-server, airbnb, figma-developer-mcp, tavily, gitlab (archived), elastic, shrimp-task-manager、その他 — 36件中15件。
クラスのボトム(D/F)、36件中11件 — しかもこれらはホビープロジェクトではありません: MongoDBの公式サーバー(66、エラー66件)、Notionの公式サーバー(62)、Airtable(69、エラー66件)、todoist-mcp-server(67、エラー110件)、GitHubのアーカイブされた参照サーバー(67、エラー44件)、そして最下位のfirecrawl-mcp(57、エラー134件)。
さらに2つのサーバー(Stripe、Supabase)はダミー認証情報ではスキャンできず、評価から除外されました。
発見1:エコシステムには未文書化パラメータの蔓延がある
D/F評価のほぼ全てのサーバーは、スキーマ、命名、トークンスコアは良好であるにもかかわらず、説明スコアがゼロです。一つのルールが支配的です:D004 — パラメータに説明がない。
firecrawl:134件のエラーのうち132件が未文書化パラメータです。url, formats, jsonOptions — モデルは名前と型を知りますが、それだけです。todoist:110件。MongoDBとAirtable:それぞれ66件。
根本原因は、ほぼ全てのソースコードに見られます:スキーマはzodまたはOpenAPI定義から生成されており、誰も.describe()を追加していません。型システムはurl: stringを知っています。モデルは、どのURLか、どのような形式か、どのような制約があるかを知る必要があります。あなたのスキーマジェネレーターは、ツールが持つ最も重要なシグナルを静かに剥ぎ取っています。
この投稿から何か一つ持ち帰るとすれば、それはこれです:サーバーを開き、descriptionのないパラメータの数を数え、修正してください。エージェントの信頼性にかけて、最もレバレッジの高い1時間になるでしょう。
発見2:カタログサイズではなく、ドキュメンテーションの規律の問題 — ただしサイズは規律を難しくする
このデータに対する私の最初の分析では、「小さなカタログが勝つ」という示唆がありました。95点以上のスコアのほとんどはツール数が少なく、24〜26個のツールを持つサーバーはD/Fに集中していました。しかし、shrimp-task-managerはA/96点、ツール数15件でスコアを記録しました — 丁寧に文書化され、タイトに命名され、全ての説明が明確でした。
したがって、正直なバージョンはこうです:十分に文書化された大きなカタログは可能ですが、それは稀です。 追加するツールが増えるごとに、書くべき説明が増え、衝突する可能性のある名前が増え、タイトに保つべきスキーマが増えます。規律はデフォルトではスケールしません。(サイズはどちらにしても負担になります:完全なカタログは全ての要求にシリアライズされます。)
発見3:コンプライアンスとユーザビリティは異なる軸である
最も更新されているサーバーが、最も使いやすいサーバーではありません。アーカイブされたSlack参照サーバー — 誰もメンテナンスしていないコード — は、かつて誰かが全てのツールと全てのパラメータを手作業で文書化したため、A/97点を獲得しています。一方、活発に開発されているいくつかの商用サーバーは、説明のないパラメータを ship しています。
エージェントのユーザビリティは、エンジニアリングの問題というよりは、ライティングの問題です。コンプライアンスチェッカーはそれを測定できません。それがmcpgradeが埋めるギャップです。
(一つの希望のある反論:これを書いている間に、context7は新しいバージョンをリリースし、欠けていたパラメータの説明を全て修正しました — Cから完璧な静的スコアにジャンプしました。ギャップが可視化されれば、エコシステムは速く動くことができます。)
発見4:静的スコアを実際のモデルでチェックした。恐ろしい数字は拒否率だ。
静的リンティングは代理ですが、私は--evalを構築しました。これは現実的な単一ステップのタスク(各タスクは全ての必須パラメータの具体的な値を含みます)を合成し、モデルに完全なカタログを表示し、正しいツールを選択し、有効な引数を埋められるかを測定します。キャリブレーションの詳細と方法論:docs/eval-calibration.md。コスト:小規模モデルでサーバーあたり数セント。
注目に値する2つの結果があります:
静的な発見はライブでの混乱を予測する。 十分に文書化されたサーバーでは、ツール選択の精度は100%でした。firecrawlでは84%に低下しました — そしてミスは、静的ルールがフラグを立てる命名衝突に正確に着地します:extract↔scrape, agent_status↔check_crawl_status, feedback↔search_feedback。
大きくて曖昧なカタログは拒否を壊す。 意図的に範囲外のタスクを与えられた場合、モデルは小さく十分に文書化されたカタログでは100%の確率で正しく拒否しましたが、firecrawlの26個の曖昧なツールでは50%の確率でしか拒否しませんでした。半分の確率で、モデルは「もっともらしい」ツールを「見つけて」呼び出しました。本番環境では、それはエージェントが何もすべきでない時に何かを行うことを意味します — おそらく最も危険な障害モードです。
「良い」とはどういうことか
トップスコアラーからのチェックリスト:
- 各ツールの説明は3つの質問に答える:何をするか、いつ使うか、何が返ってくるか。
- 各パラメータには、形式と1つの例値を持つ説明がある。
- 固定値セットは、プロセではなく
enumに配置する。 requiredは明示的に宣言する — たとえそれが空でも。- 命名規則は一つ、動詞_名詞スタイルで、一般的な動詞や似たような名前は避ける。
- エラーは、モデルが1ターンで自己修正できるように、欠落/無効なパラメータの名前を付ける。
あなたのサーバーで試してみてください
npx mcpgrade --stdio "node ./my-server.js" # ローカル stdio
npx mcpgrade https://my-server.example/mcp # ストリーミング可能なHTTP
npx mcpgrade <target> --fail-on error # CIゲート
npx mcpgrade <target> --eval # ライブモデルテスト(BYOキー;OpenAI互換エンドポイントならどれでも可)
24のルールがあり、それぞれに具体的な修正と、議論を歓迎する理由があります — ルールセットは意図的に意見が分かれるように設計されており、公の場で議論する方が良いでしょう。(mcp-lintや他のMCP QAツールとどう違うか — サイドバイサイド出力付き:docs/comparison.md)。
上記のサーバーのいずれかをメンテナンスしていて、スコアを修正した場合は、rescanイシューを開いてください — 喜んで再実行し、テーブルを更新します。あなたのサーバーへのPRは、私のルールセットとの議論よりも優れています。
私は大手テクノロジー企業で本番AIエージェント統合を構築しています。mcpgradeは個人的なプロジェクトであり、数十のMCPコネクタを統合した際の経験から得たものです。ランク付けされたサーバーとは一切関係ありません。