6月19日、Maximilian Schreinerが「New benchmark exposes how badly AI struggles with real knowledge work」と題した記事を公開した。この記事では、現実のナレッジワークを模したベンチマークで最高性能のAIモデルでさえタスクの3%しか完全解決できないという調査結果について詳しく紹介されている。以下に、その内容を紹介する。
タスクの3%しか解けない——「現実のナレッジワーク」という壁
AI評価機関のArtificial Analysisが新たに公開したAA-Briefcaseベンチマークは、これまでのベンチマークとは一線を画す設計になっている。Slackのスレッド、メール、会議の文字起こし、大規模なデータエクスポートなど、数千の断片的なソースファイルから構成された「数週間分のナレッジワーク・プロジェクト」をAIに与え、その処理能力を評価するものだ。
結果は厳しい。トップ性能のClaude Sonnet 4（記事内では"Claude Fable 5"と表記）でさえ、全評価基準を満たしたのはタスク全体の3%にとどまった。 91タスクのうち31タスクでは、どのモデルも正答率50%を超えられなかった。
Anthropicのモデルがトップに立つが、完全解決は3%のみ。| 画像: AAII
「強いモデル」は別の場所で躓く
記事が指摘する点で特に興味深いのは、モデルの性能が上がるにつれて、エラーの性質が変わるという観察だ。
- 弱いモデル：関連ファイルを見落としたり、使い物にならない出力を返したりと、基本的な実行フェーズでつまずく。
- 強いモデル：表面上の要件はクリアするが、複数のソースを横断して情報をつなぎ合わせなければ見えてこない細部を見逃す。
後者の失敗は「静かに起きる」と記事は表現している。評価者が注意深く見なければ気づきにくく、実務で使った場合に発見が遅れるリスクをはらんでいる。これはある意味で、性能向上によって問題が解消されるのではなく、問題の種類がより発見しにくいものにシフトしていることを意味する。
コストの格差は800倍超
性能差と同様に目立つのがコスト面だ。1タスクあたりの処理コストは：
- DeepSeek V4 Flash：約**$0.04**
- Claude Fable 5：**$31超**
この差は800倍以上に達する。トップ性能モデルを使っても3%しか解けないという現実と合わせて考えると、コストパフォーマンスの観点から現実業務への適用判断は慎重に行う必要がある。
なぜこのベンチマークが重要か
既存のベンチマーク（MMLU、GSM8K等）の多くは、単一の質問に対して単一の答えを返すタスクを評価対象にしてきた。それに対してAA-Briefcaseは、実際のビジネス環境に近い「情報が散在した状態からの統合・推論」を測ることに主眼を置いている。
AIが「単発の問題を解く能力」と「実務的なナレッジワークをこなす能力」の間にはまだ大きなギャップがある——今回の結果はそれを数字で示した形だ。
詳細はNew benchmark exposes how badly AI struggles with real knowledge workを参照していただきたい。
