7月19日、Toward Data Scienceが「Your AI Agent Passed Every Eval. Finance Still Killed It.」と題した記事を公開した。品質評価を全項目でクリアしたAIエージェントが、コスト面を理由にCFOに却下された実例を通じ、エージェント評価フレームワークに欠けている「単位経済性」の計測という盲点について詳しく論じている。
「全指標グリーン」でも潰されたエージェント
ある中堅SaaS企業が、請求・アカウント対応チケットを処理する顧客オペレーション向けAIエージェントを構築した。タスク完了率、忠実性、検索精度、ツール呼び出し精度、レイテンシ、ハルシネーション率——12指標すべてが目標値内に収まっていた。エージェントは、評価ハーネスが追跡するあらゆる尺度で「正常稼働中」だった。
しかしCFOがレビューで示した数字はシンプルだった。エージェントが試みて失敗したチケットを含む、1件あたりの解決コストが、人間がこなしていたときより高い。
エンジニアリング責任者は「品質指標はすべてグリーンだ、エージェントのほうが正確だ」と反論した。それは事実だった。だがその場では無意味だった。エージェントは正確であり、かつ経済的に赤字だった。そして評価ハーネスには、その後半を見る指標が一つもなかった。
評価ハーネスが見ていたもの、見ていなかったもの
記事の筆者はこのハーネスを自ら構築した人物だ。12指標はエージェントが「正しく動いているか」を問う——つまりすべてが品質指標であり、経済指標は一つも含まれていない。
当初それは問題に見えなかった。品質が難問であり、コストは請求ダッシュボードを見ればいつでも読み取れる「運用上の細部」に思えた。トークンコストは四半期ごとに下がっていた。
ところが現実はこうなった。トークン単価は下がったが、1件の解決あたりのトークン数が増えた。 2026年時点のエージェント1件処理は、モデルへの単一呼び出しではない。プランニング、複数のツール呼び出し、複数の推論パス、自己批評ループ、失敗後のリトライ、最終合成——これだけのステップを経る。単価の下落を、消費量の増加が上回った。
「1件あたりの成功コスト」という本当の指標
筆者が「評価ハーネスに入れておくべきだった」と結論づけたのが、Cost per Successful Outcome（成功アウトカム1件あたりのコスト）だ。
- コスト／コール数：簡単だが誤解を招く
- コスト／成功アウトカム数：計算は難しいが正直な数字
SaaS企業のケースを、記事内の数字で再現する。
| 項目 | 数値 |
|---|---|
| エージェントの1試行コスト（完全負荷） | $3.40 |
| 解決率 | 71% |
| エスカレーション率 | 29% |
| 1,000チケット処理の総エージェントコスト | $3,400 |
| 290件のエスカレーション（人間対応 $4.20/件） | $1,218 |
| 合計コスト | $4,618 |
| 人間だけで処理した場合のコスト | $4,200 |
エージェント導入で10%コスト増になっていた。
さらに重要なのが、成功アウトカム1件あたりの真のコストだ。$3,400（エージェント総コスト）÷ 710件（成功解決数）＝**$4.79/件**。人間は$4.20/件。エージェントのほうが正確で、かつ59セント高かった——失敗分のコストが成功分に乗っているからだ。
なぜこの指標が計算されないのか
第一の理由：失敗試行コストの配賦。 失敗した試行のコストは、成功した試行に乗せなければならない。ほとんどのチームはコール単価を計測して「問題ない数字」を見て終わる。解決率が下がるほど、コスト/コールとコスト/成功の乖離は広がる——差が2倍以上になることもある。
第二の理由：エスカレーション時の二重払い。 エージェントが試みて失敗した場合、人間のコストを「代替」するのではなく「追加」する。一定の解決率を下回ると、エージェントは人間ワークフローへの「課税」になる。
第三の理由：アウトカムの価値が数値化しにくい場合がある。 サポートチケットなら人間対応コストと比較できるが、リード選定や契約条項ドラフトは価値の定量化が困難だ。だからといって計測を避けると、CFOレビューで初めて発覚する事態になる。
生存できたエージェントの条件
生産稼働から1年以上生き残るエージェントは、品質指標が最高のものではなく、成功コストがアウトカムの価値を十分に下回っているものだ。
SaaS企業が取った対策は3つ。
- 推論コストの削減：簡単なチケットでは深い推論チェーンを削減し、繰り返しのツール呼び出し結果をキャッシュ。1試行$3.40→$2.30に削減。
- 解決率の向上：成功件数を増やし、同じコストをより多くの成功に分散させる。
- デプロイ範囲の絞り込み：エージェントが経済的に優位なチケット種別（請求系）のみに限定し、複雑な紛争案件は最初から人間に振る。
この結果、成功コストは$4.79から**$3.10に下がり、$4.20の人間コストを下回った。エージェントは約25%安い**ワークフローとして存続した。
なお、記事では「コスト削減のためにナイーブな分類器で難しいタスクを安いモデルに振ると、品質問題が再発する」という落とし穴についても言及しており、別稿で詳しく論じている。コストレバーと品質レバーは連動しており、片方だけを強く引けばもう片方が動く。
逆方向にも使える
この指標はエージェントを「殺す」ためだけにあるわけではない。記事では対照的な事例も紹介されている。法務チームが構築した契約リスク条項レビューエージェントは、1試行$18という数字からコスト超過として予算削減候補に挙げられていた。しかし成功アウトカム1件あたりの価値（弁護士が手動でレビューするコストと比較）と照らし合わせると経済的に正当化できた——というケースだ。コスト/コールのダッシュボードだけ見ると、価値あるエージェントを誤って切る判断になる。
品質評価と経済評価を別々のダッシュボードで管理しているチームは、どちらか一方しか見えていない。成功コストを品質指標と同一の制約として最適化することが、2026年時点でエージェントを生産稼働させ続ける実際のエンジニアリング課題だ、というのが記事の結論である。
詳細はYour AI Agent Passed Every Eval. Finance Still Killed It.を参照していただきたい。
