7月19日、The Decoderが「AI text detectors struggle when language models mimic an author's style」と題した記事を公開した。学術論文分野では検出ツールが最大29%のAI文章を見逃し、最悪のケースでは48%が素通りするという実証研究の結果だ。「AIが書いた文章を検出できる」という前提そのものが、文体模倣という手法の前で大きく揺らいでいる。
「シンプルなAI文章」はほぼ完璧に検出できる
Epoch AIの研究チームは、現在広く使われているAIテキスト検出ツール3種——Pangram（v3.3.2）、GPTZero（model 2026-05-11-base）、Originality.ai（Turbo 3.0.2）——を対象に実証テストを行った。
テストには、99名の著者による495件の人間の文章（ブログ、フィクション、学術論文に均等配分）を使用。すべてChatGPTリリース前の2022年11月以前に書かれたものであり、LLMによる汚染が排除されている点は方法論として重要だ。
まず「普通のプロンプトで生成したAI文章」を検出する条件では、3ツールとも偽陰性率は最大0.7%とほぼ完璧な精度を示した。人間の文章を誤ってAI判定する偽陽性率も、PangramとGPTZeroはゼロ。ただしOriginality.aiは495件中19件を誤検知し、3.8%という無視できない偽陽性率を記録した。
文体模倣で検出率が急落、学術論文は最大29%が素通り
問題は、AIが特定の著者のスタイルを意図的に模倣したケースだ。
テストでは、複数のLLMに著者の実際の文章5本を参照させ、同じスタイルで新たな文章を生成させた。元記事では使用モデルが具体的に記載されているが、バージョン名の正確な表記については元記事原文を参照されたい。生成された文章のうち、平均して一定数が検出をすり抜けた（**偽陰性率約13%**）。
ツール別の偽陰性率は以下のとおりだ：
| ツール | 偽陰性率（スタイル模倣） |
|---|---|
| Pangram | 10% |
| GPTZero | 11% |
| Originality.ai | 18% |
出典: Epoch AI
ジャンル別に見ると格差が顕著だ。フィクションでの偽陰性率は全ツールで1〜5%にとどまった一方、学術論文では各ツールが24〜29%を見逃した。
最悪のケースでは、Pangramが特定モデルの生成した学術文章の48%を見逃し、Originality.aiは別モデルが生成した学術文章の39%を検出できなかった。学術論文はAI検出ツールが最も実用的に求められる場面であるにもかかわらず、最も検出が難しいジャンルとなっている。
検出手法が違っても弱点は同じ
3ツールはそれぞれ異なるアプローチを採っている。
- Pangram：人間とAIの文章で学習したニューラルネットワーク。ただし創業者自身が「判定根拠は追跡不可能なブラックボックス」と認めている
- GPTZero：単語選択の予測可能性とその文章内での変動幅を測定。LLMが人間より均一な文体で書くという仮定に基づく
- Originality.ai：学習データから得た統計パターンを参照
手法は異なるが、3ツールは同じ弱点を持つ。単純なプロンプトで生成した文章はほぼ確実に捕捉できるが、スタイル模倣に対しては大幅に精度が落ちる。
なお、以前にAuthors Guildが実施したテストでは、PangramとOriginality.aiが人間の文章を人間と正しく分類できることが示されていた。今回のEpoch AIの研究はその逆側、つまり「AI文章をどれだけ取りこぼすか」を埋めるデータとなっている。「人間の文章を誤検知しない」という指標だけでは、検出ツールの実力は測れない。
なお、元記事では研究データの公開リポジトリへの言及がある。正確なURLは元記事本文を確認されたい。
詳細はAI text detectors struggle when language models mimic an author's styleを参照していただきたい。
