arXiv論文の65%にAIフラグ、数学はわずか0.7% — 「偽陽性率0.4%」を基準に12,750本を実測した研究が示す限界と誠実さ

7月21日、unsloth.run（AI関連ツールを開発・公開している独立系プロジェクト）が「How we measured AI writing across arXiv, and where the measurement breaks」と題した記事を公開した。arXivに投稿された論文12,750本を対象にAI生成テキストの割合を実測し、コンピュータサイエンス分野では**直近四半期で65%にAIフラグが立つ一方、数学ではわずか0.7%**にとどまるという対照的な結果を報告している。この落差の背景に何があるのかを含め、手法と誠実な限界を詳細に論じた内容だ。

「偽陽性率を基準にする」という設計思想

多くの「AI検出○%」系レポートが信用されない理由は単純だ。検出器自体が一定割合の人間の文章を誤検知するにもかかわらず、その数字に触れないまま結果だけを報じるからだ。

unsloth.runはこの問題を正面から設計に組み込んだ。同チームのAI検出器（詳細はこちら）は学術文書向けに調整されており、**偽陽性率0.4%**というしきい値を基準に据えた。つまり、ChatGPT登場前（2021〜2022年）の論文をグランドトゥルース（正解データ）として扱い、その99.6%が「人間が書いた」と正しく判定されるラインをフラグ判定の閾値に設定した。このしきい値ではAI学術文のリコール率は85%となる。

2021〜2022年の論文が「内部コントロール」として機能するため、もし検出器のアーティファクト（偽の傾向）が原因であれば、古い論文も現在と同程度にフラグが立つはずだ。しかし実際には、2021〜2022年のフラグ率は分野によって0〜3.5%程度にとどまっており、2023年以降の急上昇とは明確に異なる推移を示している。

結果：コンピュータサイエンスで65%、数学はわずか0.7%

2023年1月から2026年7月にかけて、10分野・月約25本ずつサンプリングし、合計12,750本を分析。各論文はversion-1のPDFを使用（改訂版による汚染を防ぐため）。アブストラクトではなく本文全体をスコアリングしている点も重要で、同一論文でもアブストラクトは20%以下なのに本文は70%超というケースが確認されている。

フラグ率はChatGPT登場後に急上昇し、**直近四半期では約32%**、2026年初頭にはピーク39%近くに達した。分野別の差異が大きく、以下の表がその全容を示す。

「LLM以前の対照値が高い分野ほど上昇も大きい」という解釈を封じるため、対照値と上昇幅の相関も確認済みで、その相関は見られないと報告している。

数学の0.7%をどう読むか：検出器の盲点

数学の低さは「AIをほぼ使っていない」証拠にはならない、という点がこの研究の誠実さを示す核心部分だ。

数学論文は数式と定理・証明の構造が主体で、数式と参照文献を取り除くと残る散文は少量かつ独特だ。検出器が学習した「科学英語の散文」とは分布が異なるため、モデルで大量に補助された論文でもスコアが低く出る可能性がある。つまり数学の低スコアは「採用率が低い」か「検出器がその文体に対してほぼ機能していない」かの二択であり、データ単体では判別できない。

レポートはこれを明示した上で、散文が多い分野（フラグ率が高い分野）では分布外問題が少なく、集計トレンドはそのノイズで説明できないと結論づけている。低スコア分野については採用率の下限値として読むべきとしている。

その他の限界

• 「フラグ＝AI作成」ではない：検出器はテキストが「機械的に書かれたように読めるか」を確率推定するものであり、軽微な編集済み文書と完全生成文書を区別できない。個人の帰責判断には使えない。
• 報告値は下限：検出器がカバーしていない生成モデルや使用パターンが存在するため、実際の割合は報告値以上である。
• コントロールサンプルの粗さ：分野ごとのコントロールは200本。0.4%という率では10分野合計で8本しかフラグが立たず、分野別の対照値はあくまで近似値にとどまる。

検出器はarXiv論文のチェックや任意のテキスト入力で無料で試せる。

詳細はHow we measured AI writing across arXiv, and where the measurement breaksを参照していただきたい。