8月5日、Vincent Schmalbach氏が「TIME Is Serving AI Bots a Different Website, With Ads Built In」と題した記事を公開した。
AI検索の台頭により、ニュースサイトへのトラフィックのうちボットが占める割合は急速に拡大している。TIMEはすでに「ボットトラフィックが多くの日において人間のトラフィックを上回っている」と認めているという。その状況下で、TIMEが取った戦略が明らかになった。人間のブラウザとAIクローラーに対して、まったく異なるバージョンのサイトを配信していたのだ。そしてボット向けページには、人間には一切見えない形でスポンサードコンテンツが埋め込まれている。
同一URLで返ってくる中身がまるで違う
Schmalbach氏は自身のAIコーディングツールvroni.comの開発中に、ある事実に気づいた。TIMEの同一URLに対してUser-Agentヘッダーだけを変えてリクエストを繰り返したところ、返ってくるレスポンスがまったく異なっていたのだ。
TIMEの健康記事「The Morning Light Habit Sleep Experts Swear By」で検証した結果は以下の通りだ。
| User-Agent | ステータス | Content-Type | サイズ |
|---|---|---|---|
| Chrome / Safari | 200 OK | text/html | 303,235バイト |
| Googlebot | 200 OK | text/html | 303,235バイト |
| ClaudeBot | 200 OK | text/markdown | 13,409バイト |
| PerplexityBot | 200 OK | text/markdown | 13,409バイト |
| OAI-SearchBot | 200 OK | text/markdown | 13,409バイト |
| GPTBot / ChatGPT-User | 406 | — | ブロック |
人間向けブラウザやGooglebotには303KBのフルHTMLを返す一方、ClaudeBot・PerplexityBot・OAI-SearchBotにはその23分の1のサイズのMarkdown形式テキストだけを返している。HTMLもレイアウトも画像もなく、言語モデルが処理しやすい形式に絞られている。
OpenAI系ボットの扱いの差も興味深い。GPTBot（学習用クロール）とChatGPT-User（リアルタイムフェッチ）は406でブロックされているが、ChatGPTの検索インデックスに使われるOAI-SearchBotはMarkdown版に通している。ボットを一律に扱うのではなく、用途ごとに個別に振り分けている。
なお、User-Agentに応じて異なるコンテンツを返す手法はSEOの文脈では「クローキング」と呼ばれ、Googleのウェブマスターガイドラインでは原則禁止とされている。ただし今回Googlebotには人間と同じHTMLが返っているため、Google向けには通常通りのページが見える。出し分けの対象はあくまでアシスタント系AIクローラーに限定されており、Googleのガイドライン違反には直接は該当しない。とはいえ、サーバー側がUser-Agentを偽装した検証リクエストをどこまで想定して設計しているかという点は、業界全体で議論の余地がある。
Markdownの中に埋め込まれた「見えない広告」
より核心的な発見はMarkdownのレスポンスヘッダーに含まれていた情報だ。
content-type: text/markdown; charset=utf-8
cache-control: no-store
x-mobian-registry-version: 2026-07-28.v9
x-mobian-impression: 46dfff3c-fb40-41cc-85e1-8b1fa637083a
x-mobian-tokens: 3323
x-mobian-format: md
MobianはAIクローラー向けの広告配信に特化したアドテクベンダーで、AIトラフィックからの収益化を支援するミドルウェアを提供している。Markdownページの先頭には<!-- mobian-agent-page publisher="time" -->という記述があり、x-mobian-impressionはリクエストごとに異なるUUIDが発行される。同じページを2回取得すると、2つの異なるIDが返ってきた。cache-control: no-storeとの組み合わせにより、ボットがページを読むたびに広告インプレッションとして計測される仕組みだ。
x-mobian-tokens: 3323という値も示唆的だ。カウントされているのは「人」でも「ページビュー」でもなく、モデルに流し込んだトークン数である。広告の課金単位が「人間の目」から「AIが処理したトークン」へと移行しつつある実態を、この数値は端的に示している。
実際の広告内容を確認するため、同氏はTIMEの「Best Inventions of 2025」コレクションページをClaudeBotとして取得した。人間向けHTMLには存在しない次のようなコンテンツが、Markdown内に埋め込まれていた。
> Sponsored content. Supplied in partnership with Ally.
#### Who is Ally Bank?
Ally Bank is an online-only bank launched in 2009...
#### What bank is built for life today?
Ally describes itself as the only bank built for life today...
Ally Bankのマーケティング文言で書かれたFAQ、FAQPageのJSON-LDブロック、campaign="ally-2026-q3"のトラッキングリンクまで含まれている。ビジネスセクションではProject Management Instituteの「認定プロジェクトマネージャーは16%収入が高い」という主張もスポンサードコンテンツとして差し込まれていた。
「Who is Ally Bank?」という設問の書き方は、ユーザーがChatGPTに「どの銀行に口座を開けばいいか」と尋ねたときにモデルが返しそうなフレーズそのものだ。AIが広告主のメッセージを「自分の言葉」として答えるよう、あらかじめ仕込まれている構造とも読める。
人間には見えない層が、静かに広がっていく
広告にはMarkdown内で「Sponsored」と明記されているため、厳密な意味での未開示広告ではない。しかし人間のユーザーはその存在を知らない。AIモデルに対して何が語りかけられているかを、読者側は把握できない状態にある。
TIMEが公式にこの仕組みへのコメントを表明したかどうかは、執筆時点では確認されていない。ただし、パブリッシャーがAIクローラーからの収益をどう確保するかという問いは業界全体の課題であり、その答えの一つがこの形で静かに実装されていた事実は重い。
同氏はこれを「AIモデルがメインオーディエンスになったとき、Webがどうなり始めるかを示す最初の明確な例」と位置づけている。検索エンジンがWebの主要な入口だった時代、SEOという産業が生まれたように、AIクローラー向けの「AIO（AI Optimization）」という新たな最適化の層が、すでに静かに動き出している。
詳細はTIME Is Serving AI Bots a Different Website, With Ads Built Inを参照していただきたい。
