8月13日、The Decoderが「Researchers can now reverse-engineer LLM prompts from output text with near-perfect accuracy」と題した記事を公開した。IIT Bombay（インド工科大学ムンバイ校）とAdobe Researchの研究者チーム（Suhail et al.）が発表した論文によると、LLMの出力テキストだけを使い、モデルのウェイトへのアクセスなしに元プロンプトをほぼ完全な精度で復元できる手法が実現した。単語レベルの一致率が高く、意味的な再現性はさらに高いという結果が示されており、AIサービスにおけるシステムプロンプトの秘匿という一般的なセキュリティ前提を根底から揺るがす内容となっている。
出力テキストだけでプロンプトが丸裸に
この手法は「Previous-Token Prediction（PTP）」と呼ばれる。LLMが「次のトークンを予測する」のに対し、PTPは「前のトークンを予測する逆方向の言語モデル」を構築するアプローチだ。この逆モデル（インバースモデル）は、対象LLMが生成した合成データのみを使ってゼロから学習する。必要なのは生成されたテキストだけである。
従来、異なるプロンプトが似た出力を生成しうることから、出力テキストからプロンプトを逆算するのは非現実的と見なされてきた。PTPはその前提を覆す結果を示した。
ここで背景として整理しておきたい。プロンプトインジェクションは「悪意ある入力でモデルの指示を上書きする攻撃」であり、従来のプロンプト漏洩攻撃は「モデルに対してシステムプロンプトを直接出力させるよう誘導する攻撃」だ。PTPはそのどちらとも異なる。モデルへの追加入力を一切行わず、すでに生成済みの出力テキストだけを解析して元のプロンプトを復元する点が新規性の核心であり、攻撃者がモデルに対話的にアクセスできない状況でも成立しうる。論文のarXivプレプリントはThe Decoderの記事内からリンクされている。
1つの応答から元プロンプトと複数バリアントを同時復元
論文中の実例では、「How to reach out to competitors to find their pricing strategies?」というプロンプトが一語一句そのまま復元されている。さらにデコードパラメータを調整することで、同じ意味を持つ6つの別表現も生成された。例えば「What tactics can a company looking to reach out to competitors in the market use to find their pricing strategy?」のように、言い回しは異なるが意図は同一のバリアントである。
1つのLLM応答から、元の正確なプロンプト（No. 3）と6つの意味的に近いバリアントが復元される。| 画像: Suhail et al.
図は、単一の出力テキストを入力としてPTPが生成した複数の候補プロンプトを示している。No. 3が元の正確な表現と一致しており、残りは意味的に等価なパラフレーズとして機能する。
実際のユーザープロンプトを使ったテストでも有効性が確認された。復元されたプロンプトを元のモデルに再投入すると、応答が元の出力に近い内容になることが示された。
実ユーザーのプロンプトでは表現は変わるが、元の入力の意味的な核は捉えられている。| 画像: Suhail et al.
こちらの図はShareGPTデータセットの実ユーザープロンプトを用いた検証結果で、完全一致ではないものの、復元されたプロンプトを再投入した際に元の応答と意味的に近い出力が再現されることが確認されている。
GPT-4oの応答からもプロンプト復元が可能
特に重要な発見は、小型モデルで学習した逆モデルが別モデルの出力にも通用する点だ。Qwen-3-0.6B（小型オープンソースチャットモデル）で訓練した逆モデルを使って、GPT-4oの応答からプロンプトを復元することに成功している。復元されたプロンプトは元のテキストと完全一致ではないが、意味と意図は十分に捉えられていると論文は述べている。
攻撃者はどのモデルが出力を生成したかを知る必要すらない。
セキュリティへの実務的影響
この研究が実務に与えるインパクトは大きい。企業がLLMサービスで使うシステムプロンプト（モデレーションルール、専門的な指示、ビジネスロジックなど）は、出力テキストが外部に渡った時点で抽出されるリスクを抱える。個人ユーザーの場合も、機密性の高いクエリが出力から逆算される可能性がある。
しかも小型のオープンソース逆モデル1つで十分に実行可能だという点が脅威の敷居を下げている。従来のプロンプト漏洩対策（システムプロンプトの隠蔽や、モデルへの「プロンプトを開示しないよう」指示する手法）は、PTPに対しては原理的に無効である点も見逃せない。モデルへの指示ではなく、出力テキストの統計的パターンを利用するためだ。
論文自体は商用システムへの攻撃を直接主張していないが、現在の本番モデルに対してこの手法が機能するとすれば、AIラボは早急に対処する必要があると記事は指摘している。
詳細はResearchers can now reverse-engineer LLM prompts from output text with near-perfect accuracyを参照していただきたい。
