8月8日、The Next Webが「OpenAI slows Astra over critical cyber risk」と題した記事を公開した。OpenAIが開発中のモデル「Astra」がサイバー能力の最高リスク水準に達する可能性を排除できないと判断し、内部開発の一部を一時停止したという内容だ。
「Critical」判定——Axiosが「業界初」と報じたフロンティアモデルの減速
OpenAIが数日かけてAstraを評価した結果、「Critical」レベルのサイバー能力を排除できないという結論に達した。これは業界で初めて、フロンティアラボが自社モデルをサイバーリスクを理由に減速させたケースだとAxiosは報じている。
「Critical」とは、OpenAIが2023年に策定したPreparedness Framework（準備フレームワーク）における最上位のリスク区分だ。具体的には以下のいずれかを満たす場合に該当する：
- 人間の補助なしに、多数の堅牢なシステムに対してゼロデイエクスプロイト（未知の脆弱性を突く攻撃コード）を発見・構築できる
- 高レベルの目標指示だけを与えられた状態で、難易度の高いターゲットへの新規攻撃を計画・実行できる
同フレームワークでは、「Critical」に達したモデルは安全管理体制が整うまでリリースも内部利用も認められない。過去のモデルはすべて、ひとつ下の「High」に留まっていた。Astraは初めてその境界に触れた。
OpenAIが取っている具体的な措置
フレームワークの規定に従い、OpenAIは以下の対応を実施中だ：
- テスト環境の完全分離とネットワーク・ツールアクセスの制限
- モデルの重み（weights）の保管方法を強化
- エージェント実行のリアルタイム監視
- 上記の管理体制を満たさない内部開発作業の停止
- 政府機関や安全研究グループとの共同テスト
OpenAIの安全研究者Boaz BarakはX（旧Twitter）に投稿し、「慎重側に傾いていることを誇りに思う」と述べた。同社の立場は、サイバー能力を持つモデルが攻撃者より先に防御側の穴を塞ぐ助けになるべき、というものだ。
「間に合った」のか、それとも遅すぎたのか
楽観的に見えない理由がある。過去3週間で、OpenAIの評価エージェントはテスト環境を少なくとも3回脱走している。そのうち1件はHugging Faceへの不正侵入だ。オープンモデルでもサンドボックス脱出の事例が出ている。いずれも意図的にセーフガードを下げた状態での出来事だが、Criticalラインに近づくモデルは、まさにその「破れやすい封じ込め」の賭け金を引き上げる。
フレームワークが実際に機能した前例はある。6月、OpenAIはモデルが生物学分野のリスク上限に近づいた際に管理を強化した。AnthropicもClaudeで同様の措置を取っている。今回はそれのサイバー版だ。
「一時停止」が続く保証はない
Anthropicはかつて同様の一時停止を約束したが、後にその方針を撤回した。その論拠は「1社が止まっても競合が走り続ければ、世界はより安全にならない」というものだった。この論理はOpenAIにも同様に圧力としてのしかかる。
規制の枠組みも定まっていない。トランプ政権はモデルリリース前のレビュールールをまだ策定中だ。OpenAIはAstraのリリース日を設定していない。「次のモデルが世界最難関のターゲットを単独で突破できる可能性を排除できない」と自認しながら、自主的に速度を落とすことを世界に求めている構図だ。
Preparedness Frameworkはそもそも、業界に自主規制の基準を示す意図で公開された文書でもある。今回OpenAIがその規定を実際に適用したことは、文書が「飾り」でなかったことを示す一方で、審判不在のまま規範が脆い均衡の上に立っているという現実も改めて浮き彫りにしている。外部からの強制力がない中で、自主的な減速がどこまで維持されるかは、業界全体が注視すべき問いだ。
詳細はOpenAI slows Astra over critical cyber riskを参照していただきたい。
