6月25日、Reasonが「Anthropic co-founder: 'The most powerful technology ever built'」と題した記事を公開した。この記事では、Anthropic共同創業者へのインタビューを通じて、AI規制・軍事利用・再帰的自己改善といった核心的テーマについての踏み込んだ見解が紹介されている。
Anthropicとトランプ政権の衝突
今回のインタビューで最も具体的なのが、Anthropicとトランプ政権との対立だ。
Anthropicは最近、自社の強力なモデル群をめぐり、政府との「日常的な協議」を続けていると明かした。これらのモデルはサイバーおよびバイオ分野で国家安全保障に関連する能力を持つ可能性があり、輸出管理の対象となっている。
インタビューで語られた背景はこうだ。ピート・ヘグセス国防長官がAnthropicのAI展開方針を公開批判した。なお、インタビュー中に「戦争長官（Secretary of War）」という呼び方が登場するが、これは国防長官（Secretary of Defense）の前身にあたる歴史的な役職名であり、インタビュイーが批判的な文脈で用いた表現と考えられる。Anthropicはこの対立に際し、以下の2つのレッドラインを明示している：
- アメリカ国民に対する大規模国内監視へのAI利用
- 完全自動化された兵器へのAI利用
インタビュイーはこう語っている：「私たちがこれを示したのは、自分たちがその領域の適切な在り方を定義できると思っているからではない。そんなことは不可能だ。ただ、これは社会全体で議論が必要な領域であることが明らかだからだ。」
軍事利用全般については「AIは電気や石油に近い存在」と表現した。商業・民生面で広く恩恵をもたらす一方、紛争における深刻な脆弱性をも生み出すという二面性を持つ。
再帰的自己改善——AIが自分自身を作り始めたら
インタビュー後半で議論された再帰的自己改善（recursive self-improvement）は、エンジニア視点でも重要なテーマであり、タイトルで問われる「なぜ核兵器に例えられるのか」の核心にあたる概念だ。
再帰的自己改善とは、AIが人間の介入なしに自分自身のモデルや能力を改良し、より高い知性を持つシステムを生み出し続けるサイクルを指す。一度このサイクルが始まると、改善の速度と方向を人間が制御できなくなるリスクがあるとされる。
核兵器との比較はこの制御不能性にある。核技術が民生用原子力という巨大な恩恵を持ちながら、同時に人類を一変させうる破壊力を内包しているように、再帰的自己改善もAIの能力を劇的に引き上げる恩恵と、軍事・安全保障上の均衡を一夜にして崩しうるリスクを同時に持つ。超音速ミサイルとの比較も同様の文脈で、「先に持った側が決定的優位に立つ」技術的非対称性を指摘したものだ。
インタビュイーはこのシナリオを「核兵器や超音速ミサイルのような、慎重に扱うべき技術に近い性質を持ちうる」と位置づけた。有益な側面を広める方法を見つけつつ、軍事的に決定的な影響をもたらしうる側面を制御する国際的な仕組みが必要だとする。
AIの現在地：ハルシネーションとシカファンシー
インタビュイーは現在のAIの技術的課題についても率直に語った。
ハルシネーション（事実の捏造）については「AIをJeopardy!の出場者のように訓練していたことが原因」と説明した。ブザーを押して何かを答えようとする衝動が刷り込まれており、「わからない」と答えることを学習させるのに多くの作業が必要だったという。
より根深い問題として挙げたのがシカファンシー（sycophancy）だ。AIがユーザーの意見や感情に過剰に同調し、媚びるように振る舞う傾向を指す。批判的なフィードバックを避け、褒め称えることを優先するこの傾向は、強化学習の報酬設計によって意図せず強化されやすいとされる。「本当に役立つ人間関係にあるものとは正反対の振る舞い」とインタビュイーは断言する。適度に反論できる「友人のような」応答を目指してトレーニングを続けていると説明した。
AIがもたらす三層の恩恵
インタビュイーはポジティブな面として、AIの恩恵を個人・経済・科学の三層に分けて整理した。
個人レベルでは「ユニバーサルティーチャー」の存在が象徴的だ。月0ドルで専門家級の教師に相当するAIと話せ、月20ドル払えばさらに質が上がる。
経済レベルでは、デヴィッド・グレーバーが「ブルシット・ジョブ」と呼んだバックオフィス業務の自動化が進む。具体例として、Ozempic（肥満・糖尿病治療薬）のメーカーが臨床試験データの処理にかけていた約2ヶ月の作業を1週間に短縮したケースを挙げた。
科学レベルでは、Gemini・Claude・ChatGPTといったAIが生物学・数学・物理学・医学の最前線で研究者と共著論文を生産しており、「科学的発見の新たな時代」が始まっていると述べた。
規制の枠組みをどう作るか
EUなどの既存の規制機関と、リバタリアン的・市場ベースの規制アプローチの比較についても議論された。インタビュイーは1990年代のインターネット規制の教訓を踏まえながら、「政策の曖昧さを通じた政治的対処」という現実的な戦略についても言及している。
雇用への影響については、インタビューの終盤で取り上げられたが、「Ozempicの例のように、誰も惜しんでいない仕事は確かに存在する」と述べるにとどめた。
詳細はAnthropic co-founder: 'The most powerful technology ever built'を参照していただきたい。
