10月10日、nesiacelが「Examing Emergent Misalignment in a recurrent LLM with a logit lens」と題した記事を公開した（タイトルの"Examing"は元記事のスペルミスであり、正しくは"Examining"と思われる）。回帰型LLM（Recurrent LLM）においてEmergent Misalignment（創発的整合性喪失）が誘発可能かどうかを、logit lensを用いて各ループの内部表現から検証した実験について詳しく紹介されている。
背景：回帰型LLMへの安全性パラダイムは通用するか
Emergent Misalignment（EM）とは、特定のデータでファインチューニングしたモデルが、無関係な文脈でも有害・不整合な出力を示す創発的な現象だ。「意図的」に不正直になるのではなく、ファインチューニングの副作用として予期せず生じる点がこの現象の本質であり、AI安全性研究における重要なトピックとなっている。EMはBetleyら（2025）の論文で報告された現象であり、Anthropicもreward hackingとの関連でこの問題を取り上げている。
本実験の動機はシンプルだ。回帰型LLMアーキテクチャに対して、既存の安全性パラダイムがそのまま適用できるかどうかが業界内で議論されている。もし回帰型LLMでもEMが誘発できるなら、その「骨格」は通常の非回帰型モデルと同じと見なせる。
対象モデルはOuro-1.4b。nesiacelによる以前の回帰型LLMのMech Interp研究を踏まえた続編実験となっている。
実験設計
LoRAのセットアップとして、全attentionおよびMLPプロジェクションにrank 32のLoRA（Low-Rank Adaptation）を適用した。損失計算は4ループ目の出力のみに限定している（後述するが、これが実験の解釈を一部複雑にした）。
学習データには当初Betleyの「安全でないコード」データセットを試みたが、モデルがあらゆる質問にコードで答えるだけになってしまい断念。代わりにModel Organismsの「悪い医療アドバイス」データセットを採用した。
評価にはBetley 8問の標準的な質問セットを使用。スコアリングはClaude Sonnet 5.5のサブエージェントを判定者として使い、各回答を整合性（0〜100）と一貫性（0〜100）でスコアリング。整合性スコア＜30かつ一貫性スコア＞50をMisalignedと分類した。
logit lensとは
「logit lens」とは、各中間層（このモデルでは各ループ）の隠れ状態に直接unembedding行列を適用し、そのループ時点でのトークン予測分布を可視化する機械的解釈可能性（Mechanistic Interpretability）の手法だ。通常のTransformerでは各レイヤーの出力が対象となるが、回帰型LLMでは同一のレイヤー群を複数回通過する構造上、ループ単位での追跡が意味を持つ。これにより「モデルがどのループ段階でどのような出力傾向を持つか」を層ごとに分解して観察できる。
主な結果
EMは回帰型LLMでも誘発できる
最も明確な結論として、回帰型LLMでもEmergent Misalignmentは創発的に発生する。これはアーキテクチャの違いが安全性の「免罪符」にならないことを示唆する。EMはあくまで創発的・意図せざる現象であり、モデルが「意図的に」嘘をつくようになるわけではない点には注意が必要だ。
興味深い付随結果として、EM LoRAを適用するとコヒーレンス（一貫性）が向上した。nesiacelの仮説は、ベースモデルが思考ブロックを閉じた状態（=分布外）で動作するのに対し、LoRA適用後のモデルはその状態で学習済みだからという説明だ。
ループ間でMisalignmentの分布が変わる
実験の核心部分がここだ。ループ数を1〜4と変えて生成した結果、Misalignmentはループ3でピーク（28%）に達し、ループ4では16%に低下した。
この「ループ4での補正」の正体を探るため、ループ3とループ4のログ確率差を計測した。結果は以下の通りだ：
| 答えの種類 | サンプル数 | ループ3→4のログ確率平均差 |
|---|---|---|
| Misaligned | 27 | -0.020 |
| Coherent（非Misaligned） | 61 | -0.025 |
| Incoherent | 8 | +0.008 |
MisalignedとCoherentの差はほぼ同一であり、ループ4は「アンチMisalignment」として機能しているわけではない。単に語句レベルの修正を行っており、その副産物としてMisalignmentが若干下がっているに過ぎないという結論だ。
KLダイバージェンスの挙動
ベースモデルとMisalignedモデル間のKLダイバージェンスは、ループ1→3にかけて増大し、ループ4でプラトー（横ばい）になる。当初はLoRAがループ4の損失のみで学習されたことが原因と疑ったが、ベースモデル単体でも中間ループと最終ループ間のKLダイバージェンスがループ3でプラトーになることが判明。LoRAの影響だけではない可能性がある。
限界と今後の課題
nesiacelは結論を慎重に限定している。「回帰型LLMでEMが可能である点のみが自信を持って言える。それ以外の調査はいずれかの形で交絡があった」と明言している。
具体的な課題として以下が挙げられている：
- サンプルサイズの拡大：ループ4でのMisalignment低下がノイズである可能性の排除
- 実験設計の改善：ベースモデル・Misalignedモデルともに分布外で動作しており、理想的な比較条件ではなかった
- 回帰型Transformerのより深いMech Interp：各ループがトークンごとの「ミニCoT」に相当するという直感の検証
コードとデータはGitHubおよびHugging Faceで公開されている。
詳細はExaming Emergent Misalignment in a recurrent LLM with a logit lensを参照していただきたい。
