AI解釈可能性に転機、ニューラルネット内部は本当に読み解けるか

AI解釈可能性を揺さぶる「すでにクリーン」説

AIが結論を返すまでに、内部でどの概念を拾い、どの経路で判断したのか。これを因果的に説明する「機械的解釈可能性」は、性能向上の陰で取り残されてきた難題です。

Goodfireの研究者Nick Cammarata氏は2026年10月15日、ニューラルネットは無秩序な「ブラックボックス」ではなく、学習した部品を直接読める構造だとする作業仮説を公表しました。もし正しければ安全監査の前提が変わります。ただし、現時点で示されたのは解決宣言ではありません。本稿では主張の核心、従来手法との差、再現実験が示した限界を一次資料から整理します。

超意味性を再帰的汎化で読み直す新仮説

猫と車を結んだV字形という共通構造

従来の議論で象徴的だったのが、画像認識モデルInceptionV1の「猫の顔」と「車の前面」の双方で反応するニューロンです。一つのニューロンが無関係に見える複数の意味を担う現象は「超意味性」と呼ばれました。限られた次元に、それを上回る数の疎な特徴を重ねて保存する「重ね合わせ」が有力な説明となり、内部表現を疎オートエンコーダーで分解する研究へつながりました。

Cammarata氏は、この代表例の読み方が逆だったと論じます。猫と車というラベルではなく、尖ったV字形を正に、丸いO字形を負に評価する機構として見れば、二つは無関係ではありません。車の情報が犬のニューロンへ流れたとされた別の回路も、同氏は車と犬に共通する姿勢の検出だと再解釈しました。人間側のカテゴリを先に当てはめたため、モデル固有の共通構造を見落としたという主張です。

「再帰的汎化」が生む意味の枝分かれ

新説の核は「再帰的汎化」です。ニューロンが一つの軸で一般化し、そこから近い関連へ枝を伸ばすため、最終的には複数の意味に見えるという考え方です。言語モデルでは「iy」に反応するニューロンが「diy」を経て「do it yourself」へ広がり、別の例では地質に関する反応が同名のJavaScriptライブラリ「Cesium」へ伸びます。出発点から一段ずつ追えば、無関係な情報の詰め込みではないというわけです。

さらに同氏は、InceptionV1の深い層が読みにくかった原因を、重ね合わせではなく古い設計上の学習不全と弱い観測手法に求めます。モデル規模や学習データを変えずに設計を改善すると、最終層の99〜100％のニューロンを容易に説明でき、約300倍の規模差でも大枠は読めたと報告しました。容量を狭めても無関係な概念を混ぜるのではなく、「多種類の車」を一つに束ねるように表現が粗くなったといいます。

説明の後付けを避ける試みもあります。無作為に選んだ200ニューロンのうち正側を説明できた183個について、説明だけを読んだ別のエージェントが新例と紛らわしい反例を作成しました。強く反応した割合は新例76％、反例11％で、164個では新例側が勝ったと報告されています。ただし、これは同じ研究チームによる検証であり、独立再現とは区別が必要です。

ニューロンから大規模言語モデルへ広がる射程

Qwen3で示された主機能中心の内部地図

画像モデルの再解釈だけなら、最新のLLMには届きません。Cammarata氏らはQwen3-32Bを予備監査し、ニューロンの約90％には一つの主な仕事があり、約7％は関連する二つの仕事、未解明は約2〜4％と推定しました。弱い活性をどこまで数えるか、何を「一つ」と呼ぶかで比率は動くため、確定的なベンチマークではありません。それでも、GPT-2の自動解釈研究で寛大な基準でも約1.7％しか説明できなかった状況との差は大きく、モデルと顕微鏡の両方が変わった可能性を示します。

同氏らは、Claude 3.5 Haikuで疎な代替特徴を使って描かれた医療診断回路を、Qwen3-32Bの生のMLPニューロンでも再構成できるとしています。診断の中核は四つのニューロンに集約され、それらを除くとモデルは別の疾患を疑う質問へ移りました。生の部品なら、代替モデルの再構成誤差を挟まず、どこを除いた結果かを直接追えます。

特徴分解からモデル固有の地図への転換

従来の疎オートエンコーダーには明確な成果があります。AnthropicはClaude 3 Sonnetの中間層から最大約3,400万個の特徴を抽出し、欺瞞、迎合、危険な内容に関わる候補を見つけました。一方、その再構成が説明した分散は少なくとも65％で、最大辞書では死んだ特徴が約65％あり、「全特徴」には桁違いに届かないと自ら記しています。分解後の特徴を読めても、元モデルと同じ計算を完全に再現するとは限りません。

2025年の回路追跡では、MLPをクロスレイヤー・トランスコーダーで置き換え、最大3,000万特徴から因果グラフを作りました。しかし代替モデルが元と同じ次トークンを選ぶのは約半数で、研究者が満足できる洞察を得たのも試したプロンプトのおよそ4分の1でした。注意機構の選択理由や再構成誤差は未解明のままです。ここに対しCammarata氏は、ニューロン、結合、データの流れをモデル固有の「都市」として直接地図化し、AIエージェントで調査を自動化する路線を提案します。

ただし、一つの直線や一つのニューロンだけが自然な単位とは限りません。Goodfireの別研究は、DINOv3で調べた3万2,000概念の多くが実効2〜4次元の部分空間を持つと報告しました。これは「モデル自身の幾何を読む」という方向を補強する一方、単純な一対一のラベル付けでは足りないことも示します。兆単位パラメータのモデルでも手法に手応えがあるという主張は、全面解読ではなく、地図作りを始められるという射程で受け止めるべきです。

再現実験が突き付ける三つの未解決問題

第一は再現性です。研究者Liv Gorton氏は、V字形の合成刺激による反応が最大活性の約25％にとどまり、Vを丸めても低下せず、上流のV字検出器を除いても無作為除去以上の影響が出なかったと報告しました。車と犬の3Dモデルを15度刻みで回した試験でも、共通姿勢への選好を確認できなかったとしています。層を10チャネルへ圧縮した追試では、Cammarata氏のトップ1精度58.35％に対し61.78％を得たうえで、重ね合わせと整合する調和的な応答を観測しました。

第二は用語のずれです。従来の重ね合わせは「特徴数が次元数を上回る表現」を指し、関連する特徴同士でも成立します。Cammarata氏が退けるのは、主に「無関係な機構を偶然同居させる詰め込み」です。両者を同じ問いとみなすと、反証の範囲を広く見積もりすぎます。

第三は説明の合格基準です。OpenAIのLeo Gao氏は、活性例が一つの物語に合うだけでは、該当する全入力を拾えるか、活性の強弱を予測できるか、置換後も出力分布を保てるかが分からないと指摘します。ニューロン単体が読めても、注意機構を含む回路全体の計算が読めるとは限りません。技術論文、コード、学習チェックポイント、独立追試がそろうまで、「解釈可能性が解決した」と結論づける段階ではありません。

解釈可能性を安全監査へ変える検証基準

今回の提案で最も重要なのは、AI内部を「まず分解しないと読めない結び目」ではなく、「固有の分類体系を持つ生態系」として調べ直す研究課題が立ったことです。成功すれば、危険な能力や欺瞞の兆候を、出力前に内部回路から監査する道が広がります。

評価では四点を追う必要があります。未知データへの事前予測、ニューロン除去・置換による因果検証、弱い活性と注意機構を含む網羅率、第三者が同じ結果を得られる公開性です。企業や規制当局は、魅力的な可視化だけを安全証明に使わず、出力評価やレッドチーム、運用監視と組み合わせるべきです。次に注目すべきは、予告された技術論文がこの四基準をどこまで満たすかです。

参考資料:

• Neural Networks Are Already Clean
• Neural networks are not already clean
• Some initial thoughts on Nick Cammarata’s “Neural Networks Are Already Clean”
• Language models can explain neurons in language models
• Toy Models of Superposition
• Towards Monosemanticity: Decomposing Language Models With Dictionary Learning
• Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet
• Circuit Tracing: Revealing Computational Graphs in Language Models
• On the Biology of a Large Language Model
• Curve Detectors
• Multimodal Neurons in Artificial Neural Networks
• Uncovering Neural Geometry in Vision Models With Block-Sparse Featurizers
• Mechanistic Interpretability for AI Safety — A Review