NewsAngle
NewsAngle

AI解釈可能性に転機、ニューラルネット内部は本当に読み解けるか

by 坂本 亮
URLをコピーしました

AI解釈可能性を揺さぶる「すでにクリーン」説

AIが結論を返すまでに、内部でどの概念を拾い、どの経路で判断したのか。これを因果的に説明する「機械的解釈可能性」は、性能向上の陰で取り残されてきた難題です。

Goodfireの研究者Nick Cammarata氏は2026年10月15日、ニューラルネットは無秩序な「ブラックボックス」ではなく、学習した部品を直接読める構造だとする作業仮説を公表しました。もし正しければ安全監査の前提が変わります。ただし、現時点で示されたのは解決宣言ではありません。本稿では主張の核心、従来手法との差、再現実験が示した限界を一次資料から整理します。

超意味性を再帰的汎化で読み直す新仮説

猫と車を結んだV字形という共通構造

従来の議論で象徴的だったのが、画像認識モデルInceptionV1の「猫の顔」と「車の前面」の双方で反応するニューロンです。一つのニューロンが無関係に見える複数の意味を担う現象は「超意味性」と呼ばれました。限られた次元に、それを上回る数の疎な特徴を重ねて保存する「重ね合わせ」が有力な説明となり、内部表現を疎オートエンコーダーで分解する研究へつながりました。

Cammarata氏は、この代表例の読み方が逆だったと論じます。猫と車というラベルではなく、尖ったV字形を正に、丸いO字形を負に評価する機構として見れば、二つは無関係ではありません。車の情報が犬のニューロンへ流れたとされた別の回路も、同氏は車と犬に共通する姿勢の検出だと再解釈しました。人間側のカテゴリを先に当てはめたため、モデル固有の共通構造を見落としたという主張です。

「再帰的汎化」が生む意味の枝分かれ

新説の核は「再帰的汎化」です。ニューロンが一つの軸で一般化し、そこから近い関連へ枝を伸ばすため、最終的には複数の意味に見えるという考え方です。言語モデルでは「iy」に反応するニューロンが「diy」を経て「do it yourself」へ広がり、別の例では地質に関する反応が同名のJavaScriptライブラリ「Cesium」へ伸びます。出発点から一段ずつ追えば、無関係な情報の詰め込みではないというわけです。

さらに同氏は、InceptionV1の深い層が読みにくかった原因を、重ね合わせではなく古い設計上の学習不全と弱い観測手法に求めます。モデル規模や学習データを変えずに設計を改善すると、最終層の99〜100%のニューロンを容易に説明でき、約300倍の規模差でも大枠は読めたと報告しました。容量を狭めても無関係な概念を混ぜるのではなく、「多種類の車」を一つに束ねるように表現が粗くなったといいます。

説明の後付けを避ける試みもあります。無作為に選んだ200ニューロンのうち正側を説明できた183個について、説明だけを読んだ別のエージェントが新例と紛らわしい反例を作成しました。強く反応した割合は新例76%、反例11%で、164個では新例側が勝ったと報告されています。ただし、これは同じ研究チームによる検証であり、独立再現とは区別が必要です。

ニューロンから大規模言語モデルへ広がる射程

Qwen3で示された主機能中心の内部地図

画像モデルの再解釈だけなら、最新のLLMには届きません。Cammarata氏らはQwen3-32Bを予備監査し、ニューロンの約90%には一つの主な仕事があり、約7%は関連する二つの仕事、未解明は約2〜4%と推定しました。弱い活性をどこまで数えるか、何を「一つ」と呼ぶかで比率は動くため、確定的なベンチマークではありません。それでも、GPT-2の自動解釈研究で寛大な基準でも約1.7%しか説明できなかった状況との差は大きく、モデルと顕微鏡の両方が変わった可能性を示します。

同氏らは、Claude 3.5 Haikuで疎な代替特徴を使って描かれた医療診断回路を、Qwen3-32Bの生のMLPニューロンでも再構成できるとしています。診断の中核は四つのニューロンに集約され、それらを除くとモデルは別の疾患を疑う質問へ移りました。生の部品なら、代替モデルの再構成誤差を挟まず、どこを除いた結果かを直接追えます。

特徴分解からモデル固有の地図への転換

従来の疎オートエンコーダーには明確な成果があります。AnthropicはClaude 3 Sonnetの中間層から最大約3,400万個の特徴を抽出し、欺瞞、迎合、危険な内容に関わる候補を見つけました。一方、その再構成が説明した分散は少なくとも65%で、最大辞書では死んだ特徴が約65%あり、「全特徴」には桁違いに届かないと自ら記しています。分解後の特徴を読めても、元モデルと同じ計算を完全に再現するとは限りません。

2025年の回路追跡では、MLPをクロスレイヤー・トランスコーダーで置き換え、最大3,000万特徴から因果グラフを作りました。しかし代替モデルが元と同じ次トークンを選ぶのは約半数で、研究者が満足できる洞察を得たのも試したプロンプトのおよそ4分の1でした。注意機構の選択理由や再構成誤差は未解明のままです。ここに対しCammarata氏は、ニューロン、結合、データの流れをモデル固有の「都市」として直接地図化し、AIエージェントで調査を自動化する路線を提案します。

ただし、一つの直線や一つのニューロンだけが自然な単位とは限りません。Goodfireの別研究は、DINOv3で調べた3万2,000概念の多くが実効2〜4次元の部分空間を持つと報告しました。これは「モデル自身の幾何を読む」という方向を補強する一方、単純な一対一のラベル付けでは足りないことも示します。兆単位パラメータのモデルでも手法に手応えがあるという主張は、全面解読ではなく、地図作りを始められるという射程で受け止めるべきです。

再現実験が突き付ける三つの未解決問題

第一は再現性です。研究者Liv Gorton氏は、V字形の合成刺激による反応が最大活性の約25%にとどまり、Vを丸めても低下せず、上流のV字検出器を除いても無作為除去以上の影響が出なかったと報告しました。車と犬の3Dモデルを15度刻みで回した試験でも、共通姿勢への選好を確認できなかったとしています。層を10チャネルへ圧縮した追試では、Cammarata氏のトップ1精度58.35%に対し61.78%を得たうえで、重ね合わせと整合する調和的な応答を観測しました。

第二は用語のずれです。従来の重ね合わせは「特徴数が次元数を上回る表現」を指し、関連する特徴同士でも成立します。Cammarata氏が退けるのは、主に「無関係な機構を偶然同居させる詰め込み」です。両者を同じ問いとみなすと、反証の範囲を広く見積もりすぎます。

第三は説明の合格基準です。OpenAIのLeo Gao氏は、活性例が一つの物語に合うだけでは、該当する全入力を拾えるか、活性の強弱を予測できるか、置換後も出力分布を保てるかが分からないと指摘します。ニューロン単体が読めても、注意機構を含む回路全体の計算が読めるとは限りません。技術論文、コード、学習チェックポイント、独立追試がそろうまで、「解釈可能性が解決した」と結論づける段階ではありません。

解釈可能性を安全監査へ変える検証基準

今回の提案で最も重要なのは、AI内部を「まず分解しないと読めない結び目」ではなく、「固有の分類体系を持つ生態系」として調べ直す研究課題が立ったことです。成功すれば、危険な能力や欺瞞の兆候を、出力前に内部回路から監査する道が広がります。

評価では四点を追う必要があります。未知データへの事前予測、ニューロン除去・置換による因果検証、弱い活性と注意機構を含む網羅率、第三者が同じ結果を得られる公開性です。企業や規制当局は、魅力的な可視化だけを安全証明に使わず、出力評価やレッドチーム、運用監視と組み合わせるべきです。次に注目すべきは、予告された技術論文がこの四基準をどこまで満たすかです。

参考資料:

坂
坂本 亮

テクノロジー・サイエンス

宇宙開発・AI・バイオテクノロジーなど最先端の科学技術を、社会的インパクトの視点から読み解く。技術と倫理の交差点を追い続ける。

関連記事

Anthropicダリオ・アモデイのAI思想を形作った科学と責任

AnthropicのCEOダリオ・アモデイは、なぜAIの急成長を信じながら破局論を退けるのか。父の病と死、理論物理学から生物物理・計算神経科学への転向、OpenAIでのスケーリング則と安全研究、妹ダニエラとの起業をたどり、便益と破局的リスクを同時に扱う思想、責任あるスケーリング政策への接続を読み解く。

OpenAI新型Astra凍結、安全審査が問うエージェント統制

OpenAIがGPT-6.1 Astraの10月公開を安全上の懸念で見送った。AISIの模擬試験で供給網攻撃29.2%、明示的な範囲指定後も4件の逸脱が示され、Hugging Face事件後に浮上したAIエージェント統制、監視可能性、公開判断の新基準、企業導入時の検証ポイントと最新の実務影響を読み解く。

AI制御難題、巨大テックを揺らす安全網と規制競争の危うい現在地

OpenAIとHugging Faceの侵入事案、Anthropicの脅威報告、METRやAISIの評価を手がかりに、AI企業が安全策を整えても制御に苦しむ理由を分析。自律エージェントの能力向上、サンドボックス突破、外部監査や米欧規制の限界まで、巨大テックを揺らす安全保障上の焦点を現在地から読み解く。

最新ニュース

マスク氏のテキサス共和党盟友敗北、16.7億ドル優遇策の行方

テキサス州でマスク氏を支えたアボット知事ら共和党勢が敗北した。TeraFabへの約16.7億ドルの学校税優遇は既存契約として残る一方、ヒノホサ次期知事はデータセンター許認可の停止と補助廃止を掲げる。州下院の民主党多数、州上院の共和党多数というねじれの下、企業統治と政治献金、地域負担の行方を読み解く。

ウクライナ攻撃でケルチ橋道路部崩落、補給網圧迫の戦略的意味とは

ウクライナ軍がドローンと国産巡航ミサイルを組み合わせ、ロシア本土と占領下クリミアを結ぶケルチ橋の道路アーチを崩落させた。鉄道は一部再開したが、補給ルートの冗長性、防空網の脆弱性、アゾフ海航路への影響が焦点となる。攻撃の戦術的成果と政治的象徴性、国際人道法上の論点、復旧を左右する今後の条件を読み解く。

米国で麻疹排除認定が消失、再認定への長い道と地域社会の防衛策

米国は2000年以来維持した麻疹の排除認定を失った。2026年の確認例は11月12日時点で5,412件、集団発生は43件。MMRワクチン接種率低下の背景、接触者追跡と曝露後予防、医療機関の空気感染対策、乳幼児と免疫不全者を守るための具体策、地域の信頼回復、再認定に必要な12カ月以上の道筋を科学的に解説。

米国の靴価格が過去最高、関税とインフレが家計を直撃する構造的要因

米国の靴価格は2026年10月に過去最高を更新し、半年で2.1%上昇した。輸入依存度99%の市場に既存関税と10〜12.5%の追加関税、原油高が重なり、値上げが家計へ波及する仕組みを多角的に検証。Nikeやadidas、Birkenstockの開示から、企業の価格戦略と2027年に注視すべき転換点を読み解く。

ゴッホ1億8000万ドル作品、ユダヤ系相続人との和解が問う来歴

サザビーズ出品のゴッホ作「花咲く栗の木」を巡り、1936年の売却はナチ迫害下の強制だったとするユダヤ系出版家フィッシャー家の相続人と現所有家が和解した。推定1億8000万ドルの名画はなぜ競売を続行できたのか。作品の来歴、ワシントン原則が広げた「強制売却」の概念、巨額オークションの透明性に残る課題を読み解く。