AIによる研究再現性予測はどこまで可能かSCORE大型検証の教訓

SCOREが問うAI再現性予測の限界

「この研究は後から再現できるのか」を、AIが事前に見抜けるのではないか。そんな期待に冷静なブレーキをかける大型成果が、2026年4月にまとまって公表されました。Center for Open Scienceと協力研究者らが進めてきたSCOREプロジェクトでは、社会科学系の数千本規模の論文を対象に、再現性・再分析の頑健性・独立追試の成立率を検証しています。

結論は明快です。研究の信頼性を測る作業は、AIがすぐに自動化できるほど単純ではありません。半数前後しか追試が成立しない一方で、データ共有や事前登録の改善により一部領域では前進も見えます。本記事では、SCOREの最新結果、AI予測モデルの現状、そして研究評価の実務が今後どこへ向かうのかを整理します。

SCOREが示した研究信頼性の現在地

大規模検証で見えた再現率の実像

Natureの2026年4月1日付特集によると、SCOREは社会・行動科学の約3,900本の論文を対象にした7年規模のプロジェクトです。Nature掲載の主論文では、2009年から2018年までに54誌へ掲載された164本の定量研究から274件の主張を取り出して追試し、元研究と同じ方向で統計的有意性が再現されたのは55.1%でした。論文単位に重み付けすると49.3%で、ほぼ半数にとどまります。

この結果だけを見ると「社会科学は半分しか信頼できない」と短絡しがちですが、そこまで単純ではありません。Nature本誌の解説でも、100%の再現率は必ずしも望ましい目標ではなく、新しい仮説に挑む研究では不確実性が避けられないと整理されています。重要なのは、単発研究を決定打として扱わず、複数研究と事後検証を前提に読む姿勢です。

再現性は追試だけでなく再計算でも揺らぐ構図

SCOREの別論文では、62誌から無作為抽出した600本を対象に「同じデータと同じ分析で同じ結果を再現できるか」を検証しました。その結果、再現性の確認に必要なデータが公開されていたのは144本、追加取得を含めても評価可能だったのは182本にとどまります。さらに評価可能データ143件のうち、厳密に一致したのは53.6%、近似的に再現できたものでも73.5%でした。

つまり、追試以前に「元論文の計算そのものをたどれるか」でつまずく研究が少なくありません。Natureの総括ページでも、再現性を支える鍵としてデータ共有、コード共有、再現可能性チェックの制度化が挙げられています。AIで信頼性を推定する前に、研究が機械可読な形で残されているかという基盤整備がまだ不十分だということです。

AI予測はなぜ決定打になっていないのか

有望な先行研究と現在の到達点

AIによる再現性予測は、まったく成果がないわけではありません。2020年のPNAS論文では、論文本文や報告統計を使った機械学習モデルが、手作業で追試済みの論文群に対して0.65から0.78の精度を示し、予測市場に匹敵する成績を出したと報告されました。2025年のNature Human Behaviour論文でも、COVID-19関連プレプリント100件を対象とした構造化予測で、経験者は61%、初心者は69%を正しく分類しました。

ここから読み取れるのは、予測は「補助線」としては機能しうるという点です。限られた予算でどの研究を優先的に追試するか、あるいは査読者がどの論文に注意を向けるべきかを決める初期スクリーニングには役立つ余地があります。SCORE自体も当初から、手動追試の代替ではなく、信頼度の目安を大規模に配る仕組みとして構想されてきました。

それでも自動評価に慎重論が強い理由

ただし、最新時点でAIは決定的な審判にはなっていません。Center for Open Scienceは2023年の発表で、SCOREのAIチームを率いるSarah Rajtmajer氏の見解として、これらの評価は非常にニュアンスが多く、信頼できるAIにはまだ長い道のりがあると説明しました。今回のNature特集でも、結局のところ大規模な人手による検証がなければ、アルゴリズムの精度自体を確かめられない構造が浮き彫りになっています。

批判研究もあります。2023年のPNASレターでは、再現性予測モデルの学習データは500件未満、具体的には388件の追試データに依拠しており、しかも対象分野や雑誌の偏りが大きいため一般化に限界があると指摘しました。同論文は、表面的な文体特徴に依存したモデルは「書き方」を変えることでスコアを操作されるおそれがあり、低スコアの研究者や分野に不公平な烙印を押しかねないとも論じています。

34%の頑健性と共有義務の重要性

今後の議論で重要なのは、AIが再現性危機を「解決する」のではなく、研究評価の一部工程を補助する位置づけに収まるかどうかです。Nature特集でも、追試、再計算、頑健性検証はそれぞれ異なる失敗要因を拾うと示されました。Aczelらの頑健性研究では、100件の主張に対する再分析のうち、元論文とほぼ同じ効果量に収まったのは34%、同じ結論に達したものでも74%で、2%は逆の結論でした。単に「当たるか外れるか」の二値予測では、この多層性を扱い切れません。

一方で、改善の方向も見えています。Brodeurらの2026年論文では、経済学と政治学の110本について85%以上が計算上再現可能で、頑健性チェックでも72%の有意結果が同方向を維持しました。さらに約25%で無視できないコーディングエラーが見つかったことは、公開と検証の仕組みがあれば改善余地を具体的に発見できることも示しています。AIより先に効くのは、共有義務、事前登録、コードレビューのような地道な制度です。

半数の追試成立率とSCOREの共通物差し

最新のSCORE成果は、研究信頼性をめぐる議論を一段現実的にしました。社会・行動科学では、追試成立率はおおむね半数、厳密再現性はそれ以下で、分析手法の違いだけでも結果は大きく揺れます。AIや予測市場は、この不確実な世界を少し見やすくする補助ツールにはなれても、現時点では独立追試の代わりにはなりません。

読者として押さえるべきなのは、AIが研究の真偽を即断してくれる時代はまだ来ていないという点です。むしろ、データ公開の有無、追試研究の蓄積、別チームによる再分析の結果を見るほうが、論文を見極めるうえで実用的です。SCOREの本当の価値は、AIの限界を示したこと以上に、「信頼できる研究はどう作られるのか」を測る共通物差しを広げたところにあります。

参考資料:

• Half of social-science studies fail replication test in years-long project
• Investigating the replicability of the social and behavioural sciences
• Investigating the reproducibility of the social and behavioural sciences
• Investigating the analytical robustness of the social and behavioural sciences
• Reproducibility and robustness of economics and political science research
• Volume 652 Issue 8108, 2 April 2026
• Center for Open Science Expands Systematizing Confidence in Open Research and Evidence (SCORE) Program Efforts
• Estimating the deep replicability of scientific findings using human and artificial intelligence
• Predicting the replicability of social and behavioural science claims in COVID-19 preprints
• The limitations of machine learning models for predicting scientific replicability