児童虐待画像の削除現場が背負う見えない二次被害と制度課題の全体像

CSAM対策が人手に依存し続ける構造的背景

インターネットから児童性的虐待コンテンツを消す仕事は、被害者保護に直結する一方で、その作業を担う人びとに重い心理的負荷を残します。表から見えるのは「投稿が消えた」「通報件数が増えた」という数字ですが、裏側では、膨大な通報を人が選別し、緊急性を見極め、法執行機関につなぐ工程が続いています。児童保護のために必要な仕事であるほど、見る側の二次的外傷や燃え尽きが起きやすいという逆説があります。

このテーマが重要なのは、技術進歩が必ずしも人の負担を減らしていないからです。NCMECの最新データ、IWFのAI関連報告、学術研究を合わせてみると、暗号化や生成AIの広がりで、単純な件数管理よりも「難しい案件を人が最後に判断する」場面が増えています。本稿では、CSAM対策の現場でなぜ人手が不可欠なのか、どのような健康被害が生じるのか、企業や制度は何を変えるべきかを解説します。

通報急増と人手依存の構造

自動検知だけでは完結しない理由

児童性的虐待コンテンツは英語で Child Sexual Abuse Material、略して CSAM と呼ばれます。WeProtect Global Allianceは、写真、動画、コンピューター生成画像を含む性的に露骨な子どもの描写を指す概念として整理しています。重要なのは、これが単なる有害コンテンツではなく、現実の虐待の記録や、その延長線上で作られた搾取物だという点です。拡散され続けること自体が被害の継続になります。

米国のNCMECが公表した2024年CyberTipline報告は、この問題の規模をよく示しています。2024年の通報件数は2,050万件でしたが、関連報告を束ねて重複を調整すると、実際には2,920万件の独立した事案が含まれていました。報告には6,290万点を超える画像、動画、その他ファイルが添付され、NCMECはその中から緊急性の高い案件を手作業で選別しています。1日平均50件が事業者から urgent として送られ、さらにシステムは1日1,400件の潜在的な緊急案件を追加抽出しました。最終的に法執行機関へ緊急性ありとしてエスカレーションされたのは5万1,000件超です。

ここで見落としやすいのは、自動検知が広がっても最終判断は人に集まることです。NCMECの説明では、アナリストは画像や動画にラベルを付け、年齢層、暴力性、被害の深刻度といった情報を法執行機関が優先順位付けしやすい形に変換しています。さらに、削除通知も人の確認が前提です。2024年、NCMECは8万9,000件の通知を行い、画像や動画の平均削除時間は3日強でした。プラットフォームの自動フィルタは入口を狭められても、出口の判断と証拠整理は依然として人が担っています。

暗号化とAIで変わる仕事の質

件数だけで現場の負荷は測れません。NCMECは、2024年に通報総数が前年の3,620万件から減った理由として、Metaの bundling 機能導入に加え、エンドツーエンド暗号化の進展を挙げています。表面上の件数が減っても、可視化しづらい領域が広がれば、見つかった案件の一つひとつが重くなります。しかもNCMECは、追加の法定通報義務が始まったにもかかわらず、推計事案数が約700万件減ったと分析しており、検知しづらい空白が生まれている可能性を示しました。

その一方で、新たな負荷源としてAIが加わっています。IWFは2025年に31万2,030件の報告で違法な児童性的虐待コンテンツを確認し、AI由来の現実的な画像・動画は8,029件に達したと公表しました。とくに動画は前年の13件から3,440件へ急増しています。人の審査担当者にとって厄介なのは、現実の被害記録なのか、生成物なのか、既知画像の加工なのかを見極める必要が高まることです。削除、通報、被害者保護の優先順位付けには、人の文脈判断が以前より重要になります。

つまり、AIは人を不要にしていません。むしろ、単純な既知画像の照合は機械がこなし、人にはより曖昧で、心理的にも重い案件が集まりやすくなっています。報告総量の増減だけではなく、「どんな案件が最後に人へ回るか」が、今のモデレーション現場を理解する鍵です。

見えにくい健康被害と支援不足

二次的外傷という職業リスク

コンテンツモデレーターの健康影響は、感情論ではなく研究対象になりつつあります。2024年の査読論文「Content Moderator Mental Health, Secondary Trauma, and Well-being」は、苦痛を伴うコンテンツへの曝露頻度が高いほど、心理的苦痛と secondary trauma が強くなる dose-response 関係を確認しました。同研究は同時に、同僚との支え合いと、自分の仕事の意味を理解できる環境が悪影響を和らげる可能性も示しています。つまり、傷つくのは個人の弱さではなく、仕事の設計に内在するリスクです。

CSAMを継続的に見る職種のリスクは、警察や鑑識でも確認されています。BMC Psychiatry掲載の2023年研究では、米国でCSAMに常時接する500人を対象に、どの作業や職場要因が精神的健康を損ないやすいかを分析しました。結論は、個人の耐性だけでなく、組織的な緩和策が重要だというものです。十分な休憩、上司の理解、職場の裁量、相談文化の有無が被害を左右します。民間モデレーターも構造は近く、短時間で大量の判断を求められるほど二次的外傷が蓄積しやすくなります。

この点で問題なのは、現場の重要性に対して支援の標準化が遅いことです。Tech CoalitionのSafe Online Research Fundは、Middlesex UniversityとINHOPEらによる研究を採択し、CSAMに接するモデレーターの外傷リスクを定量化する必要性を認めました。裏を返せば、世界的に見ても、何が有効な保護策なのかについて基礎データがまだ不足しているということです。

企業に求められる最低限の安全設計

支援策は、カウンセリングを付ければ十分という話ではありません。ICMECは2024年に、CSAMに接する人間のモデレーターを心理的危害から守るための雇用主向けフレームワークを公表しました。そこでは、採用前の説明、トラウマに配慮した研修、定期的なローテーション、休憩と離席の裁量、監督者教育、匿名相談、復職支援まで含めた包括策が求められています。ICMECは世界でおよそ10万人のコンテンツモデレーターが働いていると見積もっており、例外的な労働問題ではなく、巨大な基盤労働として扱う必要があります。

現実には、最も重い仕事が下請けや海外拠点に集まりやすい構造もあります。労働条件や文化的支援の差が大きい環境では、同じ審査業務でも離職率や症状の重さが変わりやすくなります。加えて、CSAM対策では誤判定のコストも高いため、速度目標だけを強める設計は危険です。見落としは被害拡大につながり、過剰検知は捜査資源を浪費し、担当者の徒労感を深めます。

結局のところ、優れたCSAM対策とは、検知率の高さだけで決まりません。人が壊れずに長く働けること、難しい案件ほど複数人で判断できること、被害者支援と法執行への接続が切れないことまで含めて初めて、実効性のある安全対策になります。

AI生成画像急増と暗号化が招く検知の死角

このテーマでは二つの誤解を避ける必要があります。第一に、「AIが発達すれば人は見なくてよくなる」という見方です。現状は逆で、人にはより曖昧で負荷の高い案件が集まりやすくなっています。第二に、「通報件数が減ったから被害も減った」という理解です。NCMECが指摘するように、暗号化や報告様式の変更は件数を動かします。見えている数字だけで安心はできません。

今後は、AI生成物の検知制度、暗号化環境での安全対策、モデレーター保護の労働基準整備が同時に進むかが焦点になります。IWFやWeProtect、ICMECが示す通り、児童保護の最前線はすでに国際協調なしでは回りません。

ICMECフレームワークが求めるモデレーター保護の要件

児童性的虐待コンテンツをインターネットから消すには、技術だけでは足りません。最後に必要なのは、人が見て、分類し、緊急性を判断し、削除と捜査につなぐ作業です。そしてその人びと自身が、二次的外傷のリスクにさらされています。被害者保護を本気で進めるなら、審査担当者の保護も同じ優先度で扱う必要があります。

この問題の本質は、見えない仕事を見える制度に変えられるかどうかです。これからは、AI時代に対応した検知体制と、現場で働く人のメンタルヘルスを一体で設計できるかが、CSAM対策の質を決めます。

参考資料:

• NCMEC: 2024 CyberTipline Report
• WeProtect Global Alliance: Child sexual abuse material
• Internet Watch Foundation: AI becoming child sexual abuse machine
• SAGE Journals: Content Moderator Mental Health, Secondary Trauma, and Well-being
• BMC Psychiatry: The mental health of officials who regularly examine child sexual abuse material
• ICMEC: Framework to protect human social media content moderators from psychological harm