
現代社会は、生成AIの急速な進化とそれに伴う脅威という、かつてない変革期にある。特に、エージェント化・自律化が進むAIの技術進化は、この脅威に拍車をかけている。
脅威の一つに、情報操作(ディープフェイク・ディープポルノ)がある。
世界的な選挙イヤーとなった2024年は、政治目的で生成AIを用いた多くの情報操作事例が確認された。日本も例外ではなく、ディープフェイクを用いた政治家の誹謗中傷や偽ニュースの拡散は、その後も相次いでいる。金銭目的では、会社の重役を模したフェイク動画による詐欺、家族の声を模倣した身代金要求の事例などがある。2025年の第一四半期だけで、ディープフェイク詐欺による金銭的損失は2億ドル(約300億円)を超えたという報告もある。性的な目的のディープポルノも、ここ数年被害が急増している。ある調査では、インターネット上のディープフェイク動画の98%がディープポルノ動画であり、ターゲットの99%が女性と報告されている。情報操作(ディープフェイク・ディープポルノ)による脅威が社会問題化しており、我々は情報環境の危機に直面している。
本コラムでは、エージェント化・自律化するAIによって脅威が高まるこの喫緊の課題に対し、具体的な処方箋を提示する。
脅威の一つに、情報操作(ディープフェイク・ディープポルノ)がある。
世界的な選挙イヤーとなった2024年は、政治目的で生成AIを用いた多くの情報操作事例が確認された。日本も例外ではなく、ディープフェイクを用いた政治家の誹謗中傷や偽ニュースの拡散は、その後も相次いでいる。金銭目的では、会社の重役を模したフェイク動画による詐欺、家族の声を模倣した身代金要求の事例などがある。2025年の第一四半期だけで、ディープフェイク詐欺による金銭的損失は2億ドル(約300億円)を超えたという報告もある。性的な目的のディープポルノも、ここ数年被害が急増している。ある調査では、インターネット上のディープフェイク動画の98%がディープポルノ動画であり、ターゲットの99%が女性と報告されている。情報操作(ディープフェイク・ディープポルノ)による脅威が社会問題化しており、我々は情報環境の危機に直面している。
本コラムでは、エージェント化・自律化するAIによって脅威が高まるこの喫緊の課題に対し、具体的な処方箋を提示する。
AIの自律化がもたらす脅威
2022年11月のChatGPTの登場以降、生成AIの普及は急速に進んでいる。当社の「DX推進状況調査」によると、生成AIが登場してから約2年後(2025年1月)の時点で仕事での活用率が46%となっている。約1年前(2023年12月)の活用率26%からほぼ倍増しており、ビジネスの場で生成AI活用が本格化していることがわかる。
生成AIは、その後も技術進化を続けている。一つは画像・動画・音声生成などの「マルチモーダル化」、もう一つはAIが自律的にタスクを計画・実行する「エージェント化」だ。単純な指示応答の生成AIを超え、人からの指示をタスクに分解して実行できるAIエージェントは、さまざまな産業応用が期待され注目されている。
生成AIは、その後も技術進化を続けている。一つは画像・動画・音声生成などの「マルチモーダル化」、もう一つはAIが自律的にタスクを計画・実行する「エージェント化」だ。単純な指示応答の生成AIを超え、人からの指示をタスクに分解して実行できるAIエージェントは、さまざまな産業応用が期待され注目されている。
このように、AIの能力は日々急速に高まっている一方で、その能力の高さゆえに企業のリスク・社会的懸念も内在していることは、本連載で論じてきた通りだ。生成AIやその進化形であるAIエージェントは、企業のリスク・社会的懸念の規模と速度を飛躍的に増大させる可能性がある。特に、AIエージェントへの進化の本質である自律化、すなわち「目標達成に向けて自ら計画・実行する能力」そのものが、企業のリスク・社会的懸念をこれまでのものとは異なる性質を持つものに変えうる領域がある。
一つは、「情報操作(ディープフェイク・ディープポルノ)」である。特定の個人や集団の認知を操作するという戦略的な目標を与えられたAIエージェントは、一連のプロセスを自ら計画し、自律的に実行できる可能性がある。もう一つは、「AI暴走(=制御不能)」である。AIが自律性を持って行動を開始すると、人間の意図と乖離し、人間には制御不能な状態を招く可能性がある。
今回のコラムと次回のコラムでは、AIの自律化によって特に脅威が高まる「情報操作」と「AI暴走(=制御不能)」を取り上げ、影響と対策を考察する。今回のコラムは、「情報操作」について取り上げる。
一つは、「情報操作(ディープフェイク・ディープポルノ)」である。特定の個人や集団の認知を操作するという戦略的な目標を与えられたAIエージェントは、一連のプロセスを自ら計画し、自律的に実行できる可能性がある。もう一つは、「AI暴走(=制御不能)」である。AIが自律性を持って行動を開始すると、人間の意図と乖離し、人間には制御不能な状態を招く可能性がある。
今回のコラムと次回のコラムでは、AIの自律化によって特に脅威が高まる「情報操作」と「AI暴走(=制御不能)」を取り上げ、影響と対策を考察する。今回のコラムは、「情報操作」について取り上げる。

情報操作は最も深刻なグローバルリスク、民主主義の脅威
生成AIの登場以降、フェイク画像・動画を用いた情報操作の事例が各国で確認されている。情報操作の目的は、政治目的、金銭目的、性的目的の大きく3つに分類される。
①政治目的
政治目的の情報操作は、選挙妨害、外交的緊張の誘発、社会的分断の助長などを意図したものである。政治家の誹謗中傷や偽のテロニュースなどの画像・動画を作成し、拡散する。特に2024年は、米国大統領選挙や欧州議会選挙をはじめ世界50カ国以上で国政選挙や地方選挙が実施された世界的な選挙イヤーであり、生成AIを用いた多くの情報操作事例が確認された。

②金銭目的
金銭目的の情報操作は、詐欺、企業の信用毀損、金融市場の混乱などを意図したものだ。具体的な手口として、ビデオ会議で会社の重役を装い金銭振込を指示するフェイク動画を用いた詐欺、ビデオ通話で友人になりすました詐欺、家族の声を模倣した身代金要求、などの被害が確認されている。2025年の第1四半期だけで、世界のディープフェイクによる金銭被害が2億ドル(約300億円)を超えたという報告もある。
③性的目的
また、性的な目的による嫌がらせ・報復、尊厳侵害、性的搾取などディープポルノの被害も深刻だ。2023年の調査によると、実にインターネット上のディープフェイク動画の98%がディープポルノ動画であり、ターゲットの99%が女性であった。動画総数は9万5千件を超え、2019年(4年前)と比べて5.5倍に増加している。
このような情報操作の深刻な事態を受け、2024年の世界経済フォーラムでは、『今後2年間で最も深刻なグローバルリスクは「偽情報」』との懸念が表明された。情報操作は民主主義プロセスの基盤をも揺るがしかねない脅威であり、世界が最優先で対応すべき課題の一つである。
このような情報操作の深刻な事態を受け、2024年の世界経済フォーラムでは、『今後2年間で最も深刻なグローバルリスクは「偽情報」』との懸念が表明された。情報操作は民主主義プロセスの基盤をも揺るがしかねない脅威であり、世界が最優先で対応すべき課題の一つである。
情報操作急増の背景
情報操作が急増している背景は何だろうか。
技術的には、インフラ環境の充実とコンテンツ作成環境の充実が挙げられる。インターネットとSNSをはじめとするインフラ環境の充実は、急速で広範なコンテンツの大量拡散を可能とした。生成AIツールをはじめとするコンテンツ作成環境の充実は、短期で大量、精緻なコンテンツ作成を可能とした。コンテンツ拡散後の削除、フェイクコンテンツ自体の発見、ともに困難な状況となっている。
前述のマルチモーダル化もこの流れに拍車をかけている。単一のモダリティでも既に人間にはリアルなコンテンツとの判別が困難なレベルに到達しているが、多様なモダリティによってより信憑性の高いコンテンツが生成可能となった。個人の公開データを悪用したAI学習によって、対象人物に酷似した信憑性の高いフェイクコンテンツの作成も可能である。生成作業が高速化すれば、リアルな事象とほぼ同時に、偽情報をライブストリーミング配信することもできる。画像・動画・音声を用いたコンテンツは、テキスト情報と比べて人の感情に直接訴えかけやすい。ディープフェイクの実態を報じたレポートによると、2024年には調査対象企業の49%が音声および動画の両方のディープフェイクを経験しており、2022年のそれぞれ37%と29%から増加した。
技術的には、インフラ環境の充実とコンテンツ作成環境の充実が挙げられる。インターネットとSNSをはじめとするインフラ環境の充実は、急速で広範なコンテンツの大量拡散を可能とした。生成AIツールをはじめとするコンテンツ作成環境の充実は、短期で大量、精緻なコンテンツ作成を可能とした。コンテンツ拡散後の削除、フェイクコンテンツ自体の発見、ともに困難な状況となっている。
前述のマルチモーダル化もこの流れに拍車をかけている。単一のモダリティでも既に人間にはリアルなコンテンツとの判別が困難なレベルに到達しているが、多様なモダリティによってより信憑性の高いコンテンツが生成可能となった。個人の公開データを悪用したAI学習によって、対象人物に酷似した信憑性の高いフェイクコンテンツの作成も可能である。生成作業が高速化すれば、リアルな事象とほぼ同時に、偽情報をライブストリーミング配信することもできる。画像・動画・音声を用いたコンテンツは、テキスト情報と比べて人の感情に直接訴えかけやすい。ディープフェイクの実態を報じたレポートによると、2024年には調査対象企業の49%が音声および動画の両方のディープフェイクを経験しており、2022年のそれぞれ37%と29%から増加した。
技術的な進化だけが情報操作急増の原因ではない。悪意を持った人間がこれらの技術を悪用することで、情報操作が引き起こされる。
経済格差や政治的対立といった世界の分断は、特定のイデオロギーや国家の利益のためのプロパガンダを活発化させる。分断が進む社会では、敵対する勢力への不信感から、偽情報やフェイクニュースであってもそれが特定のグループに不利な内容なら信じられやすくなる。また、プラットフォーム事業者は広告収入を増やすため、ユーザーの注意や関心を奪い合うアテンション・エコノミーというビジネスモデルを採用している。SNSで誰もが容易に情報を発信できるようになったこともあり、人々の注目を惹きやすく感情を揺さぶる刺激的な偽情報やフェイクニュースが拡散しやすい状況を生み出している。
攻撃実行のためのハードルも低下している。かつては国家レベルの主体のみが有していた情報操作能力が、オープンソースモデルの普及と高性能な生成AIツールの登場により、非国家主体や個人にまで拡散した。一般人がスマホでも使えるような手軽なアプリも多数登場している。いわゆる攻撃技術の民主化が起こり、攻撃の実行コストは劇的に低下した。国家による情報操作への関与や、情報操作に必要なツール・偽アカウントなどが取引されるアンダーグラウンド市場の形成なども指摘されている。官民を巻き込んだ情報操作の産業化が進み、情報操作をめぐるエコシステムが形成されている状況だ。
経済格差や政治的対立といった世界の分断は、特定のイデオロギーや国家の利益のためのプロパガンダを活発化させる。分断が進む社会では、敵対する勢力への不信感から、偽情報やフェイクニュースであってもそれが特定のグループに不利な内容なら信じられやすくなる。また、プラットフォーム事業者は広告収入を増やすため、ユーザーの注意や関心を奪い合うアテンション・エコノミーというビジネスモデルを採用している。SNSで誰もが容易に情報を発信できるようになったこともあり、人々の注目を惹きやすく感情を揺さぶる刺激的な偽情報やフェイクニュースが拡散しやすい状況を生み出している。
攻撃実行のためのハードルも低下している。かつては国家レベルの主体のみが有していた情報操作能力が、オープンソースモデルの普及と高性能な生成AIツールの登場により、非国家主体や個人にまで拡散した。一般人がスマホでも使えるような手軽なアプリも多数登場している。いわゆる攻撃技術の民主化が起こり、攻撃の実行コストは劇的に低下した。国家による情報操作への関与や、情報操作に必要なツール・偽アカウントなどが取引されるアンダーグラウンド市場の形成なども指摘されている。官民を巻き込んだ情報操作の産業化が進み、情報操作をめぐるエコシステムが形成されている状況だ。

AIの自律化による情報操作の攻撃の進化
自律的な計画・実行能力を持つAIエージェントは、これまでの情報操作を「手動」から「自律的かつ大規模なオペレーション」へと転化させ、攻撃指示を受ければフェイクコンテンツの生成と拡散を継続することができる。AI自身は容易にコピーやボット化、不特定多数への攻撃が可能である。攻撃の担い手は人からAIエージェントに変わり、個人から個人への攻撃は、多数のAIから多数の人間・AIへの同時攻撃へと進化する。
たとえば、進化した情報操作の攻撃の例として、以下のようなものが考えられる。
- 攻撃対象の個人に合わせ、認知的な脆弱性を突くパーソナライズドな情報操作:
個人のオンライン上の行動データを基に、心理的特性や信条に合わせて最適化された偽情報を自動生成し、最も効果的なチャネルを通じて攻撃、返信を踏まえて攻撃を高度化 - マルチモーダルかつリアルタイムな攻撃で社会的信用を毀損:
公開データをもとにテキスト・画像・動画・音声を組み合わせた精緻なフェイクコンテンツをリアルタイムで生成・拡散し、個人や組織の社会的信用を回復不可能なレベルまで毀損 - 自律分散的に世論形成・増幅:
多数のAIエージェントが相互に連携し、特定の言説をSNS上で増幅させ、社会のコンセンサスであるかのような錯覚(擬似的な世論)を自律的に形成
悪意のある組織的・戦略的な情報操作によって攻撃が高度化すると、選挙や民主主義へ甚大な影響を及ぼすことが懸念される。「何が真実か」を判断・合意形成する能力が社会から失われれば、真実そのものに対する価値を見出せなくなり、民主主義そのもの基盤が揺らぐことにもなりかねない。

「withフェイク時代」の処方箋
情報操作、ディープフェイクの被害を根絶するのは、困難を極める。なぜなら、攻撃側が圧倒的に有利な条件だからである。攻撃側は、大多数の攻撃が失敗であっても、あらゆる手段を用いて一点だけ突破すればよい。防御側は、あらゆる可能性への対策が必要になるが、必要な対策が多すぎると防御に要するコストの維持が困難になる。我々は、情報操作やフェイクコンテンツの根絶が困難な世界、フェイクと共に生きざるを得ない「withフェイク時代」に生きているのだ。フェイクコンテンツと共存していく覚悟が必要になる。
大事なことは、できるだけ情報操作の被害を抑え、情報空間の機能を維持することである。被害が増えすぎると、情報空間の本来の機能である「情報の発信・伝送・受信」が深刻なダメージをうけ、正しい情報が正しく伝わらなくなり、情報空間への信頼が失墜する。新しいハイブリッド戦争の武器としての攻撃(認知戦)にも備える必要がある。単一の対策では不十分であり、多層的な対策の設計が不可欠だ。すぐに取り組める取り組みとして技術対策と法規制・ルール、中長期的な取り組みとしてリテラシー向上・権利保護などを組み合わせた対策が重要である。
大事なことは、できるだけ情報操作の被害を抑え、情報空間の機能を維持することである。被害が増えすぎると、情報空間の本来の機能である「情報の発信・伝送・受信」が深刻なダメージをうけ、正しい情報が正しく伝わらなくなり、情報空間への信頼が失墜する。新しいハイブリッド戦争の武器としての攻撃(認知戦)にも備える必要がある。単一の対策では不十分であり、多層的な対策の設計が不可欠だ。すぐに取り組める取り組みとして技術対策と法規制・ルール、中長期的な取り組みとしてリテラシー向上・権利保護などを組み合わせた対策が重要である。
① 技術対策
技術対策は、情報操作の急速な拡散を食い止める上で、最も迅速かつ広範な適用が可能な防御策の第一の候補となる。
既に欧米のテック大手やプラットフォーム事業者を中心に技術開発・導入が進められているところだが、日本では、政府系研究機関、大学、民間企業等による技術研究開発、政府による研究開発支援が行われている。要素技術として、情報コンテンツに発信者情報を紐付け発信者の実在性や信頼性を第三者が認証するOriginator Profile技術(OP技術、OP技術協会)、フェイク顔映像の真偽を自動判定するプログラム(国立情報学研究所)などがある。日本は、世界の技術対策の議論もリードできる技術力の素地がある。
民間企業でも総務省の事業を活用した技術開発・実証事例がある。NABLASとNTT東日本では、生成AIで生成したフェイク音声を用いた「なりすまし電話」による金銭詐欺を防止するため、検知技術の開発・実証に取り組んでいる。これらの技術研究開発・導入の継続が重要だ。
既に欧米のテック大手やプラットフォーム事業者を中心に技術開発・導入が進められているところだが、日本では、政府系研究機関、大学、民間企業等による技術研究開発、政府による研究開発支援が行われている。要素技術として、情報コンテンツに発信者情報を紐付け発信者の実在性や信頼性を第三者が認証するOriginator Profile技術(OP技術、OP技術協会)、フェイク顔映像の真偽を自動判定するプログラム(国立情報学研究所)などがある。日本は、世界の技術対策の議論もリードできる技術力の素地がある。
民間企業でも総務省の事業を活用した技術開発・実証事例がある。NABLASとNTT東日本では、生成AIで生成したフェイク音声を用いた「なりすまし電話」による金銭詐欺を防止するため、検知技術の開発・実証に取り組んでいる。これらの技術研究開発・導入の継続が重要だ。
今後は、AIエージェントを用いた防御能力向上も有効な手段になると考えられる。
フェイクコンテンツが増えれば、検証対象の指定や個別の検証は人手ではまかないきれない。たとえば、アカウント認証技術、コンテンツ検知技術、フィルタリング技術などの高度化にAIエージェントを活用できる可能性がある。海外の事例だが、フィンランド政府は偽情報の拡散行動そのものに着目して検知するAIシステムを開発し、悪質なボットや自作自演アカウントを特定してSNS運営会社に削除依頼を行っている。表現の自由の観点もあり技術的・制度的な精査は必要だが、防御能力をもつ自律的なAIエージェントの開発・導入は、急増する情報操作攻撃への対処と被害最小化が期待できる。
フェイクコンテンツが増えれば、検証対象の指定や個別の検証は人手ではまかないきれない。たとえば、アカウント認証技術、コンテンツ検知技術、フィルタリング技術などの高度化にAIエージェントを活用できる可能性がある。海外の事例だが、フィンランド政府は偽情報の拡散行動そのものに着目して検知するAIシステムを開発し、悪質なボットや自作自演アカウントを特定してSNS運営会社に削除依頼を行っている。表現の自由の観点もあり技術的・制度的な精査は必要だが、防御能力をもつ自律的なAIエージェントの開発・導入は、急増する情報操作攻撃への対処と被害最小化が期待できる。

② 法規制・ルール
技術対策は、いわゆる「いたちごっこ」の状況が発生しやすい。防御技術が進化すれば攻撃技術も進化するため、法規制・ルールも併せて検討する必要がある。特に、フェイクニュースやディープポルノ、高リスクアプリに対する規制は急務だ。
日本では、総務省を中心に法規制が検討されている。
2025年4月に施行された「情報流通プラットフォーム対処法」では、大規模プラットフォーム事業者に、違法・有害情報の投稿削除基準策定や対応状況公表などが義務付けられた。生成AI由来のコンテンツに限定せず、違法・有害情報に対する事業者の対応状況の透明性を高めるとともに、迅速な対応を担保するための罰則規定も設けている。大規模なプラットフォーム事業者の多くは、本社が海外に置かれている。今後は、海外に本社を置く事業者に対しても、国内法に基づく対策の実効性をいかに確保していくかが重要な課題となる。国際的な枠組みでの協調と連携も強化し、実効性のあるグローバルスタンダードを構築していく視点が不可欠となる。
海外では発信者の厳罰化が進んでいる。たとえば性的なディープフェイク(ディープポルノ)の作成や共有に対して、世界各国で懲役・禁固を含む刑事罰が規定されている。日本でも、自治体レベルでは鳥取県が条例を制定した。児童らの画像を加工した性的なディープフェイク、いわゆる「児童ポルノ」の作成や提供を禁じ、違反者へ5万円以下の過料や氏名公表などを規定している。地域や年齢を問わず誰もが被害者になりうる現状に対応するため、今後は国全体で実効性のある法規制を構築する必要がある。2025年9月に設置された人工知能戦略本部では、AI法に基づく調査研究によって、ディープポルノの画像・動画コンテンツを生成可能なAIの実態調査も行われている。ディープポルノを容易に生成可能なダウンロードアプリが1万種以上公開されていると報告されており、このような高リスクアプリに対する規制も検討する必要がある。
日本では、総務省を中心に法規制が検討されている。
2025年4月に施行された「情報流通プラットフォーム対処法」では、大規模プラットフォーム事業者に、違法・有害情報の投稿削除基準策定や対応状況公表などが義務付けられた。生成AI由来のコンテンツに限定せず、違法・有害情報に対する事業者の対応状況の透明性を高めるとともに、迅速な対応を担保するための罰則規定も設けている。大規模なプラットフォーム事業者の多くは、本社が海外に置かれている。今後は、海外に本社を置く事業者に対しても、国内法に基づく対策の実効性をいかに確保していくかが重要な課題となる。国際的な枠組みでの協調と連携も強化し、実効性のあるグローバルスタンダードを構築していく視点が不可欠となる。
海外では発信者の厳罰化が進んでいる。たとえば性的なディープフェイク(ディープポルノ)の作成や共有に対して、世界各国で懲役・禁固を含む刑事罰が規定されている。日本でも、自治体レベルでは鳥取県が条例を制定した。児童らの画像を加工した性的なディープフェイク、いわゆる「児童ポルノ」の作成や提供を禁じ、違反者へ5万円以下の過料や氏名公表などを規定している。地域や年齢を問わず誰もが被害者になりうる現状に対応するため、今後は国全体で実効性のある法規制を構築する必要がある。2025年9月に設置された人工知能戦略本部では、AI法に基づく調査研究によって、ディープポルノの画像・動画コンテンツを生成可能なAIの実態調査も行われている。ディープポルノを容易に生成可能なダウンロードアプリが1万種以上公開されていると報告されており、このような高リスクアプリに対する規制も検討する必要がある。
選挙期間のルールも重要な論点だ。日本の公職選挙法は、インターネット選挙運動の解禁(2013年)で候補者や有権者がSNSなどを利用した情報発信が合法的に行えるようになったが、この法改正は主に人間が作成する情報を前提としており、生成AIがもたらす新たな脅威には十分に対応できていない。2024年7月の東京都知事選は、生成AIが本格的に用いられた初の選挙となり、候補者にまつわるフェイクニュースも蔓延した。特に、候補者の声や映像を模倣したディープフェイク動画や偽情報が拡散されるリスクが顕在化した。AI生成コンテンツの表示義務化や悪意のあるディープフェイクに対する規制強化、防止措置の権限強化なども検討の余地がある。海外では、台湾は選挙に影響を与える意図によるディープフェイクの作成・拡散に最大7年の懲役を規定しており、フランスは選挙期間中に利害関係者から求めがあった場合に裁判官からプラットフォーム事業者に対して送信防止措置を命令することも可能となっている。
また、外国からの情報操作に国として措置を取ることも、今後検討しなければならないだろう。2025年の日本の参院選では、他国からの選挙干渉の可能性も指摘された。アメリカでは、他国からの情報操作に用いられたSNSアカウントの停止措置も取られている。候補者の選挙活動や有権者の知る権利といった、選挙期間中の活動や権利が滞りなく維持されるような法規制・ルールが求められる。
また、外国からの情報操作に国として措置を取ることも、今後検討しなければならないだろう。2025年の日本の参院選では、他国からの選挙干渉の可能性も指摘された。アメリカでは、他国からの情報操作に用いられたSNSアカウントの停止措置も取られている。候補者の選挙活動や有権者の知る権利といった、選挙期間中の活動や権利が滞りなく維持されるような法規制・ルールが求められる。
世界各国は、ディープフェイクやディープポルノの規制、選挙における偽情報の拡散防止、プラットフォーム事業者への責任賦課、AI技術の悪用に対する罰則強化など、多岐にわたるアプローチで対策を進めている。具体的には、AI生成コンテンツの透明性確保や違法利用の取り締まり、非同意の親密な画像や動画の作成・共有の犯罪化である。プラットフォーム事業者に対しては、違法コンテンツの削除義務やアルゴリズムの透明性確保を求める法整備も進められている。ディープフェイクに関しては表現の自由との兼ね合いもあり各国の規制に濃淡がみられるが、ディープポルノに関しては各国とも懲役・禁固を含む厳罰化が進んでいる。

③ リテラシー向上・権利保護
技術対策や法規制・ルールによっても、ユーザーの手元に届くフェイクコンテンツをゼロにすることは難しい。
総務省の調査では、海外と比べ、日本ではオンラインの情報の発信源(組織や人物)を確認する人の割合が低いという結果がある。偽・誤情報に接触した人の約25%が、その情報を拡散していたという調査結果もある。情報操作の最終的な防衛線は、市民一人ひとりの情報リテラシーだ。前述のフィンランドでは、小学校から情報の真偽を見抜く力を育てる情報リテラシー教育の授業が行われている。批判的思考力や情報源の検証スキルを育成する情報リテラシー教育は、国家的なレジリエンス構築のための基盤戦略として位置づけられるべきである。
フェイクコンテンツによる被害者支援のため、法的相談や精神的ケア、コンテンツ削除支援などを包括的に提供する仕組みも欠かせない。当社調査では、「ネット上の誹謗・中傷・デマの増加、誹謗中傷等の訴訟費用の支援」に対して回答者の約34%が支払意思を示し、その平均支払意思額は年間約423円であった。負担の必要性は社会的に一定の認識がある。具体的な仕組みの構築に向けた議論の一助になるだろう。
生成AIによって誰でも簡単にコンテンツ作成ができるようになった状況では、高品質なコンテンツが維持される環境も重要だ。コンテンツ産業を支える制作会社の権利保護によってクリエイターとコンテンツ産業の経済的基盤が守られれば、高品質のコンテンツが生みだされ、文化の多様性と健全な発展が維持される。具体的には、著作権と知財保護、適正な対価補償と合わせた枠組みを、社会全体で構築させていく必要がある。
総務省の調査では、海外と比べ、日本ではオンラインの情報の発信源(組織や人物)を確認する人の割合が低いという結果がある。偽・誤情報に接触した人の約25%が、その情報を拡散していたという調査結果もある。情報操作の最終的な防衛線は、市民一人ひとりの情報リテラシーだ。前述のフィンランドでは、小学校から情報の真偽を見抜く力を育てる情報リテラシー教育の授業が行われている。批判的思考力や情報源の検証スキルを育成する情報リテラシー教育は、国家的なレジリエンス構築のための基盤戦略として位置づけられるべきである。
フェイクコンテンツによる被害者支援のため、法的相談や精神的ケア、コンテンツ削除支援などを包括的に提供する仕組みも欠かせない。当社調査では、「ネット上の誹謗・中傷・デマの増加、誹謗中傷等の訴訟費用の支援」に対して回答者の約34%が支払意思を示し、その平均支払意思額は年間約423円であった。負担の必要性は社会的に一定の認識がある。具体的な仕組みの構築に向けた議論の一助になるだろう。
生成AIによって誰でも簡単にコンテンツ作成ができるようになった状況では、高品質なコンテンツが維持される環境も重要だ。コンテンツ産業を支える制作会社の権利保護によってクリエイターとコンテンツ産業の経済的基盤が守られれば、高品質のコンテンツが生みだされ、文化の多様性と健全な発展が維持される。具体的には、著作権と知財保護、適正な対価補償と合わせた枠組みを、社会全体で構築させていく必要がある。
まとめ
今回のコラムでは、AIの自律化、エージェント化による情報操作(ディープフェイク・ディープポルノ)の脅威と対策を考察した。
情報操作の深刻化は、民主主義の基盤をも揺るがしかねない。自律化したAIによって情報操作は攻撃の進化が想定され、場当たり的な対策では対抗が難しくなる。
技術対策、法制度・ルール、リテラシー向上・権利保護を統合したアプローチが不可欠であり、攻撃側のエコシステムに対抗する防御側エコシステムの形成によって、情報空間と民主主義の基盤を守ることができる。我々は「withフェイク時代」という新たな現実を受け入れ、フェイクコンテンツの根絶が困難であることを前提とした多層的な防御策を構築しなければならない。
情報操作の深刻化は、民主主義の基盤をも揺るがしかねない。自律化したAIによって情報操作は攻撃の進化が想定され、場当たり的な対策では対抗が難しくなる。
技術対策、法制度・ルール、リテラシー向上・権利保護を統合したアプローチが不可欠であり、攻撃側のエコシステムに対抗する防御側エコシステムの形成によって、情報空間と民主主義の基盤を守ることができる。我々は「withフェイク時代」という新たな現実を受け入れ、フェイクコンテンツの根絶が困難であることを前提とした多層的な防御策を構築しなければならない。

次回のコラムでは、自律化したAIがもたらすもう一つの懸念、「AI暴走=制御不能」の脅威と対策を考察する。
-
Resemble AI Q12025 Deepfake IncidentReport: Mapping Deepfake Incidents
https://www.resemble.ai/wp-content/uploads/2025/04/ResembleAI-Q1-Deepfake-Threats.pdf(2025年9月16日閲覧) -
Security Hero 2023 STATE OF DEEPFAKES Realities, Threats, and Impact
https://www.securityhero.io/state-of-deepfakes/(2025年9月16日閲覧) -
株式会社三菱総合研究所 三菱総研DCS株式会社 2025年06月04日 ニュースリリース 日本企業のDX推進状況調査結果【2025年度詳細版】を公表
https://www.mri.co.jp/news/press/20250604.html(2025年9月16日閲覧) -
詳細は下記参照
時代は生成AIからAIエージェントへ
https://www.mri.co.jp/knowledge/opinion/2024/202412_1.html(2025年9月16日閲覧) -
詳細は下記を参照
第3部 生成AIのリスク・懸念と対策
第1回:「生成AIのリスクと対策」 ~活用段階に合わせたルール整備でDXを加速~
https://dx.mri.co.jp/generative-ai/column/risks-01/(2025年9月16日閲覧)
第2回:「生成AIによる社会的懸念と対策」
https://dx.mri.co.jp/generative-ai/column/risks-02/(2025年9月16日閲覧) -
下記など
CNN World February 4, 2024 Finance worker pays out $25 million after video call with deepfake ‘chief financial officer’
https://edition.cnn.com/2024/02/04/asia/deepfake-cfo-scam-hong-kong-intl-hnk/index.html(2025年9月16日閲覧)
SPH Media Limited The Straits Times Finance director nearly loses $670k to scammers using deepfakes to pose as senior execs
https://www.straitstimes.com/singapore/finance-director-nearly-loses-670k-to-scammers-using-deepfakes-to-pose-as-company-senior-execs(2025年9月16日閲覧) -
下記など
Reuters May 22, 2023 'Deepfake' scam in China fans worries over AI-driven fraud https://www.reuters.com/technology/deepfake-scam-china-fans-worries-over-ai-driven-fraud-2023-05-22/(2025年9月16日閲覧) -
下記など
NEW YORK POST April 12, 2023 AI clones teen girl‘s voice in $1M kidnapping scam https://nypost.com/2023/04/12/ai-clones-teen-girls-voice-in-1m-kidnapping-scam/(2025年9月16日閲覧) -
Resemble AI Q12025 Deepfake IncidentReport: Mapping Deepfake Incidents
https://www.resemble.ai/wp-content/uploads/2025/04/ResembleAI-Q1-Deepfake-Threats.pdf(2025年9月16日閲覧) -
Security Hero 2023 STATE OF DEEPFAKES Realities, Threats, and Impact
https://www.securityhero.io/state-of-deepfakes/(2025年9月16日閲覧) -
世界経済フォーラム 2024年01月10日 グローバルリスク報告書2024年版: 環境の脅威が激化する中、「偽情報」がグローバルリスク2024のトップに
https://jp.weforum.org/press/2024/01/guro-barurisuku-2024-no-ga-suru-gaguro-barurisuku2024notoppuni/(2025年9月16日閲覧) -
Regula Deepfake Trends 2024
https://static-content.regulaforensics.com/PDF-files/0831-Regula-Deepfake-Research-Report-Final-version.pdf(2025年9月16日閲覧) -
2020年のレポートで、81カ国が政治的なプロパガンダや偽情報拡散にソーシャルメディアを使用と指摘されている。
Oxford Internet Institute University of Oxford Industrialized Disinformation 2020 Global Inventory of Organized Social Media Manipulation
https://demtech.oii.ox.ac.uk/wp-content/uploads/sites/12/2021/01/CyberTroop-Report-2020-v.2.pdf(2025年9月16日閲覧) -
Check Point Software Technologies RESEARCH FEBRUARY 22, 2024 Digital Deception at the Ballot Box: The Shadow Machinery of Election Manipulation: How Deepfake Technology Threatens the 2024 U.S. Elections
https://blog.checkpoint.com/security/digital-deception-at-the-ballot-box-the-shadow-machinery-of-election-manipulation-how-deepfake-technology-threatens-the-2024-u-s-elections/(2025年9月16日閲覧) -
Originator Profile 技術研究組合、Originator Profile 技術について
https://originator-profile.org/ja-JP/overview/(2025年9月16日閲覧) -
国立情報学研究所、SYNTHETIQ VISION
https://www.synthetiq.org/(2025年9月16日閲覧) -
NABLAS株式会社 NTT東日本株式会社 2025年8月25日 偽・誤情報等への対策技術の開発・実証を開始 ~電話音声フェイク検知と自治体向け偽・誤情報総合対策~
https://www.ntt-east.co.jp/release/detail/20250825_01.html(2025年9月16日閲覧) -
NHKニュース 2025年3月15日 “フェイクニュースに勝った国”世界に広がる偽情報への対策は
https://www3.nhk.or.jp/news/html/20250315/k10014749031000.html(2025年9月16日閲覧) - 正式名称は「特定電気通信による情報の流通によって発生する権利侵害等への対処に関する法律」、「特定電気通信役務提供者の損害賠償責任の制限及び発信者情報の開示に関する法律」(通称:プロバイダ責任制限法)を改正したもの
-
総務省 インターネット上の違法・有害情報に対する対応(情報流通プラットフォーム対処法)
https://www.soumu.go.jp/main_sosiki/joho_tsusin/d_syohi/ihoyugai.html(2025年9月16日閲覧) -
鳥取県 子ども家庭部 家庭支援課 鳥取県青少年健全育成条例の改正について
https://www.pref.tottori.lg.jp/320988.htm(2025年9月16日閲覧) -
内閣府 人工知能戦略本部(第1回) 資料2-4 AI法に基づく調査研究等について【報告】
https://www8.cao.go.jp/cstp/ai/ai_hq/1kai/shiryo2_4.pdf(2025年9月16日閲覧) -
NHKニュース 2025年8月14日 “AI発達で他国による選挙干渉リスク高まる” 政府 対策強化へ
https://www3.nhk.or.jp/news/html/20250814/k10014893961000.html(2025年9月16日閲覧) -
BBC 10 July 2024 US officials uncover alleged Russian ‘bot farm’
https://www.bbc.com/news/articles/c4ng24pxkelo(2025年9月16日閲覧) -
総務省 令和7年版情報通信白書
https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/r07/pdf/00zentai.pdf(2025年9月16日閲覧) -
総務省 情報流通行政局 情報流通振興課 ICTリテラシー実態調査
https://www.soumu.go.jp/main_content/001008791.pdf(2025年9月16日閲覧) - 実際の授業では、偽画像を題材にして、「誰が投稿したか」「著者は実在するか」「画像に不自然な点はないか」などを、チェックシートを用いてチェックする。
- 三菱総合研究所 生活者市場予測システム(mif) 2025年度ベーシック調査 より集計(N=30,000)、年間1万円以上の支払い意思は3万円に設定