视频信息伪造
风险概览
风险编号：GAARM.0031.005
风险归属：GAARM.0031
安全阶段：模型安全
生命周期：应用阶段
创建时间：2024.05.01
修改时间：2024.05.01
攻击概述¶
攻击者通过生成对抗网络（GAN）等技术，可以生成逼真的虚假视频。这些虚假视频可能被用于虚假广告、造假证据、网络欺诈等目的。此外，视频信息伪造还可能导致个人身份信息的泄露。这给个人隐私和数据安全带来了严重的风险。
攻击案例¶
| 案例 | 描述 |
|---|---|
| 案例一 | 财务人员收到假冒CFO的邮件并受邀参加视频会议，会议中的所有参与者均为使用公开视频和音频片段制作的Deepfake虚假影像，导致公司损失2亿港币（约1.8亿人民币） |
| 案例二 | 用 ChatGPT 生成讲话内容，用 Midjourney 生成虚拟形象，用 ElevenLabs 生成声音，用 D-ID 生成对口型的视频，做出了完整的短视频。 |
攻击风险¶
- 误导性信息：伪造视频可能被用来传播虚假信息，影响公众舆论。
- 信誉损害：企业或个人可能因伪造视频而受到贬损，影响其声誉乃至带来财产损失。
- 法律后果：发布伪造视频可能导致法律责任，尤其是在涉及诽谤或侵犯隐私的案件中。
缓解措施¶
| 缓解方式 | 描述 |
|---|---|
| 内容审查 | 使用图像识别和内容审查工具检测伪造或篡改的视频 |
| 水印技术 | 明确标识生成的视频，告知用户其非真实来源 |
| 来源验证 | 通使用图像取证工具检查视频的元数据和编辑历史 |
| 制定政策 | 建立明确的政策和法律框架，针对伪造视频的使用和传播 |