图片信息伪造
风险概览
风险编号：GAARM.0031.003
风险归属：GAARM.0031
安全阶段：模型安全
生命周期：应用阶段
创建时间：2024.05.01
修改时间：2024.05.01
攻击概述¶
攻击者通过生成对抗网络（GAN）等技术，可以生成逼真的虚假图片。这些虚假图片可能被用于虚假广告、造假证据、网络欺诈等目的。此外，图片信息伪造还可能导致个人身份信息的泄露。攻击者通过分析个人照片、社交媒体信息和其他公开数据，利用AI可以生成逼真的人脸图像，并用于冒充他人身份。这给个人隐私和数据安全带来了严重的风险。
攻击案例¶
| 案例 | 描述 |
|---|---|
| 案例一 | 财务人员收到假冒CFO的邮件并受邀参加视频会议，会议中的所有参与者均为使用公开视频和音频片段制作的Deepfake虚假影像，导致公司损失2亿港币（约1.8亿人民币） |
| 案例二 | AI生成虚假信息的图片，使与事实不符的信息的可信度提升，带来严重的公众舆论后果 |
攻击风险¶
- 误导性信息：伪造图片可能被用来传播虚假信息，影响公众舆论。
- 信誉损害：企业或个人可能因伪造图片而受到贬损，影响其声誉乃至带来财产损失。
- 法律后果：发布伪造图片可能导致法律责任，尤其是在涉及诽谤或侵犯隐私的案件中。
缓解措施¶
| 缓解方式 | 描述 |
|---|---|
| 内容审查 | 使用图像识别和内容审查工具检测伪造或篡改的图片 |
| 水印技术 | 明确标识生成的图片，告知用户其非真实来源 |
| 来源验证 | 通使用图像取证工具检查图片的元数据和编辑历史 |
| 制定政策 | 建立明确的政策和法律框架，针对伪造图片的使用和传播 |