多模态协同注入攻击
风险概览
风险编号：GAARM.0061
子风险：无
安全阶段：应用安全
生命周期：应用阶段
创建时间：2025.12.10
修改时间：2025.12.10
攻击概述¶
多模态协同注入攻击是一种利用多种模态（文本、图像、音频、视频等）之间协同关系进行恶意指令嵌入的高级攻击技术。攻击者通过精心构造跨模态的恶意内容，利用多模态模型在处理和理解不同模态信息时的语义关联机制，将恶意指令嵌入到看似无害的多模态内容中。这种攻击的核心在于绕过单一模态的安全检测机制，通过模态间的协同效应实现攻击目的，可能导致数据泄露、模型行为操纵或非预期操作执行。
攻击案例¶
| 案例 | 描述 |
|---|---|
| 案例一 | 攻击者利用跨模态冲突注入（CMCI），通过系统正常更新机制向知识库插入特殊的对抗性图像-文本对。这些对在检索时看似语义对齐（如图像显示肺炎，文本却描述“肺部清晰”），但实际内容矛盾，从而诱导AI在诊断时输出完全错误的结论（如将肺炎误判为正常），造成严重的医疗安全风险。 |
攻击风险¶
- 数据泄露：诱导模型泄露训练数据或敏感信息
- 行为操纵：通过跨模态指令操纵模型的输出和行为
- 安全绕过：绕过单一模态的安全检测和控制机制
- 权限提升：利用模态协同获得更高的系统权限
- 隐私侵犯：通过多模态分析获取用户隐私信息
缓解措施¶
| 缓解方式 | 描述 |
|---|---|
| 跨模态协同检测 | 建立多模态协同安全检测机制，实施跨模态语义关联分析，检测异常的模态组合模式 |
| 多维度安全验证 | 同时验证多个模态的安全性，建立模态间一致性检查，实施跨模态威胁情报共享 |
| 融合过程加固 | 在多模态融合过程中加入安全检查，实施模态权重动态调整，建立异常融合模式检测 |
| 模态隔离处理 | 对不同模态进行预处理隔离，实施模态级安全过滤，建立模态间的安全通信机制 |