级联幻觉攻击
风险概览
风险编号：GAARM.0065
子风险：无
安全阶段：数据安全
生命周期：应用阶段
创建时间：2025.12.10
修改时间：2025.12.10
攻击概述¶
级联幻觉攻击是一种针对多Agent共享记忆机制的高级攻击技术，攻击者通过向某个Agent注入错误或恶意信息，利用Agent间的记忆共享机制实现错误信息的级联传播和扩散。这种攻击的核心在于利用Agent间的信任关系和共享记忆的权限控制缺陷，通过初始注入、记忆共享、级联放大和持续污染等阶段，实现整个Agent网络的认知污染和数据投毒，可能导致分布式决策系统产生系统性错误，造成严重的业务损失和安全风险。
攻击案例¶
| 案例 | 描述 |
|---|---|
| 案例一 | 在 2025 年由 Atharv Singh Patlan 等研究者提出的 MURMUR 框架中，安全研究团队演示了所谓的 交叉用户污染（cross‑user poisoning）攻击，攻击者通过向多用户共享的 Agent 系统发送普通但精心设计的消息，成功污染了系统的共享状态。 |
攻击风险¶
- 认知污染：整个Agent网络产生系统性错误认知
- 决策质量下降：基于错误信息的集体决策质量严重下降
- 系统可靠性受损：多Agent系统的可靠性和可信度严重下降
- 业务连续性中断：错误的集体决策导致业务流程中断
- 数据完整性破坏：共享记忆中的数据被恶意污染
- 恢复成本高昂：污染后的系统恢复难度大、成本高
缓解措施¶
| 缓解方式 | 描述 |
|---|---|
| 信息验证机制 | 建立共享记忆信息的真实性验证机制，实施多Agent交叉验证，建立信息可信度评估体系 |
| 权限控制强化 | 实施细粒度的记忆共享权限控制，建立记忆访问审计机制，限制记忆修改权限范围 |
| 信息溯源系统 | 建立完整的共享信息溯源机制，实施信息传播路径追踪，建立信息来源可信度评估 |
| 异常检测系统 | 监控Agent网络的信息传播模式，检测异常的信息级联效应，建立污染攻击检测模型 |