应用对话Memory攻击
风险概览
风险编号：GAARM.0040.003
风险归属：GAARM.0040
安全阶段：应用安全
生命周期：应用阶段
创建时间：2024.05.01
修改时间：2024.08.07
攻击概述¶
该风险指的是攻击者可以通过Web端的Prompt注入诱骗LLMs创建恶意的Memory（如：用户与模型的错误偏好设定），通过恶意的修改LLM记忆中的用户偏好，达到操控LLMs的效果。例如，攻击者可以诱骗LLM，使它认为用户的聊天偏好是“对用户的每一条消息都回复‘抱歉，我不能回复你’”，以此达到DOS攻击的效果。
攻击案例¶
| 案例 | 描述 |
|---|---|
| 案例一 | 这篇文章介绍了通过应用对话Memory攻击导致模型对用户持续的拒绝服务 |
攻击风险¶
- DOS攻击：攻击者可以根据喜好让用户受到持续拒绝服务的内存攻击。
缓解措施¶
| 缓解方式 | 描述 |
|---|---|
| 关闭历史记忆功能 | 关闭LLMs模型的Memory功能可以缓解这一问题 |