环路Agent蠕虫
风险概览
风险编号：GAARM.0040.002
风险归属：GAARM.0040
安全阶段：应用安全
生命周期：应用阶段
创建时间：2024.05.01
修改时间：2024.05.01
攻击概述¶
代理（Agent）具有从互联网等外部实时获取信息的能力，并且能够将这些信息交由大模型进行处理，最终返回给用户。然而，攻击者可以利用这一点，通过外部数据源注入恶意信息，干扰Agent的执行，进而影响大模型的输出。这些恶意的提示词会间接影响多个大型模型（LLMs）的应用，形成一个恶性循环，使得恶意信息迅速扩散。通过Agent的输入输出循环，这种环路Agent蠕虫可以造成一种自我复制和传播的恶意行为，最终可能导致隐私泄露，还可能引起数据滥用等安全风险。
攻击案例¶
| 案例 | 描述 |
|---|---|
| 案例一 | 研究人员创建了一个名为Morris II的AI蠕虫，它能够攻击一个生成性AI电子邮件助手，从电子邮件中窃取数据并发送垃圾邮件，同时破坏了ChatGPT和Gemini的一些安全保护 |
攻击风险¶
- 数据泄露：AI蠕虫可能会窃取敏感的个人信息，如姓名、电话号码、信用卡号、身份证号码等。
- 恶意软件部署：蠕虫可以在受感染的系统中部署恶意软件，导致进一步的安全问题。
- 安全防护绕过：AI蠕虫能够绕过现有的一些安全防护措施，如ChatGPT和Gemini的安全机制。
- 新型网络攻击：AI蠕虫代表了一种之前未被广泛认知的网络攻击方式，对现有的安全防护措施构成挑战。
缓解措施¶
| 缓解方式 | 描述 |
|---|---|
| 输入/输出验证 | 针对进入到Agent中调度处理的数据进行严格的验证校验措施 |
| 设计安全的LLMs Agent | 采取传统的安全措施，如确保Agnet应用程序设计安全，监控可能的安全漏洞 |
| 人工干预审批 | 保持人类在循环中，确保LLMs Agent在执行操作前需要人工批准，避免AI系统自主地发送电子邮件或其他可能的风险行为 |