代码解析器执行逃逸
风险概览
风险编号：GAARM.0007.001
风险归属：GAARM.0007
安全阶段：基座安全
生命周期：应用阶段
创建时间：2024.05.01
修改时间：2024.08.09
攻击概述¶
该风险是指攻击者利用GPT-4等代码解析器的功能，通过它们具备的代码解析和代码生成的能力，以多次会话上下文交互逐步构造和隐藏恶意代码、使用Unicode字符及编码混淆等方式来隐藏恶意代码等方式，对恶意代码进行隐藏和绕过，进而实现对模型应用的代码安全检查机制，绕过完成沙盒逃逸，进而获得对系统的访问权限。这种恶意代码隐蔽性强，难以被检测，一旦突破沙箱隔离，攻击者可以控制整个系统，窃取数据、植入后门等。
攻击案例¶
| 案例 | 描述 |
|---|---|
| 案例一 | 在GPT4执行代码的时候，通过多次会话上下文交互以及编码方式对恶意代码进行隐藏和绕过，最终通过字符串触发执行，绕过了GPT-4的安全检查，执行了cat /etc/issue命令，成功获取到了目标环境的Linux发行版 |
攻击风险¶
- 数据泄露风险：攻击者能够从 LLM 应用程序或其连接的系统中提取敏感数据。
- 系统完整性风险：攻击者可以执行未经授权的操作，修改系统设置或文件，甚至植入恶意代码，从而对系统造成损害。
- 权限提升风险：一旦攻击者成功逃逸沙盒，他们可能会获取比原本所拥有的更高权限的访问权限。
缓解措施¶
| 缓解方式 | 描述 |
|---|---|
| 严格测试隔离环境 | 对沙盒环境进行严格的测试和验证，确保其安全 |
| 输入/输出验证 | 过滤掉不安全的Prompt，最大限度保证系统安全 |
| 访问控制 | 在 LLM 应用程序及其沙盒环境中实施严格的访问控制和权限分离，确保只有授权实体才能访问敏感资源，并限制特权操作的执行 |