LLMs插件：权限管控设计缺陷
风险概览
风险编号：GAARM.0048
子风险：无
安全阶段：身份安全
生命周期：训练阶段
创建时间：2024.05.01
修改时间：2024.08.07
攻击概述¶
该风险指的是在LLMs插件中，存在权限管控方面的设计缺陷。LLM插件是一种提供了交互功能的Agent代理，当启用时，会在用户互动期间由模型自动调用。这种自动调用存在不受控的风险，例如一个插件可能会利用另一个插件的权限，访问和获取自己无法直接访问的敏感数据或功能，给予攻击者构造恶意请求进行攻击的可能。总而言之，这种有缺陷的访问控制允许用户直接调度敏感功能的插件或者插件之间存在错误的权限控制，最终用户提供了恶意输入，导致产生安全风险，包括数据泄露、远程代码执行和特权升级。
攻击案例¶
| 案例 | 描述 |
|---|---|
| 案例一 | LangChain提供了许多工具来构建LLM插件，当这些插件的设计没有将安全性作为首要任务时，攻击者可以使用提示注入来破坏设计不当的插件的行为 |
攻击风险¶
- 敏感信息泄露: 权限管控设计不当的插件可能被攻击者调用后申请另一个插件的权限，访问和获取其他插件的数据或功能，通过这种逐级调用可能会导致许多敏感信息的泄露。
- 远程代码执行：通过注入恶意代码或数据，攻击者可能试图在系统中获得一个立足点，从而进一步控制或破坏系统。
缓解措施¶
| 缓解方式 | 描述 |
|---|---|
| 强制执行严格的参数化输入 | 对输入进行类型和范围检查。如果不可能进行此操作，应引入第二层类型化调用，解析请求并应用验证和净化 |
| 最小权限访问控制 | 尽可能少地暴露功能，同时仍然执行其所需的功能 |