LLMs应用API管理不当
风险概览
风险编号：GAARM.0049
子风险：无
安全阶段：应用安全
生命周期：部署阶段
创建时间：2024.05.01
修改时间：2024.08.06
攻击概述¶
LLMs应用API管理不当是指LLMs集成框架环境中存在敏感操作的Tools、Agents、Chains等内外部的API组件，未与LLMs环境做好正确的环境管理与配置。由于大语言模型通常需要与多种API进行交互以执行任务，如果这些API未得到适当的管理，比如未设置正确的访问权限或未实施足够的安全控制，则攻击者可以利用这些漏洞来获取敏感信息或执行恶意行为，实现未授权访问、代码执行利用等攻击。
攻击案例¶
| 案例 | 描述 |
|---|---|
| 案例一 | 针对LLMs api的利用主要给出以下两个攻击案例:Lasso Security发现Hugging Face代码库中1600多个属于大型科技公司如Meta、Google等的API令牌被暴露;Sourcegraph在2023年8月遭受的网络攻击，攻击者通过泄露的管理员访问令牌获得了用户数据，导致API使用率激增 |
攻击风险¶
- 数据泄露：攻击者可能获取敏感数据，包括个人身份信息、商业秘密等。
- 服务中断：恶意代码执行或未授权访问可能导致服务中断或性能下降。
- 法律和合规风险：安全漏洞可能引起法律诉讼和合规问题。
缓解措施¶
| 缓解方式 | 描述 |
|---|---|
| 最小权限原则 | 遵循最小权限原则，只为LLMs提供完成其任务所必需的最小访问权限，避免过度代理授权 |
| 输入/输出验证 | 对所有通过API发送的输入进行彻底验证，以防止注入攻击 |
| 监控和日志记录 | 监控AI时代下的新型API活动并记录日志，以便能够快速检测和响应可疑行为 |