外部数据源信息泄露
风险概览
风险编号：GAARM.0030
子风险：无
安全阶段：数据安全
生命周期：应用阶段
创建时间：2024.05.01
修改时间：2024.05.01
攻击概述¶
该风险是指在推理过程中会访问外部数据源信息，外部数据源包含了未经妥善保护的敏感内容，如个人隐私信息、商业秘密或其他机密数据，模型在处理这些信息时可能会无意中将这些敏感内容暴露出来。攻击者可以通过构筑提示词让模型泄露敏感数据，带来信息泄露的安全隐患。
攻击案例¶
| 案例 | 描述 |
|---|---|
| 案例一 | 这个案例通过间接Prompt注入让new bing的输出内容中包含cow这个单词 |
| 案例二 | 攻击者通过提示词注入让模型应用泄露了其中的外部数据具体内容 |
攻击风险¶
- 敏感数据泄露：泄露敏感信息导致个人隐私泄露或者商业机密外泄；
- 安全漏洞：攻击者可能利用模型对数据的访问来实施钓鱼攻击、社会工程攻击等；
- 误导性信息泄露：模型可能被攻击者恶意篡改，导致输出错误或误导性信息，影响决策和操作；
- 代理模型构建风险：大量数据源信息泄露，可能导致攻击者构建出同样能力的代理模型；
缓解措施¶
| 缓解方式 | 描述 |
|---|---|
| 审计与监控 | 定期对模型的访问和输出进行审计和监控，及时发现异常行为并采取应对措施 |
| 访问控制 | 限制模型对外部敏感数据源的访问权限，确保仅有授权的用户或系统可以进行访问 |
参考¶
- https://magazine.sebastianraschka.com/p/ahead-of-ai-8-the-latest-open-source
- https://vulcan.io/blog/owasp-top-10-llm-risks-what-we-learned/#h2_1
- https://www.linkedin.com/pulse/security-threats-around-llm-systems-categorization-gaurang-desai-bvale?trk=article-ssr-frontend-pulse_more-articles_related-content-card