企业敏感数据保护缺陷
风险概览
风险编号：GAARM.0009.002
风险归属：GAARM.0009
安全阶段：数据安全
生命周期：训练阶段
创建时间：2024.05.01
修改时间：2024.08.12
攻击概述¶
企业敏感数据保护缺陷是指，在人工智能模型的训练过程中，可能引入了涉及未能充分脱敏或匿名化处理商业秘密、客户信息、财务数据等敏感信息，敏感信息进入模型，导致这些数据存在被未授权访问或泄露的风险。这种风险不仅会侵害企业的经济利益和市场竞争力，还可能引发法律诉讼和信誉损失，严重威胁企业的整体安全和可持续发展。
攻击案例¶
| 案例 | 描述 |
|---|---|
| 案例一 | 自 ChatGPT 推出以来，有 4.7% 的员工至少将敏感数据粘贴到该工具中一次。敏感数据占员工粘贴到 ChatGPT 中的 11%。其中包括源代码，内部数据，客户数据等，均为隐私数据 |
| 案例二 | 亚马逊的公司律师称，他们在ChatGPT生成的内容中发现了与公司机密“非常相似”的文本，可能是由于一些亚马逊员工在使用ChatGPT生成代码和文本时输入了公司内部数据信息 |
攻击风险¶
- 敏感数据泄露： 导致企业的商业机密泄露、竞争力受损、知识产权侵犯等问题。
- 经济损失： 训练数据中包含的核心代码等可能会出现在LLM生成的内容中，造成经济损失。
- 信任危机：随着LLM敏感信息泄露事件的增多，公众可能产生对人工智能技术和相关应用的安全性担忧，影响信任程度。
缓解措施¶
| 缓解方式 | 描述 |
|---|---|
| 数据脱敏 | 通过基于规则、基于模型的算法对数据进行脱敏，去除或者替换数据中的隐私数据 |
| 数据加密和访问控制 | 实施数据加密和访问控制措施，确保个人隐私数据和企业敏感数据在存储和传输过程中得到充分保护 |