企业机密数据窃取
风险概览
风险编号：GAARM.0019.002
风险归属：GAARM.0019
安全阶段：数据安全
生命周期：应用阶段
创建时间：2024.08.12
修改时间：2024.08.12
攻击概述¶
该风险是指当模型在投入应用的阶段，攻击者可以通过分析模型等攻击手段来推断或窃取企业的隐私信息，这包括但不限于商业秘密、客户信息、财务数据等敏感信息。攻击者可能非法获取、使用或出售企业的隐私信息，不仅损害企业的权益，还可能引发法律诉讼和信誉损失，严重威胁企业的整体安全和可持续发展。
攻击案例¶
| 案例 | 描述 |
|---|---|
| 案例一 | 三星员工在使用ChatGPT时，将公司会议纪要，代码等内部信息上传到ChatGPT，会被用作训练数据，可能导致公司的敏感数据被窃取 |
攻击风险¶
- 敏感数据泄露：攻击者可能通过分析模型输出或模型参数来推断企业的隐私信息，例如商业秘密、客户信息、财务数据等敏感数据。
- 隐私注入攻击：攻击者可能通过向模型注入特定的恶意数据或干扰信号，使得模型在处理企业数据时泄露隐私信息。
- 隐私侵犯攻击：攻击者可能通过非法访问模型的存储或运行环境，获取企业数据或模型内部信息，进而侵犯企业隐私。
缓解措施¶
| 缓解方式 | 描述 |
|---|---|
| 数据脱敏处理 | 在模型训练和推理过程中，对数据进行脱敏处理，以确保隐私信息在模型中无法被直接识别或泄露 |
| 差分隐私保护 | 使用差分隐私技术对模型输出进行加噪处理，使得攻击者无法通过输出结果推断出具体的隐私信息 |
| 访问控制与权限管理 | 限制对模型的访问权限，确保只有授权的用户或系统可以进行数据处理和模型操作，防止非法访问 |
| 安全计算环境 | 在部署模型时使用安全计算环境，如可信执行环境（TEE）或安全多方计算（MPC），以保护模型和数据不受未经授权的访问 |
| 定期审计与监控 | 定期对模型及其环境进行审计和监控，及时发现可能存在的隐私安全问题，并采取相应的修复措施 |