隐私数据窃取
风险概览
风险编号：GAARM.0019
子风险：GAARM.0019.001、GAARM.0019.002
安全阶段：数据安全
生命周期：应用阶段
创建时间：2024.08.12
修改时间：2024.08.12
攻击概述¶
该风险是指当模型在投入应用的阶段，攻击者可以通过分析模型、注入攻击提示词等攻击手段来推断或窃取敏感信息。这主要包括两个方面：
- 个人隐私数据窃取：非法窃取个人身份信息、行为习惯、位置数据等，甚至使用或出售用户的隐私信息，不仅损害用户的权益，还可能导致企业面临法律责任和声誉损失。；
- 企业机密数据窃取：非法获取、使用或出售企业的隐私信息，不仅损害企业的权益，还可能引发法律诉讼和信誉损失，严重威胁企业的整体安全和可持续发展；
攻击案例¶
具体见子风险攻击案例
攻击风险¶
- 敏感数据泄露：攻击者可能通过分析模型输出或模型参数来推断隐私信息。
- 隐私注入攻击：攻击者可能通过向模型注入特定的恶意数据或干扰信号，使得模型在处理敏感数据时泄露隐私信息。
- 隐私侵犯攻击：攻击者可能通过非法访问模型的存储或运行环境，获取数据或模型内部信息，进而侵犯隐私。
缓解措施¶
| 缓解方式 | 描述 |
|---|---|
| 数据脱敏处理 | 在模型训练和推理过程中，对用户数据进行脱敏处理，以确保隐私信息在模型中无法被直接识别或泄露 |
| 差分隐私保护 | 使用差分隐私技术对模型输出进行加噪处理，使得攻击者无法通过输出结果推断出具体的个人信息 |
| 访问控制与权限管理 | 限制对模型的访问权限，确保只有授权的用户或系统可以进行数据处理和模型操作，防止非法访问 |
| 安全计算环境 | 在部署模型时使用安全计算环境，如可信执行环境（TEE）或安全多方计算（MPC），以保护模型和数据不受未经授权的访问 |
| 定期审计与监控 | 定期对模型及其环境进行审计和监控，及时发现可能存在的隐私安全问题，并采取相应的修复措施 |