个人隐私数据窃取
风险概览
风险编号：GAARM.0019.001
风险归属：GAARM.0019
安全阶段：数据安全
生命周期：应用阶段
创建时间：2024.05.01
修改时间：2024.05.01
攻击概述¶
该风险是指当模型在投入应用的阶段，攻击者可以通过分析模型等攻击手段来推断或窃取用户的隐私信息，这包括但不限于个人身份信息、行为习惯、位置数据等。攻击者可能非法获取、使用或出售用户的隐私信息，不仅损害用户的权益，还可能导致企业面临法律责任和声誉损失。
攻击案例¶
| 案例 | 描述 |
|---|---|
| 案例一 | 该案例描述了通过对ChatGPT进行攻击，可以让GPT在输出中包含一张真人的照片，以此窃取他人的信息 |
攻击风险¶
- 敏感数据泄露：攻击者可能通过分析模型输出或模型参数来推断用户的隐私信息，例如个人身份、偏好或敏感数据。
- 隐私注入攻击：攻击者可能通过向模型注入特定的恶意数据或干扰信号，使得模型在处理用户数据时泄露隐私信息。
- 隐私侵犯攻击：攻击者可能通过非法访问模型的存储或运行环境，获取用户数据或模型内部信息，进而侵犯用户隐私。
缓解措施¶
| 缓解方式 | 描述 |
|---|---|
| 数据脱敏处理 | 在模型训练和推理过程中，对用户数据进行脱敏处理，以确保隐私信息在模型中无法被直接识别或泄露 |
| 差分隐私保护 | 使用差分隐私技术对模型输出进行加噪处理，使得攻击者无法通过输出结果推断出具体的个人信息 |
| 访问控制与权限管理 | 限制对模型的访问权限，确保只有授权的用户或系统可以进行数据处理和模型操作，防止非法访问 |
| 安全计算环境 | 在部署模型时使用安全计算环境，如可信执行环境（TEE）或安全多方计算（MPC），以保护模型和数据不受未经授权的访问 |
| 定期审计与监控 | 定期对模型及其环境进行审计和监控，及时发现可能存在的隐私安全问题，并采取相应的修复措施 |