训练数据泄露
风险概览
风险编号：GAARM.0020
子风险：无
安全阶段：数据安全
生命周期：训练阶段
创建时间：2024.05.01
修改时间：2024.05.01
攻击概述¶
训练数据泄露可能暴露用户的个人隐私信息。如果训练数据中包含个人身份信息、健康记录、财务数据等敏感信息，泄露这些数据会导致隐私侵犯。这样的安全风险导致攻击者可以通过分析模型输出，推测训练数据的内容。特别是当模型生成的输出包含原始数据的详细信息时，攻击者可以通过反向工程获得数据内容。
攻击案例¶
| 案例 | 描述 |
|---|---|
| 案例一 | BERT等模型存储的数据存在未经充分脱敏的情况，输出结果随机表露某些训练数据的特征，可以被逆向还原，体现了数据处理不当的后果 |
| 案例二 | 该案例介绍了让ChatGPT一直重复输出"company"，GPT也会输出无关内容，疑似训练数据 |
| 案例三 | 该案例介绍了一些ChatGPT出现幻觉，输出训练数据的一些具体实例和链接 |
攻击风险¶
- 敏感数据泄露：训练数据中可能包含用户的个人身份信息、敏感数据或商业机密。泄露这些数据可能导致用户隐私权的侵犯。
- 对抗攻击：攻击者可能利用泄露的训练数据来发动对抗性攻击，识别模型的弱点或缺陷，并通过精心设计的输入来欺骗或误导模型。
缓解措施。¶
| 缓解方式 | 描述 |
|---|---|
| 数据脱敏 | 通过基于规则、基于模型的算法对数据进行脱敏，去除或者替换数据中的隐私数据 |
| 数据加密和访问控制 | 实施数据加密和访问控制措施，确保个人隐私数据和企业敏感数据在存储和传输过程中得到充分保护 |