数据漂移
风险概览
风险编号：GAARM.0033
子风险：无
安全阶段：模型安全
生命周期：应用阶段
创建时间：2024.05.01
修改时间：2024.05.01
攻击概述¶
数据漂移是指随着时间的推移或环境的变化，训练数据的统计特性发生变化，从而影响模型的性能和准确性。攻击者可以通过构建攻击手段，针对数据漂移进行攻击，导致当模型遭遇与训练时期不同的新数据时，其预测准确性可能无法满足预期，进而影响模型的可靠性和安全性。例如，企业基于历史数据构建了效果非常良好的垃圾邮件检测功能，但攻击者可能在某个时候改变发送垃圾邮件的行为，因为送入模型的数据发生了变化，原本构建的模型可能会被欺骗。
攻击案例¶
案例一： GPT-3.5和GPT-4存在数据漂移
斯坦福和伯克利有一项联合研究《How Is ChatGPT’s Behavior Changing over Time?》，对GPT-4 和 GPT-3.5 在回答问题的准确性进行跟踪，研究发现，无论是 GPT-3.5 还是 GPT-4，它们的表现都出现了大幅波动，有的任务甚至出现了性能退化。下图展示了四个月内模型准确度的波动情况，在某些情况下，准确度的下降相当严重，损失了超过60%。
| 案例 | 描述 |
|---|---|
| 案例二 | 识别和应对机器学习模型中的漂移问题 |
攻击风险¶
- 模型性能下降：数据漂移会导致模型在新数据上的预测准确性降低。
- 模型降级：攻击者可能会通过不断输入特定的数据样本，逐渐降低模型的性能。
- 合规性和信誉风险：模型性能的下降可能导致合规性问题，尤其是在金融和医疗等高度监管的行业中，此外还可能损害企业的信誉。
- 决策失误：基于过时模型的决策可能导致错误结果，影响业务
缓解措施¶
| 缓解方式 | 描述 |
|---|---|
| 模型重新训练 | 当检测到模型发生漂移，使用新的数据重新训练模型 |
| 异常检测系统 | 部署异常检测系统来识别和处理可能导致模型漂移的异常输入 |
| 自动执行模型测试 | 在预生产环境中验证模型，并通过测试检测偏差和漂移，然后生成测试报告 |