模型参数篡改
风险概览
风险编号：GAARM.0026
子风险：无
安全阶段：模型安全
生命周期：部署阶段
创建时间：2024.05.01
修改时间：2024.05.01
攻击概述¶
该风险是指模型在部署过程中可能会面临参数篡改的风险，这通常是指攻击者通过非法手段故意修改模型的内部参数或权重。这种篡改可能导致模型的行为偏离其设计目的，产生不可预测的输出，甚至可能使模型完全失效。参数篡改不仅威胁到模型的安全性和可靠性，还可能引发隐私泄露和决策失误，对依赖该模型的系统和服务造成严重影响。
攻击案例¶
| 案例 | 描述 |
|---|---|
| 案例一 | 该案例介绍了在LLM微调过程中，会有部分参数基本没有变化，如果将这部分参数进行修改，可能会导致LLM语言能力基本丧失 |
攻击风险¶
- 模型能力丧失：通过恶意篡改深度学习模型中的关键参数，攻击者可以导致模型失去其语言处理能力。
- 输出错误内容：当模型的关键参数被篡改后，导致模型生成的文本不再正确，影响模型的可靠性和实用性。
缓解措施¶
| 缓解方式 | 描述 |
|---|---|
| 加密模型文件 | 对模型文件进行加密，确保只有授权用户才能访问和使用模型，防止未授权的篡改 |
| 模型数字签名 | 模型文件添加校验和或数字签名，以便于检测文件是否被篡改 |
| 备份和恢复机制 | 建立模型的备份和恢复机制，以便在检测到篡改时能够快速恢复到安全的状态 |