训练环境过度权限分配
风险概览
风险编号：GAARM.0047
子风险：无
安全阶段：身份安全
生命周期：训练阶段
创建时间：2024.05.01
修改时间：2024.08.07
攻击概述¶
大模型在训练阶段的过度权限分配风险主要涉及在数据访问、模型训练和系统管理过程中，由于权限分配过大导致的安全问题，可能会导致未经授权的访问或滥用风险。如果攻击者非法获取到开发人员的控制权限，可能会利用这些过度权限，对模型的训练数据进行非法访问、篡改或破坏，从而影响模型的质量和安全性。
攻击案例¶
| 案例 | 描述 |
|---|---|
| 案例一 | 攻击者通过钓鱼等方式获取到训练开发人员控制权限，利用高权限的账户凭证，实现对敏感训练数据的访问或者模型的恶意篡改 |
攻击风险¶
- 敏感数据泄露：如果开发人员的训练环境中控制权限过度，存在不必要的权限，则当开发人员的账户凭证泄露时，攻击者可能通过冗余的权限访问更多内部信息，进而可能导致训练数据泄露，尤其是当数据包含敏感信息时。
- 模型质量下降：攻击者恶意篡改训练数据可能影响模型的学习效果，导致模型输出不准确或带有偏见。
缓解措施¶
| 缓解方式 | 描述 |
|---|---|
| 最小权限原则 | 确保每个用户或系统组件仅拥有完成其任务所必需的最小权限 |
| 数据加密与脱敏 | 引入训练数据的加密和隐私保护措施，防止敏感信息泄露 |
| 访问控制和审计 | 实施严格的访问控制政策，并定期进行安全审计以监控和记录所有数据和模型的访问 |