训练环境缺少认证授权
风险概览
风险编号：GAARM.0046
子风险：无
安全阶段：身份安全
生命周期：训练阶段
创建时间：2024.05.01
修改时间：2024.08.07
攻击概述¶
该风险是指模型在训练阶段缺乏严格的访问控制和身份验证机制，使模型的内部训练数据、训练基础设施、训练框架等资源可以被权限不足的人员访问，从而导致模型中敏感数据泄露，使得模型的训练数据透明化，增加模型投毒的风险。
攻击案例¶
| 案例 | 描述 |
|---|---|
| 案例一 | ShadowRay事件中攻击者利用Ray框架的CVE-2023-48022漏洞，未授权调度Jobs API实现RCE攻击 |
攻击风险¶
- 敏感信息泄露: 未经授权访问训练数据，导致敏感信息泄露。
- 模型质量下降：恶意篡改训练数据可能影响模型的学习效果，导致模型输出不准确或带有偏见。
- 高价值资源滥用：攻击者利用未授权的API访问实现对高价值资源算力的控制，开展加密货币挖掘等活动。
缓解措施¶
| 缓解方式 | 描述 |
|---|---|
| 加强身份认证和访问控制策略 | 实施访问控制和身份验证机制，以防止未经授权访问LLMs训练环境及其数据 |
| 数据加密与脱敏 | 引入训练数据的加密和隐私保护措施，防止敏感信息泄露 |