训练环境安全风险
风险概览
风险编号：GAARM.0001
子风险：GAARM.0001.001、GAARM.0001.002
安全阶段：基座安全
生命周期：训练阶段
创建时间：2024.05.01
修改时间：2024.08.09
攻击概述¶
该风险是指模型的训练与开发环境中使用的深度学习框架（如TensorFlow或PyTorch）和必要的依赖库等应用开发组件，如果引用的这些框架自身存在安全漏洞，对下游的LLMs应用造成供应链攻击，从而影响训练数据、ML模型和部署平台的完整性。
攻击案例¶
| 案例 | 描述 |
|---|---|
| 案例一 | OpenAI提供的集成插件示例代码中包含了一个存在漏洞的MinIO docker镜像，该漏洞可能导致密钥和密码泄露；ChatGPT使用的Redis-py库存在漏洞导致用户的聊天历史和支付信息 |
| 案例二 | 开源机器学习框架PyTorch存在重大层级漏洞CVE-2024-5480，攻击者可将其用来远端攻击分散式训练的master节点，一旦这些节点遭到入侵，对方就有机会窃取与AI有关的敏感资料 |
| 案例三 | PyTorch模型使用的pickle格式可以被威胁行为者武器化，用于执行任意代码并部署Cobalt Strike、Mythic和Metasploit的攻击载荷，攻击者可以通过使用恶意PyTorch二进制文件破坏托管的转换服务，并破坏文件托管系统 |
攻击风险¶
- 用户隐私泄露：如案例一所示，由于Redis-py库的bug，ChatGPT用户的聊天记录标题和对话内容可能被其他用户看到，导致用户隐私数据泄露。
- 系统完整性受损：攻击者可能利用漏洞破坏系统完整性，影响LLMs服务的可靠性和可用性。
缓解措施¶
| 缓解方式 | 描述 |
|---|---|
| 安全更新与审计 | 定期更新和审计训练与开发环境中的服务软件以修复漏洞并增强安全性 |
| 安全审计和监控 | 定期进行安全审计，使用监控工具来检测和警报可疑行为，并进行有效的日志记录 |