数据处理组件漏洞
风险概览
风险编号：GAARM.0034.001
风险归属：GAARM.0034
安全阶段：应用安全
生命周期：训练阶段
创建时间：2024.05.01
修改时间：2024.08.06
攻击概述¶
在人工智能（AI）模型的开发过程中，数据集的安全性是一个不容忽视的重要方面。在Hugging Face、GitHub等平台可能存在一些带有恶意后门的数据集，而这些数据集可以通过LLMs数据处理组件的特性或者漏洞，对AI模型的安全性构成威胁。当开发者使用这些受污染的数据集进行模型训练时，数据集中隐藏的恶意代码可能会被执行，从而导致一系列安全问题，如AI模型、数据集和代码的泄露或篡改。
攻击案例¶
| 案例 | 描述 |
|---|---|
| 案例一 | Hugging Face的datasets组件被发现存在不安全特性，使用该组件加载恶意数据集时，可能导致命令执行等风险 |
攻击风险¶
- 系统入侵：攻击者构造的恶意脚本可以连接到攻击者服务器，执行系统命令，从而控制受害者的服务器。
- 数据泄露：恶意脚本可以窃取服务器上的训练数据、模型代码等敏感数据，导致知识产权和用户隐私的泄露。
- 模型参数篡改：大模型的参数可能被恶意篡改，影响模型的准确性和可靠性。
缓解措施¶
| 缓解方式 | 描述 |
|---|---|
| 训练/微调数据集的可信来源 | 确保来源数据集可信，检查数据集脚本中是否存在恶意Python代码，谨慎使用在Hugging Face上被提示存在安全风险的数据集 |
| 大模型组件供应链安全防护 | 持续跟进关注大模型原生安全、基础安全及大模型赋能研发安全等领域的最新供应链安全动态和建议 |