第三方组件漏洞
风险概览
风险编号：GAARM.0034
子风险：GAARM.0034.001、GAARM.0034.002
安全阶段：应用安全
生命周期：训练阶段
创建时间：2024.05.01
修改时间：2024.08.07
攻击概述¶
该攻击是指LLMs应用开发者在模型训练阶段可能会使用第三方商业或者开源库组件，在这些第三方组件中有可能包含恶意代码、组件漏洞等，可能导致开发机、服务器受到入侵，属于AI环境下的供应链安全风险。
攻击案例¶
| 案例 | 描述 |
|---|---|
| 案例一 | Redis数据库Python客户端redis-py使用异步接口，取消命令时可能导致用户业务数据读取出现错乱(CVE-2023-28858) |
| 案例二 | TorchServe可导致越权服务器访问，并在易受攻击的实例上实现远程代码执行 |
| 案例三 | Hugging Face的datasets组件存在漏洞，允许通过恶意数据集实施攻击，可能导致用户设备被侵入和大模型参数被窃取或篡改 |
| 案例四 | 本文研究了后门攻击对预训练好的模型的影响。攻击者可以通过植入后门，操纵模型的推荐结果，从而达到恶意营销或其他目的 |
| 案例五 | ChatGPT-Next-Web存在SSRF和反射性XSS漏洞 |
攻击风险¶
- 供应链后门投毒攻击：AI开发者在使用第三方开源库加载数据集时，若数据集被植入恶意代码，可能会使PC或服务器遭受攻击。
- 模型参数泄露或篡改：导致模型参数被窃取或篡改，影响模型的安全性和可靠性。
缓解措施¶
| 缓解方式 | 描述 |
|---|---|
| 大模型组件供应链安全防护 | 对于已知的安全漏洞，如TorchServe的CVE-2023-43654，应及时更新到安全的版本 |
| 训练/微调数据集的可信来源 | 确保数据集来源可信，检查数据集脚本中是否存在恶意Python代码，避免使用在Hugging Face上被提示存在安全风险的数据集 |
| 严格控制开源组件引入 | 建立企业内部的开源治理体系，严格控制开源组件的引入，并通过工具实现自动化监测和跟踪 |