LLMs应用源代码投毒
风险概览
风险编号：GAARM.0038
子风险：无
安全阶段：应用安全
生命周期：训练阶段
创建时间：2024.05.01
修改时间：2024.08.06
攻击概述¶
源代码在审查过程中可能存在一些漏洞，攻击者通过向大型语言模型（LLMs）应用程序的源代码注入恶意代码，通过漏洞隐藏代码逃过检查，对第三方开源或商业组件进行源代码投毒，导致应用程序在训练或者运行时出现安全问题，进而影响使用这些组件的下游模型应用业务开发厂商。
攻击案例¶
| 案例 | 描述 |
|---|---|
| 案例一 | 攻击者可以通过上传恶意代码到开源网站来操纵模型，进而影响投资、交易、新闻等各个领域 |
攻击风险¶
- 后门插入：通过向训练数据中注入后门代码，允许攻击者在推理过程中控制或操纵模型的输出，导致未经授权的访问或数据操纵。
- 供应链攻击：通过在开源代码中注入恶意代码，攻击者可以影响使用这些代码的整个供应链。
- 虚假新闻宣传：攻击者可以利用这种技术修改内容，如电影评论或新闻报道，以传播虚假信息或宣传。
缓解措施¶
| 缓解方式 | 描述 |
|---|---|
| 检测偏离原始代码的变化 | 识别和拦截因恶意代码修改引起的异常行为 |
| 输入验证和过滤 | 代码输入到模型之前，进行严格的输入验证和清洗 |