内部数据保护缺陷

风险概览

风险编号：GAARM.0009
子风险：GAARM.0009.001、GAARM.0009.002、GAARM.0009.003
安全阶段：数据安全
生命周期：训练阶段
创建时间：2024.08.12
修改时间：2024.08.12

攻击概述

内部数据保护缺陷是指，在训练LLM的过程中，使用了未经充分脱敏或匿名化处理的内部数据，例如个人隐私数据、企业敏感数据等，导致了这些数据存在被未授权访问或泄露的风险，甚至会带来个人以及企业的利益损失。

内部隐私保护缺陷主要存在于三个方面：

1. 个人隐私数据保护缺陷：由于训练过程中存在安全隐患，导致模型在处理查询或输出结果时不经意间泄露个人身份、行为习惯或其他敏感信息；
2. 企业敏感数据保护缺陷：由于训练过程中存在安全隐患，导致企业的经济利益和市场竞争力被侵害，还可能引发法律诉讼和信誉损失，严重威胁企业的整体安全和可持续发展；
3. 机密敏感数据保护缺陷：由于使用了涉及政府、军事等类型的敏感数据，如敏感单位所在位置、军事部署等，未能充分保护它们，导致这些数据存在被未授权访问或泄露的风险，甚至带来战略信息层面的损失；

攻击案例

具体见子风险攻击案例

攻击风险

• 数据泄露：LLM在不经意间大量吐出未经授权的训练数据，将带来一系列隐私泄露以及利益损失
• 信任度下降：随着LLM敏感信息泄露事件的增多，公众可能产生对人工智能技术和相关应用的安全性担忧，影响信任程度，带来信任危机

缓解措施

缓解方式	描述
数据脱敏	通过基于规则、基于模型的算法对数据进行脱敏，去除或者替换数据中的隐私数据
数据加密和访问控制	实施数据加密和访问控制措施，确保个人隐私数据和企业敏感数据在存储和传输过程中得到充分保护

参考

• https://mp.weixin.qq.com/s/VCmhL-LbGfCViQrAEwyCAg
• https://mp.weixin.qq.com/s/kp1Sl5TC_uuVelhj8HPmdw
• https://mp.weixin.qq.com/s/c_cIzecyw48MatwKBZbdUg
• https://36kr.com/p/2541963790493187