机密敏感数据保护缺陷
风险概览
风险编号：GAARM.0009.003
风险归属：GAARM.0009
安全阶段：数据安全
生命周期：训练阶段
创建时间：2024.08.12
修改时间：2024.08.12
攻击概述¶
机密敏感数据保护缺陷是指，在人工智能模型的开发和训练过程中，使用了涉及政府、军事等类型的敏感数据，如敏感单位所在位置、军事部署等，由于未能充分保护它们，导致这些数据存在被未授权访问或泄露的风险，甚至带来战略信息层面的损失，如ChatGPT可以生成一个假冒的政治领袖发表虚假声明的视频，并在社交媒体平台上发布。
攻击案例¶
| 案例 | 描述 |
|---|---|
| 案例一 | 大型模型可以分析和解析个人数据和照片，以获取大量敏感信息，包括个人身份、位置和移动轨迹。这些信息可被用来跟踪、追踪和监视军事人员，从而导致隐私侵犯和人身安全威胁 |
| 案例二 | 该文章介绍了GPT泄露军事敏感信息的风险，并提出了研发孤立的云端LLM，禁止它连入互联网进行学习，仅可以读取指定的政府文件，以此保证模型的干净与安全 |
攻击风险¶
- 敏感数据泄露： 导致军事机密泄露、竞争力受损、知识产权侵犯等问题。
- 经济损失： 训练数据中包含的核心代码等可能会出现在LLM生成的内容中，造成经济损失。
缓解措施。¶
| 缓解方式 | 描述 |
|---|---|
| 数据脱敏 | 通过基于规则、基于模型的算法对数据进行脱敏，去除或者替换数据中的隐私数据 |
| 数据加密和访问控制 | 实施数据加密和访问控制措施，确保个人隐私数据和企业敏感数据在存储和传输过程中得到充分保护 |