风险概览

风险编号：GAARM.0029.006
风险归属：GAARM.0029
安全阶段：模型安全
生命周期：应用阶段
创建时间：2024.05.01
修改时间：2024.05.01

攻击概述¶

该风险是指大模型在处理和存储数据时，可能遭受来自攻击者的恶意攻击，如XSS会话内容劫持、prompt注入等攻击手段，导致训练数据或输出数据中包含敏感信息的安全问题。这些敏感信息可能包括个人隐私、商业秘密或国家机密等。一旦泄露，可能会导致个人权益受损、企业竞争力下降甚至国家安全威胁。

攻击案例¶

案例一：ChatGPT输出敏感信息内容

如图在谷歌 DeepMind和多位知名大学的安全研究员发布的论文中，研究人员让ChatGPT无限重复“诗歌（Poem）”这个词，聊天机器人最初会如指示般重复这个词，但在重复几百次之后，ChatGPT会开始生成“无意义”的输出，其中包含了少量的原始训练数据:

案例二 攻击者利用Google Bard的更新功能，构造特殊的Markdown图像标签，使得Bard渲染出一个指向攻击者服务器的图像，实现对数据的窃取 案例三 利用Azure AI Playground模型允许通过图像Markdown注入的方式将提示词附加到src属性的URL中渲染，导致数据泄露等风险 ****案例四** 攻击者可指示ChatGPT使用插件记录对话，生成指向记录的URL，并通过Markdown图像注入泄露链接，以获取整个对话历史 案例五 由于LLM代理（客户端应用程序，如Bing Chat或ChatGPT）容易受到Prompt注入攻击，攻击者可利用此漏洞通过在图像URL中附加敏感数据来进行自动数据外泄

个人隐私泄露：如果大模型泄露了包含个人信息的数据，如电话号码、电子邮件地址、家庭住址等，这可能导致个人隐私被侵犯，甚至可能引发诈骗、身份盗窃等犯罪行为；
企业数据安全威胁：企业和机构的敏感数据，如商业秘密、内部通信、研发资料等，若被泄露，可能会给企业带来重大的经济损失和信誉损害；
国家安全风险：敏感数据可能包含与国家安全相关的信息，如基础设施布局、政策文件、军事情报等，这些信息的泄露可能会危害国家的安全和利益；
法律责任和合规问题：数据泄露可能导致企业和机构面临法律责任，需要承担因违反数据保护法规而产生的罚款和其他法律后果；
技术滥用：泄露的数据可能被恶意利用，用于创建虚假信息、进行网络攻击、操纵公众舆论等，对社会秩序和个人权益构成威胁。

缓解方式	描述
加强模型安全	通过安全的设计和实现，减少模型漏洞
数据脱敏	在训练模型前对敏感数据进行脱敏处理，以减少泄露风险
访问控制	实施严格的访问控制机制，确保只有授权人员可以访问敏感数据
监控和审计	定期进行安全监控和审计，及时发现和响应安全事件
法律合规	遵守相关的数据保护法律和行业标准，确保数据处理的合法性