数据操纵

风险概览

风险编号：GAARM.0028
子风险：无
安全阶段：数据安全
生命周期：应用阶段
创建时间：2024.05.01
修改时间：2024.05.01

攻击概述¶

数据操纵攻击是一种针对生成式人工智能系统的险恶策略，攻击者通过向AI机器人输入巧妙构造的信息或指令，试图改变或干扰其正常运作。这种攻击的核心目标是诱使AI系统绕开内置的安全协议，或破坏其数据处理流程，这在本质上与社会工程学中的欺骗技巧相似。攻击者通过这些手法可能企图非法获取敏感数据、破坏服务的完整性或执行其他不当行为，从而对个人隐私、企业运营甚至社会秩序造成潜在的严重威胁。

攻击案例¶

案例	描述
案例一	一家跨国公司在香港的办事处就遭受了攻击，损失高达2亿港元，黑客利用深度伪造视频和网络钓鱼邮件，冒充公司高层，欺骗员工执行虚假交易
案例二	黑客正在利用 AI 聊天机器人的被操纵版本来强化他们的网络钓鱼电子邮件。他们使用聊天机器人来创建虚假网站，编写恶意软件并定制信息，以便更好地冒充高管和其他可信任的个体
案例三	恶意邮件发送者企图通过大量错误报告垃圾邮件为非垃圾邮件，以这些输入重新训练检索垃圾报告的ai模型，干扰其正常运作，使其误将垃圾邮件归类为非垃圾邮件，绕过gmail过滤器

攻击风险¶

敏感信息泄露：访问公司已连接到其LLM的特权信息，然后攻击者可以使用这些信息进行勒索或销售。
模型毒性输出：胁迫其LLM发表具有法律约束力、令人尴尬或以某种方式损害公司或对攻击者有利的声明

缓解措施¶

缓解方式	描述
训练数据增强	对训练数据集进行数据增强，如旋转、缩放等，可以提高模型对数据操纵的鲁棒性，降低被操纵的风险