钓鱼邮件生成
风险概览
风险编号：GAARM.0031.002
风险归属：GAARM.0031
安全阶段：模型安全
生命周期：应用阶段
创建时间：2024.05.01
修改时间：2024.05.01
攻击概述¶
钓鱼邮件是一种欺诈性邮件，攻击者可以通过特殊的手段，如精心构造提示输入、通过API绕过安全限制等，诱导LLM生成钓鱼邮件。通过将其伪装成合法的通信，诱使模型泄露敏感信息，如登录凭证、内部数据等。一旦这些信息被恶意获取，可能导致大模型的安全性受到威胁，进而影响到使用该模型的用户的隐私和数据安全。
攻击案例¶
案例一：如图WormGPT被要求制作一封电子邮件
目标是对一个不设防的账户经理施加压力，迫使其支付虚假发票。
案例二 本文介绍了生成式AI对恶意工具的生成和应用。攻击者指示 AI 将恶意 URL 嵌入到代码中，当用户打开如 Excel 这样的文件时，系统会自动下载并执行恶意软件，进而带来安全风险
案例三 本文发现网络犯罪分子可以轻松地绕过OpenAI的保护措施，例如将自己定位为研究人员，以此掩盖他们的恶意意图，进而让LLM生成恶意钓鱼邮件，带来不良后果
攻击风险¶
- 账户接管: 钓鱼邮件可能会模仿正规的邮件服务提供商或企业，诱使用户输入账户登录信息，从而使攻击者能够接管用户的电子邮箱账户；
- 企业声誉受损：可能会模仿企业或组织的官方邮件，向用户的联系人发送欺诈性信息，从而损害企业或组织的声誉；
- 数据窃取: 大模型给出的钓鱼邮件可能会包含恶意链接或代码，一旦用户点击或下载，可能会造成用户计算机系统的瘫痪、数据丢失、身份信息泄露等严重问题；
缓解措施¶
| 缓解方式 | 描述 |
|---|---|
| 输入/输出内容验证 | 通过算法或人工检查机制，识别和拦截生成的内容中可能包含的恶意或诱导性信息 |
| AI检测工具 | 使用如M01系统等AI工具提高钓鱼邮件的检测率 |
| 安全意识培训 | 提高用户对钓鱼邮件的警觉性，教育他们识别可疑邮件的特征，如拼写错误、不寻常的语法、紧迫性的制造等 |