LLMs插件：不安全输入处理

风险概览

风险编号：GAARM.0035.001
风险归属：GAARM.0035
安全阶段：应用安全
生命周期：训练阶段
创建时间：2024.05.01
修改时间：2024.08.06

攻击概述

该风险是指由于LLMs的插件存在不安全输入处理，将风险引入到大模型中。例如，插件很可能会从模型中实现来自模型的自由文本输入，而不进行验证或类型检查以处理上下文大小限制，使得潜在攻击者可以构造一个恶意请求发送给插件，可能导致各种不希望发生的行为，甚至包括远程代码执行。

攻击案例

案例	描述
案例一	LangChains中的PALChain被发现存在代码执行风险

攻击风险

• 未经授权的请求执行：攻击者可以直接利用LLMs应用漏洞或者通过操纵输入提示，使LLMs应用执行意外的请求，访问或操作受限制的资源。
• 敏感信息泄露：通过LLMs访问受限资源可能导致敏感信息的未经授权的获取和泄露。

缓解措施

缓解方式	描述
输入验证和过滤	实施严格的输入验证和净化策略，以确保所有输入数据在被LLMs处理前都经过检查和清理
最小权限原则	遵循最小权限原则，只为LLMs提供完成其任务所必需的最小访问权限，避免过度授权

参考

• https://owasp.org/www-project-top-10-for-large-language-model-applications/Archive/0_1_vulns/SSRF.html
• https://www.horizon3.ai/attack-research/attack-blogs/nextchat-an-ai-chatbot-that-lets-you-talk-to-anyone-you-want-to/
• https://genai.owasp.org/wp-content/uploads/2024/05/OWASP-Top-10-for-LLM-Applications-v1_1_Chinese.pdf