风险划分标准

安全维度划分

• 身份安全

• 业务应用系统上层整个权限分配、认证授权系统存在的安全问题。

• 应用安全

• 应用是指将裸模型完成业务封装后的应用程序，例如ChatGPT，或者基于Langchains这类集成应用框架开发出来的业务系统，其中Agent、Tool等应用组件出现的安全问题

• 模型安全

• 模型自身参数、模型文件、模型镜像等模型自身层面的安全问题

• 数据安全

• 训练数据、微调数据、用户产生的数据等各类数据层面的安全问题

• 基座安全

• 具体是指模型全生命周期过程中所有的运行时服务，基础设施能力提供过程中存在的风险

开发阶段划分

• 应用阶段
• 一切训练与部署工作已完成，整个LLMs应用将在实际应用阶段面临来自不同维度的安全风险，该阶段风险主要集中在来自于外部的威胁与应用面临的风险；
• 部署阶段
• 主要包括了在部署阶段各种不安全操作以及配置，为环境引入了安全风险，该阶段风险主要关注部署阶段需要侧重可能引入到业务系统的安全风险以及部署环境自身存在的安全风险；
• 训练阶段
• 主要包括了在训练阶段各种不安全开发与训练实践，为整个模型生命周期引入的安全风险，该阶段风险主要关注训练阶段可能引入到业务系统的安全风险以及训练环境自身存在的安全风险；