为促进金融标准化高水平发展，发挥标准支持金融业高质量发展的基础性、引领性作用，中国人民银行在2023年全国“质量月”期间组织开展“金融标准 为民利企”主题活动，解读与企业和金融消费者关系密切的金融标准，欢迎关注！

人工智能算法金融应用评价规范JR/T 0221—2021

适用范围

　　本标准规定了人工智能算法在金融领域应用的基本要求评价方法、判定准则。

　　本标准适用于开展人工智能算法金融应用的金融机构、算法提供商、第三方安全评估机构等。

总则

评价框架

评价方法

　　查阅材料、查看系统、访谈人员、系统测试、攻击测试、算法测试、查看算法

安全性评价

目标函数

目标函数不应存在偏见歧视　　算法表达能力应充分　　目标函数运算成本应符合实施要求

算法依赖库

应对开源学习框架以及依赖库的安全性进行评估　　应定期开展算法所用开源框架以及依赖库的内部审计

算法可追溯性

　　训练数据可追溯性

　　◇应记录训练数据获取时间

　　◇应记录训练数据来源

　　◇应记录训练数据量

　　◇应记录数据存储介质的标识

　　◇训练数据应有完整签名或校验码

　　◇应记录采样方法

　　建模过程可追溯性

　　◇应保存建模过程中的建模脚本

　　◇应记录建模过程中的软硬件环境

　　◇应记录建模过程中的操作者

　　◇应记录建模的起止时间戳和迭代次数

　　◇应保存建模过程中参数迭代的相关记录

　　算法部署可追溯性

　　◇应记录AI算法部署的操作者

　　◇应标识部署时间及相关结果

　　◇应保存AI算法部署过程的相关脚本

　　◇应记录部署的软硬件环境配置信息

算法内控

　　技术管理

　　◇应建立算法上线应用前的内部评审机制

　　◇应建立算法日常监测体系

　　◇应建立算法退出处置机制

　　◇应全面记录算法开发至退出的全过程

　　风险控制

　　◇应具备AI算法突发情况应急处理机制

　　◇应向用户充分提示AI算法的固有缺陷和使用风险

　　◇应建立风险赔偿机制

　　◇应具备AI算法道德风险防范机制

可解释性评价

建模准备

　　特征定义可解释

　　◇特征定义应满足相关业务逻辑和规则

　　◇特征定义应在系统中有明确记录

　　◇特征定义应有可查、详细的ETL指标加工过程的记录

　　特征分布可解释

　　◇应符合日常生活场景和业务规则

　　◇应确保特征分布合理，并具备对缺失值、异常值检验的能力

　　◇应能展示特征的相关统计指标

　　特征衍生可解释

　　◇特征衍生应合理

　　◇基于业务的特征衍生，应在系统中有明确记录

　　◇基于算法的特征衍生，应在系统中明确记录和展示

　　特征选择可解释

　　◇特征选择过程应有一定的量化统计指标作为决策依据

　　◇特征选择过程不应有歧视性

　　◇特征选择的业务逻辑和算法依据应在系统中明确记录

建模过程

　　算法可解释

回归算法

　　◇应通过统计指标对算法进行可解释性说明

　　◇应对算法整体进行可解释性说明

决策树算法

　　◇应通过可视化方式对算法进行可解释性说明

　　◇应对决策规则进行说明

图算法

　　◇应通过图的表达、传播链条对算法进行可解释性说明

　　◇系统上宜能展示图算法的一度、二度关系和节点之间的传播关系等指标

其他统计学算法

　　◇应对所使用的其他统计学算法进行必要性说明

　　◇应通过至少一项具体统计指标对算法可解释性进行说明

集成学习和深度学习算法

　　◇应对所使用的集成学习和深度学习算法进行必要性说明

　　参数可解释

参数定义

　　◇应对算法参数和超参数应有明确定义

　　◇基于业务的参数定义应符合业务逻辑要求

参数选择

　　◇应明确调参所依据的具体指标

　　◇应具备对不同调参方式的支持能力

　　模型无关可解释

　　◇部分依赖图应满足可解释性的技术要求

　　◇个体条件期望应满足可解释性的技术要求

　　◇累积局部效应应满足可解释性的技术要求

　　◇全局代理模型应满足可解释性的技术要求

　　◇局部代理模型应满足可解释性的技术要求

　　◇Shapley值应满足可解释性的技术要求

　　基于样本可解释

　　◇反事实解释应满足可解释性的技术要求

　　◇代表性和非代表性样本应满足可解释性的技术要求

　　◇有影响力的样本应满足可解释性的技术要求

建模应用

　　模型仓库管理

　　◇对模型进行管理，提供对模型的可回溯方面的功能

　　◇对模型版本进行管理，提供对版本可回溯方面的功能

　　监控管理

　　◇提供算法上线的相关功能

　　◇提供算法监控的功能

　　账号和日志管理

　　◇提供账号管理的功能

　　◇提供日志管理的功能

精准性评价

建模过程

二分类算法应通过算法精准性的指标评估要求　　多分类算法应通过算法精准性的指标评估要求　　回归算法应通过算法精准性的指标评估要求

建模应用

　　◇二分类算法的线上预测效果评估要求，和建模过程中，线下训练指标保持一致

　　◇多分类算法的线上预测效果评估要求，和建模过程中，线下训练指标保持一致

　　◇回归算法的线上预测效果评估要求，和建模过程中线下训练指标保持一致

　　◇二分类算法有一定泛化性，线上预测和线下训练的指标差异应在一定范围内

　　◇多分类算法有一定泛化性，线上预测和线下训练的指标差异应在一定范围内

　　◇回归算法有一定泛化性，线上预测和线下训练的指标差异应在一定范围内

性能评价

建模过程

　　◇整个训练过程的总时长应通过指标的评估要求

建模应用

　　◇实时系统的单条预测响应时间应通过指标评估要求

　　◇实时系统的批量预测1000条响应时间应通过指标评估要求

　　◇实时系统的QPS应通过指标评估要求

　　◇实时系统的TPS应通过指标评估要求