模型衰退自动诊断方法、装置、设备、存储介质及产品与流程
本技术涉及机器学习模型运维监控,尤其涉及一种模型衰退自动诊断方法、装置、设备、存储介质及产品。
背景技术:
1、在信贷风控、推荐系统等机器学习模型上线后的运维管理中,模型衰退监控是保障业务稳定性的关键环节。目前,业界普遍采用群体稳定性指标(population stabilityindex,psi)对模型入模特征的分布偏移进行监控,通过定期计算当前评分周期与训练期参考分布之间的psi值,判断特征是否发生显著变化;同时,结合auc、ks等模型区分度指标,从整体上评估模型性能是否出现下滑。当监控指标超出预设阈值时,运维人员会收到统计层面的异常告警,随后需手动登录多个数据平台,提取特征数据、模型评分记录及业务日志,通过编写sql脚本进行多维度分析,并结合业务经验人工判断衰退原因及严重程度。
2、然而,现有的这种以单一统计指标加人工排查为核心的监控模式,存在监控维度单一无法定位根因、排查过程依赖人工效率低下、告警信息缺乏业务语境解释的问题。
技术实现思路
1、本技术的主要目的在于提供一种模型衰退自动诊断方法、装置、设备、存储介质及产品,旨在提升模型衰退监控的智能化水平、准确性和运维效率。
2、为实现上述目的,本技术提出一种模型衰退自动诊断方法,所述方法包括:
3、响应于当前评分周期触发,计算模型监控指标;
4、根据所述模型监控指标及预设的指标阈值,按照有向无环图定义的推理路径匹配对应的衰退场景类型;
5、在匹配得到的衰退场景类型属于预设的需归因场景类别时,进行深层归因分析,得到深层归因分析结果;
6、根据所述深层归因分析结果生成结构化诊断报告并输出。
7、在一实施例中,所述响应于当前评分周期触发,计算模型监控指标,包括:
8、在每个评分周期或模型批次评分完成后触发当前评分周期;
9、从生产数据库读取当前周期样本数据及训练期参考分布;
10、根据所述当前周期样本数据及训练期参考分布并行计算三维监控指标,所述三维监控指标包括特征稳定性指标、shap值稳定性指标和模型性能指标,其中,所述特征稳定性指标表征入模特征数值分布相对于训练期参考分布的变化量,所述shap值稳定性指标表征特征贡献度排序相对于训练期参考分布的变化量,所述模型性能指标表征当前周期模型区分度相对于训练期的下降幅度。
11、在一实施例中,所述根据所述模型监控指标及预设的指标阈值,按照有向无环图定义的推理路径匹配对应的衰退场景类型,包括:
12、将所述三维监控指标与预设的多级阈值进行比较,确定各指标的偏移等级;
13、当所述三维监控指标中至少两个监控指标超出稳定阈值范围时,根据所述偏移等级的组合,在预定义的场景判别表中匹配对应的衰退场景类型,输出场景标签;所述场景判别表包含多种由三维指标偏移等级组合唯一确定的判别场景。
14、在一实施例中,所述在匹配得到的衰退场景类型属于预设的需归因场景类别时,进行深层归因分析,得到深层归因分析结果,包括:
15、在匹配得到的衰退场景类型属于预设的策略失效型或混合偏移型时,提取当前周期与训练期各特征的shap值排序,对比排序变化,将排序变化量超过设定阈值的特征标记为元凶特征;
16、对所述元凶特征进行概率密度分布对比、分箱psi贡献度分解,得到元凶特征信息;
17、将所述元凶特征信息及所述场景标签组合为查询向量,在预构建的垂直领域知识库中进行检索匹配,获取与当前诊断事件相似的历史事件及其对应的处置建议,得到深层归因分析结果。
18、在一实施例中,所述根据所述深层归因分析结果生成结构化诊断报告并输出,包括:
19、聚合所述三维监控指标、场景标签以及所述元凶特征和深层归因分析结果,按照预设的报告模板生成包含衰退概要、指标总览、漂移定位、归因分析、检索结果及处置建议的结构化诊断报告。
20、在一实施例中,所述根据所述模型监控指标及预设的指标阈值,按照有向无环图定义的推理路径匹配对应的衰退场景类型的步骤之后,还包括:
21、若所述衰退场景类型属于无需归因类别,则生成结构化诊断报告并输出。
22、在一实施例中,所述场景判别表至少包括以下由三维监控指标组合确定的七种判别场景:
23、环境变化型:特征稳定性指标为重度偏移,shap值稳定性指标为稳定,模型性能指标为正常波动;
24、策略失效型:特征稳定性指标为稳定,shap值稳定性指标为重度偏移,模型性能指标为重度衰退;
25、混合偏移型:特征稳定性指标为重度偏移,shap值稳定性指标为重度偏移,模型性能指标为重度衰退;
26、分布异常型:特征稳定性指标为重度偏移,shap值稳定性指标为稳定,模型性能指标为重度衰退;
27、双偏移稳定型:特征稳定性指标为重度偏移,shap值稳定性指标为重度偏移,模型性能指标为正常波动;
28、排序微调型:特征稳定性指标为稳定,shap值稳定性指标为重度偏移,模型性能指标为正常波动;
29、隐匿衰减型:特征稳定性指标为稳定,shap值稳定性指标为稳定,模型性能指标为重度衰退。
30、在一实施例中,所述垂直领域知识库采用三层架构构建,其中:
31、第一层为历史基线层,用于存储各模型在各评分周期的历史指标变化轨迹、历史衰退事件记录、历史处置方案及处置效果回测数据;
32、第二层为节假日趋势模式层,用于存储各类节假日期间客群行为变化的典型模式、历史特征偏移基线和模型表现记录;
33、第三层为监管策略知识层,用于存储监管政策变动记录和业务策略调整日志。
34、在一实施例中,所述检索匹配采用向量检索与规则过滤相结合的方式,所述将所述元凶特征信息及所述场景标签组合为查询向量,在预构建的垂直领域知识库中进行检索匹配,获取与当前诊断事件相似的历史事件及其对应的处置建议,得到深层归因分析结果,包括:
35、将基于所述元凶特征信息得到的元凶特征列表,与所述场景标签拼接为查询文本,通过sentence-bert模型编码为查询向量;
36、基于所述查询向量,在所述垂直领域知识库中按余弦相似度检索出top-k个相似历史事件;
37、按照事件时间衰减因子和业务场景匹配度对所述top-k个相似历史事件进行二次排序,输出排序后的历史事件列表及其对应的处置建议;其中,所述时间衰减因子配置为近期事件的加权权重高于远期事件。
38、在一实施例中,所述方法通过有向无环图定义数据依赖关系与执行顺序,编排并执行,所述方法还包括:
39、在任一节点执行超时或数据缺失时,系统自动重试;
40、在重试失败后进入降级诊断模式,跳过失败节点并基于已有数据生成标注有降级信息的简化版报告;其中,每个诊断实例被分配唯一的通用唯一标识符,所述标识符贯穿各步骤的全流程,各中间结果及执行时间戳均持久化存储,并支持全链路回溯。
41、此外,为实现上述目的,本技术还提出一种模型衰退自动诊断装置,所述装置包括:
42、指标计算模块,用于响应于当前评分周期触发,计算模型监控指标;
43、类型匹配模块,用于根据所述模型监控指标及预设的指标阈值,按照有向无环图定义的推理路径匹配对应的衰退场景类型;
44、分析模块,用于在匹配得到的衰退场景类型属于预设的需归因场景类别时,进行深层归因分析,得到深层归因分析结果;
45、报告模块,用于根据所述深层归因分析结果生成结构化诊断报告并输出。
46、此外,为实现上述目的,本技术还提出一种模型衰退自动诊断设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如上文所述的模型衰退自动诊断方法的步骤。
47、此外,为实现上述目的,本技术还提出一种存储介质,所述存储介质为计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上文所述的模型衰退自动诊断方法的步骤。
48、此外,为实现上述目的,本技术还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现如上文所述的模型衰退自动诊断方法的步骤。
49、本技术提出的一个或多个技术方案,至少具有以下技术效果:通过响应于当前评分周期触发,计算模型监控指标;根据所述模型监控指标及预设的指标阈值,按照有向无环图定义的推理路径匹配对应的衰退场景类型;在匹配得到的衰退场景类型属于预设的需归因场景类别时,进行深层归因分析,得到深层归因分析结果;根据所述深层归因分析结果生成结构化诊断报告并输出。本技术实现了从指标感知到报告生成的完整自动化诊断闭环,针对不同衰退场景类型自适应地选择执行路径,确保在模型性能正常波动时不进行不必要的归因计算,节约系统资源;在模型性能异常时提供详细的根因定位,帮助运维人员快速理解衰退原因。整体上显著提升了模型衰退诊断的效率、准确性和自动化水平,解决了现有技术中排查归因效率低下的问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com