一种焊缝质量预测模型在线漂移检测与增量校准方法及系统与流程

摘要: 本发明涉及智能焊接与工业机器学习模型维护,尤其涉及一种焊缝质量预测模型在线漂移检测与增量校准方法及系统。背景技术:1、在焊接生产中,更多的产线采用数据驱动的机器...
一种焊缝质量预测模型在线漂移检测与增量校准方法及系统与流程

本发明涉及智能焊接与工业机器学习模型维护,尤其涉及一种焊缝质量预测模型在线漂移检测与增量校准方法及系统。

背景技术:

1、在焊接生产中,更多的产线采用数据驱动的机器学习模型,根据焊接过程信号来预测焊缝质量,例如预测某一段焊缝是否会出现缺陷、其熔深或成型是否达标。这类模型在投用初期通常表现良好,但在长期运行中会面临一个共性难题:模型漂移。

2、所谓漂移,是指模型的预测准确度随时间逐渐下降。造成漂移的原因大体有两类,二者在现象上都表现为模型越来越不准,但根源完全不同:

3、第一类是协变量漂移(也称工况迁移):模型的输入分布变了。例如更换了新批次母材、导电嘴磨损、气体流量或环境温湿度改变,使得当前焊接过程信号的统计特性偏离了模型训练时见过的范围。此时模型是在对它不熟悉的输入做预测,自然容易出错;

4、第二类是概念漂移(也称模型退化):模型的输入分布没怎么变,但输入与质量之间的对应关系变了。例如工艺标准调整、检测口径变化,使得同样的过程信号对应的实际质量结论与过去不同。此时模型对输入并不陌生,但它学到的信号与质量映射已经过时。

5、针对漂移,现有技术存在以下不足:

6、其一,依赖全量或定期重新训练。很多方案把模型当作一经训练永久使用,或周期性地重新采集大量样本、重新标注、整体重训来更新模型。而在焊接场景中,获得真实质量标签需要x射线、超声等无损检测,成本高、耗时长,全量重新标注在经济上几乎不可行;

7、其二,抽检方式浪费检测资源。为获取真实标签,产线通常按固定比例随机抽检。但随机抽检把检测名额平均撒在大量“模型本来就判得很准”的普通焊缝段上,真正能暴露模型问题、最值得检的那些焊缝段却未必被抽到,导致每次检测带来的信息价值很低;

8、其三,漂移成因不加区分。多数漂移检测方案只回答“是否漂移”,不回答“为什么漂移”。而如前所述,协变量漂移与概念漂移的补救方式完全不同,前者需要让模型去适应新工况,如扩充其输入覆盖范围等,后者需要修正模型的输出判定关系。若不加区分地一律重训或一律调阈值,往往事倍功半甚至越校越差;

9、其四,增量更新有遗忘和投用风险。用少量新样本去更新模型时,容易发生遗忘,即模型学会了新工况,却忘掉了老工况;而把未经充分验证的新模型直接推上产线,一旦新模型更差,反而会造成批量误判。

10、因此,如何以尽可能低的检测与标注代价,及时发现焊缝质量预测模型的漂移、判明其成因并安全地予以校准,是本领域亟待解决的技术问题。

技术实现思路

1、为解决现有技术不足,本发明提供一种焊缝质量预测模型在线漂移检测与增量校准方法及系统,以较低的检测标注代价抑制漂移,及时发现焊缝质量预测模型的漂移、判明其成因并安全地予以校准。

2、为了实现本发明的目的,拟采用以下方案:

3、一种焊缝质量预测模型在线漂移检测与增量校准方法,具体包括以下步骤:

4、s1、建立焊缝段级追溯档案

5、在已部署的焊缝质量预测模型运行时,针对每一焊缝段,将其段级特征向量、模型输出的缺陷概率、有符号质量裕度(表示离合格边界尚有余量、表示已越界)、预测置信度(表征当前特征相对训练分布的熟悉程度),连同产品序列号、焊缝段序号、时间戳、在线干预动作、模型版本号、工艺版本号等,组成一条结构化记录存入追溯档案。追溯档案是后续抽检、漂移检测与增量校准共同的数据来源,也使整个质量控制过程可审计、可回溯。这里说明一点:本发明并不限定上述预测置信度的具体算法,它可以由当前特征到训练集代表样本的分布距离、马氏距离、近邻密度、集成模型预测方差等方式得到,关键是它能区分模型熟悉/不熟悉当前工况。

6、s2、不确定性引导抽检

7、无损检测名额是稀缺资源,因此不应平均分配,而应投给最值得检测的焊缝段。为此,为每一焊缝段计算一个抽检优先度,使其满足:置信度越低,模型越没把握,越可能出错,越值得用真实检测去验证;质量裕度绝对值越小(越接近合格边界,判定越吃紧,一旦判错后果越直接)、风险越高,则优先度越高。在产线当班能提供的检测能力约束下,例如只能检15%的焊缝段,按优先度从高到低选取焊缝段送无损检测,得到其真实质量标签并补录档案。这样,同样数量的检测,能换来对模型问题最有揭示力的标签,即用最少的检测获得最大的信息价值。

8、s3、双判据漂移检测

9、以补录了真实标签的焊缝段为依据,本发明用两个判据并行监测漂移。其一为置信度偏移判据:监测近期窗口内平均置信度相对参考值的下降程度——置信度整体走低,意味着大量焊缝段落到了训练分布之外。其二为置信度归一化残差判据:先算模型预测与真实标签之间的残差,如预测缺陷概率与实际是否缺陷之间的偏差、预测质量水平与实测质量之间的偏差的统计量,再用由该段置信度决定的期望误差带对残差做归一化。这里的关键考虑是:一个低置信度(陌生工况)的焊缝段,本来就该有更大的预测误差,若用固定阈值去卡它的原始残差,会把本就该错的误报成模型退化。因此期望误差带随置信度降低而增大,只有当残差超过了该置信度所应有的误差水平时,该判据才被触发。两判据中任一超过其阈值即判定发生漂移。该检测可周期性触发,也可在累计抽检数量达到设定值时触发。

10、s4、漂移归因

11、若漂移主要由置信度偏移判据触发(近期置信度整体下降,大量焊缝段落到训练分布之外),则判为协变量漂移;

12、若漂移主要由置信度归一化残差判据触发(置信度并未明显下降,但残差超过了该置信度所应有的水平),则判为概念漂移。

13、这样区分之所以成立,是因为两个判据分别度量了两件不同的事:置信度偏移度量输入是否变陌生,而置信度归一化残差度量在排除了陌生、本就该错之后,是否还有额外的、不该有的误差。前者对应协变量漂移,后者对应概念漂移,二者互补,避免了单一残差信号把两类漂移混为一谈。此外,当两判据均未指向上述成因、却仍存在预测与标签的系统性不一致时,可判为数据或标注异常并触发档案复核。

14、s5、差异化增量校准

15、按s4的成因对症下药:

16、针对协变量漂移:把s2中新标注的、置信度较低的(即代表新工况的)焊缝段的特征与标签加入训练样本,对模型做小样本增量训练,让模型把新工况纳入覆盖范围;同时更新参考样本集,使该工况今后不再被误判为陌生。

17、针对概念漂移:保持模型的特征提取部分不变,仅用新标签重标定模型的决策输出,例如重新拟合分类阈值、对预测概率做温度/platt标定、修正回归输出的偏置与尺度,把过时的输出关系纠正过来。

18、为避免学了新的、忘了旧的(灾难性遗忘),增量更新采用档案回放:从追溯档案中挑出代表历史各工况的样本组成回放集,与新样本一起参与更新;也可只更新输出/决策层或在损失中加入抑制参数偏离的正则项。

19、为避免新模型贸然投用出问题,采用版本安全投用:校准得到的新版本先以并行静默运行的方式预测,但不参与在线干预,在随后抽检得到的标签上比较新旧版本的残差;新版本确有改善才投用,否则依据档案里记录的模型版本号自动回滚到旧版本。

20、此外,本发明还包括参考样本集自更新:当某个新工况的焊缝段在一段时间内被反复抽检且都合格,说明它已成为一种新常态,于是把它的代表性特征加入用于算置信度的参考样本集,使今后同类焊缝段的置信度回升。这样,置信度估计器本身也保持与时俱进,不会把一个早已熟悉的工况长期误判为陌生。

21、本发明的有益效果在于:

22、1、用极低的检测/标注代价抑制漂移:通过不确定性引导抽检,把稀缺的无损检测名额投给信息价值最高的焊缝段,同样的检测量换来对模型问题最有揭示力的标签,避免了全量重训所需的高昂标注成本;

23、2、漂移检测更准确,成因判得更清楚:置信度归一化残差判据先扣除陌生工况本就该有的误差,只对超出应有水平的误差报警,减少了误报;配合置信度偏移判据,把协变量漂移与概念漂移干净地分开,前者扩充分布、后者重标定输出,避免错误的无效校准;

24、3、充分利用检测资源:抽检名额分配计入探伤装置移位的物理成本,优先成组检相邻高优先度段,并可借助在线干预结果、产品级验收等弱标签预筛,进一步降低昂贵实物检测的消耗;漂移信号还能驱动抽检自适应地向疑似漂移区域集中,更快确认漂移;

25、4、不遗忘、可回滚、投用安全:档案回放抑制灾难性遗忘,后台试运行验证加版本回滚保证校准不会越校越差;进一步地,保留多版本并按工况为每一段选用验证更优的版本;

26、5、全程可追溯可审计:以焊缝段级追溯档案为统一底座,每一段的特征、预测、动作、检测结果、模型版本都可查,便于质量追溯与责任界定;

27、6、长期自适应:参考样本集的准入与淘汰使置信度估计与产线现状同步且保持有界,系统能随产线的长期演变持续保持准确。