一种焊缝质量实时在线评估方法、装置、存储介质和终端

1.本发明属于焊接技术领域，具体涉及一种焊缝质量实时在线评估方法、装置、存储介质和终端。


背景技术：

2.随着生产的发展，焊接广泛应用于宇航、航空、核工业、造船、建筑及机械制造等工业部门，焊接技术水平是衡量一个制造大国强弱的重要指标。我国对焊接工人的需求一直保持较大的趋势，焊工已经连续三期入选“全国招聘大于求职“最缺工”的100个职业排行”，每次都名列前茅。在国际上，熟练焊工的短缺
‑‑
寻找、培训和保留焊工仍然是行业面临的主要挑战。例如在美国，5月份的采购经理人指数为62.1，高于2020年的43.1。
3.电焊属于特种作业，必须持证上岗，焊接技能培训是提高焊接水平、获得焊工证的重要途径，如何培养出符合现代工业要求的焊接技术人员已经成为焊接培训部门在当前的新课题。传统焊接培训实操效果需等待焊缝冷却后进行观察，起码需30min后才可进行评估，且主要依据教师的经验进行评估，对教师技能要求较高，而目前高职院校焊接专业师资力量普遍不足。对于内部缺陷还需切开焊缝进行金相组织检测，评估成本高，耗时长，不符合学员的学习规律。
4.随着以云计算、大数据、物联网和人工智能为依托的新的信息技术革命的到来，焊接的自动化检测技术得到了突破性的发展。已有的技术主要体现在对焊接过程的在线监控上，缺少后续的焊缝质量评估环节，而一些在线检测技术主要通过采集光谱、声音信号间接反应焊缝质量缺陷，不能实现直接端对端的焊缝缺陷图像识别，不具便捷性，直观性不好，不利于学员学习。
5.目前新兴的虚拟焊接培训技术虽然有许多优势，但培训设备开发周期长，建设费用较贵，且计算复杂、真实感差，与真实的焊接存在有一定的差异，佩戴的设备还可能导致人员眩晕。


技术实现要素：

6.本发明的目的在于解决现有技术的问题，提供了一种焊缝质量实时在线评估方法、装置、存储介质和终端。
7.为实现上述技术目的，本发明解决其技术问题所采用的技术方案如下：一种焊缝质量实时在线评估方法，包括以下步骤：步骤1，获取基于预设机器学习方法建立的焊缝质量实时评估模型；步骤2，通过焊接控制平台对焊接过程进行自动运动控制，并通过影像系统采集当前焊接图像，采用所述焊缝质量实时评估模型对所述当前焊接图像进行评估，生成焊缝质量评估结果。
8.作为一个优选的实施方式，基于预设机器学习方法建立焊缝质量实时评估模型包括以下步骤：
步骤101，根据预设焊接需求获取不同接头形式以及不同焊件厚度对应的焊接样本图片，对每张焊接样本图片进行分类标注，并将标注完成的焊接样本图片分为训练集、验证集和测试集；步骤102，对所述训练集、所述验证集和所述测试集的每张焊接样本图片进行图像处理，以备进行模型训练；步骤103，基于python语言和所述训练集的焊接样本图片，对scikit-learn库的多个预设机器学习模型分别进行训练，生成对应的初始评估模型；步骤104，采用所述验证集对每个初始评估模型进行验证，并生成每个初始评估模型对应的f1-score，筛选出所述f1-score大于第一预设阈值的至少一个初始评估模型，并作为初选模型；步骤105，采用每个初选模型实时对所述测试集的焊接样本图片进行评估，生成每个初选模型对应的评估测试时间，并将所述评估测试时间小于第二预设阈值的初选模型作为所述焊缝质量实时评估模型。
9.作为一个优选的实施方式，每张所述焊接样本图片均包括熔池图像、电弧图像和/或焊缝图像；对每张焊接样本图片进行分类标注的标注结果包括良好、烧穿、污染、未熔合、缺乏保护气体和焊枪移动过快。
10.本发明对熔池图像进行快速处理和评估，实现焊缝质量的实时在线评估，学员通过电脑观察焊缝图像和焊缝质量信息，并远程操作调整焊接参数，获取最佳的焊接方案。既能通过即时反馈提升学习效果，又能远离恶劣的焊接环境，采用远程操作，克服初学者对焊接中的强光、高温、烟尘、噪声的的畏难情绪，改善作业环境，降低学生的畏惧心理。
11.作为一个优选的实施方式，所述步骤102中对每张所述焊接样本图片进行图像处理包括以下步骤：步骤1021，读取所述焊接样本图片；步骤1022，将所述焊接样本图片的像素转化为1280*1024；步骤1023，裁剪所述焊接样本图片中无信息区域的像素，以将所述焊接样本图片的像素由1280*1024变化为1280*700；步骤1024，对裁剪后的所述焊接样本图片进行灰度化处理，生成灰度图；步骤1025，将所述灰度图的像素由1280*700转化为40*22，数据类型转化为float32格式；步骤1026，对转化后的灰度图进行正则化处理，以使所述灰度图的像素由40*22转化为用于后续模型训练的一维数组。
12.作为一个优选的实施方式，所述影像系统包括高速摄像机、同步控制器、电流电压同步回放模块和成像光路，所述高速摄像机设置在所述焊接控制平台的机械臂上且与所述焊接控制平台的焊枪成45度夹角，并通过所述同步控制器控制所述高速摄像机和所述焊枪同步移动，以实时采集焊接熔池和焊接电弧正前方的区域图像并作为所述当前焊接图像。
13.作为一个优选的实施方式，还包括步骤3，所述步骤3具体为：步骤301，以预设频率连续获取所述高速摄像机拍摄的焊接图像，记录所述焊接图像对应的焊接参数值，并采用所述焊缝质量实时评估模型对所述焊接图像进行实时评估生成对应的焊缝质量评估结果；
步骤302，将所述焊接参数值和所述焊缝质量评估结果标记到对应的焊接图像；步骤303，按照目标编辑顺序对标记后的焊接图像进行合并生成目标焊接视频；步骤304，通过上位机显示所述目标焊接视频，并根据所述目标焊接视频生成达到预设优化目标的优化焊接参数值；所述焊接参数值包括电弧电压值、焊接电流值和/或焊枪移动速度。
14.本发明通过与已有的硬件平台控制系统进行系统集成，开发基于混合现实技术的焊接培训实时评估系统。利用高动态范围的焊接相机将熔池的实时情况清晰直观的通过屏幕展示给学员，焊缝质量评估结果同时实时的显示在屏幕上，学员能同时获取焊缝图像和焊缝质量信息，及时了解焊接实操结果是否合格、焊缝质量缺陷类型，提升教学效果。在焊接教学过程中，学员可通过按键实时调整焊接参数（包括电压、电流、焊枪移动速度等），实时观察不同参数情况下熔池的变化，以获取该工况下最佳的焊接参数，并存档记录。
15.作为一个优选的实施方式，所述步骤303按照目标编辑顺序对标记后的焊接图像进行合并生成目标焊接视频，具体包括以下步骤：步骤3031，获取预建立的映射关系表，所述映射关系表包括每个所述焊接图像对应的编号、采集时间、焊接参数值以及焊缝质量评估结果；步骤3031，获取根据用户需求生成的用户指令，所述用户指令包括目标优化焊接参数以及图像编辑顺序；步骤3032，根据所述目标优化焊接参数查询所述映射关系表获取已标记的至少一个目标焊接图像，并根据所述图像编辑顺序将所述至少一个目标焊接图像合并生成目标焊接视频。
16.作为一个优选的实施方式，根据所述目标焊接视频中每帧图像的切换时间生成预设同步度对应的时间阈值，并将所述时间阈值作为所述第二预设阈值。
17.本发明实施例的第二方面提供了一种焊缝质量实时在线评估装置，其特征在于，包括获取模块和焊缝质量评估模块；所述获取模块用于获取基于预设机器学习方法建立的焊缝质量实时评估模型；所述焊缝质量评估模块用于通过焊接控制平台对焊接过程进行自动运动控制，并通过影像系统采集当前焊接图像，采用所述焊缝质量实时评估模型对所述当前焊接图像进行评估，生成焊缝质量评估结果。
18.作为一个优选的实施方式，所述获取模块具体包括：标注分类单元，用于根据预设焊接需求获取不同接头形式以及不同焊件厚度对应的焊接样本图片，对每张焊接样本图片进行分类标注，并将标注完成的焊接样本图片分为训练集、验证集和测试集；图像处理单元，用于对每张所述焊接样本图片进行图像处理，以备进行模型训练；训练单元，用于基于python语言和所述训练集的焊接样本图片，对scikit-learn库的多个预设机器学习模型分别进行训练，生成对应的初始评估模型；第一选择单元，用于采用所述验证集对每个初始评估模型进行验证，并生成每个初始评估模型对应的f1-score，筛选出所述f1-score大于第一预设阈值的至少一个初始评估模型，并作为初选模型；第二选择单元，用于采用每个初选模型实时对所述测试集的焊接样本图片进行评
估，生成每个初选模型对应的评估测试时间，并将所述评估测试时间小于第二预设阈值的初选模型作为所述焊缝质量实时评估模型。
19.作为一个优选的实施方式，所述图像处理单元具体包括：读取单元，用于读取所述焊接样本图片；第一转化单元，用于将所述焊接样本图片的像素转化为1280*1024；裁剪单元，用于裁剪所述焊接样本图片中无信息区域的像素，以将所述焊接样本图片的像素由1280*1024变化为1280*700；灰度处理单元，用于对裁剪后的所述焊接样本图片进行灰度化处理，生成灰度图；第二转化单元，用于将所述灰度图的像素由1280*700转化为40*22，数据类型转化为float32格式；正则化单元，用于对转化后的灰度图进行正则化处理，以使所述灰度图的像素由40*22转化为用于后续模型训练的一维数组。
20.作为一个优选的实施方式，还包括模型构建模块，具体包括：第一获取单元，用于以预设频率连续获取所述高速摄像机拍摄的焊接图像，记录所述焊接图像对应的焊接参数值，并采用所述焊缝质量实时评估模型对所述焊接图像进行实时评估生成对应的焊缝质量评估结果；标记单元，用于将所述焊接参数值和所述焊缝质量评估结果标记到对应的焊接图像中；合并单元，用于按照目标编辑顺序对标记后的焊接图像进行合并生成目标焊接视频；优化单元，用于通过上位机显示所述目标焊接视频，并根据所述目标焊接视频生成达到预设优化目标的优化焊接参数值；所述优化焊接参数值包括电弧电压值、焊接电流值和/或焊枪移动速度。
21.作为一个优选的实施方式，所述合并单元具体还包括：第二获取单元，用于获取预建立的映射关系表，所述映射关系表包括每个所述焊接图像对应的编号、采集时间、焊接参数值以及焊缝质量评估结果；第三获取单元，用于获取根据用户需求生成的用户指令，所述用户指令包括目标优化焊接参数以及图像编辑顺序；视频生成单元，用于根据所述目标优化焊接参数查询所述映射关系表获取已标记的至少一个目标焊接图像，并根据所述图像编辑顺序将所述至少一个目标焊接图像合并生成目标焊接视频。
22.本发明实施的第三方面提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，实现以上所述的焊缝质量实时在线评估方法。
23.本发明实施例的第四方面提供了一种焊缝质量的实时在线评估终端，包括所述的计算机可读存储介质和处理器，所述处理器执行所述计算机可读存储介质上的计算机程序时实现以上所述焊缝质量实时在线评估方法的步骤。
24.本发明具有以下有益效果：（1）本发明对熔池图像进行快速处理和评估，实现焊缝质量的实时在线评估，学员通过电脑观察焊缝图像和焊缝质量信息，并远程操作调整焊接参数，获取最佳的焊接方案。
既能通过即时反馈提升学习效果，又能远离恶劣的焊接环境，采用远程操作，克服初学者对焊接中的强光、高温、烟尘、噪声的的畏难情绪，改善作业环境，降低学生的畏惧心理。
25.（2）本发明通过与已有的硬件平台控制系统进行系统集成，开发基于混合现实技术的焊接培训实时评估系统。利用高动态范围的焊接相机将熔池的实时情况清晰直观的通过屏幕展示给学员，焊缝质量评估结果同时实时的显示在屏幕上，学员能同时获取焊缝图像和焊缝质量信息，及时了解焊接实操结果是否合格、焊缝质量缺陷类型，提升教学效果。在焊接教学过程中，学员可通过按键实时调整焊接参数（包括电压、电流、焊枪移动速度等），实时观察不同参数情况下熔池的变化，以获取该工况下最佳的焊接参数，并存档记录。
26.（3）本发明真实体验好，混合现实，既有真实焊接，也能实时观察焊接情况，便于学习掌握。
27.（4）本发明对硬件资源需求少，普通 pc 机即可满足需求，成本低，适合职业院校及厂家培训使用，并可应用到自动焊接机器人的图像识别系统，提升焊接机器人的智能化水平。
28.为使发明的上述目的、特征和优点能更明显易懂，下文特举本发明较佳实施例，并配合所附附图，作详细说明如下。
附图说明
29.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
30.图1是实施例1提供的焊缝质量实时在线评估方法的流程示意图；图2是实施例1提供的焊接样本图片进行图像处理的流程示意图图3是实施例2提供的焊缝质量的实时在线评估装置的结构示意图；图4是实施例3提供的终端的结构示意图。
具体实施方式
31.为了使本发明的目的、技术方案和有益技术效果更加清晰明白，以下结合附图和具体实施方式，对本发明进行进一步详细说明。应当理解的是，本说明书中描述的具体实施方式仅仅是为了解释本发明，并不是为了限定本发明。
32.图1是实施例1提供的焊缝质量实时在线评估方法的流程示意图，如图1所示，包括以下步骤：步骤1，获取基于预设机器学习方法建立的焊缝质量实时评估模型。
33.一个优选的实施例中，基于预设机器学习方法建立的焊缝质量实时评估模型包括以下步骤：步骤101，根据预设焊接需求获取不同接头形式以及不同焊件厚度对应的焊接样本图片，对每张焊接样本图片进行分类标注，并将标注完成的焊接样本图片分为训练集、验证集和测试集；其中每张所述焊接样本图片均包括熔池图像、电弧图像和/或焊缝图像；对每张焊接样本图片进行分类标注的标注结果包括良好、烧穿、污染、未熔合、缺乏保护气体
和焊枪移动过快。
34.在具体实施例中，选用钨极惰性气体保护焊以及不锈钢材料作为焊件，其中钨极惰性气体保护为绿色焊接技术之一，不锈钢材料为目前应用较多的材料，当然在其他实施例中也可以采用其他焊接方式。以不锈钢为例，首先调研不锈钢焊接常用的接头形式、焊件厚度等焊接需求，并根据不同焊接需求全面收集不同接头形式、焊件厚度等对应的大量不锈钢保护焊接样本图片，可以是通过本发明焊接控制平台生成的历史焊接样本图片，也可以是在实际焊接现场拍照或者摄像得到的历史焊接样本图片。其中每张焊接样本图片中均包括熔池图像、电弧图像和/或焊缝图像，然后对每张图片进行分类标注，包括6种焊缝质量结果“良好”、“烧穿”、“污染”、“未熔合”、“缺乏保护气体”和“焊枪移动过快”，即5个缺陷1个良好。然后将标记好的图片按焊缝质量均匀的或者按照一定比例，比如8:1:1等分为训练集、验证集和测试集，从而实现后续的模型训练过程和模型选择过程。
35.然后执行步骤102，对所述训练集、所述验证集和所述测试集的每张焊接样本图片进行图像处理，以备进行模型训练。
36.在一个优选的实施方式中，参阅附图2所示，所述步骤102中对每张所述焊接样本图片进行图像处理包括以下步骤：步骤1021，读取所述焊接样本图片；步骤1022，将所述焊接样本图片的像素转化为1280*1024；步骤1023，裁剪所述焊接样本图片中无信息区域的像素，以将所述焊接样本图片的像素由1280*1024变化为1280*700；步骤1024，对裁剪后的所述焊接样本图片进行灰度化处理，生成灰度图；步骤1025，将所述灰度图的像素由1280*700转化为40*22，数据类型转化为float32格式；其中float32 又称单精度格式，用32个比特数也就是4个字节表示一个数，包括1位符号位，8位指数位，23位小数位。
37.步骤1026，对转化后的灰度图进行正则化处理，以使所述灰度图的像素由40*22转化为用于后续模型训练的一维数组。
38.采用上述步骤可将焊接样本图片转化为格式统一的一维数组，从而便于后续的模型训练过程中降低训练难度，提高训练效率和效果。
39.然后执行步骤103，基于python语言和所述训练集的焊接样本图片，对scikit-learn库的多个预设机器学习模型分别进行训练，生成对应的初始评估模型。其中scikit-learn是针对python 编程语言的免费软件机器学习库。它具有各种分类、回归和聚类算法，包括支持向量机、随机森林、梯度提升、k均值和dbscan，并且可以与python数值科学库numpy和scipy联合使用，从而实现机器训练的效果。本发明的实施例对scikit-learn库的多个预设机器学习模型分别进行训练，比如对knn、cnn、svm、cart和nb模型分别进行训练，从而训练生成对应的初始评估模型。
40.然后执行步骤104，采用所述验证集对每个初始评估模型进行验证，并生成每个初始评估模型对应的f1-score，筛选出所述f1-score大于第一预设阈值的至少一个初始评估模型，并作为初选模型。
41.其中f1-score（f1分数），是统计学中用来衡量二分类（或多任务二分类）模型精确度的一种指标。它同时兼顾了分类模型的准确率和召回率，即具体f1分数可以看作是模型
准确率和召回率的一种加权平均，它的最大值是1，最小值是0，值越大意味着模型越好。本技术方案首先根据f1-score进行第一次筛选，得到f1-score值大于第一预设阈值的至少一个初选模型。比如一个实施例中，训练生成的knn、cnn、svm、cart和nb等初始评估模型的精确率和f1分数如下表1所示：表1：knn、cnn、svm、cart和nb初始评估模型精确率和f1分数模型 精确率f1-scoreknn0.980.97cnn0.920.77svm0.90.74cart0.820.63nb0.280.39当第一预设阈值设置为0.75时，可以筛选出基于knn和基于cnn两个初选模型。
42.最后执行步骤105，采用每个初选模型实时对所述测试集的焊接样本图片进行评估，生成每个初选模型对应的评估测试时间，并将所述评估测试时间小于第二预设阈值的初选模型作为所述焊缝质量实时评估模型。
43.在一个优选的实施方案中，采用每个初选模型实时对测试集的焊接样本图片进行预测和评估时，从读入焊接样本图片开始计时，获取包括焊接样本图片读入、预处理、生成预测结果的整个过程所消耗的评估测试时间，并将所述评估测试时间小于第二预设阈值的初选模型作为所述焊缝质量实时评估模型，比如一个实施例中，包括基于knn和基于cnn两个初选模型，最后将评估测试时间小于第二预设阈值的knn模型作为该焊缝质量实时评估模型。
44.在上述实施方案中，若评估测试时间小于第二预设阈值的初选模型有多个，则选择其中评估测试时间最小的初选模型作为所述焊缝质量实时评估模型。
45.若评估测试时间小于第二预设阈值的初选模型为0个，则重新返回步骤104进行训练，并根据与第二预设阈值的差距调整训练过程的训练目标，即可再次通过筛选出多个所述f1-score大于第一预设阈值的初始评估模型，并作为初选模型，然后重复105的步骤，直至得到符合要求的焊缝质量实时评估模型。
46.然后执行步骤2，通过焊接控制平台对焊接过程进行自动运动控制，并通过影像系统采集当前焊接图像，采用所述焊缝质量实时评估模型对所述当前焊接图像进行评估，生成焊缝质量评估结果。
47.在上述实施方案中，焊接控制平台可以实现一些典型焊接位置的自动焊接实验。具体来说，焊接控制平台需要的设备包括焊接机器人本体和控制柜、独立焊接变位机、单轴运动控制机构和工件夹持机构，通过该焊接控制平台可以实现焊接过程自动运动控制，避免人工焊接实验中的不确定因素，提高了实验的科学性。
48.作为一个优选的实施方式，所述影像系统包括高速摄像机、同步控制器、电流电压同步回放模块和成像光路，所述高速摄像机设置在所述焊接控制平台的机械臂上且与所述焊接控制平台的焊枪成45度夹角，并通过所述同步控制器控制所述高速摄像机和所述焊枪同步移动，以实时采集焊接熔池和焊接电弧正前方的区域图像并作为所述当前焊接图像。
49.这里高速摄像机实现焊接目标区域的高速成像采集,同步控制器实现与电流电压
信号的同步,还可以通过回放软件实现拍摄图像和电流电压信号的回放功能,而焊接过程中成像光路为目标区域成像提供成像光学条件支持，包括摄像机镜头、背光光源、透镜、滤光片、减光片等，使被观察对象(熔滴、电弧或者熔池等)能够清晰成像。
50.在具体实施方案中，由于在焊接过程中产生的强烈弧光给焊缝质量的实时检测和评估带来巨大的挑战，图像采集、图像处理过程变得更加困难，本实施例中采用xiris xvc-1000的高速摄像机，该相机适用于tig、mig/mag、等离子、激光及激光电弧复合、电子束焊接等场景。该相机动态范围为140db，能够吸收足够的光来增加电弧周围区域的亮度，同时避免电弧过度曝光。在实际操作中，将xiris xvc-1000高速摄像机设置在所述焊接控制平台的机械臂上且与所述焊接控制平台的焊枪成45度夹角，并通过所述同步控制器控制所述xiris xvc-1000高速摄像机和所述焊枪同步移动，以实时采集焊接熔池和焊接电弧正前方的区域图像并作为所述当前焊接图像，减少因高速摄像机装夹的位置、角度等对拍摄的图像存在的影响。
51.为了更好的提高焊接训练效果，优选实施例的焊缝质量实时在线评估方法还包括步骤3，所述步骤3具体为：步骤301，以预设频率连续获取所述高速摄像机拍摄的焊接图像，记录所述焊接图像对应的焊接参数值，并采用所述焊缝质量实时评估模型对所述焊接图像进行实时评估生成对应的焊缝质量评估结果；步骤302，将所述焊接参数值和所述焊缝质量评估结果标记到对应的焊接图像；步骤303，按照目标编辑顺序对标记后的焊接图像进行合并生成目标焊接视频；步骤304，通过上位机显示所述目标焊接视频，并根据所述目标焊接视频生成达到预设优化目标的优化焊接参数值；所述焊接参数值包括电弧电压值、焊接电流值和/或焊枪移动速度。
52.上述优选实施例中，利用高动态范围的高速摄像机将熔池的实时情况清晰直观的通过屏幕展示给学员，焊接参数、焊缝质量评估结果同时实时的显示在屏幕上，学员能同时获取焊缝图像、焊接参数和焊缝质量信息，及时了解焊接实操结果是否合格、焊缝质量缺陷类型，提升教学效果。同时，在焊接教学或者训练过程中，可通过学员实时按键调整焊接参数（包括电压、电流、焊枪移动速度等），或者根据预设优化方案自动调整焊接参数，然后焊接控制平台根据调整后的焊接参数实时调整对应的焊接动作，从而方便学员实时观察不同参数情况下熔池的变化，以获取该工况下最佳的焊接参数，并存档记录。
53.一个具体实施例中，所述焊接参数值通常包括电弧电压值、焊接电流值和/或焊枪移动速度。而钨极惰性气体保护焊的焊接参数还可以包括钨棒直径、弧长、保护气体流量、喷嘴孔径与高度以及填充焊丝倾角等等，不同焊接工艺可以有针对性的选择不同焊接参数进行训练、优化。
54.以焊接电流、电弧电压和焊接速度为例，三者均会对焊缝质量的评估结果造成直接影响。
55.当焊接电流增大时（其他条件不变），焊缝的熔深和余高增大，熔宽不变（或略微增大），原因如下：电流增大后，工件上的电弧力和热输入均增大，热源位置下移，熔深增大，熔深与电流近于正比关系。焊丝熔化量近于成比例地增多，由于熔宽近于不变，所以余高增大。弧柱直径增大，但是电弧潜入工件的深度增大，电弧斑点移动范围受到限制，因而熔宽
近于不变。
56.电弧电压增大后，电弧功率加大，工件热输入有所增加，同时弧长拉长，分布半径增大，因而熔深略有减小而熔宽增大；余高减小，这是因为熔宽增大，焊丝熔化量却稍有减小所致。
57.而焊接速度增大时线能量减小，熔深和熔宽、余高都减小。这是因为单位长度焊缝上的焊丝金属的熔敷量和焊接速度成反比，熔宽则近于焊接速度的开方成反比。
58.因此焊接参数中焊接电流、电弧电压和焊接速度对熔深和熔宽、焊缝等产生了影响，通过实时调整焊接参数，根据不同参数情况下熔池、焊缝等变化，从而获取该工况下最佳的焊接参数，从而为获取最佳的焊接方案提供了指导，进而提高了对学员焊接水平的训练效果。
59.在另一个优选实施例中，还可以不需要依赖互联网，采用单机桌面图形界面的交互界面，同时具备显示已标记的至少一个目标焊接图像和目标焊接视频的回看功能，在具体操作过程中均提供视频播放、焊缝质量评估和焊接参数显示，操作方便。
60.作为一个优选的实施方式，所述步骤303按照目标编辑顺序对标记后的焊接图像进行合并生成目标焊接视频，具体包括以下步骤：步骤3031，获取预建立的映射关系表，所述映射关系表包括每个所述焊接图像对应的编号、采集时间、焊接参数值以及焊缝质量评估结果；步骤3031，获取根据用户需求生成的用户指令，所述用户指令包括目标优化焊接参数以及图像编辑顺序；步骤3032，根据所述目标优化焊接参数查询所述映射关系表获取已标记的至少一个目标焊接图像，并根据所述图像编辑顺序将所述至少一个目标焊接图像合并生成目标焊接视频。
61.上述优选实施方式可以不显示全部的焊接图像，而是根据用户需求，比如用户关注的目标焊接参数从中选择表示目标焊接参数变化的目标焊接图像，然后根据参数大小变化顺序、时间顺序等等对目标焊接图像进行顺序编辑和合并，从而生成目标焊接视频。
62.作为一个优选的实施方式，根据所述目标焊接视频中每帧图像的切换时间生成预设同步度对应的时间阈值，并将该时间阈值作为所述第二预设阈值。具体来说，一个优选实施例中若每帧图像的切换时间为t1，即每间隔t1将切换到下一幅目标焊接图像。为了满足同步性显示效果就需要在t1时间内得到该幅目标焊接图像的焊缝质量评估结果，因此所述时间阈值t=a*（t
1-t0），所述a 为调整参数，取值范围为0.8-1.2，且调整参数a根据预设同步度进行取值，预设同步度越高，a的取值越小。t1为目标焊接视频中每帧图像的预设切换时间；t0为标记时间，即读取对应焊接参数值，并将该焊接参数值和该焊缝质量评估结果标记到对应焊接图像所需的时间之和，具体可以根据历史数据计算得到，从而保证了视频播放和模型预测结果的同步性。
63.作为一个优选的实施方式，在knn、cnn、svm、cart和nb分类模型算法中，本实施例中采用knn模型，能对常见的焊缝质量缺陷实时进行评估，且通过电脑屏幕实时观察焊缝熔池情况，直观性好、可视化程度高且无时间延迟，能及时发现焊接中的问题及时调整焊接参数，指导学员实操，准确度更高，可达98%，且误判的2%情况为将良好的焊缝误判为有缺陷的焊缝，能保证流入下道工序的产品合格率为100%；对硬件资源需求少，普通 pc 机即可满足
要求；同时不需要手工进行特征提权，算法简单，系统响应快，识别单张图像平均耗时为 33ms，实时性好。
64.上述实施例中的焊中检测与焊后检测方法的对比结果如表2所示：表2两种检测方法对比 检测时长产品合格率对检测人员要求焊中检测实时100%无，系统自动判断焊后检测30min——7天不等大约98%要求有较高的知识水平和经验图3是实施例2中提供的一种焊缝质量实时在线评估装置，包括获取模块100和焊缝质量评估模块200；所述获取模块100用于获取基于预设机器学习方法建立的焊缝质量实时评估模型；所述焊缝质量评估模块200用于通过焊接控制平台对焊接过程进行自动运动控制，并通过影像系统采集当前焊接图像，采用所述焊缝质量实时评估模型对所述当前焊接图像进行评估，生成焊缝质量评估结果。
65.在一个优选的实施方式中，所述获取模块具体包括：标注分类单元1001：用于根据预设焊接需求获取不同接头形式以及不同焊件厚度对应的焊接样本图片，对每张焊接样本图片进行分类标注，并将标注完成的焊接样本图片分为训练集、验证集和测试集；图像处理单元1002：用于对每张所述焊接样本图片进行图像处理，以备进行模型训练；训练单元1003：用于基于python语言和所述训练集的焊接样本图片，对scikit-learn库的多个预设机器学习模型分别进行训练，生成对应的初始评估模型；第一选择单元1004;用于采用所述验证集对每个初始评估模型进行验证，并生成每个初始评估模型对应的f1-score，筛选出所述f1-score大于第一预设阈值的至少一个初始评估模型，并作为初选模型；第二选择单元1005：用于采用每个初选模型实时对所述测试集的焊接样本图片进行评估，生成每个初选模型对应的评估测试时间，并将所述评估测试时间小于第二预设阈值的初选模型作为所述焊缝质量实时评估模型。
66.在一个优选的实施方式中，所述图像处理单元1002具体包括：读取单元10021：用于读取所述焊接样本图片；第一转化单元10022：用于将所述焊接样本图片的像素转化为1280*1024；裁剪单元10023：用于裁剪所述焊接样本图片中无信息区域的像素，以将所述焊接样本图片的像素由1280*1024变化为1280*700；灰度处理单元10024：用于对裁剪后的所述焊接样本图片进行灰度化处理，生成灰度图；第二转化单元10025：用于将所述灰度图的像素由1280*700转化为40*22，数据类型转化为float32格式；正则化单元10026：用于对转化后的灰度图进行正则化处理，以使所述灰度图的像素由40*22转化为用于后续模型训练的一维数组。
67.在一个优选的实施方式中，还包括模型构建模块300，所述模型构建模块300具体包括：第一获取单元3001，用于以预设频率连续获取所述高速摄像机拍摄的焊接图像，记录所述焊接图像对应的焊接参数值，并采用所述焊缝质量实时评估模型对所述焊接图像进行实时评估生成对应的焊缝质量评估结果；标记单元3002，用于将所述焊接参数值和所述焊缝质量评估结果标记到对应的焊接图像中；合并单元3003，用于按照目标编辑顺序对标记后的焊接图像进行合并生成目标焊接视频；优化单元3004，用于通过上位机显示所述目标焊接视频，并根据所述目标焊接视频生成达到预设优化目标的优化焊接参数值；所述优化焊接参数值包括电弧电压值、焊接电流值和/或焊枪移动速度。
68.在一个优选的实施方式中，所述合并单元3003具体还包括：第二获取单元30031，用于获取预建立的映射关系表，所述映射关系表包括每个所述焊接图像对应的编号、采集时间、焊接参数值以及焊缝质量评估结果；第三获取单元30032，用于获取根据用户需求生成的用户指令，所述用户指令包括目标优化焊接参数以及图像编辑顺序；视频生成单元30033，用于根据所述目标优化焊接参数查询所述映射关系表获取已标记的至少一个目标焊接图像，并根据所述图像编辑顺序将所述至少一个目标焊接图像合并生成目标焊接视频。
69.应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
70.本发明实施例还提供了一种计算机可读存储介质，包括所述的计算机可读存储介质和处理器，所述处理器执行所述计算机可读存储介质上的计算机程序时实现以上所述焊缝质量实时在线评估方法的步骤。
71.图4是本发明实施例3提供的焊缝质量的实时在线评估终端示意图，如图4所示，该实施例的焊缝质量的实时在线评估终端8包括：处理器80、可读存储介质81以及存储在所述可读存储介质81中并可在所述处理器80上运行的计算机程序82。所述处理器80执行所述计算机程序82时实现上述各个方法实施例中的步骤，例如图1所示的步骤1至步骤2。或者，所述处理器80执行所述计算机程序82时实现上述各装置实施例中各模块的功能，例如图3所示模块100至200的功能。
72.示例性的，所述计算机程序82可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述可读存储介质81中，并由所述处理器80执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序82在所述焊缝质量的实时在线评估终端8中的执行过程。
73.所述焊缝质量的实时在线评估终端8可包括，但不仅限于，处理器80、可读存储介质81。本领域技术人员可以理解，图3仅仅是基于焊缝质量的实时在线评估终端8的示例，并不构成对焊缝质量的实时在线评估终端8的限定，可以包括比图示更多或更少的部件，或者
组合某些部件，或者不同的部件，例如所述焊缝质量的实时在线评估终端还可以包括电源管理模块、运算处理模块、输入输出设备、网络接入设备、总线等。
74.所称处理器80可以是中央处理单元（central processing unit，cpu），还可以是其他通用处理器、数字信号处理器（digital signal processor，dsp）、专用集成电路（application specific integrated circuit，asic）、现成可编程门阵列（field-programmable gate array，fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
75.所述可读存储介质81可以是所述焊缝质量的实时在线评估终端8的内部存储单元，例如焊缝质量的实时在线评估终端8的硬盘或内存。所述可读存储介质81也可以是所述焊缝质量的实时在线评估终端8的外部存储设备，例如所述焊缝质量的实时在线评估终端8上配备的插接式硬盘，智能存储卡（smart media card，smc），安全数字（secure digital，sd）卡，闪存卡（flash card）等。进一步地，所述可读存储介质81还可以既包括所述焊缝质量的实时在线评估终端8的内部存储单元也包括外部存储设备。所述可读存储介质81用于存储所述计算机程序以及所述焊缝质量的实时在线评估终端所需的其他程序和数据。所述可读存储介质81还可以用于暂时地存储已经输出或者将要输出的数据。
76.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
77.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
78.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
79.在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
80.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个
网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
81.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
82.本发明并不仅仅限于说明书和实施方式中所描述，因此对于熟悉领域的人员而言可容易地实现另外的优点和修改，故在不背离权利要求及等同范围所限定的一般概念的精神和范围的情况下，本发明并不限于特定的细节、代表性的设备和这里示出与描述的图示示例。