一种基于边缘计算的机器人焊接现场智能监控系统

1.本发明属于工业互联网和智能焊接制造技术领域。涉及一种基于边缘计算的机器人焊接现场智能监控系统，可广泛应用于能源、轨道交通、起重运输等大型装备制造领域机器人焊接过程中。


背景技术：

2.焊接机器人由于通用性强、工作可靠等特点，广泛应用于汽车工业、船舶工业、管道工程、能源装备、航天工程等自动化焊接制造生产过程中。为了确保焊接生产过程的实时可控和后续焊接工艺的优化，需要通过机器人焊接现场监控系统对焊接工艺参数、焊接过程信息、设备运行状态、焊接质量等参数进行实时记录。随着焊接智能化的发展需求，对机器人焊接现场监控系统也提出了新的挑战，即大规模焊接生产场景下的大量图像实时处理、焊接缺陷实时检测和可溯源焊接过程信息的存储，并能够根据焊接缺陷检测结果实时调整焊接参数，根据可溯源焊接过程信息的分析结果优化焊接生产工艺，从而保证焊接质量并提高焊接制造生产效率。
3.现有焊接现场智能监控系统主要存在三个问题，一，现有焊接现场智能监控系统主要关注焊接结果和焊接过程的可视化，并根据现场人员经验判断焊接质量，缺乏对焊接过程信息的采集与分析、缺陷报警提醒、缺陷识别等功能，进而导致不可避免的可控重复缺陷的产生、焊接工艺难以优化、焊接管理系统难以及时更新等问题；二，由于对焊接过程采集数据存储能力的不断增长，以及降低布线难度、避免线缆缠绕问题的工业生产现场实际需求，现有焊接现场智能监控系统往往采用云计算平台系统，这不仅对用于数据传输的网络带宽提出了高要求，云计算平台在执行图像处理的同时也要对大量的图像数据进行管理和存储，增加了云计算平台的负担，从而导致图像处理反馈结果的实时性难以保证，也造成了大量的能耗损失；三，现有焊接现场智能监控系统在对多传感数据进行采集时，通常需要对多传感器数据和焊接设备进行同步、同频处理，而实际焊接生产中往往伴随着振动、高温、导线疲劳等问题，这就造成现有基于单片机控制器的外部同步触发方式易产生导线受损故障、安装条件苛刻等问题。
4.经对现有技术文献和专利检索发现，专利申请号为202010258431.3的中国发明专利《一种基于边缘计算的数据采集和边缘计算系统》公开了一种包括边缘设备模块、数据预处理模块和边缘计算模块的数据采集和边缘计算系统，实现了多种类型数据的集中采集与处理，提高了数据传输速度，但未涉及数据的同步处理，无法用于焊接过程中的多传感数据采集与处理；专利申请号为201810984722.3的中国发明专利《焊接监控系统及焊接监控方法》公开了一种集压紧装置、测距装置、焊接装置以及控制装置为一体的焊接监控系统，但该系统未涉及焊接过程信息的采集与存储，无法满足大规模焊接生产制造过程中的质量管控与焊接工艺优化；专利申请号为201310040935.8的中国发明专利《电弧焊接监控装置》公开了一种包括时间序列数据存储部、建立关联部和显示部的电弧焊接监控装置，实现了机器人动作轨迹与焊接电流、电压以及多种传感器数据的同步记录，但该系统主要针对示教
型机器人，其数据同步方法需要提取焊接机器人的作业程序，无法满足复杂、多变焊接生产环境下的实时焊接制造与远程管理。以上技术方案仅涉及非焊接场景下采集数据的边缘端集中处理与传输、焊接过程传感数据同步和提高焊接合格率的焊接方法等内容，目前尚未见有关基于边缘计算的机器人焊接现场智能监控系统公开报道。


技术实现要素：

5.本发明的目的在于克服现有技术的不足，提出一种基于边缘计算的机器人焊接现场智能监控系统，以实现装备制造企业多车间焊接现场的集中式智能化质量监测和管控。
6.为了实现上述目的，本发明采取以下技术方案：
7.一种基于边缘计算的机器人焊接现场智能监控系统，其特征在于：包括焊接机器人系统、现场数据监测终端设备、工业高速视觉传感系统、现场设备控制单元、工业无线网关、工业边缘云服务器、公有云工业视觉云平台和人机交互式监视终端；
8.所述焊接机器人系统与现场数据监测终端设备进行通信，用于传输焊接机器人的末端实时位姿信息；
9.所述现场数据监测终端设备包括焊接工艺参数传感模块和多通道数据采集模块，其中多通道数据采集模块用于监测焊接机器人末端实时位姿信息和焊接工艺参数实时数据；
10.所述工业高速视觉传感系统用于在机器人焊接过程中实时采集焊接区域高动态范围图像；
11.所述现场设备控制单元用于通过工业无线网络由接收人机交互式监视终端发出的控制指令，和用于通过工业无线网络分别对焊接机器人系统、多通道数据采集模块和工业高速视觉传感系统发送控制指令；
12.所述工业无线网关与焊接机器人系统、多通道数据采集模块、工业高速视觉传感系统进行通信，并支持将通信数据转换为标准协议，用于实现将所述焊接机器人末端实时位姿信息、焊接工艺参数实时数据和焊接区域高动态范围图像上传至所述工业边缘云服务器，和实现将接收到的指令下发至焊接机器人系统、多通道数据采集模块和工业高速视觉传感系统；
13.所述工业边缘云服务器内集成的软件包括焊接图像实时处理单元、焊接质量人工智能预测模型和焊接过程数据实时存储与质量溯源分析单元；所述图像实时处理单元用于实现对所述焊接区域高动态范围图像的图像实时处理、熔池几何形态特征提取功能，得到经过图像实时处理之后的所述焊接区域高动态范围图像和熔池几何形态特征数据；所述焊接质量人工智能预测模型用于对经过图像实时处理之后的所述焊接区域高动态范围图像进行分类，从而实现对焊接质量进行在线推理预测；所述焊接过程数据实时存储与质量溯源分析单元用于实现将所述焊接机器人末端实时位姿信息、焊接工艺参数实时数据、熔池几何形态特征数据和焊接区域高动态范围图像快速实时存储和焊后焊接质量溯源分析；所述工业边缘云服务器通过工业无线网络将瑕疵、误判、疑似的图像与图像对应时刻的监测数据一起上传至所述公有云工业视觉云平台，并通过工业无线网络根据所述在线推理预测的结果下发控制指令至所述工业无线网关；
14.所述公有云工业视觉云平台用于依次完成来自所述工业边缘云服务器上传数据
的预处理、数据标注、采用深度学习人工智能算法训练生成焊接质量人工智能预测新模型、模型快速迭代、模型自动下发的功能，以实现对所述工业边缘云服务器中所述焊接质量人工智能预测模型的迭代更新；
15.所述人机交互式监视终端通过网络访问工业边缘云服务器，并提供所述焊接机器人末端实时位姿信息、焊接工艺参数实时数据和焊接区域高动态范围图像的同步监测功能，并且提供指令输入和下发至所述工业无线网关的功能。
16.上述技术方案中，所述焊接机器人系统包括焊接机器人、机器人控制器和焊接电源；所述焊接机器人的机器人本体为关节坐标构型、笛卡尔坐标构型、圆柱坐标构型或球坐标中的一种；所述焊接电源为弧焊电源和激光器中的一种。
17.上述技术方案中，所述工业高速视觉传感系统包括专用光源、镜头模组、高速高动态范围工业相机、工业相机云台、图像采集单元，所述镜头模组包括镜片组件和滤光减光片组件，所述高速工业相机固定设置在工业相机云台上。
18.上述技术方案中，所述现场设备控制单元内置卫星授时定位模块和天线，通过发出外部触发信号，同步触发所述高速高动态范围工业相机和多通道数据采集模块，并通过接收gps/北斗授时信号、外部时钟信号或内部生成主时钟信号，实现所述高速高动态范围工业相机和多通道数据采集模块授时同步，使图像与数据的采集保持频率同步。
19.上述技术方案中，所述焊接质量人工智能预测模型采用三维卷积神经网络架构，输入为三至十幅连续帧所述焊接区域高动态范围图像，输出为根据标准或工艺规范定义或自定义的焊缝类型；所述焊接质量人工智能预测模型的训练步骤包括：
20.1)获取所述焊接区域高动态范围图像的样本数据集；
21.2)训练、优化、测试、建立所述焊接质量人工智能预测模型。
22.上述技术方案中，所述焊缝类型包括：正常焊缝、尺寸正常的缺陷焊缝、尺寸异常的缺陷焊缝、尺寸异常的熔合良好焊缝。
23.上述技术方案中，所述对焊接质量进行在线推理预测，步骤包括：
24.1)输入连续帧所述焊接区域高动态范围图像至所述焊接质量人工智能预测模型；
25.2)所述焊接质量人工智能预测模型12对连续帧所述焊接区域高动态范围图像进行分类，实现除正常焊缝之外其他焊缝类型的实时检出，并根据所述焊接机器人末端实时位姿信息计算得到被实时检出的焊缝类型的精确定位；
26.3)所述焊接质量人工智能预测模型识别并输出焊缝类型。
27.上述技术方案中，所述焊接质量溯源分析通过对所述焊接工艺参数实时数据进行时域和频域统计分析，实现焊后焊接质量评价，并结合所述焊接区域高动态范围图像实现焊缝质量溯源分析。
28.上述技术方案中，所述根据所述在线推理预测的结果下发控制指令，包括自定义报警提醒、熄弧停止焊接、机器人终止当前任务中的一类或多类。
29.上述技术方案中，所述人机交互式监视终端采用基于触摸屏技术的智能人机交互界面，并支持将数据直接注释到图像和视频中的功能。
30.本发明具有以下优点及突出性的技术效果：本发明提供了一种基于边缘计算的机器人焊接现场智能监控系统，通过工业边缘云服务器与公有云工业视觉云平台相结合，能够缓解公有云工业视觉云平台处理与存储大规模熔池图像数据和焊接电流、电压等多传感
数据的负担；通过卫星授时定位能够实现装备制造企业多车间焊接现场的多个设备之间的同步、同频，从而保证采集数据的可靠性；通过工业边缘云服务器对焊接异常状态进行实时检出、缺陷精确定位、准确识别、自定义报警提醒和区域监控，在公有云工业视觉云平台进行数据分析与焊接质量溯源，能够降低可控重复缺陷的持续产生，避免因缺陷引起的废品产生、停机等事故，为装备制造提供质量保障，并能够显著提高焊接生产效率和远程管理智能化。
附图说明
31.图1是本发明基于边缘计算的机器人焊接现场智能监控系统示意图。
32.图中：1—焊接机器人系统；2—现场数据监测终端设备；3—工业高速视觉传感系统；4—现场设备控制单元；5—工业无线网关；6—工业边缘云服务器；7—公有云工业视觉云平台；8—人机交互式监视终端；9—焊接工艺参数传感模块；10—多通道数据采集模块；11—焊接图像实时处理单元；12—焊接质量人工智能预测模型；13—焊接过程数据实时存储与质量溯源分析单元；14—焊接机器人；15—机器人控制器；16—焊接电源；17—专用光源；18—镜头模组；19—高速高动态范围工业相机；20—工业相机云台；21—图像采集单元；22—卫星授时定位模块；23—天线。
33.图2是本发明实施例所述的高速高动态范围工业相机和多通道数据采集模块同步、同频处理结构示意图。
34.图中：24—高速高动态范围工业相机采样频率；25—多通道数据采集模块采样频率；26—同频处理后的采样频率。
35.图3是本发明实施例所述的焊接质量人工智能预测模型网络结构示意图。
36.图中：27—焊接区域高动态范围图像；28—基于cnn的特征提取器；29—lstm卷积神经网络层；30—softmax输出层；31—正常焊缝；32—尺寸正常的缺陷焊缝；33—尺寸异常的缺陷焊缝；34—尺寸异常的熔合良好焊缝。
37.图4是本发明实施例所述的焊接质量在线推理预测流程框图。
具体实施方式
38.下面结合附图和实施例对本发明的技术方案做进一步详细说明。
39.图1是本发明基于边缘计算的机器人焊接现场智能监控系统示意图，包括焊接机器人系统1、现场数据监测终端设备2、工业高速视觉传感系统3、现场设备控制单元4、工业无线网关5、工业边缘云服务器6、公有云工业视觉云平台7和人机交互式监视终端8。
40.所述焊接机器人系统1与现场数据监测终端设备2进行通信，用于传输焊接机器人的末端实时位姿信息；本实施例中，所述焊接机器人系统1包括焊接机器人14、机器人控制器15和焊接电源16；所述焊接机器人14的机器人本体为关节坐标构型；所述焊接电源16为弧焊电源。
41.所述现场数据监测终端设备2包括焊接工艺参数传感模块9和多通道数据采集模块10，其中多通道数据采集模块10用于监测焊接机器人末端实时位姿信息和焊接工艺参数实时数据；本实施例中，所述焊接工艺参数传感模块9用于将焊接电流、电弧电压、保护气体流量分别转换为电信号。
42.所述工业高速视觉传感系统3用于在机器人焊接过程中实时采集焊接区域高动态范围图像；本实施例中，所述工业高速视觉传感系统3包括专用光源17、镜头模组18、高速高动态范围工业相机19、工业相机云台20、图像采集单元21，所述镜头模组18包括镜片组件和滤光减光片组件，所述专用光源17、镜头模组18、高速高动态范围工业相机19和图像采集单元21封装在一起，并固定设置在工业相机云台20上。所述工业相机云台20固定设置在所述焊接机器人14的末端执行器上。
43.本实施例中，所述现场设备控制单元4用于通过5g网络接收由人机交互式监视终端8发出的控制指令，和用于通过5g网络分别对焊接机器人系统1、多通道数据采集模块10和工业高速视觉传感系统3发送控制指令；本实施例中，所述现场设备控制单元4采用gps授时现场设备控制器，内置卫星授时定位模块22和天线23，所述高速高动态范围工业相机和多通道数据采集模块同步、同频处理结构示意图如图2所示，通过发出外部触发信号，同步触发所述高速高动态范围工业相机19和多通道数据采集模块10，并通过接收gps授时信号，实现所述高速高动态范围工业相机19和多通道数据采集模块10授时同步，并使高速高动态范围工业相机采样频率24与多通道数据采集模块采样频率25保持频率同步，最后得到同频处理后的采样频率26。
44.本实施例中，所述工业无线网关5采用5g工业网关，与焊接机器人系统1、多通道数据采集模块10、工业高速视觉传感系统3进行通信，并支持将通信数据转换为消息队列远程传输通信协议(mqtt)，用于实现将所述焊接机器人末端实时位姿信息、焊接工艺参数实时数据和焊接区域高动态范围图像上传至所述工业边缘云服务器6，和实现将接收到的指令下发至焊接机器人系统1、多通道数据采集模块10和工业高速视觉传感系统3。
45.本实施例中，所述工业边缘云服务器6内置高性能的gpu，其内部集成的软件包括焊接图像实时处理单元11、焊接质量人工智能预测模型12和焊接过程数据实时存储与质量溯源分析单元13；所述图像实时处理单元11用于实现对所述焊接区域高动态范围图像的图像实时处理、熔池几何形态特征提取功能，得到经过图像实时处理之后的所述焊接区域高动态范围图像和熔池几何形态特征数据；本实施例中，所述熔池几何形态特征包括熔池宽度、熔池长度、熔池面积、熔池周长、熔池轮廓紧凑度和熔池形心位置；所述焊接质量人工智能预测模型12用于对经过图像实时处理之后的所述焊接区域高动态范围图像进行分类，从而实现对焊接质量进行在线推理预测；本实施例中，采用的所述焊接质量人工智能预测模型12网络结构示意图如图3所示，采用三维卷积神经网络架构，输入为十幅连续帧所述焊接区域高动态范围图像27，中间层分别为基于cnn的特征提取器28、lstm卷积神经网络层29、softmax输出层30，输出为根据标准定义的焊缝类型，包括正常焊缝31、尺寸正常的缺陷焊缝32、尺寸异常的缺陷焊缝33、尺寸异常的熔合良好焊缝34，所述缺陷包括气孔、咬边、凹陷、满溢、弧坑、烧穿、未焊透；所述焊接质量人工智能预测模型12的训练步骤包括：
46.步骤1：获取所述焊接区域高动态范围图像的样本数据集；
47.步骤2：训练、优化、测试、建立所述焊接质量人工智能预测模型12。本实施例中，所述焊接质量在线推理预测流程框图如图4所示，步骤包括：
48.步骤1：输入连续帧所述焊接区域高动态范围图像至所述焊接质量人工智能预测模型12；
49.步骤2：所述焊接质量人工智能预测模型12对连续帧所述焊接区域高动态范围图
像进行分类，实现除正常焊缝之外其他焊缝类型的实时检出，并根据所述焊接机器人末端实时位姿信息计算得到被实时检出的焊缝类型的精确定位；
50.步骤3：所述焊接质量人工智能预测模型12识别并输出焊缝类型。
51.所述焊接过程数据实时存储与质量溯源分析单元13用于实现将所述焊接机器人末端实时位姿信息、焊接工艺参数实时数据、熔池几何形态特征数据和焊接区域高动态范围图像快速实时存储和焊后焊接质量溯源分析；本实施例中，所述焊接过程数据实时存储与质量溯源分析单元13支持完成8位以上且分辨率不小于1024
×
1024像素的图像的快速存储功能；所述焊接质量溯源分析通过对所述焊接工艺参数实时数据、熔池几何形态特征数据进行时域和频域统计分析，实现焊后焊接质量评价，并结合所述焊接区域高动态范围图像实现焊缝质量溯源分析；所述工业边缘云服务器6通过工业无线网络将瑕疵、误判、疑似的图像与图像对应时刻的监测数据一起上传至所述公有云工业视觉云平台7，并通过工业无线网络根据所述在线推理预测的结果下发控制指令至所述工业无线网关5；本实施例中，所述根据所述在线推理预测的结果下发控制指令，包括自定义报警提醒、熄弧停止焊接、机器人终止当前任务中的一类或多类。
52.所述公有云工业视觉云平台7用于依次完成来自所述工业边缘云服务器6上传数据的预处理、数据标注、采用深度学习人工智能算法训练生成焊接质量人工智能预测新模型、模型快速迭代、模型自动下发的功能，以实现对所述工业边缘云服务器6中所述焊接质量人工智能预测模型12的迭代更新。
53.所述人机交互式监视终端8通过网络访问工业边缘云服务器6，并提供所述焊接机器人末端实时位姿信息、焊接工艺参数实时数据和焊接区域高动态范围图像的同步监测功能，并且提供指令输入和下发至所述工业无线网关5的功能；本实施例中，所述人机交互式监视终端8采用基于触摸屏技术的智能人机交互界面，提供实时监控界面和历史查询界面，并支持将数据直接注释到图像和视频中的功能。