基于图像处理的汽车焊接实训可视化监测系统的制作方法

本发明涉及图像处理及焊接实训监测，具体为基于图像处理的汽车焊接实训可视化监测系统。

背景技术：

1、焊接实训操作可视化监测是指根据焊接过程中的电信号、姿态信号、图像信号及声音信号，对实训工位中的操作过程进行在线采集、状态判断和结果显示；目前的焊接实训监测方法包括人工观察评定法、单一电参数监测法以及结合图像或声音的局部分析法；

2、然而，基于现有技术进行焊接实训监测时，不同类型过程数据之间的时间对应关系往往存在系统性偏差，进而在焊枪速度、热输入和焊缝区段状态的连续判断中引起失准；同时，当图像、声音等数据源发生退化或失效时，现有方案对判断结果的可靠性区分不足，也缺少结合焊后检测结果进行复查与参数校正的机制，都会降低实训过程监测和缺陷预警的准确性。

技术实现思路

1、本发明的目的在于提供基于图像处理的汽车焊接实训可视化监测系统，避免现有技术中不同类型过程数据之间的时间对应关系存在时序偏差，以及当数据源发生退化或失效时对判断结果的可靠性区分不足等问题，且能够将多源信号对应至统一时钟并生成对应焊缝区段数据帧，根据数据有效性判断结果的可靠性等级，并通过反馈复查与结合焊后检测结果的参数校正机制，有效提高实训过程监测和缺陷预警的准确性。

2、本发明的目的可以通过以下技术方案实现：

3、数据采集模块，用于采集焊接过程的电信号、包含加速度信号的姿态信号、图像信号及声音信号；

4、数据同步与有效性判断模块，用于设定融合周期并将所述电信号、姿态信号、图像信号及声音信号对应至统一时钟，基于图像信号及加速度信号确定焊枪行走速度，根据焊枪行走速度与融合周期确定焊缝长度增量，根据焊缝长度增量生成对应焊缝区段数据帧，并判断电信号、姿态信号、图像信号及声音信号的数据有效性；

5、焊缝状态判断模块，用于根据电信号和焊枪行走速度确定热输入，根据声音信号提取声学特征，基于热输入、声学特征及姿态信号判断熔深、熔宽和缺陷风险，并根据数据有效性判断结果的可靠性等级；

6、原因分析模块，用于将热输入、焊枪行走速度、姿态信号及声学特征与对应的预设阈值范围比较，若超出对应的预设阈值范围则输出对应异常类型，若未超出对应的预设阈值范围则标记为正常，并在存在缺陷风险时生成预警信息和操作提示信息；

7、反馈复查模块，用于输出操作提示信息，利用操作提示信息后的连续数据判断缺陷风险是否消除；

8、显示与校正模块，用于按焊缝空间位置显示热输入、焊枪行走速度、姿态信号、判断结果及可靠性等级，获取外部焊后检测结果以更新标定参数或预设阈值范围。

9、优选的，数据同步与有效性判断模块以预设时间长度为融合周期；

10、提取电信号中的电流和电压，计算融合周期内去异常后的电流平均值和电压平均值；

11、根据图像信号中特征匹配的特征点数量判断基于图像信号确定的速度观测的数据有效性；

12、在基于图像信号确定的速度观测的数据有效性失效时，基于加速度信号估计焊枪行走速度，并在基于图像信号确定的速度观测的数据有效性恢复后进行修正；

13、结合姿态信号得到沿焊缝方向的速度分量，根据速度分量与融合周期计算焊缝长度增量，并累计得到焊枪沿焊缝方向的空间位置。

14、优选的，数据同步与有效性判断模块配置为：若电信号的数值在预设范围内则保持电信号的数据有效性，若超出预设范围，则降低电信号的数据有效性；

15、若姿态信号在融合周期内有效更新且未发生丢帧，则保持姿态信号的数据有效性；若姿态信号发生单次丢帧或短时数据跳变，则降低姿态信号的数据有效性；若姿态信号连续两个及以上融合周期无有效更新，则标记姿态信号失效；

16、若声音信号同时满足底噪低于或等于对应的底噪阈值、灵敏度衰减量低于或等于灵敏度衰减阈值、以及削顶比例低于或等于削顶比例阈值这三个条件，则保持声音信号的数据有效性；

17、若声音信号出现底噪超过底噪阈值、灵敏度衰减量超过灵敏度衰减阈值、或者削顶比例超过削顶比例阈值中的任意一种或多种情况时，则降低声音信号的数据有效性；并在数据有效性降低时降低对应的可靠性等级并调整相应预警等级。

18、优选的，焊缝状态判断模块在确定热输入时，根据电流平均值、电压平均值和焊枪行走速度确定单位长度有效热输入；

19、当焊枪行走速度低于预设速度下限并持续预设数量的融合周期时，判定为低速驻留风险状态，否则判定为正常行走状态；

20、根据单位长度有效热输入和焊接持续状态确定等效热积累量；通过预先建立的传热学映射关系，根据单位长度有效热输入、等效热积累量、待焊母材的材料密度、比热容及板材厚度及姿态信号计算预测的熔深和熔宽。

21、优选的，声学特征包括声音信号的时域声学特征和频域声学特征；

22、焊缝状态判断模块根据环境噪声和声音信号确定噪声限值；

23、按照焊接工艺参数区间调用预先存储的标准声学特征模板，计算当前声学特征与标准声学特征模板的相似度；

24、若相似度大于或等于预先存储的对应工况相似度阈值，则标记声学特征正常；

25、当相似度低于对应工况相似度阈值，且频域声学特征中的高频突发峰值计数和时域声学特征中的波形峰度均超过预先存储的对应阈值时，输出气孔风险提示；

26、当相似度低于对应工况相似度阈值，且频域声学特征中的低频能量出现周期性跌落，且单位长度有效热输入低于预设热输入下限或焊枪行走速度高于预设速度上限时，输出未熔合风险提示；

27、当相似度低于对应工况相似度阈值，且不满足气孔风险提示与未熔合风险提示的输出条件时，标记为一般声学异常。

28、优选的，原因分析模块在预测的熔深超过预设熔深上限且单位长度有效热输入大于预设热输入阈值时，若焊枪行走速度低于预先存储的工艺规范对应速度标准范围，则输出提高行走速度的操作提示信息，若电流平均值高于预先存储的电流标准范围或者电压平均值高于预先存储的电压标准范围，则输出降低输出参数的操作提示信息；

29、在预测的熔宽低于预先存储的目标熔宽下限时，输出降低行走速度、修正焊枪角度或提高有效热输入的操作提示信息；

30、在相似度低于对应工况相似度阈值而单位长度有效热输入、焊枪行走速度及姿态信号处于对应的预设阈值范围内时，输出保护气体异常检查提示、工件表面状态检查提示或麦克风状态检查提示；若各参数均处于预设阈值范围内，则不输出操作提示信息。

31、优选的，反馈复查模块在预设复查时间窗口内重新计算缺陷风险及对应的热输入、焊枪行走速度和姿态信号；

32、当缺陷风险连续预设数量的融合周期内低于对应阈值时，解除预警并记录对应调整结果；

33、当对应的热输入、焊枪行走速度或姿态信号已朝操作提示信息要求方向变化并达到对应目标范围而缺陷风险未降低时，输出其他异常因素提示；当缺陷风险持续或升高时，提高预警等级，输出停止焊接提示。

34、优选的，当声音信号的数据有效性为失效等级时，停止输出基于声音信号的风险提示信息，保留熔深、熔宽、电流平均值、电压平均值及姿态信号相关结果的输出；

35、当基于图像信号确定的速度观测的数据有效性失效时，在预设时间窗口内采用加速度信号估计焊枪行走速度，并在超过预设的失效时间阈值后停止输出预测的熔深和熔宽判断结果；

36、当系统处理器负载超过预设负载阈值时，保留统一时钟下的原始数据及预警信息，暂停可视化显示中的非关键图形渲染，若未超过预设负载阈值则进行正常图形渲染。

37、优选的，显示与校正模块按照焊缝空间位置同步显示电流平均值、电压平均值、焊枪行走速度、姿态信号、判断结果及数据有效性标识；

38、在每次预警触发时，存储预警前后预设时长的原始数据、数据有效性、所调用的判定依据标识、对应异常类型及复查结果；

39、在满足预设更新条件时，输出针对热效率修正系数、热衰减系数或声学模板阈值的参数更新信息，并在确认后更新对应参数。

40、本发明的有益效果：

41、1、本发明通过对电信号、姿态信号、图像信号及声音信号在统一时钟下按融合周期进行对应处理，结合焊枪行走速度、焊缝长度增量和焊缝空间位置生成对应焊缝区段的数据帧，能够改善现有技术中不同类型过程数据时间对应关系不准确的问题，提升焊枪速度、热输入和焊缝区段状态连续判断的一致性；

42、2、本发明在状态判断阶段，基于电流平均值、电压平均值和焊枪行走速度确定单位长度有效热输入，结合焊接持续状态形成等效热积累量，并叠加姿态信号、声学特征以及传热学映射关系对熔深、熔宽和缺陷风险进行判断，同时对低速驻留、气孔风险和未熔合风险进行区分，提高实训过程监测与缺陷预警的针对性；

43、3、在数据源退化处理阶段，通过对电信号、图像信号和声音信号设置有效、降级和失效的分级有效性标记，并在视觉速度观测失效时采用加速度估计维持速度连续性、在声音信号的数据有效性降至失效等级时停止输出声学风险提示、在可靠性等级下降时同步调整预警等级，能够解决现有方案对退化或失效数据源缺少可靠性区分的问题，避免将采集状态退化误判为焊接缺陷；

44、4、本发明通过反馈复查模块对提示后的连续数据重新判断缺陷风险是否消除，结合显示与校正模块按焊缝空间位置显示判断结果、存储预警前后原始数据及判定依据标识，并依据焊后检测结果对热效率修正系数、热衰减系数或声学模板阈值进行确认更新，从而形成在线监测、预警提示、复查验证和参数校正的闭环处理机制，提升实训监测结果与焊后检测结果的一致性。