可见红外双模融合改进YOLOv8的熔池液位检测方法与流程

本发明涉及工业视觉检测与冶金过程参数测量，尤其涉及可见红外双模融合改进yolov8的熔池液位检测方法。

背景技术：

1、熔池液位是冶金熔炼过程中的重要工艺参数，其变化情况直接影响熔炼反应效率、产品质量以及生产安全。为了掌握熔池内部状态，生产现场通常需要定期获取熔池液位深度，以便进行加料控制、渣层管理以及工艺参数调整。现有熔池液位检测方法主要包括机械检尺测量方式和视觉检测方式。其中，机械检尺测量方式通过将检测尺插入熔池内部，根据检测尺的插入深度获取液位信息。该方式具有测量直接、结构简单等优点，因此在高温冶金场景中得到广泛应用。然而，检测尺从熔池中提出后，其表面通常会附着渣层和熔池物料，且由于渣层与熔池层在检测尺表面连续覆盖，难以准确确定两者之间的真实分界位置，导致检测尺所反映的液位深度中混入渣层厚度误差，从而影响液位测量结果的准确性。

2、为了避免机械接触带来的测量误差，部分技术方案采用机器视觉方式对熔池液位进行检测。该类方法通常利用可见光图像中的边缘信息识别液位边界，但冶金现场普遍存在高温辐射、烟尘遮挡、粉尘干扰以及强弧光等复杂工况，可见光图像容易出现边界模糊、对比度下降以及目标遮挡等问题，导致液位边界识别稳定性较差。虽然引入红外热成像能够获得目标区域的温度分布信息，提高对高温区域的感知能力，但单独依赖红外图像仍然存在纹理细节不足、边界定位精度有限的问题，难以同时兼顾识别准确性和测量精度。因此，如何在高温、烟尘以及强光干扰环境下准确识别检测尺表面渣层与熔池层之间的分界位置，并结合机械检尺获取的深度信息消除渣层附着造成的测量误差，从而实现熔池液位深度的高精度测量，成为本领域亟待解决的技术问题。

技术实现思路

1、为解决背景技术中存在的技术问题，本发明提出可见红外双模融合改进yolov8的熔池液位检测方法。

2、本发明提出的可见红外双模融合改进yolov8的熔池液位检测方法，包括以下步骤：

3、s1、获取检测尺插入熔池并提出后的检测尺图像数据；

4、其中，所述检测尺图像数据包括同一采集时刻对应的可见光图像和红外热图像；

5、所述可见光图像用于表征检测尺表面纹理信息；

6、所述红外热图像用于表征检测尺表面温度分布信息；

7、s2、分别对所述可见光图像和所述红外热图像进行图像增强处理，获得可见光增强图像和红外增强图像；

8、基于预先建立的双目异构视觉标定关系，对所述红外增强图像进行空间映射，使所述红外增强图像与所述可见光增强图像处于同一图像坐标系下；

9、得到对应于同一检测尺区域的双模配准图像；

10、s3、将所述双模配准图像输入预先训练完成的双模液位识别模型；

11、利用所述双模液位识别模型分别提取所述可见光增强图像中的纹理特征和所述红外增强图像中的热辐射特征；

12、基于所述纹理特征与所述热辐射特征的融合结果，对检测尺表面附着物进行分层识别；

13、得到渣层边界位置和熔池层边界位置；

14、s4、根据所述渣层边界位置和所述熔池层边界位置，确定所述渣层边界位置与所述熔池层边界位置之间对应的边界长度；

15、其中，

16、所述边界长度表征检测尺表面附着渣层与熔池层之间的实际分界长度；

17、s5、获取检测尺插入熔池前预先建立的长度基准；

18、根据所述长度基准确定检测尺末端至所述熔池层边界位置之间对应的下降深度；

19、其中，

20、所述下降深度表征检测尺末端相对于熔池液面的实际浸入深度；

21、s6、根据所述边界长度和所述下降深度进行液位深度协同解算；

22、获得熔池基准液位深度；

23、其中，

24、所述熔池基准液位深度为熔池液面至检测尺末端之间对应的实际深度值。

25、优选地，步骤s2中所述分别对所述可见光图像和所述红外热图像进行图像增强处理，具体包括：

26、对所述可见光图像进行高斯滤波处理，以去除随机噪声；

27、对经高斯滤波处理后的图像进行gamma校正处理，以增强检测尺表面纹理对比度；

28、对所述红外热图像进行非均匀性校正处理，以消除红外探测器响应差异；

29、对校正后的红外热图像进行限制对比度自适应直方图均衡化处理，以增强温度边界区域的热特征信息。

30、优选地，步骤s2中所述双目异构视觉标定关系通过如下方式建立：

31、获取标定板在可见光摄像机和红外摄像机中的对应标定图像；

32、提取对应标定特征点；

33、根据对应标定特征点建立红外图像坐标系与可见光图像坐标系之间的单应性变换矩阵；

34、利用所述单应性变换矩阵将红外增强图像映射至可见光增强图像所在坐标系。

35、优选地，步骤s3中所述双模液位识别模型为改进yolov8模型；

36、所述改进yolov8模型包括：

37、用于提取可见光图像特征的可见光特征提取支路；

38、用于提取红外热图像特征的红外特征提取支路；

39、用于融合不同模态特征的特征融合网络；

40、以及用于输出目标检测结果的检测头网络。

41、优选地，所述特征融合网络采用注意力加权融合方式；

42、将同尺度可见光特征图与红外特征图进行通道拼接；

43、根据特征响应强度生成对应的注意力权重；

44、利用所述注意力权重对拼接后的特征进行加权处理；

45、获得融合特征图。

46、优选地，所述融合特征图经pan-fpn多尺度特征聚合后输入检测头网络；

47、所述检测头网络输出渣层边界检测框和熔池层边界检测框；

48、并根据所述渣层边界检测框和熔池层边界检测框确定所述渣层边界位置和所述熔池层边界位置。

49、优选地，步骤s4中所述边界长度的确定方式包括：

50、获取所述渣层边界位置与所述熔池层边界位置之间对应的边界像素距离；

51、根据预先标定的像素长度与实际长度之间的比例关系；

52、将所述边界像素距离转换为实际边界长度。

53、优选地，步骤s5中所述下降深度的确定方式包括：

54、获取检测尺原始长度对应的基准标记位置；

55、确定所述熔池层边界位置至检测尺末端之间对应的像素距离；

56、根据预先建立的像素长度与实际长度之间的转换关系；

57、获得检测尺末端相对于所述熔池层边界位置对应的实际下降深度。

58、优选地，步骤s6中所述液位深度协同解算具体包括：

59、将所述边界长度与所述下降深度进行叠加计算；

60、获得熔池液面至检测尺末端之间对应的熔池基准液位深度。

61、优选地，在获得所述熔池基准液位深度之后，还包括：

62、获取连续多个采样时刻对应的熔池基准液位深度；

63、构建液位深度时间序列；

64、对所述液位深度时间序列进行中值滤波处理；

65、获得平滑后的熔池液位结果。

66、本发明中，所提出的可见红外双模融合改进yolov8的熔池液位检测方法，具有如下有益的技术效果：

67、本发明通过获取检测尺提出后的可见光图像和红外热图像，对两种模态图像进行配准处理后输入双模液位识别模型，利用可见光纹理特征与红外热辐射特征的互补信息识别检测尺表面的渣层边界位置和熔池层边界位置，并根据渣层边界位置与熔池层边界位置确定边界长度，同时结合检测尺末端对应的下降深度进行液位深度协同解算，从而获得熔池基准液位深度；由于采用了可见光与红外双模融合识别机制，能够充分利用可见光图像的纹理细节信息和红外热图像的温度分布信息，提高复杂工况下边界识别的稳定性和准确性；同时通过将检测尺表面附着的渣层长度从液位计算过程中进行独立表征和协同修正，有效消除了渣层附着对机械检尺测量结果造成的影响，解决了现有机械检尺方法难以准确区分渣层与熔池层边界以及现有视觉检测方法在烟尘、强光干扰环境下识别稳定性不足的技术问题，实现了熔池液位深度的高精度测量。