一种基于图像的LF炉炉门状态检测方法与流程

一种基于图像的lf炉炉门状态检测方法
技术领域
1.本发明属于冶金智能化领域，涉及一种基于图像的lf炉炉门状态检测方法。


背景技术：

2.在大多数钢厂中，lf炉(ladle furnace，钢包精炼炉)炉门的状态主要是通过在炉门周围安装接近开关来检测，但在实际应用中，由于炉门经常上升或下降，炉门周围的温度非常高，导致接近开关经常无信号或者损坏，在生产状态下进行传感器维修也非常困难，因此，需要一种非接触式的、稳定的方法来检测炉门的状态，为后续使用机器人进入炉门内进行作业提供安全保障。


技术实现要素：

3.有鉴于此，本发明的目的在于提供一种基于图像的lf炉炉门状态检测方法。
4.为达到上述目的，本发明提供如下技术方案：
5.一种基于图像的lf炉炉门状态检测方法，包括以下步骤：
6.s1：预先设置低阈值、平均亮度阈值、炉门完全打开状态下的面积阈值；
7.s2：相机实时采集炉门的图像；
8.s3：对所述图像进行亮度直方图检测；
9.s4：根据所述亮度直方图检测炉门开闭状态；
10.s5：对所述图像进行二值化操作，筛选出炉门区域；
11.s6：将所述炉门区域的最小外接矩形作为粗定位区域，并在此基础上设定四个矩形检测区域，作为精定位区域；
12.s7：对精定位区域做投影处理，得到像素强度曲线波形；
13.s8：对所述像素强度曲线波形进行一阶微分处理；
14.s9：对所述微分波形图进行自适应归一化；
15.s10：对所述归一化后的微分波形求边缘的亚像素位置；
16.s11：将炉门边缘亚像素位置与机器人运动路径联锁。
17.进一步，所述步骤s3具体包括以下步骤：
18.s31：遍历图像所有像素，像素值低于所述的低阈值的不计入统计；
19.s32：计算所有有效的像素的亮度直方图；
20.s33：统计所述亮度直方图中大于平均亮度阈值的像素数量。
21.进一步，步骤s4中，对图像像素数量大于炉门完全打开状态下的面积阈值时，认为炉门完全打开，小于或等于面积阈值的一半时，判断为炉门未完全打开。
22.进一步，步骤s5中，根据所述亮度直方图，自适应选择合适的阈值进行区域分割，根据炉门的形状特点，对区域分割后的所有区域进行形态学特征筛选得到炉门的区域；所述区域形态学特征包括计算区域面积和区域的最小外接矩形；若区域面积和最小外接矩形的面积比值接近1，则说明筛选出的区域是炉门区域，炉门区域的最小外接矩形是炉门的粗
定位区域。
23.进一步，步骤s6中，以外接矩形的每条边作为基础，添加矩形检测区域，与外接矩形每条边平行的方向为边缘检测方向，与外接矩形每条边垂直的方向作为投影方向，为每条边分别添加一个矩形检测区域，总共四个矩形检测区域，外接矩形的每条边作为相对应的矩形检测区域的投影线；根据矩形检测区域的旋转角度，将矩形检测区域旋转为与x轴或者y轴完全平行的区域，对于旋转后像素点位置不为整数的像素采用插值法。
24.进一步，步骤s7中，对所述旋转后的矩形检测区域沿着检测方向扫描，求出投影线上每个像素点的沿着投影方向求像素平均值，形成一条像素强度曲线波形。
25.进一步，步骤s9中，统计检测区域内微分值的最大值，并归一化到255，计算出缩放因子factor，对检测区域内所有的微分值乘以缩放因子，以实现对微分波形图进行整体归一化。
26.进一步，步骤s10中，对归一化后的微分波形求局部最值，包括局部最大值和局部最小值，所述局部最值的像素点位置即为边缘位置；对所述的局部最值的像素点位置为中心的局部3邻域，通过抛物线拟合求抛物线顶点即为边缘亚像素的位置。
27.进一步，步骤s11中，将炉门边缘位置信息传递给机器人，机器人根据炉门边缘亚像素位置动态修改作业路径完成相应的操作，避免机器人在运动过程中碰撞炉门。
28.本发明的有益效果在于：本发明通过一种非接触式的、稳定的方法来精确地检测炉门开闭及炉门的亚像素边缘位置，为后续使用机器人精准地进入炉门内进行作业提供了支撑。
29.本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
30.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
31.图1为采集的炉门图像；
32.图2为二值化操作后的图像、筛选的炉门区域及炉门区域的最小外接矩形；
33.图3为1为炉门区域的最小外接矩形，2为最小外接矩形经过旋转后与图像坐标系的x轴或者y轴平行的矩形检测区域；
34.图4为每条边分别添加一个矩形检测区域，总共四个矩形检测区域。其中；
35.图5为投影法求检测区域的平均像素强度，(a)为检测区域内的像素分布，(b)为检测区域内的像素强度，(c)为计算得到的平均像素强度；
36.图6为矩形检测区域沿着检测方向扫描后，将形成一条像素强度曲线波形；
37.图7为一阶微分波形图。
38.附图标记：1-矩形检测区域，2-投影线，3-矩形检测区域沿着检测方向，4-矩形检测区域的投影方向，5-边缘亚像素位置坐标。
具体实施方式
39.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
40.其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
41.本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
42.请参阅图1～图7，为一种基于图像的lf炉炉门状态检测方法，包括以下步骤：
43.s1：预先设置低阈值、平均亮度阈值、炉门完全打开状态下的面积阈值；
44.s2：相机实时采集炉门的图像，如图1所示；
45.s3：对所述图像进行亮度直方图检测；
46.遍历图像所有像素，像素值低于所述的低阈值的不计入统计；
47.计算所有有效的像素的亮度直方图；
48.统计所述的直方图中大于平均亮度阈值的像素数量。
49.s4：根据所述亮度直方图检测炉门开闭状态；对所述的像素数量大于炉门完全打开状态下的面积阈值时，认为炉门完全打开，小于或等于面积阈值的一半时，判断为炉门未完全打开。
50.s5：如图2-3所示，对所述图像进行二值化操作，筛选出炉门区域；根据所述的亮度直方图，自适应选择合适的阈值进行区域分割，根据炉门是矩形的特点，对区域分割后的所有区域进行形态学特征筛选得到炉门的区域。所述的区域形态学特征包括计算区域面积和区域的最小外接矩形。根据区域面积和最小外接矩形的面积比值接近1，说明筛选出的区域是炉门区域，注意，炉门区域的最小外接矩形是炉门的粗定位区域。图3中虚线框为炉门区域的最小外接矩形，实线框为最小外接矩形经过旋转后与图像坐标系的x轴或者y轴平行的矩形检测区域。
51.s6：将所述炉门区域的最小外接矩形作为粗定位区域，并在此基础上设定四个矩形检测区域，作为精定位区域；
52.由于所述的最小外接矩形是粗定位区域，以外接矩形的每条边作为基础，添加矩形检测区域，与外接矩形每条边平行的方向为边缘检测方向，与外接矩形每条边垂直的方向作为投影方向。因为外接矩形是四边形，因此，为每条边分别添加一个矩形检测区域，总
共四个矩形检测区域，外接矩形的每条边作为相对应的矩形检测区域的投影线，如图4所示了一个矩形检测区域1，投影线2，矩形检测区域沿着检测方向3，矩形检测区域的投影方向4。
53.由于外接矩形的每条边并不与图像坐标系的x轴或者y轴完全平行，因此，添加的四个矩形区域也并不与图像坐标系的x轴或者y轴完全平行，为方便后续的图像处理，根据矩形检测区域的旋转角度，将矩形检测区域旋转为与x轴或者y轴完全平行的区域，对于旋转后像素点位置不为整数的像素采用插值法，所述的插值法包括使用最近邻插值(nearest-neighbor)、双线性插值(bilinear)等皆在本专利的包括范围之类。
54.注意，后续所述的矩形检测区域都是指的旋转后与图像坐标系的x轴或者y轴完全平行的区域。
55.s7：对精定位区域做投影处理，得到像素强度曲线波形；
56.如图5(a)-(c)，对所述的旋转后与矩形检测区域沿着检测方向扫描，求出投影线上每个像素点的沿着投影方向求像素平均值，最终，矩形检测区域沿着检测方向扫描后，将形成一条像素强度曲线波形。
57.s8：对所述像素强度曲线波形进行一阶微分处理；
58.存在边缘可能性的位置其微分值将会增大，微分处理的目的是求出灰度强度的变换，经过一阶微分处理后将形成微分波形图，如图7所示。
59.s9：对所述微分波形图进行自适应归一化；
60.由于炉门的亮度收到炉门是否完全打开及炉内钢水及钢渣的影响，因此，为了在不同情况下检测炉门边缘位置，需要对不同亮度下的微分波形图进行整体归一化。
61.统计检测区域内微分值的最大值，并归一化到255，计算出缩放因子factor，对检测区域内所有的微分值乘以缩放因子，以实现对微分波形图进行整体归一化。
62.s10：对所述归一化后的微分波形求边缘的亚像素位置；
63.对所述的归一化后的微分波形求局部最大值和局部最小值(统称局部最值)，局部最值的像素点位置即为边缘位置。对所述的局部最值的像素点位置为中心的局部3邻域，通过抛物线拟合求抛物线顶点即为边缘亚像素位置坐标5。
64.s11：将炉门边缘亚像素位置与机器人运动路径联锁。
65.将炉门边缘位置信息传递给机器人，机器人根据炉门边缘亚像素位置动态修改作业路径完成相应的操作，避免机器人在运动过程中碰撞炉门。
66.最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。