一种罐车罐口视觉定位方法与流程

1.本发明涉及罐车罐口视觉定位领域，具体涉及一种罐车罐口视觉定位方法。


背景技术：

2.液化烃是石油化工企业重要的产品之一，液化石油气、丙烯、丙烷、丁烷等均属于液化烃的范畴。石油化工企业大多采用压力储罐储存液化烃，罐车运输(含公路罐车运输及铁路罐车运输)是主要的运输方式，而罐车装载目前普遍采用大鹤管进行铁路油罐车油料装车的方式，为防止油气挥发，大鹤管下管时，回收罩将罐口完全罩住从而将挥发的油气回收，此时需要完成高精度的罐口定位。
3.由于输油现场的防爆要求，采用主动测量方式会造成安全隐患，现有技术中通过机器视技术对罐车的罐口进行非接触测量的方法来实现罐口定位，但是由于罐车自身的抖动使得计算机视觉定位时所依据的图像发生抖动模糊无法精准定位，而利用霍夫变换进行罐口的视觉检测，其计算量大，且在复杂背景下检测效果也较差，在工业建设中使用时具有局限性。


技术实现要素：

4.为了解决现有技术中由于罐车自身的抖动使得无法依据发生抖动模糊的图像进行罐口定位的问题，本发明提供一种罐车罐口视觉定位方法，该方案包括：采集罐车罐口灰度图像并进行语义分割，得到模糊区域；获取每个连通域的近圆度；将近圆度最小的连通域中的边缘像素点作为抖动像素点；获取每个抖动像素点对应的多个延伸像素点以及每个延伸像素点的方向；得到多条延伸路径，获取每条延伸路径的匹配度；对延伸路径进行分类，获取模糊区域的模糊方向；根据模糊区域的模糊方向对罐口灰度图像进行去模糊，得到去模糊后的罐口灰度图像；根据去模糊后的罐口灰度图像进行罐口定位。本发明据罐车实际抖动从而产生的抖动模糊图像的特征对罐车的图像进行去模糊处理，能够实现罐车罐口的精准视觉定位。
5.本发明采用如下技术方案，一种罐车罐口视觉定位方法，包括：采集罐车罐口灰度图像，并对罐口灰度图像进行语义分割，得到罐口灰度图像中的模糊区域。
6.获取模糊区域中的多个连通域，根据每个连通域中边缘像素点的坐标获取每个连通域的近圆度；将近圆度最小的连通域中的边缘像素点作为抖动像素点。
7.以每个抖动像素点为初始像素点，根据初始像素点的和其八邻域内每个像素点的灰度值，获取初始像素点与其八邻域内每个像素点的第一灰度变化值。
8.以初始像素点的八邻域内每个像素点为新的初始像素点，并分别获取新的初始像素点与其八邻域内每个像素点的第二灰度变化值。
9.利用初始像素点与其八邻域内每个像素点的第一灰度变化值以及初始像素点八邻域内每个像素点与其八邻域内每个像素点的第二灰度变化值，确定初始像素点的延伸像
素点。
10.将该延伸像素点作为新的初始像素点，依次进行遍历，直至新的初始像素点八邻域内的像素点包括模糊区域的边缘像素点，得到每个抖动像素点对应的多个延伸像素点。
11.根据每个抖动像素点对应的多个延伸像素点得到多条延伸路径，根据每条延伸路径中每个延伸像素点的方向获取每条延伸路径的匹配度。
12.根据每条延伸路径的匹配度对延伸路径进行分类，获取类别数量最多的延伸路径作为模糊区域的模糊方向。
13.根据模糊区域的模糊方向对罐口灰度图像进行去模糊，得到去模糊后的罐口灰度图像；根据去模糊后的罐口灰度图像进行罐口定位。
14.进一步的，一种罐车罐口视觉定位方法，获取每个连通域的近圆度的方法为：获取每个连通域中的边缘像素点的坐标；分别获取每个连通域中x坐标最小值和y坐标最大值对应的边缘像素点，以及x坐标最大值和y坐标最小值对应的边缘像素点，并进行连线；分别获取每个连通域中x坐标最小值和y坐标最大值对应的像素点，以及x坐标最大值和y坐标最大值对应的边缘像素点，并进行连线；将两条连线的交点作为对应连通域的虚拟圆心，根据每个连通域中每个边缘像素点到虚拟圆心的距离获取每个连通域的近圆度。
15.进一步的，一种罐车罐口视觉定位方法，将两条连线的交点作为对应连通域的虚拟圆心之后，还包括：将两条连线中最长连线的一半作为虚拟圆心的半径。
16.进一步的，一种罐车罐口视觉定位方法，获取初始像素点与其八邻域内每个像素点的第一灰度变化值的方法为：获取初始像素点八邻域内每个像素点的灰度值与初始像素点灰度值的比值，将该比值作为初始像素点与其八邻域内每个像素点的第一灰度变化值；同理，获取初始像素点八邻域内每个像素点的灰度值与其八邻域内每个像素点的灰度值的比值，将该比值作为初始像素点八邻域内每个像素点与其八邻域内每个像素点的第二灰度变化值。
17.进一步的，一种罐车罐口视觉定位方法，确定初始像素点的延伸像素点的方法为：获取初始像素点与其八邻域内每个像素点的第一灰度变化值，与初始像素点八邻域内每个像素点与其八邻域内每个像素点的第二灰度变化值之间的差值；获取最小差值对应的第一灰度变化值和第二灰度变化值，将该第一灰度变化值对应的初始像素点八邻域内的像素点，作为初始像素点的延伸像素点。
18.进一步的，一种罐车罐口视觉定位方法，获取每条延伸路径的匹配度的方法为：获取每条延伸路径中每个延伸像素点的方向；根据每条延伸路径中每个延伸像素点的灰度值与前一个延伸像素点的比值获取每个延伸像素点的灰度变化值；根据每条延伸路径中每个延伸像素点的方向以及每个延伸像素点的灰度变化值获取每条延伸路径的匹配度。
19.进一步的，一种罐车罐口视觉定位方法，根据每条延伸路径的匹配度对延伸路径
进行分类的方法为：任意选取一条延伸路径，依次获取该延伸路径与其他延伸路径的匹配度差值，将匹配度差值小于预设阈值的其他延伸路径与选取的延伸路径划分为一类；再次任意选取一条未分类的延伸路径，并依次获取该延伸路径与其他未分类延伸路径的匹配度差值，根据该匹配度差值进行类别划分，依次迭代，直至所有延伸路径完成类别划分。
20.进一步的，一种罐车罐口视觉定位方法，根据每条延伸路径的匹配度对延伸路径进行分类时，还包括：若一条延伸路径与其他延伸路径的匹配度差值均大于预设阈值，将该延伸路径单独划分为一类。
21.进一步的，一种罐车罐口视觉定位方法，根据模糊区域的模糊方向对罐口灰度图像进行去模糊的方法为：设定模糊核，并将模糊区域的模糊方向作为模糊核的滑动方向；利用模糊核在罐口灰度图像中进行滑动卷积，得到去模糊后的罐口灰度图像。
22.本发明的有益效果是：本发明通过对采集到的罐口图像进行语义分割，能够分割出图像的主要模糊区域，从而有利于进行特征提取，通过对主要模糊区域中连通域的边缘像素点筛选出抖动像素点，方便了后续模糊方向的确定，并且根据抖动像素点与邻域像素点之间灰度值的变化确定延伸像素点并确定延伸路径，同时对延伸路径进行分类，并选择类别中数量较多的延伸路径作为图像的模糊方向，使得以此得到的模糊方向更加具有可信度，从而保证了对罐口灰度图像进行去模糊操作的效果更好，能够得到清晰的罐口灰度图像，实现罐口的精准定位。
附图说明
23.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
24.图1为本发明实施例的一种罐车罐口视觉定位方法结构示意图。
具体实施方式
25.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.本发明所针对的情景为：在利用计算机视觉对罐车进行罐口的定位的时候，罐车自身的抖动会产生罐口图像的模糊从而对罐口定位效果有着较大的影响，所以通过罐车管口的模糊图像进行特征提取，从而确定模糊方向，而后根据模糊方向进行罐车罐口的去模糊操作获得不模糊的罐口图像，最后根据不模糊的罐口图像与出料口的位置实现罐车罐口的精准定位。
27.如图1所示，给出了本发明实施例的一种罐车罐口视觉定位方法结构示意图，包括：101.采集罐车罐口灰度图像，并对罐口灰度图像进行语义分割，得到罐口灰度图像中的模糊区域。
28.本发明需要利用计算机视觉技术对罐车的罐口进行定位，所以首先需要布置工业相机对罐车进行图像采集，本发明将工业相机的布置位置在出料口的旁边（相机的高度为其拍摄视野可完整的拍摄罐车的罐口），这种布置方法可以最大程度的减少相机视角偏差从而导致罐车的罐口的图像拍摄时受到视角影响从而需要进行大量的视角校正计算。
29.然后利用上述布置工业相机对罐车的图像进行采集并进行预处理，所述预处理方式为对工业相机拍摄到的罐车的图像进行灰度化（在对罐车的罐口图像进行去模糊操作时，可利用单一通道进行处理来减少计算量，具体依据为在图像的抖动模糊时其模糊区域的每个通道的每一个对应位置的像素点的抖动方向是相同的，且由于抖动而造成的像素点的模糊效果也是相同的，所以为了减少计算量可进行一个通道进行处理）。
30.由于相机的拍摄的高度不同，所拍摄的抖动模糊图像中罐车的图像不同，即有可能为部分的罐车图像，而进行罐车的罐口定位时仅需要罐车的罐口位置，所以需要在预处理过的罐车的抖动模糊图像上进行罐口模糊区域的划分，本发明采用的划分方式为利用dnn神经网络进行罐口模糊区域的语义分割，具体方法为：数据集为罐车（包含罐口位置）的抖动模糊图像；对数据集中每一张图像进行人工标记；具体为罐车的罐口位置的抖动模糊方向标记为“1”，其余罐车的图像区域标记为“0”。
31.dnn网络任务为分类，故使用交叉熵函数为loss函数。
32.利用dnn神经网络对罐车的抖动模糊图像进行语义分割可获得预处理后的罐车罐口的模糊区域。
33.至此，得到了罐口灰度图像中的模糊区域。
34.102.获取模糊区域中的多个连通域，根据每个连通域中边缘像素点的坐标获取每个连通域的近圆度；将近圆度最小的连通域中的边缘像素点作为抖动像素点。
35.本发明首先对罐口模糊区域进行连通域检测，获得罐口模糊区域的所有的连通域，而后对所有的连通域的边缘像素点进行近圆度判断，以第n个连通域为例（n表示罐口模糊区域的第n个连通域，其中n为罐口模糊区域的最大连通域个数），其近圆度的计算方式为：首先对第n个连通域上的所有边缘像素点进行坐标标记，以第j个像素点为例，（，其中j表示连通域中所有边缘像素点的个数）分别获取每个连通域中x坐标最小值和y坐标最大值对应的边缘像素点，以及x坐标最大值和y坐标最小值对应的边缘像素点，并进行连线；分别获取每个连通域中x坐标最小值和y坐标最大值对应的像素点，以及x坐标最大值和y坐标最大值对应的边缘像素点，并进行连线；将两条连线的交点作为对应连通域的虚拟圆心，并将两条连线中最长连线的一半作为虚拟圆心的半径，即将最长连线的一半作为虚拟圆的半径。
36.罐车的罐口位置在不抖动时拍摄的照片为标准圆形，而在罐车抖动的时候，其图像发生了变化，但是由于罐车的抖动幅度并不大，所以即使抖动模糊后的罐车罐口还是近似圆形，其近圆度越小，则说明该连通域中的边缘像素点最有可能为罐车罐口的像素点，所以本法，利用近圆度来进行抖动模糊时的罐车罐口的抖动起始像素点的判断。
37.根据每个连通域中每个边缘像素点到虚拟圆心的距离获取每个连通域的近圆度，表达式为：式中：表示连通域中第j个像素点距离虚拟圆心的距离（利用距离计算公式计算即可获得），表示第n个连通域中的虚拟圆的半径，j表示连通域中所有边缘像素点的个数，以连通域中x与y坐标中最大与最小的两对像素点建立虚拟圆，该虚拟圆可包含连通域中所有边缘像素点，而后以连通域的边缘像素点距离虚拟圆心的距离与虚拟圆的半径做差求取平均值来表示连通域的近圆度，越小，说明连通域中所有的像素点距离虚拟圆心的距离越接近虚拟半径，即连通域越接近圆。
38.由此可获得所有连通域的近圆度，而后选择近圆度最小的连通域上的所有边缘像素点作为抖动像素点。
39.103.以每个抖动像素点为初始像素点，根据初始像素点的和其八邻域内每个像素点的灰度值，获取初始像素点与其八邻域内每个像素点的第一灰度变化值；以初始像素点的八邻域内每个像素点为新的初始像素点，并分别获取新的初始像素点与其八邻域内每个像素点的第二灰度变化值。
40.以第j个抖动像素点为例，对其进行周围8邻域的像素点基于灰度变化程度进行搜寻，即将第j个抖动像素点作为初始像素点，对该像素点的周围8邻域内的像素点进行一阶搜寻，具体为对该像素点的周围8邻域内的像素点进行一阶灰度值变化程度的计算，以该像素点的周围8邻域内第m个像素点为例（），计算方法为：其中，表示第j个像素点的周围8邻域内第m个像素点相对于第j个像素点的一阶灰度值的变化程度，即第一灰度变化值，下标1表示该第一灰度变化值为基于初始像素点的一阶搜寻，表示第j个像素点周围8邻域内第m个像素点的灰度值，表示第j个抖动像素点的灰度值。
41.接着以第j个像素点的周围8邻域内的第m个像素点作为新的初始像素点，并对新的初始像素点周围8邻域内的像素点进行二阶搜寻，并计算二阶灰度值的变化程度，即第二
灰度变化值，计算方法与一阶灰度值的变化程度相同，需要说明的是，以一阶搜寻中的8个邻域每个像素点为新的初始像素点时，进行他们的邻域不重复搜寻，即在进行搜寻时，每个初始像素点八邻域内的每个像素点只参与一次搜寻，已经搜寻过的不参与搜寻。
42.104.利用初始像素点与其八邻域内每个像素点的第一灰度变化值以及初始像素点八邻域内每个像素点与其八邻域内每个像素点的第二灰度变化值，确定初始像素点的延伸像素点；将该延伸像素点作为新的初始像素点，依次进行遍历，直至新的初始像素点八邻域内的像素点包括模糊区域的边缘像素点，得到每个抖动像素点对应的多个延伸像素点。
43.计算初始像素点的每个邻域像素点对应的多个二阶灰度变化程度值与一阶灰度变化程度值的差异值，选择其中最小的差异值对应的两个像素点作为延伸像素点，其中一个为一阶搜寻时的像素点，另一个为二阶搜寻时的像素点，接着以选择的二阶搜寻时的像素点开始，继续进行三阶搜寻，计算三阶灰度值变化程度，计算三阶灰度值变化程度与对应二阶灰度值变化程度的差异值，选择其中最小的差异值对应的三阶搜寻像素点，以此类推，直至搜寻至整个罐车罐口模糊区域的边缘像素点位置，通过所有选择的延伸像素点构成第j个抖动像素点的延伸路径。
44.105.根据每个抖动像素点对应的多个延伸像素点得到多条延伸路径，根据每条延伸路径中每个延伸像素点的方向获取每条延伸路径的匹配度。
45.获取每条延伸路径的匹配度的方法为：获取每条延伸路径中每个延伸像素点的方向；根据每条延伸路径中每个延伸像素点的灰度值与前一个延伸像素点的比值获取每个延伸像素点的灰度变化值；根据每条延伸路径中每个延伸像素点的方向以及每个延伸像素点的灰度变化值获取每条延伸路径的匹配度。
46.由于罐车罐口图像在抖动的时候，其模糊路径上的像素点的灰度值差异是很小的，通过搜寻每个抖动像素点的延伸路径，能够有着极大的可能得到该像素点的模糊方向。
47.对所有的延伸路径进行匹配度计算，以第j个抖动像素点的延伸路径为例，其匹配度的计算方法为：其中，表示第j个抖动像素点延伸路径的匹配度，表示第j个抖动像素点延伸路径中第h个延伸像素点的方向，表示第j个抖动像素点延伸路径中第h个延伸像素点的灰度变化程度值，h表示延伸像素点的最大个数。
48.匹配度本质上为每一条延伸路径的标签值，其是用来利用每一阶搜寻中方向与灰度值变化程度来描述这一条延伸路径的标签，由于是利用每一条延伸路径上的每一阶灰度值变化程度和搜寻方式获得的，所以其能有效的描述对应的抖动像素点的特征，所以本发明利用这一值进行匹配度计算，获取所有延伸路径的匹配度。
49.本发明先对所有匹配度进行设置阈值匹配，设置阈值为，以每一个匹配度作为基础，对其他匹配度与其进行做差计算，差值小于则归为一类，得到所有类别的延伸路径。
50.由于所有延伸路径都是每一个抖动起始像素点的抖动模糊产生的，而后所有的起始像素点的抖动模糊都是由于罐车自身抖动产生的，即所有的抖动起始像素点的抖动模糊方向都是相同的，并且因为抖动幅度相同，其在模糊路径上的像素点的抖动模糊（残影）的像素点的灰度值的变化程度也是相同的（即灰度值变化程度，因为计算的是路径上像素点灰度值的比值关系），因此本发明利用匹配度聚类出的所有匹配度对应的延伸路径进行分析，选择其中包含延伸路径的最多的一类，将那一类延伸路径的方向作为罐车罐口的模糊方向。
51.106.根据每条延伸路径的匹配度对延伸路径进行分类，获取类别数量最多的延伸路径作为模糊区域的模糊方向。
52.根据每条延伸路径的匹配度对延伸路径进行分类的方法为：任意选取一条延伸路径，依次获取该延伸路径与其他延伸路径的匹配度差值，将匹配度差值小于预设阈值的其他延伸路径与选取的延伸路径划分为一类；再次任意选取一条未分类的延伸路径，并依次获取该延伸路径与其他未分类延伸路径的匹配度差值，根据该匹配度差值进行类别划分，依次迭代，直至所有延伸路径完成类别划分。
53.根据每条延伸路径的匹配度对延伸路径进行分类时，还包括：若一条延伸路径与其他延伸路径的匹配度差值均大于预设阈值，将该延伸路径单独划分为一类。
54.107.根据模糊区域的模糊方向对罐口灰度图像进行去模糊，得到去模糊后的罐口灰度图像；根据去模糊后的罐口灰度图像进行罐口定位。
55.根据模糊区域的模糊方向对罐口灰度图像进行去模糊的方法为：设定模糊核，并将模糊区域的模糊方向作为模糊核的滑动方向；利用模糊核在罐口灰度图像中进行滑动卷积，得到去模糊后的罐口灰度图像。
56.首先利用现有技术结合罐车罐口抖动图像的特征（例如图像的灰度梯度等）进行模糊核的自适应，接着将模糊核沿着已经获得模糊方向进行滑动，在滑动的过程中进行卷积操作，从而获得去模糊后的清晰的罐车罐口的图像，而后利用canny边缘提取获得罐车罐口位置的边缘像素点，并对其进行曲线拟合，此时可获得准确的清晰的罐车罐口位置的曲线图像，最后根据出料口位置与罐车罐口的位置进行位置匹配即可完成对罐车罐口位置的定位。
57.本发明利用罐车罐口的边缘曲线拟合图像与出料口的位置进行了罐车的罐口定位，后续只需要在进行装载时，根据定位控制大鹤管的回收罩将罐口完全罩住，从而保证罐车罐口的准确定位和对接，防止油气泄漏产生安全事故。
58.本发明通过对采集到的罐口图像进行语义分割，能够分割出图像的主要模糊区域，从而有利于进行特征提取，通过对主要模糊区域中连通域的边缘像素点筛选出抖动像素点，方便了后续模糊方向的确定，并且根据抖动像素点与邻域像素点之间灰度值的变化
确定延伸像素点并确定延伸路径，同时对延伸路径进行分类，并选择类别中数量较多的延伸路径作为图像的模糊方向，使得以此得到的模糊方向更加具有可信度，从而保证了对罐口灰度图像进行去模糊操作的效果更好，能够得到清晰的罐口灰度图像，实现罐口的精准定位。
59.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。