一种基于机器视觉巡游式环锭纺断纱检测方法与流程

1.本发明涉及一种基于机器视觉的环锭纺细纱视觉检测方法，属于图像处理和深度学习技术领域。


背景技术：

2.细纱工序是纺纱工艺的一个重要环节，细纱生产过程中断纱(从前罗拉输出至筒管之间连续的细纱条发生断裂的现象)问题直接导致细纱工序中断。细纱断头率是细纱生产的主要技术指标之一，高断头率则是限制环锭纺产能的主要原因，也是影响劳动生产率的重要因素，细纱断头多不仅会增加工人巡检劳动强度，也会对能源损耗、纱线质量、原料损耗产生影响。
3.现有技术检测细纱断纱的方式通常有机械式、电气接触式、气压非接触式、光电非接触式和温度传感式等。此类方法都为单锭式检测，优势是准确率高、实时性强、寿命较长、性能较为稳定，但单锭式检测存在着对现有细纱机改造成本高的问题，部分方法也会对纺纱过程产生影响。因此，单锭式检测存在改造成本大甚至无法改造的缺点。
4.目前随着视觉传感器价格逐步降低，数字图像处理技术不断发展，工业中各个生产领域开始广泛采用机器视觉进行表面缺陷检测、工件定位、目标识别等，而通过使用机器视觉的方式可以适应于市面上大部分细纱机进行断纱检测，价格低可改造性强，同时对纺纱过程不会产生任何影响。
5.虽然机器视觉具有上述众多优点，但目前市面上仍然没有一套比较完善的机器视觉断纱检测的方法，大部分方法仍处于理论阶段，在实际应用中仍存在许多不足，同时没有考虑到移动检测时所产生的问题。


技术实现要素：

6.本发明要解决的技术问题是：巡游式环锭纺断纱检测准确率低。
7.为了解决上述技术问题，本发明的技术方案是提供了一种基于机器视觉巡游式环锭纺断纱检测方法，其特征在于，包括以下步骤：
8.步骤1、带有工业摄像头的工业相机对纱线进行巡游式检测，处理器获取工业相机巡游中的图片；
9.步骤2、建立目标区域识取模型并对目标区域识取模型进行训练，将步骤1获得的实时图像输入训练后的目标区域识取模型，判断图像中是否包含纱线目标，并提取包含纱线目标的图像的感兴趣区域，具体包括以下步骤：
10.步骤201、建立基于目标检测的深度神经网络结构作为目标区域识取模型。该目标区域识取模型由一个输入层、一个卷积层cov.1、5个inverted residual block层、一个卷积层cov.2、一个平均池化层和一个输出层组成，其中：
11.每个inverted residual block层使用深度可分离卷积和残差结构；
12.输出层通过全连接层输出3个坐标点及一个class类，其中，class类分为两类，一
类表示输入的图像包含纱线目标，另一类表示输入的图像不包含纱线目标；通过4个坐标点确定一个矩形框，当通过class类显示输入的图像包含纱线目标时，利用该矩形框将图像中带纱线的目标区域框选出来；
13.步骤202、利用训练数据集对步骤201构建的目标区域识取模型进行训练，包括：
14.步骤2021、获取训练数据集：
15.使用工业摄像头收集在工厂中纺纱相关数据图片，拍摄多张带纱线目标的图像及多张不带纱线目标的黑白图像；
16.利用矩形框对带纱线目标的图像中的纱线目标进行框选，从而获得矩形框的三个角部坐标(x1,y1)、(x2,y2)、(x3,y3)，该矩形框为倾斜梯形；
17.不带纱线目标的图像所对应的四个角部坐标的值为0；
18.为每张图像设定标签数据，标签数据由三个角部坐标及class类4个参数组成；
19.步骤2022、利用上一步得到的训练数据集对目标区域识取模型进行训练，训练时，计算全连接层的输出与训练数据集中标签数据的距离的距离至为全连接层输出的三个角部坐标，为全连接层输出的class类，至为标签数据的三个角部坐标，为标签数据的class类；通过最小化距离来减少目标区域识取模型的预测误差，则目标区域识取模型的损失函数loss定义为下式：
[0020][0021]
上式中，l
s
交叉熵函数，用于判断图像是否包含纱线目标，p(x)为期望输出，q(x)为实际输出；l
c
代表输出坐标点与真实坐标点之间的协方差；
[0022]
步骤203、将实时图像输入训练好的目标区域识取模型，由目标区域识取模型输出该图像的class类，若通过class类判断当前图像包含纱线目标，则目标区域识取模型还输出4个用于确定矩形框的坐标点，利用该矩形框将图像中带纱线的目标区域框选出来，提取成单独的图片；
[0023]
步骤3、通过透视处理将步骤2获得的图片恢复成正常矩形图像，对正常矩形图像进行平滑处理，达到突出纱线特征、平滑图像背景的目的；
[0024]
步骤5、使用改进的sobel算子去除上一步骤获取到图像的背景，同时保留图像中纱线相关特征；
[0025]
步骤6、利用阈值化对图像进行处理提取出纱线目标，再通过边缘轮廓查找进一步筛选并排除噪声，提取出纱线特征，随后通过添加霍夫变换，提取数值方向上达到要求长度的直线，最终得到n根纱线；
[0026]
步骤7、基于上一步骤提取出的纱线特征，计算每根纱线的长度从而判断是否发生断纱现象，并在输出图像中将发生断纱现象的纱线标记出来，以达到可视化目的。
[0027]
优选的，步骤1中，所述图片为黑白图像。
[0028]
优选的，步骤201中，卷积层cov.1及卷积层cov.2采用下式：
[0029]
[0030]
上式中：z
ij
是经过卷积运算后得到的特征图，(i,j)表示特征图中的高度和宽度，h和w分表示输入卷积层cov.1或卷积层cov.2的图像数据的高度和宽度，f表示卷积核的高度和宽度大小；ρ表示非线性激活函数；w
rc
表示卷积核位于(r,c)位置处的权重；x
(r i
×
t)(c j
×
t)
表示输入卷积层cov.1或卷积层cov.2的图像数据，t表示卷积核运动的步长；b表示偏差。
[0031]
优选的，步骤201中，所述inverted residual block层通过使用1
×
1的普通卷积先进行升维操作，然后利用3
×
3的深度可分离卷积进行特征提取，再利用1
×
1的普通卷积降维，最终将输入和输出直接相接；
[0032]3×
3的深度可分离卷积采用下式：
[0033][0034]
上式中：m
ijn
为第n个通道的特征图；w
rcn
为位于卷积核中第n个通道的(r,c)位置处的权重；x
(r i
×
t)(c j
×
t)n
表示输入深度可分离卷积层第n个通道的图像数据；m
ij
′
表示输出的n个通道的特征图像；w
n
′
表示第n个通道的特征图的权重；m
out
表示输入数据与卷积后的数据之和；x
rcn
代表该时刻输入第n个通道的图像数据。
[0035]
优选的，步骤201中，全连接层执行下式：
[0036][0037]
式中，表示第n个通道的全连接层第k个输出的权重；b
k
表示全连接层第k个输出的偏差；h
n
表示第n个通道自适应平均池化层输入的参数。
[0038]
优选的，步骤2021中，用p(x)来表示当前图像包含纱线目标的置信度，如下式所示：
[0039][0040]
式中，p(x)为概率，是由class类输出加以激活函数softmax进行激活得到[0,1]之间的数值，u
x
表示预先设定的阈值，超过该阈值u
x
则认为当前图像可靠，并利用矩形框进行纱线目标框选，否则不进行纱线目标框选。
[0041]
优选的，步骤5中，使用面向纱线特征强化的sobel算子如下式所示：
[0042]
g
ij
＝sobel
×
h
ij
[0043]
上式中：
[0044]
g
ij
为经过面向纱线特征强化的sobel算子处理后的图像中(i,j)位置处的像素点；
[0045]
h
ij
为未经过面向纱线特征强化的sobel算子处理的图像中(i,j)位置处的像素点；
[0046]
sobel为矩阵算子，矩阵算子sobel采用如下式所示的改进的面向纱线特征强化的sobel算子矩阵：
[0047]
sobel＝2f(x,y i) f(x
‑
1,y i) f(x 1,y i)
‑
2f(x 2,y i)
‑
2f(x 2,y
‑
i)
[0048]
式中，f(x,y)表示输入图像数据，i∈[
‑
1,0,1]。
[0049]
优选的，步骤6中，利用下式对图像进行阈值化处理：
[0050][0051]
上式中，p
ij
为经过阈值化处理的位于(i,j)位置处的图像像素点的值，p
ij
′
为阈值化处理前的位于(i,j)位置处的图像像素点的值，u为阈值参数。
[0052]
优选的，步骤6中，基于下式进行前述的边缘轮廓查找：
[0053][0054]
上式中，i(x)为阈值分割后各部分图像内容，为图像框选的长度，α为额定阈值大小。
[0055]
优选的，步骤7中，判断是否发生断纱现象包括以下步骤：
[0056]
步骤701、计算每根纱线的格拉布斯检验统计量，如下式所示：
[0057]
g
i
＝(d
i
‑
u)/s
[0058]
式中：g
i
为第i根纱线的格拉布斯检验统计量；d
i
为第i根纱线的实时纱线长度；u为样本平均值，s为样本标准差，
[0059]
步骤702、根据每根实时纱线长度，确定检出水平α，查表得出对应的格拉布斯检验临界值α(n)；当g
i
>α(n)，则判断d
i
为异常值，第i根纱线为断纱，否则无异常值，纱线正常。
[0060]
与现有技术相比，本发明具有以下有益效果：(1)考虑检测纱线数量动态变化的问题；(2)考虑了适应不同场合下环锭纺细纱机的检测和移动下图像畸变问题，具有较好的鲁棒性；(3)能够适应于图像纱线间距变化的问题；(4)考虑到了多次降噪问题，有效的提高了检测的准确率。
附图说明
[0061]
图1是本发明实施例的基于机器视觉的巡游式断纱检测流程图；
[0062]
图2是本发明实施例的获取图像数据；
[0063]
图3是本发明实施例的目标区域选取的深度神经网络结构；
[0064]
图4是本发明实施例的目标选取结果图像；
[0065]
图5至图9是本发明实施例的目标图像处理流程。
具体实施方式
[0066]
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本技术所附权利要求书所限定的范围。
[0067]
如图1所示，本实施例公开的一种基于机器视觉巡游式环锭纺断纱检测方法流采用python语言编写，包括以下步骤：
[0068]
步骤1、带有工业摄像头的工业相机对纱线进行巡游式检测，处理器以每秒五帧的速率获取工业相机巡游中的图片。
[0069]
本实施例中，工业摄像头可以选择海康威视mvl
‑
kf3528m
‑
12mp的fa镜头，工业相
机可以选择mv
‑
ca050
‑
20um的摄像机，从而在最大程度上保证获取到的图片的清晰度。处理器选择使用jestonnano
[0070]
工业相机获取的图片为黑白图像，以达到减少数据传输量的目的。工业相机获取到的黑白图像如图2所示。
[0071]
步骤2、对获取到的包含纱线目标的黑白图像进行感兴趣区域的选取，主要包括以下步骤：
[0072]
步骤201、建立基于目标检测的深度神经网络结构作为目标区域识取模型。该目标区域识取模型由一个输入层、一个卷积层cov.1、5个inverted residual block层、一个卷积层cov.2、一个平均池化层和一个输出层组成。
[0073]
卷积层cov.1及卷积层cov.2采用下式(1)：
[0074][0075]
式(1)中：z
ij
是经过卷积运算后得到的特征图，(i,j)表示特征图中的高度和宽度，h和w分表示输入卷积层cov.1或卷积层cov.2的图像数据的高度和宽度，f表示卷积核的高度和宽度大小；ρ表示非线性激活函数；w
rc
表示卷积核位于(r,c)位置处的权重；x
(r i
×
t)(c j
×
t)
表示输入卷积层cov.1或卷积层cov.2的图像数据，t表示卷积核运动的步长；b表示偏差。
[0076]
如图3所示，每个inverted residual block层使用的是深度可分离卷积和残差结构，用于减少参数量提升运算效率抑制过拟合问题。其中，深度可分离卷积可以减少运算量和参数，使得本发明可以在树莓派上运行，残差结构用于防止图像信息丢失。
[0077]
具体而言，inverted residual block层通过使用1
×
1的普通卷积先进行升维操作，然后利用3
×
3的深度可分离卷积进行特征提取，再利用1
×
1的普通卷积降维，最终将输入和输出直接相接。
[0078]3×
3的深度可分离卷积采用下式(2)：
[0079][0080]
式(2)中：m
ijn
为第n个通道的特征图；w
rcn
为位于卷积核中第n个通道的(r,c)位置处的权重；x
(r i
×
t)(c j
×
t)n
表示输入深度可分离卷积层第n个通道的图像数据，t表示卷积核运动的步长；m
ij
′
表示输出的n个通道的特征图像；w
n
′
表示第n个通道的特征图的权重；m
out
表示输入数据与卷积后的数据之和；x
rcn
代表该时刻输入第n个通道的图像数据。
[0081]
输出层通过全连接层输出参数为4个，代表3个坐标点及一个class类。其中，class类分为两类，一类表示输入的黑白图像包含纱线目标，另一类表示输入的黑白图像不包含纱线目标。通过3个坐标点确定一个矩形框，该矩形框大致为倾斜梯形。正常情况下目标区域为规则长方形，因此目标区域产生变形具有一致性(如倾斜抖动是对图像整体进行变化)，最终得到的矩阵框大致为倾斜梯形，因此可以通过三个坐标可以确定，进行后续仿射变换也可只用三个坐标。当通过class类显示输入的黑白图像包含纱线目标时，利用该矩形框将黑白图像中带纱线的目标区域框选出来。
[0082]
全连接层执行下式(3)：
[0083][0084]
式(3)中：表示全连接层的第k个输出，k＝1,2,3,4，本实施例中，全连接层的第1个输出至第3个输出为3个坐标点，全连接层的第4个输出为class类；表示第n个通道的全连接层第k个输出的权重；b
k
表示全连接层第k个输出的偏差；h
n
表示第n个通道自适应平均池化层输入的参数。
[0085]
步骤202、利用训练数据集对步骤201构建的目标区域识取模型进行训练，包括：
[0086]
步骤2021、获取训练数据集：
[0087]
使用工业摄像头收集在工厂中纺纱相关数据图片，拍摄2000张带纱线目标的黑白图像及1000张不带纱线目标的黑白图像。
[0088]
利用矩形框对带纱线目标的黑白图像中的纱线目标进行框选，从而获得矩形框的三个角部坐标(x1,y1)、(x2,y2)、(x3,y3)。
[0089]
不带纱线目标的黑白图像所对应的三个角部坐标的值为0。
[0090]
为每张黑白图像设定标签数据，标签数据由三个角部坐标及class类4个参数组成。
[0091]
用p
out
(x)来表示当前黑白图像包含纱线目标的置信度，如下式(4)所示：
[0092][0093]
式(4)中，u
x
表示预先设定的阈值，p(x)超过该阈值u
x
则认为当前黑白图像可靠，并利用矩形框进行纱线目标框选，否则不进行纱线目标框选，p(x)为概率，是由class类输出加以激活函数softmax进行激活得到[0,1]之间的数值。
[0094]
步骤2022、利用上一步得到的训练数据集对目标区域识取模型进行训练，训练时，计算全连接层的输出与训练数据集中标签数据的距离通过最小化距离来减少目标区域识取模型的预测误差，其中前三个数据代表定位目标，第四个数据为class类，需要用不同的损失函数进行计算。
[0095]
在本实施例中，目标区域识取模型的损失函数loss定义为下式(5)：
[0096][0097]
式(5)中，l
s
交叉熵函数，用于判断图像是否包含纱线目标，p(x)为期望输出，为q(x)为实际输出，为l
c
代表输出坐标点与真实坐标点之间的协方差。
[0098]
步骤203、将实时获得的黑白图像输入训练好的目标区域识取模型，由目标区域识取模型输出该黑白图像的class类，若通过class类判断当前黑白图像包含纱线目标，则目标区域识取模型还输出3个用于确定矩形框的坐标点，利用该矩形框将黑白图像中带纱线的目标区域框选出来，提取成单独的图片，效果大致如图4所示。
[0099]
相机在移动的情况下会因为移动速度不规律、急停、装配零件抖动从而出现相机
位置拍摄角度、高度的偏移，同时部分相机拍摄时也会有畸变现象发生(如广角相机拍摄时在边缘产生严重失真变形)，如果使用固定矩阵框进行框选会导致多余图像，对后续纱线区域的选择将影响到断纱检测判断的精度。因此，本发按摩针对该特点采用矩形框的方式选目标区域，并通过自适应的仿射变换复原目标区域图像。
[0100]
步骤3、通过透视处理将步骤2获得的图片恢复成正常矩形图像，经过l0正则化后平滑图像保留特征。如图5至图6所示，l0正则化是用于初步平滑图像的方法，通过l0正则化突出纱线特征、平滑图像背景。也可以使用其它平滑方式，如均值滤波、高斯滤波等，速度更快但效果稍差。
[0101]
步骤4、使用面向纱线特征强化的sobel算子去除上一步骤获取到图像的背景，同时保留图像中纱线相关特征。再利用阈值化对图像进行处理提取出纱线目标。再通过边缘轮廓查找进一步筛选并排除噪声，提取出纱线特征。
[0102]
使用面向纱线特征强化的sobel算子如下式(6)所示：
[0103]
g
ij
＝sobel
×
h
ij
ꢀꢀ
(6)
[0104]
式(6)中，g
ij
为经过面向纱线特征强化的sobel算子处理后的图像中(i,j)位置处的像素点，h
ij
为未经过面向纱线特征强化的sobel算子处理的图像中(i,j)位置处的像素点，sobel为矩阵算子。使用面向纱线特征强化的sobel算子对每个像素点及周围像素点进行一次乘积从而获得输出像素点。
[0105]
本实施例中，矩阵算子sobel采用如下式(7)所示的改进的sobel算子矩阵：
[0106]
sobel＝2f(x,y i) f(x
‑
1,y i) f(x 1,y i)
‑
2f(x 2,y i)
‑
2f(x 2,y
‑
i)
ꢀꢀ
(7)
[0107]
式(7)中，f(x,y)表示输入图像数据，i∈[
‑
1,0,1]。
[0108]
利用下式(8)对图像进行阈值化处理：
[0109][0110]
式(8)中，p
ij
为经过阈值化处理的位于(i,j)位置处的图像像素点的值，p
ij
′
为阈值化处理前的位于(i,j)位置处的图像像素点的值，u为阈值参数。
[0111]
基于下式(9)进行前述的边缘轮廓查找：
[0112][0113]
式(9)中，i(x)为阈值分割后各部分图像内容，为图像框选的长度，α为额定阈值大小。
[0114]
如图8所示，通过边缘轮廓查找筛选掉了小噪声，强化了纱线特征，但对一些大噪声也会产生强化。因此在图像处理中，通过添加霍夫变换，提取数值方向上达到要求长度的直线，最终结果如图9所示。
[0115]
步骤5、基于上一步骤提取出的纱线特征，计算纱线的长度从而判断是否发生断纱现象，并在输出图像中用矩形标记出来，以达到可视化目的。
[0116]
设通过步骤4提取得到n个纱线特征，判断是否发生断纱现象包括以下步骤：
[0117]
步骤501、计算每根纱线的格拉布斯检验统计量，如下式(10)所示：
[0118]
g
i
＝(d
i
‑
u)/s
ꢀꢀ
(10)
[0119]
式(10)中：g
i
为第i根纱线的格拉布斯检验统计量；d
i
为第i根纱线的实时纱线长
度；u为样本平均值，s为样本标准差，s为样本标准差，
[0120]
步骤502、根据每根实时纱线长度，确定检出水平α，查表(gb4883)得出对应的格拉布斯检验临界值α(n)。当g
i
>α(n)，则判断d
i
为异常值，第i根纱线为断纱，否则无异常值，纱线正常。
[0121]
最后所应说明的是：以上实施例仅用以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应该理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。