纱线检测方法及装置

1.本发明涉及图像处理技术领域，尤其涉及一种纱线检测方法及装置。


背景技术：

2.纺织作为我国制造业的重要支柱产业之一，其智能制造是实现行业技术级、变革产业发展模式与转变经济增长方式的有效途径，然而纺织业的智能制造在国内外的实践层面尚处于起步阶段。
3.纱线状态识别可分为接触式的张力检测、非接触式的光电检测与传统的图像处理识别。针对圆型纬编针织自动化生产中的织机断纱检测，换筒自动打结工作过程中涉及到纱线的检测任务，目前没有可以很好解决此类问题的装置和方法。


技术实现要素：

4.本公开实施例旨在提供一种纱线检测方法和纱线检测装置，该纱线检测方法和纱线检测装置能完成在针织自动化生产线中的织机断纱检测工作和换筒自动打结工作过程中的检测纱线情况的工作，对不同种类的纱线都能有较好的识别效果。
5.为了解决上述技术问题，本发明是这样实现的：
6.第一方面，本发明实施例提供了一种纱线检测方法，包括：
7.获取纱线的第一图像；
8.采用预设方法对所述第一图像进行图像识别，得到纱线检测结果；
9.其中，所述预设方法包括以下至少一项：二值化分割算法，边缘识别算法，深度学习模型算法；所述纱线检测结果包括：纱线根数。
10.第二方面，本发明提供了一种纱线检测装置，包括：
11.图像采集模块、图像处理及图像输出模块；
12.所述图像处理模块及图像输出模块位于所述装置的上半部，所述图像采集模块位于所述装置的下半部；所述纱线检测装置的上半部通过接线和螺钉与所述下半部连接；
13.其中，所述图像采集模块通过视觉传感器对导纱管内的纱线进行动态图像采集，并发送给所述图像处理模块；所述图像处理模块对所述纱线的图像进行纱线检测，向所述图像输出模块输出识别结果；所述图像输出模块用于显示识别结果向工控机发送所述识别结果。
附图说明
14.图1为打结机结构示意图；
15.图2为纱筒架结构示意图；
16.图3为本发明提供的一种纱线检测装置示意图；
17.图4为本发明提供的一种纱线检测装置整体结构示意图；
18.图5为本发明提供的一种纱线检测装置图像采集模块结构示意图；
19.图6为本发明提供的一种纱线检测装置图像处理和输出模块的爆炸图；
20.图7为本发明提供的一种纱线检测装置板卡功能模块图；
21.图8为本发明提供的纱线检测方法流程图；
22.图9为本发明提供的一种纱线检测的深度学习模型的训练与部署流程图；
23.图10为本发明提供的纱线检测算法流程图；
24.本发明目的的实现、功能特点及优点将结合实施例、参照附图做进一步说明。图中:
25.0纱线检测装置、1纱线打结机、2纱筒架、3纱筒、4纱线线头；
26.01图像采集模块、02图像处理及输出模块；
27.0101摄像头、0102摄像头端子1、0103灯板线孔、0104导线槽、0105灯罩卡槽、0106灯罩、0107安装固定孔、0108灯珠、0109灯板、0110导纱管、0111固定销、0112凸台、0113下外壳；
28.0201上外壳螺孔、0202lcd触摸屏、0203显示屏螺孔、0204上螺栓、0205以太网接口、0206底板、0207底板、0208核心板、0209核心板螺孔、0210下螺栓、0211核心板端子、0212底板端子、0213摄像头端子2、0214电位器、0215灯源供电口、0216光耦端口、0217485端口、0218电源端口、0219触摸屏端子、0220usb调试接口、0221上外壳开窗、0222上外壳。
具体实施方式
29.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
30.本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。
31.下面结合附图，通过具体的实施例及其应用场景对本发明实施例提供的纱线检测方法及纱线检测装置进行详细地说明。
32.下面介绍现有技术中的纱线打结原理。
33.图2中，纱筒架2上摆放了许多类型的纱筒3，其中每个纱筒分为备用满筒与即将代替换用完的纱筒。打结机1中的导纱管0110，需要将满筒的头线与即将用完纱的纱筒的尾线吸取到管道内，之后打结机1进行打结，达到续线的目的。此过程需要纱线检测装置准确地给出上位机命令，包括何时移动、何时吸取、以及何时打结等。
34.纱线检测装置的检测流程：首先上位机移动到头线处，若检测装置通知上位机管内无纱线，则开始吸取头线。吸取完成后，纱线检测装置通知上位机管内存在1根头线；若显示为无纱线表示没有吸取到纱线，上位机将控制打结机移动到头线出继续吸取。头线吸取成功之后，上位机控制打结机移动到尾线处进行吸取，检测器对吸取到的纱线进行判断。此时纱线检测装置通知上位机管内显示2根纱线，同样若吸取失败会移动到尾线处重新吸取。
当纱线检测装置判断纱线为双根纱时会发通知上位机进行打结步骤。
35.根据以上检测纱线的流程和打结原理，本发明提出一种纱线检测方法,如图10所示。
36.步骤101：获取纱线的第一图像；
37.步骤102：采用预设方法对所述第一图像进行图像识别，得到纱线检测结果；其中，所述预设方法包括以下至少一项：二值化分割算法，边缘识别算法，深度学习模型算法；所述纱线检测结果包括：纱线根数。
38.具体地，根据步骤102中采用预设方法的不同，本发明提供3种不同的纱线检测方法。
39.实施例一
40.可选地，当预设方法为二值化分割算法时，步骤101～步骤102具体为：步骤101：将所述第一图像灰度化处理，得到所述第一图像的灰度图。具体地，获取当前图像为第n帧，并进行灰度化得到fn(x,y)。其对三通道分量加权求和得到较为合理的灰度图像。
41.fn(x,y)＝0.299*r(x,y) 0.587*g(x,y) 0..114*b(x,y)
ꢀꢀ
1-1
42.式1-1中：r、g、b代表三通道；
43.步骤102可以分为步骤102a～步骤102d；
44.步骤102a：采用高斯滤波器将所述第一图像的灰度图进行降噪处理，得到第二图像。可选地，使用二维零均值离散高斯函数作平滑滤波器。
[0045][0046]
式1-2中：系数可以忽略不计,从而得到式1-3。
[0047][0048]
式1-3中：(x,y)为掩膜内任一点的坐标,(μx，μy)为掩膜内中心点的坐标，σ是标准差。
[0049]
步骤102b：使用阈值k进行分割，常用otsu来找到最合适的阈值k，将以灰度值k为阈值分割成a0和a1两部分。
[0050][0051]
式1-4中：pa0、pa1分别为a0与a1出现的概率，且像素灰度级范围分别为[1,k]与[k 1,l-1]。
[0052][0053]
式1-5中：e为图像m的灰度均值，e
a0
为a0灰度均值、e
a1
为a1灰度均值。
[0054]
θ2(k)＝p
a0
(e-e
a0
)2 p
a1
(e-e
a1
)2ꢀꢀꢀꢀꢀꢀꢀꢀ
1-6
[0055]
式1-6中：θz(k)为a0与a1的类间方差，使得θz(k)取得最大的k为最佳分割阈值。
[0056]
步骤102c：进行二值化分割，再统计为1的像素点个数总和n。
[0057]
步骤102d：根据预设阈值t1、t2以及所述像素点个数n，得到所述第一图像中纱线的根数。
[0058]
可选地，t1和t2根据不同种类的纱线以及不同光源背景，可以设置不同值。优选地，在封闭、光源恒定的环境进行上述纱线检测方法。
[0059]
sumint2-sumint1＝d1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
1-7
[0060]
sumint3-sumint1＝d2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
1-8
[0061]
式1-7、式1-8中：sumint1、sumint2以及sunint3为在吸取头线前、在吸取头线后、以及吸取尾线后三种状态下，分别重复步骤101、102a～102c，分别得到三种状态下像素点为1的个数，这里可以简单认为d1为一根纱线的面积，d2为2根纱线的面积。
[0062]
理论上d1》0即可判断为一根纱线，但是考虑到噪声干扰的情况，因此d1》t1,t1是针对不同纱线与环境调试得到的一个阈值。理论上d2》＝2*d1即可判断为双根纱线,同理，t2也是调试得到的一个阈值t2。当d2》t2为双根纱线。
[0063]
通过对纱线的第一图像的二值化分割图像识别算法，能够得到第一图像中包含的纱线的根数，从而快速便捷地判断纱线情况。
[0064]
实施例二
[0065]
可选地，当预设方法为边缘识别算法时，纱线检测算法识别步骤为：
[0066]
步骤201：将所述第一图像灰度化处理，得到所述第一图像的灰度图。具体地，获取当前图像为第n帧，并进行灰度化得到fn(x,y)。其对三通道分量加权求和得到较为合理的灰度图像。
[0067]fn
(x,y)＝0.299*r(x,y) 0.587*g(x,y) 0..114*b(x,y)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
2-1
[0068]
式2-1中：r、g、b三通道；
[0069]
步骤202可以分为步骤202a～步骤202c；
[0070]
步骤202a：采用高斯滤波器将所述第一图像的灰度图进行降噪处理，得到第三图像；常用二维零均值离散高斯函数作平滑滤波器得到平滑后的图像fs(x,y)。
[0071]
步骤202b：使用canny算法对所述第三图像进行边缘提取，得到所述第三图像的边缘轮廓。
[0072]
(1)计算梯度。使用四个梯度算子来分别计算水平、垂直和对角线方向的梯度。可选地，选择sobel算子计算梯度。
[0073][0074]
(2)计算梯度的幅度图像m(x,y)和角度图像α(x,y)。
[0075][0076][0077]
(3)对幅度图像进行非极大值抑制。在每一点上，领域中心x与沿着其对应的梯度方向的两个像素相比，若中心像素为最大值则保留，否则中心置0，这样可以抑制非极大值，保留局部梯度最大的点，以得到细化的边缘。
[0078]gn
(x,y)＝0,gn(x,y)＝k
ꢀꢀ
(4-4)
[0079]
式4-4中:gn(x,y)为0时表示被抑制。
[0080]
(4)用双阈值算法检测和连接边缘。上面已经得到了非极大值边缘点被抑制的图像需要对gn(x,y)进行双阈值处理，以便减少假边缘点。
[0081]gnh
(x,y)＝gn(x,y)≥th[0082]gnl
(x,y)＝gn(x,y)≥t
l
[0083]gnl
(x,y)＝g
nl
(x,y)-g
nh
(x,y)
ꢀꢀ
(4-5)
[0084]
式4-5中：g
nh
(x,y)中定位下一个未被访问的边缘像素p，gnl(x,y)中连接到的所有弱像素标记为有效边缘像素，gnl(x,y)中未标记为有效边缘像素的所有像素设置为零。这样大于高阈值th直接判定为有效边缘，大于低阈值t
l
小于高阈值th的则需要进一步筛选。
[0085]
步骤202c：使用霍夫变换对所述第三图像的边缘轮廓进行直线检测，得到所述第一图像中的纱线根数。
[0086][0087]
式4-6中：ρ为极径，θ为极角
[0088]
该公式可进一步简化为：
[0089]
ρ＝xcosθ yxinθ
ꢀꢀ
(4-7)
[0090]
此时以图像上的某点(x0,y0)在极坐标系下进行绘制，对图像中的每个点都进行绘制正弦曲线后，会发现很多曲线之间会有交点。对于交点而言，通过它的曲线越多，也就说明有更多的点在这条直线上。设定一个阈值k，当通过这个交点的曲线数量超过k后，判定这个交点所表示的(ρ
θ
，θ)在原来的图像中是一条直线。将所得到的直线显示为图像进行可视化判断。
[0091]
进一步地，由于在霍夫变换的直线检测时，会遇到线检测断裂的情况，在边缘提取与直线检测之间，加入图像膨胀的操作。
[0092]
通过对纱线的第一图像进行边缘识别算法，可以在无需人为确定纱线数量的情况下，由机器快速通过图像识别出纱线的根数，从而判断自动化机器的工作状态，进行下一步操作。
[0093]
实施例三
[0094]
可选地，当预设方法为深度学习模型算法时，纱线检测算法识别步骤为如下，图9示出的为步骤301～步骤305中包括迁移学习步骤、知识蒸馏步骤、模型部署步骤等方法的流程示意图：
[0095]
步骤301，搭建学生网络。采用深度可分离卷积进行串联叠加构成学生网络。其中，搭建的学生网络在不损失准确率的情况下要尽可能的小，才不会为后面模型部署选取平台时候造成限制。
[0096]
进一步地，考虑到后续该模型搭载在全志芯片，可以采用轻量化卷积结构中的深度可分离卷积进行串联搭建构成学生网络。
[0097]
步骤302，训练教师模型。采集纱线图片数据集，将数据集划分为训练集、验证集以及测试集。
[0098]
进一步地，在训练过程中采用迁移学习的方法进行权重迁移，将官方的模型权重
进行预加载训练，加快网络的训练速度和网络的收敛的速度。由于使用的是官方在imagenet数据集上的预训练模型，因此需要更改自己的对象的分类数目。
[0099]
进一步地，对于权重迁移，因为原纱线数据集对比官方的训练集差别较大，采用迁移全部权重的方式进行训练。
[0100]
步骤303，蒸馏训练。为了提升学生网络的识别准确率，将步骤302训练好的教师模型传递软目标知识给学生网络，加强泛化能力。软目标知识指的是教师网络输出的一种标签知识，将教师网络输出的分类结果，做学生网络训练过程的标签，使其学生网络可以有两个目标参考训练。对于自搭建网络无法使用迁移学习与其它方法进行提高原本模型准确度，对于轻量化网络使用教师网络resnet34进行知识蒸馏来拉高学生模型的准确率。但是实际部署还是自搭建的学生网络。
[0101]
步骤304，模型部署。将步骤303训练好的模型部署到芯片上，需要不同框架之间格式转换。
[0102]
进一步地，使用芯片全志v831来部署。首先使用pc端上利用pytroch框架下自带的计算图转换工具。将训练好以pth结尾格式的模型权重文件转换以onnx结尾格式的计算图文件，接着使用腾讯开源ncnn工具将以onnx结尾的格式文件转换成一个以bin结尾的格式文件和一个以pararms结尾的格式文件。以上两个文件是在arm处理器上运行需要的模型文件。但其最后要使用全志芯片内部自带的kpu权重量化与卷积加速器，所以还需将上述两个文件转换成awnn框架下的所使用的模型文件awnn_int8.bin文件以及awnn_int8.params文件。
[0103]
步骤305，将所述第一图像输入到预设的深度学习模型中，得到纱线检测结果。
[0104]
进一步地，将深度可分离卷积中深度卷积后relu激活函数改成relu6激活函数。使得在移动端设备量化时，低精度的时候也能有较好的数值分辨率。
[0105]
进一步地，采用目标检测来替代图像集分类，其优点在于将目标先找到再去分类，对一张图片中纱线经常出现在某一个区域的情况效果更好。
[0106]
实施例三中，通过深度学习模型算法对图片中的纱线情况进行识别，具有较好地自适应能力和较强的普适性，能够对更多不同种类的纱线进行有效识别。
[0107]
实施例四
[0108]
本公开还提供一种纱线检测装置，其整体外观如图3、图4所示。
[0109]
该纱线检测装置包括装置下半部分的图像采集模块，上半部分的图像处理模块及图像输出模块。模块之间通过接线以及螺钉连接。
[0110]
所述检测装置的上半部分为图像处理以及输出模块。包括3个层叠设置的板卡：底板、核心板以及lcd触摸屏。
[0111]
图7是本发明提供的一种纱线检测装置板卡功能模块图。核心板上为微型处理器的最小系统，包括主从芯片、内存等。底板上除了留有与上述的相机与灯板的接口外，还留有与图像输出模块的调试接口。
[0112]
图像输出模块包括人机交互的lcd触摸屏、供电接口以及与上位机通讯的开关量光耦开关与rs485接口。
[0113]
进一步地，可以采取图像编解码能力更强的处理器芯片，以提高当前相机像素；
[0114]
进一步地，采用体积更小的元器件封装来缩小板卡的体积，两侧灯源板采用贴片
式的封装，缩小装置外壳的体积。
[0115]
进一步地，以太网接口0205，可以替换成无线网模块，以缩小底板0207体积。
[0116]
进一步地，将板卡的外设中的通信接口以及电源接口从装置内部走线，防止装置在工作中会导致通信线的脱落以及扯断。
[0117]
所述检测装置的下半部分为图像采集模块，包括cmos相机、左右两个自制光源灯板、左右两个亚克力瓷白灯罩、导纱管以及两端固定灯板与灯罩的卡槽与销钉。
[0118]
如图5所示为图像采集模块，其主要目的是隔绝外界光线影响，提供一个封闭合适纱线检测环境。
[0119]
摄像头0101由摄像头端子1与图像处理模块以及图像输出模块02中的底板0207上摄像头端子2连接。
[0120]
在下外壳两侧安装有pcb灯板0109，且灯板上焊接有若干个led灯珠0108。由于装置内部狭小，灯源的集中打光会导致纱管壁出现严重的反光现象影响摄像头0101的图片采集过程。为此在两端凸台里面安装灯罩0106，让灯源形成的光不会集中形成漫反射。
[0121]
由于安装导纱管时需要穿上灯罩0106与pcb灯板0109，为了防止安装时管壁出现划痕，需要注意让两者间隙大一点。考虑二者在内部会出现滑动，在下外壳两侧采用内置灯罩卡槽0105固定灯罩0106，外置固定销0111的固定pcb灯板0109。
[0122]
下外壳0113的内部两侧导线槽0104以顶部两端0103灯板线孔是为了灯源走线，且在灯罩0106上开的矩阵孔同样是为了从内部走线。
[0123]
底板0207上有电位器0214旋钮，可以调节灯源的电压。底板0207上的灯源供电口0215用于灯板供电。
[0124]
安装固定孔0107用于将纱线检测装置安装在纱线打结机1上。
[0125]
如图6所示为图像处理模块及图像输出模块，模块的功能是将采集到图像进行处理并进行判断，得到的最后的结果显示以及输出给上位机。
[0126]
具体叙述如下：
[0127]
图像处理模块及图像输出模块之间靠上螺栓0204以及下螺栓0210来进行连接和固定。底板0207与核心板0208之间利用底板端子0212与核心板端子0211进行连接，lcd触摸屏0202通过触摸屏端子0219和底板相连。
[0128]
三个模块底板0207、核心板0208以及lcd触摸屏0202形成叠层设计，易拆卸与维修且节约空间。
[0129]
采用下螺栓0210穿透核心板螺孔0209与底板螺孔0206与上螺栓0204相连固定。上螺栓0204穿透lcd触摸屏0202与上外壳0222进行固定，这样可使得底板0207与核心板0208不会因移动导致连接的端子脱落损坏。
[0130]
图像输出模块中，lcd触摸屏0202透过上外壳0222上开窗进行显示，且光耦端口0216、485端口0217、电源端口0218皆是通过上外壳0222留有的上外壳开窗0221与上位机进行接线。其中，光耦开关端口0216与485端口0217是用于和上位机进行通信的，电源端口0218是用于上位机给装置供电。
[0131]
底板0207包括dc-dc降压模块，用以解决电压的不匹配问题。
[0132]
底板0207包括mini-usb调试接口0220，用以连接串口进行在线调试。
[0133]
底板0207还包括以太网接口0205，用来连接无线网络进行软件以及相关安装包在
线下载与更新。
[0134]
底板0207包括电位器0214、灯源供电口0215，用以给图像采集模块中的pcb灯板进行供电与调节，以达到依据不同的纱线对象提供不同的光源环境的目的。
[0135]
此外，需要说明的是，以上所描述的装置实施例仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的，此处不做限制。
[0136]
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的智能认知方法和系统，此处不再赘述。
[0137]
以上仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。