一种基于主干边缘特征提取的工业零件空载率计算方法

1.本发明涉及工业零件识别技术领域，尤其涉及一种基于主干边缘特征提取的工业零件空载率计算方法。


背景技术：

2.工业零件大多是制造业中的常用部件，具有表面和尺寸质量精度高的突出特点，因此在制造、传输和装配过程的整个生命周期中，对工业零件的识别要求很高。在供应链中，需要对传送带箱中的工业零件状态进行监控，以控制工作效率，例如，空载率直接影响到箱子的数量和存储利用率，以及生产效率和成本。然而，对于一个制造工厂来说，数以千计的工业零件作为基本部件涉及到不同的边缘和尺寸，这造成了严重的识别困难。此外，在传送带箱中放置工业零件的随机性也增加了检测性能的难度。
3.边缘检测作为计算机视觉的一个重要分支，是一种为了发现图像不连续表现的分割方法。通过学习图像中的边缘获得重要的特征，这些特征被用于工业管理中的进一步任务(例如，物体识别、故障检测和面积测量)。边缘检测被广泛应用于工业领域，以获得与图像强度值的显著差异。工业零件的边缘检测作为预处理步骤是计算空载率的一种可行方法。在对工业零件的空载率实施边缘检测时，主要目的是为了获得工业零件在箱子里的主干信息，而不是工业零件内部的详细信息。在这种情况下，深度学习模型中过多的卷积层提取了大量的详细信息。这些详细信息干扰主干特征的提取。


技术实现要素：

4.本发明提供一种基于主干边缘特征提取的工业零件空载率计算方法，解决的技术问题在于：如何精准提取工业零件的主干边缘信息并以此计算工业零件的空载率。
5.为解决以上技术问题，本发明提供一种基于主干边缘特征提取的工业零件空载率计算方法，包括步骤：
6.s1、对正投影拍取的工业零件输送箱的原始图像进行腐蚀、扩展、图像打开操作和图像关闭操作四个基本动作，得到预处理图像；
7.s2、采用多尺度cnn卷积网络对所述预处理图像进行边缘提取，得到融合边缘图；
8.s3、获取所述融合边缘图的最小闭合区域；
9.s4、根据所述最小闭合区域的面积与工业零件输送箱的总面积得到该工业零件输送箱的空载率。
10.进一步地，在所述步骤s2中，所述多尺度cnn卷积网络包括顺序连接的cnn卷积模块、上采样块和融合模块；所述cnn卷积模块包括5个顺序连接的cnn块；
11.所述步骤s2具体包括步骤：
12.s21、5个顺序连接的cnn块分别提取所述预处理图像在5个尺度下的特征，得到5个尺度下的特征图像；
13.s22、所述上采样块对5个尺度下的特征图像进行特征对齐，得到尺寸相同的5个特
征图像；
14.s23、所述融合模块对所述上采样块输出的5个特征图像进行融合，得到融合边缘图。
15.进一步地，在所述多尺度cnn卷积网络的训练过程中，利用邻域信息训练所述cnn卷积模块，采用的损失函数为：
[0016][0017][0018]
其中，表示所述cnn卷积模块的权重，表示减弱背景的损失函数，表示增强边缘的损失函数，xk表示原始输入图像像素的对应的实际二值边缘像素，x

和x-分别为处于非边缘区域和边缘区域的真实值标签，η和1-η分别表示边缘像素和非边缘像素占总像素的数量比率，用于平衡边缘检测中不均衡的边缘样本和背景样本，和分别表示像素为非边缘像素和边缘像素的概率，和和分别表示包含了邻居信息的边缘预测区域中属于非边缘像素和边缘像素的概率，概率由sigmoid函数得到，结果为[0,1]，α是调整邻域间平衡的超参数，假设众多邻居x
p
集合为则每个邻居为m是定义的邻居数，zj具有与单色图像中的二值化属性相关的二值，即zj＝1或0。
[0019]
进一步地，所述融合模块包括第一叠加单元、第二叠加单元、第一串联单元、第二串联单元、1
×
1卷积层；
[0020]
所述步骤s23具体包括步骤：
[0021]
s231、所述第一叠加单元对所述上采样块输出的第一个特征图像和第二个特征图像进行叠加后输入第一串联单元；
[0022]
s232、所述第二叠加单元对所述上采样块输出的第三个特征图像和第四个特征图像进行叠加后输入第一串联单元；
[0023]
s233、所述第一串联单元对所述第一叠加单元和所述第二叠加单元的输出进行串联；
[0024]
s234、所述第二串联单元对所述第一串联单元的输出与所述上采样块输出的第五个特征图像进行串联后输入至所述1
×
1卷积层；
[0025]
s235、所述1
×
1卷积层执行卷积操作后输出融合边缘图。
[0026]
进一步地，所述cnn卷积模块包括顺序连接的第一cnn块、第二cnn块、第三cnn块、第四cnn块、第五cnn块；所述第一cnn块包括顺序连接的第一3
×
3卷积层、第一批标准化层、第一最大池化层；所述第二cnn块包括顺序连接的第二3
×
3卷积层、第二批标准化层、第三3
×
3卷积层、第三批标准化层、第二最大池化层，所述第三cnn块包括顺序连接的第四3
×
3卷积层、第四批标准化层、第三最大池化层，所述第四cnn块包括顺序连接的第五3
×
3卷积层、第五批标准化层、第六3
×
3卷积层、第六批标准化层、第四最大池化层，所述第五cnn块包括顺序连接的第七3
×
3卷积层、第七批标准化层；
[0027]
所述第一批标准化层、所述第三批标准化层、所述第四批标准化层、所述第六批标准化层、所述第七批标准化层连接所述上采样块。
[0028]
进一步地，在所述上采样块中设计一对卷积和反卷积运算来进行特征对齐：
[0029][0030]
其中和ρ(
·
)分别表示卷积和反卷积的作用函数，bn(
·
)表示批量归一化，表示所述cnn卷积模块输出的5个尺度下的特征图像，表示所述上采样块输出的5个特征图像，i＝1,2,3,4,5。
[0031]
进一步地，所述步骤s3具体包括步骤：
[0032]
s31、通过轮廓检测算法获得所述融合边缘图的闭合区域，其中闭合区域的数量及其位置分别表示为k和∑(hi,vi)∣i＝1,2,
…
,k}，(hi,vi)＝∑(hj,vj),j＝1,2,
…
,m，m是闭合区域中的边缘像素量；
[0033]
s32、求出最小闭合区域：
[0034][0035]
在所述步骤s31中，通过轮廓检测算法获得所述融合边缘图的闭合区域的过程包括步骤：
[0036]
s311、通过滑动窗口样式算法密集分配一组方形边界框，方形边界框的中心区域应覆盖所述融合边缘图的边界像素；
[0037]
s312、采用方形边界框沿所述融合边缘图的边界提取一系列边界块；
[0038]
s313、通过抑制非极大值的冗余目标搜索出局部最优解，来过滤掉一部分边界块，期间通过调整非最大抑制阈值来控制重叠量；
[0039]
s314、将剩余的边界块和掩膜块调整大小后送入细化网络hrnetv2进行细化，得到融合边缘图的闭合区域。
[0040]
进一步地，在所述步骤s4中，通过下式计算工业零件的空载率l
none
：
[0041][0042]
其中，a
t
为工业零件输送箱的总面积，a
min
是最小封闭区域(h
min
,v
min
)的面积。
[0043]
本发明提供的一种基于主干边缘特征提取的工业零件空载率计算方法，构造了一个多尺度cnn卷积网络，通过具有深特征和浅特征的混合操作(即cnn块之间的水平操作，cnn卷积模块、上采样块和融合模块之间的垂直操作)来学习工业零件的基本信息，获取工业零件的主干并过滤细节。在该多尺度cnn卷积网络中，设计一个基于邻域信息的损失函数来进一步增强主干信息。此外，根据模型中的主干边缘信息，通过发现最小闭合区域来获得工业零件空载率。整体上，本方法步骤简明，所构建的网络模型结构简单，计算工业零件空载率的过程快速而又准确。
附图说明
[0044]
图1是本发明实施例提供的一种基于主干边缘特征提取的工业零件空载率计算方法的原理图；
[0045]
图2是本发明实施例提供的多尺度cnn卷积网络的架构图；
[0046]
图3是本发明实施例提供的本方法与其他方法在边缘提取效果上的对比图。
[0047]
附图标记：cnn卷积模块1，第一cnn块11、第二cnn块12、第三cnn块13，第四cnn块14，第五cnn块15，上采样块2，融合模块3，第一叠加单元31，第二叠加单元32，第一串联单元33，第二串联单元34，1
×
1卷积层35。
具体实施方式
[0048]
下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。
[0049]
为了快速准确地计算工业零件的空载率，本发明实施例提供的一种基于主干边缘特征提取的工业零件空载率计算方法，如图1所示，包括步骤：
[0050]
s1、对正投影拍取的工业零件输送箱的原始图像进行腐蚀、扩展、图像打开操作和图像关闭操作四个基本动作，得到预处理图像；
[0051]
s2、采用多尺度cnn卷积网络对预处理图像进行边缘提取，得到融合边缘图；
[0052]
s3、获取融合边缘图的最小闭合区域；
[0053]
s4、通过计算最小闭合区域与工业零件输送箱的总面积之比得到该工业零件输送箱的空载率。
[0054]
步骤s1对原始图像进行预处理，采取腐蚀、扩展、图像打开操作和图像关闭操作四个基本动作，可以消除噪声，在纤细处分离物体和平滑较大物体边界，分割出独立的图像元素，为后续边缘图的提取减少影响。
[0055]
如图2所示，在步骤s2中，多尺度cnn卷积网络包括顺序连接的cnn卷积模块1、上采样块2和融合模块3；cnn卷积模块1包括5个顺序连接的cnn块。步骤s2具体包括步骤：
[0056]
s21、5个顺序连接的cnn块分别提取预处理图像在5个尺度下的特征，得到5个尺度下的特征图像；
[0057]
s22、上采样块2对5个尺度下的特征图像进行特征对齐，得到尺寸相同的5个特征图像；
[0058]
s23、融合模块3对上采样块2输出的5个特征图像进行融合，得到融合边缘图。
卷积层、第四批标准化层、第三最大池化层，第四cnn块14包括顺序连接的第五3
×
3卷积层、第五批标准化层、第六3
×
3卷积层、第六批标准化层、第四最大池化层，第五cnn块15包括顺序连接的第七3
×
3卷积层、第七批标准化层；
[0066]
第一批标准化层、第三批标准化层、第四批标准化层、第六批标准化层、第七批标准化层连接上采样块2。
[0067]
具体的，如图2所示，融合模块3包括第一叠加单元31、第二叠加单元32、第一串联单元33、第二串联单元34、1
×
1卷积层35；
[0068]
步骤s23具体包括步骤：
[0069]
s231、第一叠加单元31对上采样块2输出的第一个特征图像和第二个特征图像进行叠加后输入第一串联单元33；
[0070]
s232、第二叠加单元32对上采样块2输出的第三个特征图像和第四个特征图像进行叠加后输入第一串联单元33；
[0071]
s233、第一串联单元33对第一叠加单元31和第二叠加单元32的输出进行串联；
[0072]
s234、第二串联单元34对第一串联单元33的输出与上采样块2输出的第五个特征图像进行串联后输入至1
×
1卷积层35；
[0073]
s235、1
×
1卷积层35执行卷积操作后输出融合边缘图
[0074]
在上采样块2中设计一对卷积和反卷积运算来进行特征对齐：
[0075][0076]
其中和ρ(
·
)分别表示卷积和反卷积的作用函数，bn(
·
)表示批量归一化，表示cnn卷积模块1输出的5个尺度下的特征图像，表示上采样块2输出的5个特征图像，i＝1,2,3,4,5。
[0077]
本实施例采取叠加操作的目的是将特征信息进行叠加，采取串联操作的目的是将特征进行融合。采用叠加和串联操作，在得到相同感受野的同时，能够保持较小的参数量。
[0078]
步骤s3具体包括步骤：
[0079]
s31、通过轮廓检测算法获得融合边缘图的闭合区域，其中闭合区域的数量及其位置分别表示为k和∑(hi,vi)∣i＝1,2,
…
,k}，(hi,vi)＝∑(hj,vj),j＝1,2,
…
,m，m是闭合区域中的边缘像素量；对于所有对(hi,vi)，每组的内部像素以0开头，外部像素以255开头。
[0080]
s32、求出最小闭合区域：
[0081][0082]
在步骤s31中，通过轮廓检测算法获得所述融合边缘图的闭合区域的过程包括步骤：
[0083]
s311、通过滑动窗口样式算法密集分配一组方形边界框，方形边界框的中心区域应覆盖所述融合边缘图的边界像素；
[0084]
s312、采用方形边界框沿所述融合边缘图的边界提取一系列边界块；
[0085]
s313、所获得的框仍然包含大量重叠和冗余，优化非最大抑制(nms)算法，即通过抑制非极大值的冗余目标搜索出局部最优解，来过滤掉一部分边界块，期间通过调整非最大抑制阈值来控制重叠量，以实现更好的速度/精度权衡；
[0086]
s314、将剩余的边界块和掩膜块调整大小后送入细化网络hrnetv2进行细化，得到融合边缘图的闭合区域。
[0087]
hrnetv2细化网络是将边界块和对应的掩膜块输入，这个网络就会判断哪些掩膜块需要被细化，用阈值来判断属于前景还是背景，是前景就保留，这样得到的边缘图会更细致。
[0088]
故，在步骤s4中，通过下式计算工业零件的空载率l
none
：
[0089][0090]
其中，a
t
为工业零件输送箱的总面积，a
min
是最小封闭区域(h
min
,v
min
)的面积。
[0091]
进一步将本发明轮廓检测算法与具有错误率值的其他轮廓检测算法进行比较，在与人工标注的ground truth的错误率值上的比较结果如表1所示，直观的边缘检测结果如图3所示。
[0092]
表1
[0093][0094]
表1及图3中，canny边缘检测技术指的是1986年john f.canny在论文《computational approch to edge detection》提出的canny检测器用小内核增强了深层特征，但该技术造成大量冗余的信息干扰工业零件主干的识别。bdcn边缘检测技术、dexined边缘检测技术分别指的是论文《bi-directional cascade network for perceptual edge detection》中提到的bdcn边缘检测算法和论文《dense extreme inception network:towards a robust cnn model for edge detection》提到的dexined算法，这两种算法在提取背景特征(即本例中的传送带盒)方面有很强的能力，但产生了与工业零件主干无关的干扰信息(例如传送带盒的突出纹理)。rcf边缘检测技术指的是论文《richer convolutional features for edge detection》提出的rcf算法采用大内核以获得主要主干特征，但是如果没有邻居信息，rcf算法会丢失工业零件的某些重要信息。
[0095]
通过分析表1和图3可知，丰富的背景信息会干扰主干识别，其中bdcn、canny、
dexined具有较高的错误率值。尽管rcf缺少一些重要信息，但仍比bdcn和dexined具有更好的性能。在主干边缘检测中，过于详细和具有误导性的信息会对检测结果造成严重影响。本发明方法具有捕获主干边缘的有效能力，侧重主干，忽略了工业部件的细节，考虑了相邻信息，与人工标注获得的ground truth最为接近，基于此计算的工业零件空载率有较高的准确率。
[0096]
综上，本发明实施例提供的一种基于主干边缘特征提取的工业零件空载率计算方法，构造了一个多尺度cnn卷积网络，通过具有深特征和浅特征的混合操作(即cnn块之间的水平操作，cnn卷积模块1、上采样块2和融合模块3之间的垂直操作)来学习工业零件的基本信息，获取工业零件的主干并过滤细节。在该多尺度cnn卷积网络中，设计一个基于邻域信息的损失函数来进一步增强主干信息。此外，根据模型中的主干边缘信息，通过发现最小闭合区域来获得工业零件空载率。整体上，本方法步骤简明，所构建的网络模型结构简单，计算工业零件空载率的过程快速而又准确。
[0097]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。