一种基于深度学习的轴承尺寸在线检测系统的制作方法

1.本发明属于在线检测技术领域，具体涉及一种基于深度学习的轴承尺寸在线检测系统。


背景技术：

2.传统的视觉测量通常遵循以下流程，根据工业现场环境安装合适的光源，由移动平台或固定位置的一个或多个工业相机拍摄汽车工件的二维平面图像，传输到计算机中分析图像特征，经过多种图像预处理方法后检测出汽车工件的边缘，最后将边缘像素间的距离转化成物理距离，完成尺寸的检测。在这个过程中，图像预处理和边缘检测是视觉测量中至关重要的两个环节。在图像预处理环节，由于加工现场的环境复杂，汽车工件表面会存在切削液、切屑等干扰区域，干扰区域的存在会产生噪声边缘，尤其是汽车工件底部切削液的存在影响边缘的完整性，因此需要在预处理阶段将干扰区域去除掉。在边缘检测阶段，由于加工汽车工件表面具有丰富的纹理，直接使用算子检测无法规避纹理噪声的影响从而难以获取清晰的汽车工件边缘图像。在传统视觉处理中，特征工程在视觉检测中占据非常重要的地位，特征的选择和提取往往是解决问题的核心，但人为进行特征的选择和提取比较繁琐复杂，因此探究一种无需对原始图像预处理、可自动选取图像特征的通用型汽车工件尺寸在线视觉检测方法是非常必要的。
3.深度学习为上述想法提供了可能，深度学习模型不需要对输入的图像进行任何预处理操作，更不需要人为进行特征的选择和提取，可以直接学习到输入和目标之间的映射关系。深度学习属于机器学习的范畴，通过构建多层网络结构进行训练，在浅层网络挖掘数据的低阶特征，深层网络整合上述特征形成更为复杂的高阶特征，研究表明深度学习的特性使得它在图像处理方面具有很好的表现能力。卷积神经网络是深度学习模型中的一种，具有局部感受野和权值共享两大特征，上述两个特征使得卷积神经网络可以通过浅层网络实现图像基础特征如线段的提取，在深层网络中组合抽象成边缘等复杂的高阶特征，实现图像的分类等任务。而汽车工件中轮毂轴承尤其重要，如何在线检测尺寸成为一个难题。


技术实现要素：

4.为解决现有的问题；本发明的目的在于提供一种基于深度学习的轴承尺寸在线检测系统。
5.本发明的一种基于深度学习的轴承尺寸在线检测系统，它的在线检测步骤如下：步骤一：汽车轮毂轴承尺寸在线视觉检测系统总体架构：建立系统的硬件架构和软件架构；系统硬件包括光源系统、相机系统、图像采集卡和计算机四个部分；其中光源系统包括光源和安装支架，相机系统包括工业相机、镜头和相机支架、通过图像采集卡将图像信号传输到计算机中，由计算机完成对应的图像处理工作；根据系统功能要求对各个模块进行选型，搭建汽车轮毂轴承尺寸在线视觉检测系统的硬件平台：硬件是视觉检测系统的基础，软件则是实现系统检测功能的关键；根据研究目的和系
统需求分析，系统软件模块主要分为五部分：图像采集模块、畸变矫正模块、干扰区域检测和处理模块、图像边缘检测模块、汽车轮毂轴承尺寸测量模块。
6.步骤二：汽车轮毂轴承表面干扰区域检测和处理：卷积神经网络是一种层次结构，由输入层，多个隐藏层如卷积层、池化层、激励层、全连接层及输出层构成。输入图像经过多次卷积、池化等操作将原始特征从图像中学习出来，最后通过全连接层和输出层将分类等任务转化为目标函数。利用反向传播算法，将网络预测值和训练集真实值之间的损失值从最后一层向前反馈以更新权重，经过多次前向反馈和反向传播以至模型收敛，得到训练好的模型，该模型由七层卷积层构成，因此被称为全卷积神经网络；并将训练好的模型作为预训练模型；通过分析fcn的组成逻辑，采用微调的思想对汽车轮毂轴承图像干扰区域检测模型进行训练；步骤三：图像边缘检测：其中先对汽车轮毂轴承图像进行粗边缘检测，再对汽车轮毂轴承图像边缘进行精定位；采用canny自适应的边缘检测方法，将整幅图像分割为若干子图像，为了使轮廓连续，令子图像之间有一定的重叠区域 ,重叠区域占子图像的比例参数为d，再根据非极大值抑制后的结果自适应地设定各子图像的高、低阈值；采用插值法对汽车轮毂轴承图像进行亚像素定位，三次样条插值法以汽车轮毂轴承粗边缘图像定位的边缘坐标为基准，对干扰区域处理后的图像上利用三次样条函数对离散的像素灰度值进行插值，得到连续的边缘灰度分布曲线，将边缘检测的精度提高到亚像素级。
7.步骤四：平台搭建与应用验证：4.1、硬件平台搭建：硬件部分主要包括光源系统、工业相机、镜头、图像采集卡和计算机；a.工业相机选型：选取cmos摄像机。
8.b.镜头：根据汽车轮毂轴承加工中所处的工作环境，镜头应选用清晰度高，外形紧凑，具有优良的抗震性能和高低温的特性；c.光源：选用led环形光，并且直接安装在工业镜头同轴上；4.2、应用验证：根据像素当量对汽车轮毂轴承尺寸进行转换测量，实验测量结果将在软件界面上显示；经过对汽车轮毂轴承图像进行检测，能有效检测出干扰区域并对其进行处理，进而获得完整性较好、无噪声的边缘图像，进行尺寸检测，并进行误差分析。
9.作为优选，所述图像采集模块：通过图像采集卡完成对汽车轮毂轴承图像的在线采集，将采集的图像传输到计算机中等待进一步处理；所述畸变矫正模块：加载相机内参，矫正采集后的汽车轮毂轴承图像；所述干扰区域检测和处理模块：对汽车轮毂轴承图像存在的切削液、切屑的干扰区域进行检测和处理，处理后将得到无干扰区域的汽车轮毂轴承图像，作为边缘检测算法的输入；所述图像边缘检测模块：对干扰处理后的图像进行边缘检测，分为粗边缘检测和亚像素边缘检测，通过前者将边缘定位到像素级，细化边缘后经过亚像素检测将边缘定位到亚像素级；所述汽车轮毂轴承尺寸测量模块：加载像素当量，通过图像边缘检测模块输出的汽车轮毂轴承图像亚像素边缘坐标，拟合图像边缘，将像素距离转换为物理距离，求取汽车轮毂轴承尺寸。
10.与现有技术相比，本发明的有益效果为：
一、便于实现在线检测，能够提高检测的精度与准确性，稳定性高；二、同时能够实现快速操作，便于模型的训练，同时能有效检测出干扰区域并对其进行处理，进而获得完整性较好、无噪声的边缘图像，进行尺寸检测，并进行误差分析。
附图说明
11.为了易于说明，本发明由下述的具体实施及附图作以详细描述。
12.图1为本发明的系统平台架构图；图2为本发明的系统软件架构图；图3为本发明中卷积神经网络的基本结构图；图4为本发明中fcn网络模型的基本结构图；图5为本发明中汽车轮毂轴承图像干扰区域检测模型训练过程流程图；图6为本发明中改进1汽车轮毂轴承图像干扰区域检测模型训练过程流程图；图7为本发明中改进2汽车轮毂轴承图像干扰区域检测模型训练过程流程图；图8为本发明中实验汽车轮毂轴承尺寸在线视觉检测流程图。
具体实施方式
13.为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图中示出的具体实施例来描述本发明。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。本说明书附图所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
14.在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
15.本具体实施方式采用以下技术方案：步骤一：研究汽车轮毂轴承尺寸在线视觉检测系统总体架构：研究汽车轮毂轴承尺寸在线视觉检测系统总体架构首先要对汽车轮毂轴承尺寸在线视觉检测系统进行需求分析。利用机器视觉算法对汽车轮毂轴承尺寸进行在线检测，需要先对汽车轮毂轴承表面图像的情况有足够的了解。机加工的加工现场环境复杂，在加工过程中，汽车轮毂轴承表面往往会附着切削液、切屑等干扰区域。这些干扰区域往往形态不一，分布位置不确定。
16.首先需要对汽车轮毂轴承表面的干扰区域进行检测和处理，作为图像进行边缘之前的预处理手段，得到无干扰区域的汽车轮毂轴承图像。之后寻找一种对纹理噪声鲁棒性强的通用型边缘检测方法以规避汽车轮毂轴承表面纹理对边缘检测造成的干扰。同时为了获取精确的边缘，获取粗像素边缘后再进行亚像素边缘的检测，通过标定像素当量，完成汽车轮毂轴承尺寸的测量，使得汽车轮毂轴承尺寸在线检测能满足快速的半精加工检测要求。
17.为达到上述需求，需要建立系统的硬件架构和软件架构。系统硬件包括光源系统、相机系统、图像采集卡和计算机四个部分。其中光源系统包括光源和安装支架，相机系统包括工业相机、镜头和相机支架、通过图像采集卡将图像信号传输到计算机中，由计算机完成对应的图像处理工作。系统硬件架构如图1所示，根据系统功能要求对各个模块进行选型，就可以搭建汽车轮毂轴承尺寸在线视觉检测系统的硬件平台。
18.硬件是视觉检测系统的基础，软件则是实现系统检测功能的关键。本节根据系统需求，分析软件模块构成并详述汽车轮毂轴承尺寸在线检测流程。如图2，给出了系统软件模块详细构成示意图。
19.根据研究目的和系统需求分析，系统软件模块主要分为五部分：图像采集模块、畸变矫正模块、干扰区域检测和处理模块、图像边缘检测模块、汽车轮毂轴承尺寸测量模块，具体介绍如下：
①
、图像采集模块：通过图像采集卡完成对汽车轮毂轴承图像的在线采集，将采集的图像传输到计算机中等待进一步处理。
20.②
、畸变矫正模块：加载相机内参，矫正采集后的汽车轮毂轴承图像。
21.③
、干扰区域检测和处理模块：对汽车轮毂轴承图像存在的切削液、切屑等干扰区域进行检测和处理，处理后将得到无干扰区域的汽车轮毂轴承图像，作为边缘检测算法的输入。
22.④
、图像边缘检测模块：该模块主要对干扰处理后的图像进行边缘检测，分为粗边缘检测和亚像素边缘检测，通过前者将边缘定位到像素级，细化边缘后经过亚像素检测将边缘定位到亚像素级。
23.⑤
、汽车轮毂轴承尺寸测量模块：加载像素当量，通过图像边缘检测模块输出的汽车轮毂轴承图像亚像素边缘坐标，拟合图像边缘，将像素距离转换为物理距离，求取汽车轮毂轴承尺寸。
24.步骤二：研究汽车轮毂轴承表面干扰区域检测和处理技术卷积神经网络可用做图像识别、目标检测和语义分割等方面，要对汽车轮毂轴承表面干扰区域检测，卷积神经网络在精度和准确率上都是很好的选择。卷积神经网络是一种层次结构，由输入层，多个隐藏层如卷积层、池化层、激励层、全连接层及输出层构成。输入图像经过多次卷积、池化等操作将原始特征从图像中学习出来，最后通过全连接层和输出层将分类等任务转化为目标函数。利用反向传播算法，将网络预测值和训练集真实值之间的损失值从最后一层向前反馈以更新权重，经过多次前向反馈和反向传播以至模型收敛，得到训练好的模型，如图3所示。
25.干扰区域检测的目的在于把汽车轮毂轴承图片的干扰区域与正常区域进行准确分割，基于此，干扰区域的识别属于图像语义分割的范畴。在卷积祌经网络基础上发展起来的全卷积神经网络(fully convolutional networks,fcn)可以实现较好地端对端的训练和图像语义分割。因此可以把语义分割网络技术应用到干扰区域检测中，提出基于fcn网络模型的干扰区域检测方法。
26.全卷积祌经网络网络模型的结构决定了全卷积神经网络的特性和训练方式，这里有必要对全卷积神经网络网络模型的结构进行讲解。典型全卷积神经网络模型结构如图4所示。
27.该模型由七层卷积层构成，因此被称为全卷积神经网络。由于多次卷积和池化，图像的分辨率越来越低，尺寸越来越小，全卷积神经网络采用上采样的方式提高图像的分辨率。经过五层卷积和池化操作，输出特征图的尺寸缩小为原图的1/32，为了复原到原图的分辨率，在该输层出特征图上进行步伐为32的上采样操作，再对像素点进行分类，得到的网络模型为fcn
‑
32s。在fcn
‑
32s中仅仅是对第五层卷积核提取特征的基础上进行上采样，还原图像的精度不高，为了更好的还原图像当中的特征，采用向前迭代的方法，用1*1的卷积核与pool4的输出做卷积，产生一个额外输出。同时对整个网络模型执行后的输出进行步伐为2的上采样，将该输出恢复到和pool4—样的分辨率，将这两个输出特征图进行融合后进行步伐为16的上采样，这样的输出尺寸就恢复到原输入图像大小，再对像素点进行分类，得到的网络模型为fcn
‑
16s。继续向前迭代，得到fcn
‑
8s。
28.深度学习包括训练和预测两个阶段，训练的策略包括以下两种：一种是按照标准训练步骤从零开始搭建模型进行训练，另一种则是在预训练模型的基础上进行训练。通常情况下，结构复杂的网络模型往往需要极大的数据量才能训练成功，数据量比较小时，采用上述方式，很容易造成过拟合。在这种情况下，经常用卷积神经网络中的微调方法对模型进行训练。微调指的是将训练好的预训练网络模型权重载入当前训练模型，在此基础上通过自己的数据集重新训练模型，从而加快并优化模型的训练效率。在实践中，通常将vgg16/19，resnet等常用模型在大型数据集imagenet，coco上做训练，训练好的模型作为预训练模型。
29.通过分析fcn的组成逻辑，为了加快模型的学习效率，采用微调的思想对汽车轮毂轴承图像干扰区域检测模型进行训练，整个模型训练过程如图5所示：模型训练过程共四个阶段。
30.第一阶段：以经典的分类网络初始化fcn
‑
32s模型。以vgg16内在联系，利用学习到的知识达到预测的目的。对于图像处理而言，深层网络的输入就是图像样本。通过工业相机在同一环境不同时刻拍摄多张汽车轮毂轴承图像制作训练样本集，样本的干扰区域主要包括切削液、切屑。全卷积神经网络输出的是标注后的图像，为了降低手工标注的成本，提升标注效率，使用标注工具进行标注。经过标注，原图将会转换成对应的标注图像，作为全卷积神经网络模型的输出。
31.第二阶段：训练fcn
‑
32s模型。在预训练模型的基础上训练fcn
‑
32s模型，根据fcn
‑
32s的模型结构，用卷积层替代所有的全卷积层，利用汽车轮毂轴承图像干扰区域检测训练数据集训练fcn
‑
32s模型。
32.第三阶段：训练fcn
‑
16s模型。由前文介绍可知，fcn
‑
16s是在fcn
‑
32s的基础上向前进一步融合而成，从fcn
‑
32s到fcn
‑
16s不需要重新构造卷积层，因此可以直接将fcn
‑
32s模型中的权重加载到fcn
‑
16s中，重新用构建的训练样本集训练得到fcn
‑
16s模型。
33.第四阶段：训练fcn
‑
8s模型。和第三阶段原理相同，直接将fcn
‑
16s模型中的所有权重加载到fcn
‑
8s中，重新用构建的训练样本集进行训练得到fcn
‑
8s模型即汽车轮毂轴承图像干扰区域检测模型。
34.将检测模型训练过程进行改进，提出了两种改进方法。
35.第一种改进如图6。
36.相比于改进前，增加了第五阶段。
37.第五阶段：将训练得到的fcn
‑
8s模型与训练得到的fcn
‑
16s融合得到fcn
‑
4s模型，再将训练得到的fcn
‑
8s模型与训练得到的fcn
‑
16s和fcn
‑
32s融合得到fcn
‑
2s模型，将fcn
‑
8s模型、fcn
‑
4s模型与fcn
‑
2s模型融合得到汽车轮毂轴承图像干扰区域检测模型。
38.第二种改进如图7。
39.相比于改进前，增加了第五阶段和第六阶段。
40.第五阶段：将训练得到的fcn
‑
8s模型与第二层池化的输出fcn
‑
4s融合得到汽车轮毂轴承图像干扰区域检测模型。
41.第六阶段：将训练得到的fcn
‑
8s模型与第二层池化的输出fcn
‑
4s与第一层池化的输出fcn
‑
2s融合得到汽车轮毂轴承图像干扰区域检测模型。
42.将得到的四个汽车轮毂轴承图像干扰区域检测模型进行模型评估。
43.干扰区域的边缘属于噪声边缘，尤其是切削液易堆积在汽车轮毂轴承轮廓处，破坏了汽车轮毂轴承图像的轮廓完整性。因此将干扰区域检测出来后，需要进一步对干扰区域进行处理。汽车轮毂轴承表面纹理非常丰富，针对这种纹理性比较强的汽车轮毂轴承表面阁像，应用干扰区域检测模墘检测出干扰区域后，如果直接将干扰区域进行去除，往往容易留下—个“空洞”。因此提出的一种修复算法去处理这些干扰区域。
44.步骤三：研究图像边缘检测技术：应用机器视觉测量汽车轮毂轴承尺寸时，边缘检测是其中必不可少的一环，通过检测汽车轮毂轴承图像边缘，利用标定的像素当量将边缘间的像素距离转化为物理距离，从而实现汽车轮毂轴承尺寸的测量。其中先对汽车轮毂轴承图像进行粗边缘检测，再对汽车轮毂轴承图像边缘进行精定位。
45.传统算子检测方法发展己经比较成熟，操作简便，处理效率较高，但是用于汽车轮毂轴承图像边缘仍存在一定的局限性。这是因为，加工汽车轮毂轴承具有非常丰富的纹理特征，从文献中可知，除了canny算子，其他算子检测对纹理特征的鲁棒性较差，无法规避表面纹理对汽车轮毂轴承边缘的影响。虽然canny算子受纹理的影响较小，但在应用过程中，往往涉及到多个阈值参数的设置，这些阈值参数的设置常常依赖于算法设计者的工程经验，且阈值参数是确定值使得该算法的鲁棒性降低，不能保证所有汽车轮毂轴承图像边缘检测的有效性。这里选择改进canny算子得到粗边缘图像。采用canny自适应的边缘检测方法，将整幅图像分割为若干子图像，为了使轮廓连续，可以令子图像之间有一定的重叠区域 ,重叠区域占子图像的比例参数为d，再根据非极大值抑制后的结果自适应地设定各子图像的高、低阈值。
46.亚像素边缘检测是实现于像素级边缘检测的基础上，应用汽车轮毂轴承图像粗边缘检测方法，先将边缘定位到像素级，然后以像素级坐标为中心点建立一个区域坐标系，在对图像边缘性质进行分析和理解的基础上，找到与实际目标更接近的亚像素位置。常用的亚像素算法有很多，这里选择使用插值法，插值法通过对像素点的灰度值或梯度值插值，将边缘定位至亚像素。相较而言，插值法计算量小，运算时间短，更适用于在机检测，因此选用插值法对汽车轮毂轴承图像进行亚像素定位。
47.插值算法有很多种，包括最近邻插法、双线性插值、三次样条插值等等，但最近邻插值和双线性不如三次样条插值精度高，三次插值的效果最好，插值点连续且光滑，因此为了在保证计算量小、提高检测效率的基础上，尽可能提高亚像素定位精度。应用三次样条插
值法，以汽车轮毂轴承粗边缘图像定位的边缘坐标为基准，对干扰区域处理后的图像上利用三次样条函数对离散的像素灰度值进行插值，得到连续的边缘灰度分布曲线，将边缘检测的精度提高到亚像素级。
48.步骤四：平台搭建与应用验证：
①
硬件平台搭建：硬件部分主要包括光源系统、相机系统（工业相机、镜头）、图像采集卡和计算机。
49.a.工业相机选型：工业相机是在线视觉检测系统中的关键部件，选型非常重要，要根据实际情景，综合考虑视野范围、尺寸测量精度要求、图像传输方式等进行工业相机的选型。考虑在汽车轮毂轴承加工中在线进行尺寸测量，相机最好兼具软触发和硬触发两种模式。硬触发状态下，机床在完成轮毂轴承加工后，可通过向相机发送i/o信号控制相机完成汽车轮毂轴承图像的拍摄。软触发状态下，可以使用软件根据机床加工汽车轮毂轴承的周期设定拍摄轮毂轴承的周期，通过向相机下发信号完成成像采集。综合考虑，本次工业相机将会选取cmos摄像机。
50.b.镜头：在图像采集过程中，镜头的质量对机器视觉系统成像的质量有着很大的影响。根据汽车轮毂轴承加工中所处的工作环境，镜头应选用清晰度高，外形紧凑，具有优良的抗震性能和高低温的特性。
51.c.光源：光源是视觉系统中非常重要的一部分，光源的类型、光源的亮度及安装的位置、安装的角度等均会影响拍摄到的汽车轮毂轴承的图像质量。而且汽车轮毂轴承表面常会出现反光现象，如果光源选型不合适或光源的安装位置等不恰当情况出现可能会导致拍摄的轮毂轴承表面图像亮度不均匀，出现局部亮度过高的情况，又由于切削液、切屑等干扰区域的分布位置有很大的随机性，在光线的影响下，可能会导致部分干扰区域特征失真，虽然卷积神经网络对图像的鲁棒性较好，也会对干扰区域检测和处理以及边缘检测的效果带来很大的影响。从轮毂轴承尺寸在线检测的需求出发，选择的光源应该光线均匀柔和，同时亮度具有可调节性，光源的安装位置应该要避免产生汽车轮毂轴承表面出现光斑的现象。综上，光源选用led环形光，并且直接安装在工业镜头同轴上。
52.②
应用验证：根据像素当量对汽车轮毂轴承尺寸进行转换测量，实验测量结果将在软件界面上显示。实验汽车轮毂轴承尺寸在线视觉检测流程如图8所示。
53.经过上述流程对汽车轮毂轴承图像进行检测，能有效检测出干扰区域并对其进行处理，进而获得完整性较好、无噪声的边缘图像，进行尺寸检测，并进行误差分析。
54.对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
55.此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包
含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。