一种基于深度学习的汽车中控面板外观检测方法与流程

1.本发明属于数字图像处理技术领域，具体涉及丝网印刷缺陷检测领域，特别涉及一种基于深度学习的汽车中控面板外观检测方法。


背景技术：

2.汽车中控面板的外观检测主要包括对按键丝印的形状位置检测以及同一产品上各个丝印的亮度一致性的检测，其技术主要包括对丝印的定位。丝网印刷是指用丝网作为版基，并通过感光制版方法，制成带有图文的丝网印版。丝网印刷由五大要素构成，丝网印版、刮板、油墨、印刷台以及承印物。利用丝网印版图文部分网孔可透过油墨，非图文部分网孔不能透过油墨的基本原理进行印刷。印刷时在丝网印版的一端倒入油墨，用刮板对丝网印版上的油墨部位施加一定压力，同时朝丝网印版另一端匀速移动，油墨在移动中被刮板从图文部分的网孔中挤压到承印物上。
3.目前主要对目标定位的技术有连通域法和滑动窗口法。连通域法是将图像中符合某种连通规则的像素识别为同一目标，首先对图像进行自适应二值化，再经过中值滤波膨胀腐蚀等预处理之后，框出图像中的连通域。该方法优点是适用范围广，可以针对任何类型的图像进行识别，根据连通域来确定目标的位置。但是该方法容易受到外界环境因素的干扰。同时，按键丝印形状复杂，单个丝印会产生多个连通域，同时触摸屏的明亮部分会造成干扰，降低准确性。
4.滑动窗口法是将设定好的模板在原图中进行遍历式的滑动，然后生成一张新的，由模板左上角坐标代表模板位置的，体现出原图中所有点在和模板左上角坐标重合时的匹配度的图像，在这张图像中找到像素最大的点，即找到了匹配度最高时的模板左上角坐标所在的位置，从而实现了目标的定位。该方法定位精度高，但是效率低下，无法用于实际生产活动。
5.目前汽车中控面板出厂前的外观检测环节中，都需要大量劳动力来检测产品的外观缺陷，具体检测时，工人需要在高亮度光照条件下，人眼盯着产品反复查看，但随着眼部疲劳的加剧，检测数量的增多，漏检、误检率会逐渐升高，而检测效率会逐渐下降。这样就使得人工检验效率低、成本高、检验结果得不到保证，产品质量不能严格把关。由于汽车中控面板的产量和质量需求不断上升，人工检测指标无法量化，缺乏统一标准，而且效率较低。因此需要有一种更为快捷有效的方法代替人工检测。深度学习法是基于深度学习的字符识别是近年来比较流行的字符识别新思路，通过对大量字符的样本进行训练并输入分类器，得到字符图像和输出结果之间的模糊映射关系，从而实现目标定位，可以有效解决上述技术问题。


技术实现要素：

6.本发明为了有效地解决以上技术问题，提供了一种基于深度学习的汽车中控面板外观检测方法，按照以下步骤进行：
7.步骤一：通过图像传感器收集并输入样品按键丝印图像；
8.步骤二：对样品按键丝印图像进行目标定位，获得样品按键丝印图像坐标，引入深度学习的神经网络模型，使其更加适用于当前场景的检测，包括：
9.对所有收集的所述样品按键丝印图像进行标记，确定每张所述样品按键丝印图像分辨率的大小，分成训练数据集和测试数据集两部分，使用alexnet卷积神经网络模型，从所述训练数据集中随机抽取一定数量的所述按键丝印图像进行训练，测试数据集的图像用于测试；
10.步骤三：通过图像传感器获取待检测产品图像；
11.步骤四：切割出待检测产品的按键丝印图像；
12.步骤五：进行模板匹配和亮度测量，得出百分比；所述模板匹配为将所述步骤四切割出的按键丝印图像与样品中相应位置的图像进行对比；所述亮度测量为判断所述待检测产品上各个所述按键丝印图像的亮度是否保持一致；
13.步骤六：与预设阈值进行比对，判定结果；
14.步骤七：输出结果。
15.进一步的，所述步骤一和步骤三的图像传感器为使用cmos摄像头的数码相机。
16.进一步的，所述步骤二还包括，alexnet卷积神经网络模型使用五层卷积和三层全连接进行训练，把所述样品按键丝印图像的分辨率大小处理为224
×
224分辨率；输入层，输入为224
×
224
×
3，通过11
×
11的卷积核，滑动步长为4像素，输出96个特征图并池化；网络层1，使用5
×
5的卷积核，卷积生成256个特征图并池化；网络层2，使用5
×
5的卷积核，卷积生成256个特征图；网络层3，使用3
×
3的卷积核，卷积生成384个特征图；网络层4，使用3
×
3的卷积核，卷积生成384个特征图；网络层5，使用3
×
3的卷积核，卷积生成256个特征图；网络层6，是第一个全连接层；网络层7和网络层8，作为特征提取层，把所述网络层6的特征作为极限学习机进行分类训练，并让所述极限学习机计算得到参数；所述alexnet卷积神经网络模型在每一层卷积层中使用线性正单relu函数作为激活函数。
17.进一步的，所述步骤五中，所述模板匹配使用归一化平方差匹配法，完美匹配时匹配度为0，匹配值越大说明拟合度越差，所述匹配值计算公式为：
[0018][0019]
公式中，i(x,y)表示待检测产品的按键丝印图像，t(x
′
，y
′
)表示样品的按键丝印模板图像，i(x x
′
，y y
′
)表示所述按键丝印模板图像左上角坐标位于所述按键丝印图像中(x,y)的时候，所述按键丝印图像被所述按键丝印模板图像所覆盖的像素点，由所述按键丝印模板图像左上角在所述按键丝印图像中的坐标来代表所述按键丝印模板图像位置，体现出所述按键丝印图像中所有点在和所述按键丝印模板图像左上角坐标重合时的匹配度的图像，在这张图像中找到像素最大的点，即找到了匹配度最高时的所述按键丝印模板图像左上角坐标所在的位置，从而实现了匹配。
[0020]
所述模板匹配使所述按键丝印的形状错误和位置偏移有更加明显的相似度差异，提高判断的准确性。
[0021]
进一步的，所述步骤五中，所述亮度测量采用公式
进行计算，所述亮度均值为参与一致性比较的所有所述按键丝印图像亮度的平均值，所述亮度测量可以适用于不同批次的同一类型产品的检测。
[0022]
进一步的，所述步骤六中，所述预设阈值设置更改接口，用户可以根据实际需求，更改阈值，以适应多种类型的产品。
[0023]
本发明的有益效果是：
[0024]
(1)本发明的一种基于深度学习的汽车中控面板外观检测方法，将图像处理技术运用到汽车中控面板的外观检测领域，能够方便快捷地得到检测结果，解决了传统需要肉眼检测效率低，读数费时费力，精确度不高的问题。
[0025]
(2)本发明的一种基于深度学习的汽车中控面板外观检测方法，将深度学习的神经网络模型引入针对模板的目标定位中，并通过改进使得更加适用于中控面板检测这一场景。
[0026]
(3)alexnet卷积神经网络模型与传统的sigmoid函数等非线性函数相比，更加适合梯度下降以及反向传播过程，有效避免梯度爆炸和梯度消失问题。
[0027]
(4)由于relu函数是线性的，比sigmoid非线性函数具有更好的运算速度，经过不断的累积，可以检测出更加复杂的图像特征，训练过程中针对差异化大小去进行分类训练，并形成完整的网络结构。
附图说明
[0028]
为了更好地表达本发明的技术方案，下面将对本发明的进行附图说明：
[0029]
图1实施例一流程示意图；
[0030]
图2实施例一alexnet网络结构图；
[0031]
附图标号说明：1、输入层，2、网络层1，3、网络层2，4、网络层3，5、网络层4，6、网络层5，7、网络层6，8、网络层7，9、和网络层8。
具体实施方式
[0032]
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。
[0033]
需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0034]
此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。
[0035]
实施例一参阅图1，一种基于深度学习的汽车中控面板外观检测方法，包括以下步骤：
[0036]
步骤一：通过使用cmos摄像头的数码相机收集并输入样品按键丝印图像。
[0037]
步骤二：对样品按键丝印图像进行目标定位，获得样品按键丝印图像坐标，引入深度学习的神经网络模型，使其更加适用于当前场景的检测，包括：
[0038]
对所有收集的样品按键丝印图像进行标记，确定每张样品按键丝印图像分辨率的大小，分成训练数据集和测试数据集两部分，使用alexnet卷积神经网络模型，从训练数据集中随机抽取一定数量的按键丝印图像进行训练，测试数据集的图像用于测试；alexnet卷积神经网络模型使用五层卷积和三层全连接进行训练，把样品按键丝印图像的分辨率大小处理为224
×
224分辨率；输入层(1)，输入为224
×
224
×
3，通过11
×
11的卷积核，滑动步长为4像素，输出96个特征图并池化；网络层1(2)，使用5
×
5的卷积核，卷积生成256个特征图并池化；网络层2(3)，使用5
×
5的卷积核，卷积生成256个特征图；网络层3(4)，使用3
×
3的卷积核，卷积生成384个特征图；网络层4(5)，使用3
×
3的卷积核，卷积生成384个特征图；网络层5(6)，使用3
×
3的卷积核，卷积生成256个特征图；网络层6(7)，是第一个全连接层；网络层7(8)和网络层8(9)，作为特征提取层，把网络层6(7)的特征作为极限学习机进行分类训练，并让极限学习机计算得到参数；alexnet卷积神经网络模型在每一层卷积层中使用线性正单relu函数作为激活函数。线性正单relu函数与传统的sigmoid函数等非线性函数相比更加适合梯度下降以及反向传播过程，避免梯度爆炸和梯度消失问题，同时，由于relu函数是线性的，比sigmoid非线性函数具有更好的运算速度，因此，经过不断的累积，可以检测出更加复杂的图片特征，训练过程中针对差异化大小去进行分类训练，并形成完整的网络结构，训练过程中对识别参数进行调优，达到最优时，完成整个的训练过程，构建适合按键丝印识别和定位模型。
[0039]
步骤三：通过使用cmos摄像头的数码相机获取待检测产品图像，并对待检测产品图像预处理。
[0040]
步骤四：切割出待检测产品的按键丝印图像。
[0041]
步骤五：进行模板匹配和亮度测量，得出百分比。
[0042]
模板匹配为将步骤四切割出的按键丝印图像与样品中相应位置的图像进行对比，对于匹配度计算，目前有平方差匹配，归一化平方差匹配，归一化相关匹配，直方图匹配等方法，而考虑到匹配的快速性和准确性，使用匹配效率和匹配成功率折中的归一化平方差匹配法，完美匹配时匹配度为0，匹配值越大说明拟合度越差，匹配值计算公式为：
[0043][0044]
公式中，i(x,y)表示待检测产品的按键丝印图像，t(x
′
，y
′
)表示样品的按键丝印模板图像，i(x x
′
，y y
′
)表示按键丝印模板图像左上角坐标位于按键丝印图像中(x,y)的时候，按键丝印图像被按键丝印模板图像所覆盖的像素点，由按键丝印模板图像左上角在按键丝印图像中的坐标来代表按键丝印模板图像位置，体现出按键丝印图像中所有点在和按键丝印模板图像左上角坐标重合时的匹配度的图像，在这张图像中找到像素最大的点，即找到了匹配度最高时的按键丝印模板图像左上角坐标所在的位置，从而实现了匹配。模板匹配使按键丝印的形状错误和位置偏移有更加明显的相似度差异，提高判断的准确性。
[0045]
模板匹配算法的原理是将设定好的数字模板在原图中进行遍历式的滑动，然后生
成一张新的，由模板左上角坐标代表模板位置的，体现出原图中所有点在和模板左上角坐标重合时的匹配度的图像，在这张图像中找到像素最大的点，即找到了匹配度最高时的模板左上角坐标所在的位置，从而实现了匹配。由于该方法时间复杂度较高，于是采用直接在相应位置进行相似度的检测以提高检测效率。
[0046]
亮度测量为判断待检测产品上各个按键丝印图像的亮度是否保持一致，由于同一类型的产品生产批次不同，其平均零度也会有所不同。亮度测量采用公式：进行计算，亮度均值为参与一致性比较的所有按键丝印图像亮度的平均值，亮度测量可以适用于不同批次的同一类型产品的检测。
[0047]
步骤六：与预设阈值进行比对，判定结果，预设阈值设置更改接口，用户可以根据实际需求，更改阈值，以适应多种类型的产品。阈值设置方面，根据不同丝印形状之间的相似度，一般设置为75％，这样既可以检测出印刷错误，也可以有效防止因外界光照环境的变化而造成的误判。亮度偏差阈值一般可以设置为15％，会由于产品本身亮度不同而调整，比如，某一丝印与整体丝印的亮度均值之间差的绝对值为5，亮度均值为25，则偏差为20％，如果差值的绝对值为5，但亮度均值为50，则偏差为10％。用户可以根据不同产品，自行调整。如果某一丝印出现问题，完全不发光，则偏差为100％。在硬件中阈值更改接口连接上位机，配有可视化界面，方便用户修改。
[0048]
步骤七：输出判定结果，检测完成。
[0049]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。