基于深度神经网络的反光二维码关键点检测的方法和装置与流程

1.本发明涉及二维码关键点检测技术领域，特别涉及一种基于深度神经网络的反光二维码关键点检测的方法和装置。


背景技术：

2.目前，二维码解析技术的一般步骤为：
3.(1)二维码目标检测；
4.(2)二维码关键点检测；
5.(3)二维码图像校准；
6.(4)像素图数字矩阵化。
7.其中，二维码关键点检测技术通常是基于扫描线算法(scan line algorithm)。该算法假设二维码基本无光照变化干扰和角度变化干扰。然而，在实际场景中，摄像头采集的二维码图片由于阳光和灯光以及拍摄角度的影响，往往带有较强的光照干扰污染和角度变化，严重影响了扫描线算法的检测成功率和稳定性。为解决这一问题，现有技术通过在摄像头上增加特种光学镜头或读码器来过滤反光，但是同时会增加设备成本。
8.目前尚缺乏一种抗光照变化和角度变化能力强，成本低的二维码目标检测算法。


技术实现要素：

9.本发明要解决的技术问题，在于提供一种基于深度神经网络的反光二维码关键点检测的方法和装置，通过深度神经网络对整个图像计算特征映射图，从而实现抗光照变化和角度变化能力强，且成本低的二维码目标检测。
10.第一方面，本发明提供了一种基于深度神经网络的反光二维码关键点检测的方法，包括：训练数据集构建过程、深度神经网络模型构建和训练过程以及二维码关键点检测过程；
11.所述训练数据集构建过程包括：获取大量标注有设定数量个关键点坐标的二维码图片，然后分别计算每一张二维码图片的欧拉角；对所述二维码图片进行归一化和标准化处理；基于标注有设定数量个关键点坐标、欧拉角以及处理后的二维码图片构建训练数据集；
12.所述深度神经网络模型构建和训练过程包括：构建深度神经网络模型，所述深度神经网络模型的输出向量的数量为训练数据集中每一二维码图片的关键点数量的两倍；然后利用所述训练数据集对所述深度神经网络模型进行训练，得到关键点坐标检测模型；
13.所述二维码关键点检测过程包括：在待检测图片中获取待检测二维码区域，然后进行归一化和标准化处理后输入所述关键点坐标检测模型，得到待检测二维码的关键点坐标位置。
14.进一步地，所述训练数据集构建过程中，二维码图片上标注关键点位置具体为：设二维码左上角的定位图案为第一定位图案、右上角的定位图案为第二定位图案、左下角的
定位图案为第三定位图案，在三个定位图案中分别取最外圈正方形的四个顶点，二维码图像右下角的顶点以及第二定位图案的内侧边与第三定位图案上侧边分别延伸的交点，共计14个关键点。
15.进一步地，所述欧拉角的计算方法具体为，根据每一张二维码图片中所有关键点的图像二维坐标和世界坐标系下的三维坐标，基于pnp方法计算该二维码图片相对于相机作为原点的欧拉角。
16.进一步地，所述深度神经网络模型包括二维卷积层、批归一化层、线性整流函数层、平均池化层、全连接层以及激活函数层。
17.第二方面，本发明提供了一种基于深度神经网络的反光二维码关键点检测的装置，包括：训练数据集模块、深度神经网络模型模块以及二维码关键点检测模块；
18.所述训练数据集模块，用于获取大量标注有设定数量个关键点坐标的二维码图片，然后分别计算每一张二维码图片的欧拉角；对所述二维码图片进行归一化和标准化处理；基于标注有设定数量个关键点坐标、欧拉角以及处理后的二维码图片构建训练数据集；
19.所述深度神经网络模型模块，用于构建深度神经网络模型，所述深度神经网络模型的输出向量的数量为训练数据集中每一二维码图片的关键点数量的两倍；然后利用所述训练数据集对所述深度神经网络模型进行训练，得到关键点坐标检测模型；
20.所述二维码关键点检测模块，用于在待检测图片中获取待检测二维码区域，然后进行归一化和标准化处理后输入所述关键点坐标检测模型，得到待检测二维码的关键点坐标位置。
21.进一步地，所述训练数据集模块中，二维码图片上标注关键点位置具体为：设二维码左上角的定位图案为第一定位图案、右上角的定位图案为第二定位图案、左下角的定位图案为第三定位图案，在三个定位图案中分别取最外圈正方形的四个顶点，二维码图像右下角的顶点以及第二定位图案的内侧边与第三定位图案上侧边分别延伸的交点，共计14个关键点。
22.进一步地，所述训练数据集模块中，欧拉角的计算方法具体为，根据每一张二维码图片中所有关键点的图像二维坐标和世界坐标系下的三维坐标，基于pnp方法计算该二维码图片相对于相机作为原点的欧拉角。
23.进一步地，所述深度神经网络模型包括二维卷积层、批归一化层、线性整流函数层、平均池化层、全连接层以及激活函数层。
24.本发明实施例中提供的技术方案具有如下技术效果或优点：
25.1、利用深度神经网络模型对二维码关键点进行检测，将传统算法利用定位图案进行形状检测转化为特征向量检测，基于卷积共享权值对整个图像计算特征映射图，同时利用了局部信息和全局信息，对比传统算法，提高了对局部反光污染和角度变换的抗干扰能力；
26.2、相比传统算法仅能输出3个点，增加输出控制点数量到14个，提高了定位精确度，从而较大程度提高了后续处理成功率。
27.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
28.下面参照附图结合实施例对本发明作进一步的说明。
29.图1为本发明实施例一中方法中的流程图；
30.图2为本发明实施例一中深度神经网络的结构示意图；
31.图3为本发明实施例一中反光二维码关键点检测结果示意图；
32.图4为本发明实施例二中装置的结构示意图。
具体实施方式
33.本技术实施例通过提供一种基于深度神经网络的反光二维码关键点检测的方法和装置，通过深度神经网络对整个图像计算特征映射图，从而实现抗光照变化和角度变化能力强，且成本低的二维码目标检测。
34.本技术实施例中的技术方案，总体思路如下：
35.提出一种轻量级、速度快、对反光干扰和角度变化稳定性强的二维码关键点检测算法，步骤如下：
36.1.采用大量二维码数据训练深度神经网络模型
37.1.1对输入的训练数据进行数据增广处理；
38.1.2根据标注的二维码关键点数据计算二维码在三维空间中相对于摄像机的欧拉角；
39.1.3对二维码图像数据进行归一化和标准化；
40.1.4基于二维码关键点坐标和欧拉角构建二维码标签数据；
41.1.5使用二维码图像数据和标签数据训练深度神经网络模型。
42.2、二维码目标关键点检测
43.2.1 ssd二维码目标检测，(获得二维码在整张图像中的位置)；
44.2.2在整张图像中裁剪二维码roi(region of interest)区域，获得二维码图片数据im；
45.2.3对二维码图片数据im进行归一化和标准化；
46.2.4使用训练好的神经网络模型预测二维码图片数据im上关键点位置。
47.实施例一
48.本实施例提供一种基于深度神经网络的反光二维码关键点检测的方法，如图1所示，包括；
49.训练数据集构建过程、深度神经网络模型构建和训练过程以及二维码关键点检测过程；
50.所述训练数据集构建过程包括：获取大量标注有设定数量个关键点坐标的二维码图片，然后分别计算每一张二维码图片的欧拉角；对所述二维码图片进行归一化和标准化处理；基于标注有设定数量个关键点坐标、欧拉角以及处理后的二维码图片构建训练数据集；
51.所述深度神经网络模型构建和训练过程包括：构建深度神经网络模型，所述深度神经网络模型的输出向量的数量为训练数据集中每一二维码图片的关键点数量的两倍；然后利用所述训练数据集对所述深度神经网络模型进行训练，得到关键点坐标检测模型。
52.所述二维码关键点检测过程包括：在待检测图片中获取待检测二维码区域，然后进行归一化和标准化处理后输入所述关键点坐标检测模型，得到待检测二维码的关键点坐标位置。
53.本实施例一种具体的实现方式：
54.所述训练数据集构建过程中，二维码图片上标注关键点位置具体为：设二维码左上角的定位图案为第一定位图案、右上角的定位图案为第二定位图案、左下角的定位图案为第三定位图案，在三个定位图案中分别取最外圈正方形的四个顶点，二维码图像右下角的顶点以及第二定位图案的内侧边与第三定位图案上侧边分别延伸的交点，共计14个关键点，如图3所示。
55.为了扩充训练数据，对训练数据进行数据增广处理，可以使用随机数生成器，随机生成图像旋转角、透视角，平移量等属性，计算对应的变换矩阵，对二维码图像应用该变换矩阵。
56.所述欧拉角的计算方法具体为，根据每一张二维码图片中所有关键点的图像二维坐标和世界坐标系下的三维坐标，基于pnp(perspective-n-point，一种通用算法)方法计算该二维码图片相对于相机作为原点的欧拉角(euler angles)。
57.所述深度神经网络模型构建和训练过程中，深度神经网络模型包括二维卷积层(conv2d layer)、批归一化层(batch norm layer)、线性整流函数层(relu层)、平均池化层(avgerage pooling layer)、全连接层(full connect payer)以及激活函数层(sigmoid层)。
58.深度神经网络模型采用4层神经网络设计，每层网络输入输出如下：
59.layer1：输入归一化和标准化后的112
×
112二维码图像，输64张56
×
56的特征映射图(feature map)；
60.layer2：输入layer1的64张特征映射图，输出64张28x28的特征映射图；
61.layer3：输入layer2的64张特征映射图、输出16张14
×
14的特征映射图；
62.layer4：
63.(1)对layer3输出的16张特征映射图进行14
×
14平均池化并应用展平(flattern)，获得长度为16的特征向量；
64.(2)对layer3输出的16张特征映射图14
×
14特征映射图应用卷积，获得32张7
×
7的特征映射图，进行7
×
7平均池化和展平，获得长度为32的特征向量；
65.(3)对32张7
×
7特征向量应用kernel＝7的卷积并展平，获得长度128的特征向量；
66.(4)对上述16 32 128的特征向量进行拼接，得到长度为176的特征向量；
67.(5)对长度为176的特征向量应用全连接层和sigmoid层，获得最终长度为28的向量，即为二维码14个关键点的坐标位置。
68.在训练过程中，使用深度神经网络模型，对训练数据进行前向推理获得二维码关键点和欧拉角预测结果，计算预测结果与训练数据计算均方误差(l2 loss)，对l2 loss进行反向传播(bp，backpropagation)优化深度神经网络模型权重；重复以上步骤1
×
104次，得到训练好的深度神经网络模型，即关键点坐标检测模型。
69.所述二维码关键点检测过程具体包括：
70.1、在一张大图中通过ssd目标检测模型获取二维码在大图中的位置，以一个矩形
(x,y,h,w)表示，其中，x，y分别为矩阵中心点坐标，h，w分别为矩形长宽；
71.2、根据上一步骤所获得的矩形(x,y,h,w)，在大图中截取二维码图片数据im；
72.3、对上一步骤所获得的二维码图片数据im进行归一化和标准化；
73.所述归一化方法为：
[0074][0075]
所诉标准化方法为：
[0076][0077]
其中，i
ij
为二维码图像位置(i,j)处的像素值，min(i
ij
)为图像所有像素中最小像素值，max(i
ij
)为图像所有像素中最大的像素值，μ为整个二维码图像所有像素值的平均值，σ为像素标准差，n为像素个数。
[0078]
4.将归一化和标准化后的图像数据输入训练好的深度神经网络模型，即关键点坐标检测模型，如图2所示，预测二维码图片数据im上关键点位置，得到的关键点结果如图3所示。
[0079]
基于同一发明构思，本技术还提供了与实施例一中的方法对应的装置，详见实施例二。
[0080]
实施例二
[0081]
在本实施例中提供了一种基于深度神经网络的反光二维码关键点检测的装置，如图4所示，包括：训练数据集模块、深度神经网络模型模块以及二维码关键点检测模块；
[0082]
所述训练数据集模块，用于获取大量标注有设定数量个关键点坐标的二维码图片，然后分别计算每一张二维码图片的欧拉角；对所述二维码图片进行归一化和标准化处理；基于标注有设定数量个关键点坐标、欧拉角以及处理后的二维码图片构建训练数据集；
[0083]
所述深度神经网络模型模块，用于构建深度神经网络模型，所述深度神经网络模型的输出向量的数量为训练数据集中每一二维码图片的关键点数量的两倍；然后利用所述训练数据集对所述深度神经网络模型进行训练，得到关键点坐标检测模型；
[0084]
所述二维码关键点检测模块，用于在待检测图片中获取待检测二维码区域，然后进行归一化和标准化处理后输入所述关键点坐标检测模型，得到待检测二维码的关键点坐标位置。
[0085]
较佳地，所述训练数据集模块中，二维码图片上标注关键点位置具体为：设二维码左上角的定位图案为第一定位图案、右上角的定位图案为第二定位图案、左下角的定位图案为第三定位图案，在三个定位图案中分别取最外圈正方形的四个顶点，二维码图像右下角的顶点以及第二定位图案的内侧边与第三定位图案上侧边分别延伸的交点，共计14个关键点。
[0086]
具体地，所述训练数据集模块中，欧拉角的计算方法具体为，根据每一张二维码图片中所有关键点的图像二维坐标和世界坐标系下的三维坐标，基于pnp方法计算该二维码图片相对于相机作为原点的欧拉角。
[0087]
较佳地，所述深度神经网络模型包括二维卷积层、批归一化层、线性整流函数层、平均池化层、全连接层以及激活函数层。
[0088]
由于本发明实施例二所介绍的装置，为实施本发明实施例一的方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的装置都属于本发明所欲保护的范围。
[0089]
本技术实施例利用深度神经网络模型对二维码关键点进行检测，将传统算法利用定位图案进行形状检测转化为特征向量检测，基于卷积共享权值对整个图像计算特征映射图，同时利用了局部信息和全局信息，对比传统算法，提高了对局部反光污染和角度变换的抗干扰能力；相比传统算法仅能输出3个点，增加输出控制点数量到14个，提高了定位精确度，从而较大程度提高了后续处理成功率。
[0090]
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。