一种二维码识别方法及装置与流程

1.本发明涉及交互控制领域，特别涉及一种二维码识别方法及装置。
背景技术：
：2.二维码(2-dimensionalbarcode)：又称二维码条码，主要是通过某种特定的几何图形按照一定规律对信息进行编码，这种编码方式可以使二维码存储有较为丰富的数据。3.qr码(quickresponsecode)：又称快速反应条码，是二维码的一种，能够快速读取，与条形码相比，qr码能存储更丰富的信息，包括对文字、url地址和其他类型的数据加密。4.qr码的版本：如图1(引用自：https://www.qrcode.com/zh/about/version.html)所示，qr码设有1到40的不同版本(种类)，每个版本都具备固有的码元结构(码元数)。其中，码元是指构成qr码的方形黑白点；码元结构是指二维码中的码元数。从版本1(21码元×21码元)开始，在纵向和横向各自以4码元为单位递增，一直到版本40(177码元×177码元)。qr码的各个版本结合数据量、字符类型和纠错级别，均设有相对应的最多输入字符数。也就是说，如果增加数据量，则需要使用更多的码元来组成qr码，qr码就会变得更大。5.现有技术中，可利用图像采集设备或者光电扫描设备检测二维码，并进一步识别二维码所包含的信息。二维码识别过程通常包括：检测并裁剪二维码区域、校正二维码、二值化二维码图像、网格划分获得二进制编码、蒙版操作、纠错和查表，识别算法和流程较为复杂，识别效率低。技术实现要素：6.本发明主要解决的技术问题是提供一种二维码识别方法及装置，能够提高识别效率。7.为解决上述技术问题，本发明采用的一个技术方案是：一种二维码识别方法，包括如下步骤：获取待识别的二维码图像；其中，所述二维码为qr码；利用训练好的深度学习数据预测模型预测所述qr码的原始数据；其中，所述原始数据包含数据和纠错码字；利用训练好的深度学习格式预测模型预测所述qr码的原始格式信息；其中，所述原始格式信息包括纠错级别、蒙版类型以及格式纠错位；对所述原始数据和原始格式信息进行二值化处理，并根据所述原始格式信息包含的纠错级别和所述原始数据包含的纠错码字对数据码字进行纠错，以转换为所述qr码的真实信息。8.其中，获取待识别的二维码图像之后，所述方法还包括：接收所述深度学习数据预测模型输出的中间特征，通过注意力网络将所述中间特征映射为8个数值，并使用sigmoid激活函数将每个数值进行激活；其中，所述注意力网络为一个多层全连接网络；将所述注意力网络映射得到的所述8个数值作为所述qr码的8种蒙版矩阵的权重；以及将经过权重处理的8种蒙版矩阵与所述中间特征进行拼接，以输出新的特征矩阵。9.其中，所述深度学习数据预测模型和所述深度学习格式预测模型预先被联合训练；所述注意力网络嵌入到所述深度学习数据预测模型和所述深度学习格式预测模型内部，以在联合训练所述深度学习数据预测模型和所述深度学习格式预测模型时被共同训练。10.其中，训练所述深度学习数据预测模型和所述深度学习格式预测模型，具体还包括：获取n种相邻编号不同版本类型的qr码图像形成数据集；其中，每条数据的内容至少包括：图像保存路径、原始数据、原始格式信息；所述原始数据包括二进制格式的数据和纠错码字；所述原始格式信息包括二进制格式的纠错级别、蒙版类型和格式纠错位；根据选定的所述qr码版本设定相应的原始数据长度，设定所述深度学习数据预测模型的最后一层的全连接通道数为其中，v为所述qr码版本，lv是版本为v的所述qr码的原始数据长度，利用公式(1)计算所述数据预测模型的损失；其中，sigmoid函数为激活函数，和分别为所述深度学习数据预测模型预测的原始数据和人工标注的原始数据，losss为所述深度学习数据预测模型输出的前lv个数值的原始数据损失；设定所述深度学习格式预测模型最后一层的全连接通道数为15，利用公式(2)计算所述格式预测模型的损失；其中，和分别为所述深度学习格式预测模型的原始格式信息和人工标注的原始格式信息，lossg为所述深度学习格式预测模型的原始格式信息的损失；利用梯度下降算法最小化公式(3)的损失，联合训练所述数据预测模型和格式预测模型；loss＝losss λ·lossgꢀꢀ(3)其中，λ为加权权重。11.本发明采用的另一个技术方案是，提供一种二维码识别装置，包括存储单元、图像获取单元以及处理单元；所述图像获取单元用于获取待识别的二维码图像；其中，所述二维码为qr码；所述处理单元包括深度学习解码单元、以及输出单元；所述深度学习解码单元包括：数据预测模块，用于利用训练好的深度学习数据预测模型预测所述qr码的原始数据；其中，所述原始数据包含数据和纠错码字；格式预测模块，用于利用训练好的深度学习格式预测模型预测所述qr码的原始格式信息；其中，所述原始格式信息包括纠错级别、蒙版类型以及格式纠错位；所述输出单元，用于对所述深度学习解码单元预测得到的原始数据和原始格式信息进行二值化处理，根据所述原始格式信息包含的纠错级别和原始数据包含的纠错码字对数据码字进行纠错，以转换为所述qr码的真实信息。12.其中，所述深度学习解码单元还包括注意力网络，用于：接收所述深度学习数据预测模型输出的中间特征，通过注意力网络将所述中间特征映射为8个数值；使用sigmoid激活函数将每个数值进行激活；将所述注意力网络映射得到的8个数值作为所述qr码的8种蒙版矩阵的权重；以及将经过权重处理的所述8种蒙版矩阵与所述中间特征进行拼接，以输出新的特征矩阵。13.其中，所述深度学习数据预测模型和所述深度学习格式预测模型预先被联合训练；所述注意力网络嵌入到所述深度学习数据预测模型和所述深度学习格式预测模型内部，以在联合训练所述深度学习数据预测模型和所述深度学习格式预测模型时被共同训练。14.其中，还包括模型训练单元，用于：获取n种相邻编号不同版本类型的qr码图像形成数据集；其中，每条数据的内容至少包括：图像保存路径、原始数据、原始格式信息；原始数据包括二进制格式的数据和纠错码字，原始格式信息包括二进制格式的纠错级别、蒙版类型和格式纠错位；根据选定的qr码版本设定相应的原始数据长度，设定深度学习数据预测模型最后一层的全连接通道数为其中，v为所述qr码的版本，lv是版本v的所述qr码的原始数据长度；利用公式(1)计算所述数据预测模型的损失；其中，sigmoid为激活函数，和分别为所述深度学习数据预测模型预测的原始数据和人工标注的原始数据，losss为所述深度学习数据预测模型输出的前lv个数值的原始数据损失；设定所述深度学习格式预测模型最后一层的全连接通道数为15；利用公式(2)计算所述格式预测模型的损失；其中，和分别是所述深度学习格式模型预测的原始格式信息和人工标注的原始格式信息，sigmoid为激活函数，lossg为所述深度学习格式预测模型的原始格式信息损失；利用梯度下降算法最小化公式(3)的损失，联合训练所述数据预测模型和格式预测模型；loss＝losss λ·lossgꢀꢀꢀ(3)其中，λ为加权权重。15.本发明提供的一种二维码识别方法及装置，通过深度学习预选训练深度学习数据预测模型以及深度学习格式预测模型，对获取的qr码进行原始数据信息预测和原始格式信息预测，以对预测得到的原始数据和原始格式信息进行二值化处理，并根据原始格式信息包含的纠错级别和原始数据包含的纠错码对数据进行纠错，转换为qr码的真实信息，一次性实现校正、图像二值化、网格划分、蒙版等处理过程，解决现有技术的二维码识码方法的流程复杂、抗干扰能力较差的问题；同时，所述深度学习数据预测模型的网络结构能够适用于多种版本的qr码解码；进一步地，通过注意力网络对深度学习数据预测模型输出的中间特征进行映射为蒙版矩阵的权重，以及将经过权重处理的蒙版矩阵与中间特征进行拼接输出新的特征矩阵，从而加强模型对蒙版操作的模拟效果，可以提高预测准确性；本发明对图像的噪声、形变和污损等干扰因素具有很强的适应能力。附图说明16.图1是现有技术的qr码码元数和版本示意图；17.图2是现有技术的qr码信息组成示意图；18.图3是现有技术的qr码数据和纠错码字的存放顺序示意图；19.图4是现有技术的qr码格式信息的分布位置示意图；20.图5是现有技术的qr码蒙版操作流程示意图；21.图6是本发明实施方式中的一种二维码识别方法的流程示意图；22.图7是本发明另一实施方式中的一种二维码识别方法的流程示意图；23.图8是本发明实施方式中蒙版矩阵的构造方法示意图；24.图9是本发明实施方式中的注意力网络结构示意图；25.图10是本发明实施方式中通过深度学习预先训练深度学习数据预测模型与深度学习格式预测模型的方法的流程示意图；26.图11是本发明实施方式中的深度学习数据预测模型与深度学习格式预测模型的结构示意图；27.图12是本发明实施方式中一种二维码识别装置的结构示意图；28.图13是图12中的深度学习解码单元的一实施方式的结构示意图。具体实施方式29.为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合附图和实施例对本发明进行详细说明。30.请同时参阅图2～4(引用自：iso/iec18004:2015，6.3～7.9节)，qr码的格式信息为固定15位；其中，包括2位纠错级别、3位蒙版类型和10位格式纠错位，有两倍冗余设计。原始数据是相对于表观数据而言的，原始数据是指未经过(编码过程)蒙版操作的数据和纠错码字。二进制序列中每8位数据即1码字，qr码所包含的数据码字与纠错码字所占比例取决于纠错级别。31.请参阅图5(引用自：iso/iec18004:2015，7.8节)，箭头所示为数据编码的蒙版操作，解码则进行逆向操作。其中，蒙版操作是指将原始数据与蒙版矩阵做异或运算，以免出现大面积空白或黑块，这样得到的数据可以直观呈现给用户，即，黑色方块表示1，白色方块表示0，是表观数据。格式信息的编码过程与蒙版操作同理，也要与101010000010010(固定专用)进行异或操作，与蒙版起到类似作用，避免大面积空白或黑块，原始格式信息是指未经过(编码过程)异或操作的格式信息数据。蒙版操作是可逆的，编解码过程都是用同一个蒙版对原始数据或表观数据做异或运算。32.请参阅图6，为本发明实施方式中一种二维码识别方法的流程示意图，所述方法包括如下步骤：33.步骤s10，获取待识别二维码图像。34.其中，所述二维码为qr码；所述qr码图像可以是彩色或黑白图像，可以通过摄像设备进行采集，也可以通过计算机软件生成。35.步骤s11，利用训练好的深度学习数据预测模型预测所述qr码的原始数据。36.其中，所述原始数据包含数据码字和纠错码字。37.步骤s12，利用训练好的深度学习格式预测模型预测所述qr码的原始格式信息。38.其中，所述原始格式信息为15位的二进制数据，包括：2位纠错级别、3位蒙版类型和10位格式纠错位；其中，原始格式信息是指未经过(编码过程)异或操作的格式信息数据。39.步骤s13，对所述原始数据和原始格式信息进行二值化处理，根据所述原始格式信息包含的纠错级别和所述原始数据包含的纠错码字对数据码字进行纠错，以转换为所述qr码的真实信息。40.在本实施方式中，通过里德-所罗门纠错算法(reed-solomonerrorcorrection)实现纠错，通过查询qr码版本一览表，将数据码字转换为数字或字符串等，以解码出所述qr码的真实信息。其中，所述纠错和qr码版本一览表为现有技术，在此不加赘述。41.进一步地，所述深度学习数据预测模型预测的原始数据、以及所述深度学习格式预测模型预测的原始格式信息是0～1之间的小数，二值化过程使不小于(大于、等于)0.5的数值置为1，小于0.5的数值置为0。42.请参阅图7，为本发明另一实施方式中的一种二维码识别方法的流程示意图，所述方法包括：43.步骤s20，获取待识别二维码图像。44.步骤s21，接收训练好的深度学习数据预测模型输出的中间特征，通过注意力网络将所述中间特征映射为8个数值，并使用sigmoid激活函数将每个数值进行激活。45.其中，所述注意力网络是一个多层全连接网络。46.步骤s22，将所述注意力网络映射得到的所述8个数值作为所述qr码的8种蒙版矩阵的权重。47.具体地，分别将每个数值与对应的蒙版矩阵相乘，以得到经过权重处理的蒙版矩阵。48.蒙版矩阵的通道数为8，长宽设为和中间特征相同，以方便后续和中间特征拼接。请同时参阅图9，蒙版矩阵的每个数值仿照蒙版图案的码元规律(黑色为1，白色为0)以右下角为起始进行构造，请同时参阅图10，蒙版矩阵的长宽随中间特征的长宽设为(7，7)。49.步骤s23，将经过权重处理的8种蒙版矩阵与所述中间特征进行拼接，以输出新的特征矩阵。50.请同时参阅图8、9，在本实施方式中，所述蒙版矩阵为8×7×7大小；所述中间特征为卷积层3的输出，所述注意力网络为两层全连接网络结构，即，全连接层(32，8)以及全连接层(1568，32)。假设所述中间特征的矩阵形状为(1，32，7，7)，则通过注意力网络的映射以得到相应的蒙版矩阵权重，并将经过权重处理的蒙版矩阵在通道维度拼接结束后，输出新的特征矩阵(1，40，7，7)。51.因为蒙版操作会完全改变qr码图像展示内容，所以直接通过图像预测其蒙版操作前的原始数据是较为困难的，本发明通过增加注意力网络以加强深度学习数据预测模型对蒙版操作的模拟效果，使识别更加准确。52.步骤s24，利用训练好的深度学习数据预测模型预测所述qr码的原始数据。53.其中，所述原始数据包含数据码字和纠错码字。54.步骤s25，利用训练好的深度学习格式预测模型预测所述qr码的原始格式信息。55.步骤s26，对所述原始数据和原始格式信息进行二值化处理，根据所述原始格式信息包含的纠错级别和所述原始数据包含的纠错码字对数据码字进行纠错，以转换为所述qr码的真实信息。56.请参阅图10，进一步地，训练所述深度学习数据预测模型和所述深度学习格式预测模型的方法，具体包括：57.步骤s30，获取n种相邻编号不同版本类型的qr码图像形成数据集。58.其中，每条数据的内容至少包括：图像保存路径、原始数据、原始格式信息；所述原始数据包括二进制格式的数据和纠错码字；所述原始格式信息包括二进制格式的纠错级别、蒙版类型和格式纠错位。59.所述不同版本类型的qr码图像可以通过计算机随机生成，例如，使用python的标准库qrcode，并根据随机生成的字符串生成qr码图像，原始数据和原始格式信息在qrcode函数内部可以获取；进一步地，通过pytorch的数据扩增库(transforms)对qr码图像进行随机亮度、随机旋转和随机噪声的数据扩增，使得训练好的模型能适应亮度、旋转角度和噪声的干扰。60.步骤s31，根据选定的qr码版本设定相应的原始数据长度，以及设定所述深度学习数据预测模型的最后一层的全连接通道数为最大原始数据长度61.其中，v为所述qr码版本，lv是版本为v的所述qr码的原始数据长度。62.具体地，设定所述qr码版本v的原始数据长度为lv。请同时参阅图2～4，例如，当n＝3，即，选择3种相邻编号的qr码版本，分别为qr-1、qr-2、qr-3，则通过查询iso/iec18004-2015，table1(7.1节)的“datamodulesexcept”项可以得到：qr-1版码包含的码元数为21×21，原始数据(数据码字和纠错码字)的长度为l1＝208位；qr-2版码包含的码元数为25×25，则原始数据的长度为l2＝359位；qr-3版码包含的码元数为29×29，则原始数据的长度为l3＝567位。63.请同时参阅图11，在本实施方式中，所述深度学习数据预测模型的最后一层为全连接层2，即，输出原始数据的长度为567位；所述深度学习格式预测模型的最后一层为全连接层3，即，输出的原始格式信息长度为15位；所述深度学习数据预测模型和所述深度学习格式预测模型可以共享部分结构和权重。激活函数选择sigmoid函数，该函数可以将实数映射在0～1的小数范围内。64.具体地，当获取的qr码图像是qr-1版码时，选择所述深度学习数据预测模型输出的前l1＝208个数值用于训练；当获取的qr码图像是qr-3版码时，选择所述深度学习数据预测模型输出的全部567个数值用于训练。65.当所述深度学习数据预测模型训练好后进行实际应用时，对于输入的未知版本的qr图像，将所述深度学习数据预测模型输出的全部数值用于后续解码。例如，当获取的图像是qr-1版码时，虽然只有前208个数值是有效的，但是仍然将567个数值都用于解码，这是因为根据qr码的编码规范，在数据的头部定义了数据长度，所以步骤s13解码时无需担心数据过长。66.步骤s32，利用公式(1)计算所述数据预测模型的损失。[0067][0068]具体地，和分别为所述深度学习数据预测模型预测的原始数据和人工标注的原始数据，losss为所述深度学习数据预测模型输出的前lv个数值的原始数据损失。[0069]步骤s33，设定所述深度学习格式预测模型最后一层的全连接通道数为15；[0070]步骤s34，利用公式(2)计算所述格式预测模型的损失。[0071][0072]其中，和分别为所述深度学习格式预测模型的原始格式信息和人工标注的原始格式信息，lossg为所述深度学习格式预测模型的原始格式信息的损失。[0073]步骤s35，利用梯度下降算法最小化公式(3)的损失，联合训练所述数据预测模型和格式预测模型。[0074]loss＝losss λ·lossg(3)[0075]其中，通过循环迭代使模型的预测结果逐渐向真实情况拟合；λ为加权权重，通常为小数。在本实施方式中，λ＝0.01。[0076]其中，参阅图11，所述注意力网络嵌入到数据预测模型和格式预测模型内部，所以在联合训练时所述注意力网络可以被共同训练。[0077]请参阅图12，为本发明实施方式中一种二维码识别装置的结构示意图，所述装置40包括存储单元41、图像获取单元42、处理单元43以及模型训练单元44。[0078]其中，所述处理单元43包括深度学习解码单元431、以及输出单元432。[0079]所述存储单元41，用于存储深度学习模型参数、原始数据、原始格式信息及应用程序本身。具体地，所述存储单元41的介质可以是例如软盘、硬盘、cd-rom和半导体存储器等。[0080]所述图像获取单元42，用于获取待识别的二维码图像。其中，所述二维码为qr码。[0081]所述深度学习解码单元431，用于根据所述图像获取单元42输入的图像预测所述qr码的原始数据和原始格式信息。[0082]所述输出单元432，用于对所述深度学习解码单元431预测得到的原始数据和原始格式信息进行二值化处理，根据所述原始格式信息包含的纠错级别和原始数据包含的纠错码字对数据码字进行纠错，以转换为所述qr码的真实信息。在本实施方式中，所述输出单元432通过里德-所罗门纠错算法(reed-solomonerrorcorrection)实现纠错，通过查询qr码版本一览表，将数据转换为数字或字符串等，以解码出所述qr码信息。[0083]请同时参阅图13，进一步地，所述深度学习解码单元431包括：[0084]数据预测模块4311，用于利用训练好的深度学习数据预测模型预测qr码的原始数据；[0085]格式预测模块4312，用于利用训练好的深度学习格式预测模型预测qr码的原始格式信息。[0086]进一步地，所述深度学习解码单元431还包括注意力网络4313，用于加强所述深度学习数据预测模型对蒙版操作的模拟效果。[0087]在本实施方式中，所述注意力网络4313具体用于接收所述深度学习数据预测模型输出的中间特征，通过注意力网络将所述中间特征映射为8个数值，并使用sigmoid激活函数将每个数值进行激活；将所述注意力网络映射得到的8个数值作为所述qr码的8种蒙版矩阵的权重，以及将经过权重处理的所述8种蒙版矩阵与所述中间特征进行拼接，以输出新的特征矩阵。[0088]其中，所述深度学习数据预测模型和所述深度学习格式预测模型预先被联合训练；所述注意力网络嵌入到所述深度学习数据预测模型和所述深度学习格式预测模型内部，以在联合训练所述深度学习数据预测模型和所述深度学习格式预测模型时被共同训练。[0089]进一步地，所述模型训练单元44用于数据集生成和训练深度学习模型，具体用于：[0090]获取n种相邻编号不同版本类型的qr码图像形成数据集；其中，每条数据的内容至少包括：图像保存路径、原始数据、原始格式信息；原始数据包括二进制格式的数据和纠错码字，原始格式信息包括二进制格式的纠错级别、蒙版类型和格式纠错位；[0091]根据选定的qr码版本设定相应的原始数据长度，设定深度学习数据预测模型最后一层的全连接通道数为其中，v为所述qr码的版本，lv是版本v的所述qr码的原始数据长度；[0092]利用公式(1)计算所述数据预测模型的损失；[0093][0094]其中，sigmoid为激活函数，和分别为所述深度学习数据预测模型预测的原始数据和人工标注的原始数据，losss为所述深度学习数据预测模型输出的前lv个数值的原始数据损失；[0095]设定所述深度学习格式预测模型最后一层的全连接通道数为15；[0096]利用公式(2)计算所述格式预测模型的损失；[0097][0098]其中，和分别是所述深度学习格式模型预测的原始格式信息和人工标注的原始格式信息，sigmoid为激活函数，lossg为所述深度学习格式预测模型的原始格式信息的损失；[0099]利用梯度下降算法最小化公式(3)的损失，联合训练所述数据预测模型和格式预测模型；[0100]loss＝losss λ·lossgꢀꢀꢀ(3)[0101]其中，λ为加权权重，通常为小数。在本实施方式中，λ＝0.01。[0102]本发明实施方式提供的一种二维码识别方法及装置，通过深度学习预选训练深度学习数据预测模型以及深度学习格式预测模型，对获取的qr码进行原始数据信息预测和原始格式信息预测，以对预测得到的原始数据和原始格式信息进行二值化处理，并根据原始格式信息包含的纠错级别和原始数据包含的纠错码对数据进行纠错，转换为qr码的真实信息，一次性实现校正、图像二值化、网格划分、蒙版等处理过程，解决现有技术的二维码识码方法的流程复杂、抗干扰能力较差的问题；同时，所述深度学习数据预测模型的网络结构能够适用于多种版本的qr码解码；进一步地，通过注意力网络对深度学习数据预测模型输出的中间特征映射为蒙版矩阵的权重，以及将经过权重处理的蒙版矩阵与中间特征进行拼接输出新的特征矩阵，从而加强模型对蒙版操作的模拟效果，可以提高预测准确性，对图像的噪声、形变和污损等干扰因素具有很强的适应能力。[0103]在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性或其它的形式。[0104]所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。[0105]另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。[0106]所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，管理服务器，或者网络设备等)或处理器执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(英文：read-onlymemory，缩写：rom)、随机存取存储器(英文：randomaccessmemory，缩写：ram)、磁碟或者光盘等各种可以存储程序代码的介质。[0107]以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的
技术领域：
，均同理包括在本发明的专利保护范围内。当前第1页12