一种票据图像识别方法、装置及电子设备与流程

技术特征：
1.一种票据图像识别方法，其特征在于，包括：对待识别票据图像进行文字识别，得到所述待识别票据图像包含的各文字，以及每个所述文字的位置信息；将所述待识别票据图像输入预先训练完成的深度神经网络模型，得到所述待识别票据图像包含的每个像素点的预测方位信息，其中，所述待识别票据图像中一个像素点所属的文字，与该像素点的所述预测方位信息所表示位置的像素点所属的文字属于同一字段，所述深度神经网络模型为基于票据图像样本、以及所述票据图像样本中文字样本的位置信息预先训练完成的；基于每个所述像素点的预测方位信息，以及每个所述文字的位置信息，对所述待识别票据图像中各文字进行位置匹配，得到所述待识别票据图像中包含的各字段；基于预设的匹配策略，从所述各字段中，确定出与预设的类型字段对应的信息字段，其中，所述类型字段表示与其对应字段所属的信息类型，所述信息字段表示票据信息。2.根据权利要求1所述的方法，其特征在于，所述基于每个所述像素点的预测方位信息，以及每个所述文字的位置信息，对所述待识别票据图像中各文字进行位置匹配，得到所述待识别票据图像中包含的各字段，包括：基于每个所述像素点的预测方位信息，以及每个所述文字的位置信息，确定每个所述文字的预测方位信息，所述文字的位置信息为文字区域的对角坐标，所述文字区域为矩形区域；基于每个所述文字的预测方位信息，以及每个所述文字的位置信息，对所述待识别票据图像中各文字进行位置匹配，得到所述待识别票据图像中包含的各字段。3.根据权利要求2所述的方法，其特征在于，所述基于每个所述像素点的预测方位信息，以及每个所述文字的位置信息，确定每个所述文字的预测方位信息，包括：针对每个所述文字，基于该文字的位置信息，确定该文字的文字区域所包含的像素点；计算该文字的文字区域所包含的像素点的所述预测方位信息的平均值，作为该文字的预测方位信息。4.根据权利要求2或3所述的方法，其特征在于，所述预测方位信息为预测角度和预测距离；所述基于每个所述文字的预测方位信息，以及每个所述文字的位置信息，对所述待识别票据图像中各文字进行位置匹配，得到所述待识别票据图像中包含的各字段，包括：针对每个所述文字，基于该文字的位置信息，确定该文字的文字区域的中心点；以该文字的中心点为基准点，按照该文字的预测角度和预测距离，在所述待识别票据图像中确定像素点，作为该文字的中心点的匹配点；基于每个所述文字的位置信息，当一个文字的中心点的匹配点位于另一个文字的文字区域内时，确定该两个文字属于同一字段，得到所述待识别票据图像中包含的各字段。5.根据权利要求1-3任一项所述的方法，其特征在于，所述基于预设的匹配策略，从所述各字段中，确定出与预设的类型字段对应的信息字段，包括：获取类型字段表，其中，所述类型字段表中记录有预设的各类型字段；确定所述各字段中未记录在所述类型字段表中的字段，作为预分类字段；将每个预分类字段输入预先建立的文本分类模型，得到每个所述预分类字段的分类结
果，一个所述预分类字段的所述分类结果包括：类型概率和删除概率，所述类型概率为该预分类字段为信息字段，且对应的字段类型为所述各类型字段中每种类型字段的概率，所述删除概率为该预分类字段属于待删除的类型字段的概率，所述待删除的类型字段为除预设的类型字段对应的信息字段之外的字段，其中，所述文本分类模型为基于字段样本，以及所述字段样本的类别标识预先训练完成的；根据每个所述预分类字段的分类结果，从各预分类字段中，确定出与预设的类型字段对应的信息字段。6.根据权利要求5所述的方法，其特征在于，所述根据每个所述预分类字段的分类结果，从各预分类字段中，确定出与预设的类型字段对应的信息字段，包括：从各预分类字段中，确定出所述删除概率小于预设概率阈值的预分类字段，作为信息字段；基于确定出的每个信息字段为所述各类型字段中每种类型字段的类型概率，确定每个所述信息字段对应的类型字段。7.根据权利要求6所述的方法，其特征在于，所述基于确定出的每个信息字段为所述各类型字段中每种类型字段的类型概率，确定每个所述信息字段对应的类型字段，包括：按照确定出的每个信息字段为所述各类型字段中每种类型字段的类型概率的大小，从所述各类型字段中，确定出前预设数量个类型字段，作为与每个所述信息字段对应的预选类型字段，所述预先类字段包括实际类型字段和虚拟类型字段，所述实际类型字段为所述各字段中包含的字段，所述虚拟类型字段为所述各字段中未包含的字段；基于每个所述文字的位置信息，确定每个所述信息字段的位置信息，以及每个所述信息字段对应的每个实际类型字段的位置信息；基于每个所述信息字段的位置信息和所述每个信息字段对应每个所述实际类型字段的位置信息，确定每个所述信息字段与对应的每个所述实际类型信息之间连线的角度，作为每个所述信息字段与对应的每个所述实际类型信息对应的角度信息；聚类分析每个所述信息字段与对应的每个所述实际类型信息对应的角度信息，确定出角度占比最多的角度区间；当每个所述信息字段与对应的每个所述实际类型字段之间连线的角度，存在位于所述角度区间的角度时，确定位于所述角度区间的角度对应的实际类型字段，作为与每个所述信息字段对应的类型字段；当每个所述信息字段与对应的每个所述实际类型字段之间连线的角度，不存在位于所述角度区间的角度时，在每个所述信息字段对应的虚拟类型字段中，确定出概率最大的虚拟类型字段，作为与每个所述信息字段对应的类型字段。8.根据权利要求1所述的方法，其特征在于，所述深度神经网络模型的训练步骤包括：针对每个所述文字样本，基于该文字样本的位置信息，确定该文字样本的中心点；基于该文字样本的中心点，以及该文字样本对应的参考文字样本的中心点，确定该文字样本的中心点对应的方位信息，作为该文字样本所在文本区域内每个像素点的方位信息，其中，每个所述文字样本对应的参考文字样本为与每个所述文字样本属于同一字段的文字样本，所述方位信息表示每个所述文字样本的中心点与对应的参考文字样本的中心点之间连线的角度和距离；
基于所述票据图像样本、以及每个所述文字样本所在文本区域内每个像素点的方位信息，对所述深度神经网络模型进行训练。9.根据权利要求8所述的方法，其特征在于，所述基于所述票据图像样本、以及每个所述文字样本所在文本区域内每个像素点的方位信息，对所述深度神经网络模型进行训练，包括：将所述票据图像样本输入所述深度神经网络模型，得到所述票据图像样本包含的每个像素点的预测方位信息；基于所述票据图像样本包含的每个像素点的预测方位信息，确定每个所述文字样本所在文本区域内每个像素点的预测方位信息；基于每个所述文字样本所在文本区域内每个像素点的方位信息和预测方位信息，计算所述深度神经网络模型的损失函数值；根据所述损失函数值，判断所述深度神经网络模型是否收敛，当所述深度神经网络模型未收敛时，根据所述损失函数值调整所述深度神经网络模型参数，并进行下一次训练，当所述深度神经网络模型收敛时，得到训练完成的所述深度神经网络模型。10.一种票据图像识别装置，其特征在于，包括：图像识别模块，用于对待识别票据图像进行文字识别，得到所述待识别票据图像包含的各文字，以及每个所述文字的位置信息；图像输入模块，用于将所述待识别票据图像输入预先训练完成的深度神经网络模型，得到所述待识别票据图像包含的每个像素点的预测方位信息，其中，所述待识别票据图像中一个像素点所属的文字，与该像素点的所述预测方位信息所表示位置的像素点所属的文字属于同一字段，所述深度神经网络模型为基于票据图像样本、以及所述票据图像样本中文字样本的位置信息预先训练完成的；文字匹配模块，用于基于每个所述像素点的预测方位信息，以及每个所述文字的位置信息，对所述待识别票据图像中各文字进行位置匹配，得到所述待识别票据图像中包含的各字段；信息字段确定模块，用于基于预设的匹配策略，从所述各字段中，确定出与预设的类型字段对应的信息字段，其中，所述类型字段表示与其对应字段所属的信息类型，所述信息字段表示票据信息。11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现权利要求1-9任一所述的方法步骤。

技术总结
本发明实施例提供了一种票据图像识别方法、装置及电子设备，包括：根据识别得到的各文字和文字的位置信息，以及像素点的预测方位信息，对待识别票据图像中各文字进行位置匹配，得到待识别票据图像中包含的各字段，以及基于预设的匹配策略，从各字段中，确定出与预设的类型字段对应的信息字段，由于票据图像中弯曲、褶皱对单个文字的识别不会产生影响，因此以每个文字为识别基础，可以保证每个文字识别的准确性，并通过预先训练完成的深度神经网络模型，确定出票据图像中包含的各字段，从而避免了弯曲、褶皱对字段识别的影响，进而可以提高票据图像中票据信息录入的准确性。高票据图像中票据信息录入的准确性。高票据图像中票据信息录入的准确性。


技术研发人员：乔梁
受保护的技术使用者：上海高德威智能交通系统有限公司
技术研发日：2020.04.24
技术公布日：2021/10/26