图像扫描识别方法、装置及电子设备

技术特征：
1.一种图像扫描识别方法，其特征在于，包括：采集扫描笔扫描的当前帧局部图片，并获取所述当前帧局部图片的掩码区域；根据所述当前帧局部图片的掩码区域，对下一帧局部图片进行图像块匹配后拼接，得到所述下一帧局部图片对应的拼接图片，并更新匹配所述下一帧局部图片的掩码区域；在所述拼接图片满足预设检测条件的情况下，对所述拼接图片进行文本检测，在所述拼接图片的文本检测结果满足预设识别条件的情况下，对所述拼接图片进行文本识别；将所述下一帧局部图片作为新的当前帧局部图片，继续执行图像块匹配、图片拼接、掩码区域更新、文本检测和文本识别的步骤，直到所述扫描笔停止扫描；根据每次迭代过程中得到的拼接图片的文本识别结果，获取所述扫描笔的图像扫描的识别结果。2.根据权利要求1所述的图像扫描识别方法，其特征在于，所述获取所述当前帧局部图片的掩码区域，包括：在所述当前帧为起始帧的情况下，对所述当前帧局部图片进行文本检测；在所述当前帧局部图片的文本检测结果中包含文本检测框的情况下，根据所述当前帧局部图片的文本检测框，获取所述当前帧局部图片的掩码区域；在所述当前帧为中间帧的情况下，根据所述当前帧局部图片与上一帧局部图片的匹配区域，获取所述当前帧局部图片的掩码区域。3.根据权利要求1所述的图像扫描识别方法，其特征在于，所述在所述当前帧为中间帧的情况下，根据所述当前帧局部图片与上一帧局部图片的匹配区域，获取所述当前帧局部图片的掩码区域，包括：在所述当前帧为中间帧，且所述上一帧局部图片中存在掩码区域的情况下，确定目标图像块的位置是否位于所述当前帧局部图片的右边界；其中，所述目标图像块为所述当前帧局部图片中与上一帧局部图片的掩码区域最匹配的图像块；在所述目标图像块的位置位于所述当前帧局部图片的右边界的情况下，将所述上一帧局部图片的掩码区域，作为所述当前帧局部图片的掩码区域；在所述目标图像块的位置不位于所述当前帧局部图片的右边界的情况下，对所述上一帧局部图片的掩码区域进行更新，将更新后的掩码区域作为所述当前帧局部图片的掩码区域。4.根据权利要求1-3任一所述的图像扫描识别方法，其特征在于，所述根据所述当前帧局部图片的掩码区域，对下一帧局部图片进行图像块匹配后拼接，得到所述下一帧局部图片对应的拼接图片，包括：根据所述当前帧局部图片的掩码区域，对所述下一帧局部图片进行图像块匹配，并获取所述下一帧局部图片中与所述当前帧局部图片的掩码区域最匹配的图像块；在所述下一帧局部图片中最匹配的图像块位于所述下一帧局部图片的右边界的情况下，不进行图片拼接；在所述下一帧局部图片中最匹配的图像块不位于所述下一帧局部图片的右边界的情况下，根据所述最匹配的图像块，获取所述下一帧局部图片中的待拼接区域；将所述待拼接区域与所述当前帧局部图片对应的拼接图片进行拼接，得到所述下一帧局部图片对应的拼接图片。
5.根据权利要求1-3任一所述的图像扫描识别方法，其特征在于，所述对所述拼接图片进行文本检测，包括：将所述拼接图片输入文本检测模型中，得到所述拼接图片的文本检测结果；其中，所述文本检测模型基于样本图片和所述样本图片的文本检测结果训练获取；所述文本检测模型基于轻量级神经网络构建生成，包括主干网络和头网络；所述主干网络，用于对所述拼接图片进行不同尺度的特征提取，得到所述拼接图片的多个不同尺度的第一特征图；所述头网络，用于对所述多个不同尺度的第一特征图进行融合和学习，得到所述拼接图片的文本检测结果。6.根据权利要求5所述的图像扫描识别方法，其特征在于，所述文本检测模型基于如下步骤进行训练获取：基于所述样本图片和样本图片的文本检测结果对所述文本检测模型进行迭代训练，并在训练过程中基于模型剪枝算法或模型压缩算法对所述文本检测模型进行剪枝，直到满足预设终止训练条件；其中，所述文本检测模型在训练过程中所采用的学习率包括余弦学习率机制或预热学习率机制。7.根据权利要求1-3任一所述的图像扫描识别方法，其特征在于，所述对所述拼接图片进行文本识别，包括：将所述拼接图片输入文本识别模型中，得到所述拼接图片的文本识别结果；其中，所述文本识别模型基于样本图片和所述样本图片的文本识别结果进行训练获取；所述文本识别模型基于卷积神经网络、循环神经网络和分类网络构建生成；所述卷积神经网络，用于对所述拼接图片进行特征提取，得到所述拼接图片的第二特征图；所述循环神经网络，用于对所述第二特征图进行学习，得到所述拼接图片的类别概率分布；所述分类网络，用于对所述类别概率分布进行转换，得到所述拼接图片的文本识别结果。8.根据权利要求1-3任一所述的图像扫描识别方法，其特征在于，所述根据每次迭代过程中得到的拼接图片的文本识别结果，获取所述扫描笔的图像扫描的识别结果，包括：对每次迭代过程中得到的拼接图片的文本识别结果进行校验；根据检验结果，获取所述扫描笔的图像扫描的最终识别结果。9.一种图像扫描识别装置，其特征在于，包括：获取模块，用于采集扫描笔扫描的当前帧局部图片，并获取所述当前帧局部图片的掩码区域；拼接模块，用于根据所述当前帧局部图片的掩码区域，对下一帧局部图片进行图像块匹配后拼接，得到所述下一帧局部图片对应的拼接图片，并更新匹配所述下一帧局部图片的掩码区域；检测识别模块，用于在所述拼接图片满足预设检测条件的情况下，对所述拼接图片进
行文本检测，在所述拼接图片的文本检测结果满足预设识别条件的情况下，对所述拼接图片进行文本识别；迭代模块，用于将所述下一帧局部图片作为新的当前帧局部图片，继续执行图像块匹配、图片拼接、掩码区域更新、文本检测和文本识别的步骤，直到所述扫描笔停止扫描；输出模块，用于根据每次迭代过程中得到的拼接图片的文本识别结果，获取所述扫描笔的图像扫描的识别结果。10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述图像扫描识别方法。

技术总结
本发明提供一种图像扫描识别方法、装置及电子设备，该方法包括：对于当前次迭代，根据掩码区域，与下一帧局部图片进行图像块匹配后进行图像拼接同时更新下次迭代需要的掩码区域；最初掩码区域是基于对初始帧局部图片进行文本检测的结果获取的；对于拼接后的整体图片，若满足预设条件，则进行文本检测，并在文本检测结果满足预设识别条件的情况下，对拼接图片进行文本识别；继续执行下一次迭代，直到扫描笔停止扫描；根据每次迭代过程中得到的拼接图片的文本识别结果，获取扫描笔的图像扫描结果。本发明实现在计算资源和存储资源受限的低配置设备上达到良好实时性的同时，提高了图像拼接和识别的效率和精度。拼接和识别的效率和精度。拼接和识别的效率和精度。


技术研发人员：王金桥 葛国敬 朱贵波
受保护的技术使用者：中国科学院自动化研究所
技术研发日：2022.04.06
技术公布日：2022/5/5