一种印章图像识别的方法和装置与流程

本发明涉及图像处理，更具体地，涉及一种印章图像识别的方法和装置。

背景技术：

1、在企业日常运营和法律事务中，印章是确认文档法律效力和身份认证的关键视觉元素，上述印章包括公章、合同章、财务专用章等，对印章进行识别是文件自动化处理的重要环节，但是由于印章的排版复杂、形状多样、背景干扰复杂以及存在模糊、缺损、重叠、倾斜等问题，导致在文档中进行印章识别较为困难。

2、现有技术中，采用端到端视觉多模态大模型和人工审核的方式，上述端到端视觉多模态大模型在处理非结构化、高度旋转甚至扭曲变形的印章文字时，准确率较低，而人工审核方式效率低、成本高且易出错。

3、综上所述，如何提高印章图像中文本识别的准确性，是目前需要解决的问题。

技术实现思路

1、有鉴于此，本发明实施例提供了一种印章图像识别的方法和装置，可以提高印章图像中文本识别的准确性。

2、第一方面，本发明实施例提供了一种印章图像识别的方法，所述方法包括：获取待处理图像，其中，所述待处理图像中包括至少一个印章；将所述待处理图像输入到定位模型，确定每个所述印章的所在区域；将每个所述印章的所在区域输入到文本识别模型，输出文本信息，其中，所述文本识别模型具备局部注意力机制；将所述文本信息输入到检索增强生成大语言模型进行语义修复，输出目标印章文本。

3、可选的，所述定位模型的生成过程包括：获取多个训练印章数据，其中，所述训练印章数据包括印章图像数据和对应的json数据；根据所述多个训练印章数据对基础定位模型进行训练，生成微调后的所述定位模型。

4、可选的，所述文本识别模型的生成过程包括：获取多个训练印章数据，其中，所述训练印章数据包括印章图像数据和对应的json数据；根据所述多个训练印章数据对基础文本识别模型进行训练，生成微调后的所述文本识别模型。

5、可选的，所述训练印章数据的生成过程包括：获取印章文本信息，其中，所述印章文本信息为印章中的文字内容；通过印章数据合成引擎生成多张基础印章图像，其中，多张所述基础印章图像中包括多种形状的印章；在每张所述基础印章图像中叠加至少一种干扰，生成印章图像数据；根据所述印章图像数据生成对应的json数据，其中，所述json数据中包括所述文字内容、所述文字内容中每个字的中心坐标、目录、框位置以及旋转角度；将所述印章图像数据和对应的json数据确定为所述训练印章数据。

6、可选的，所述文本识别模型为基于 transformer 的光学字符识别模型。

7、可选的，所述基于 transformer 的光学字符识别模型包括编码器、掩码预测头和解码器，其中，所述掩码预测头包括层归一化和线性层。

8、可选的，所述方法还包括：根据总损失对所述基于 transformer 的光学字符识别模型进行参数更新，其中，所述总损失包括交叉熵损失和掩码计算误差损失。

9、第二方面，本发明实施例提供了一种印章图像识别的装置，所述装置包括：获取单元，用于获取待处理图像，其中，所述待处理图像中包括至少一个印章；确定单元，用于将所述待处理图像输入到定位模型，确定每个所述印章的所在区域；所述确定单元，用于将每个所述印章的所在区域输入到文本识别模型，输出文本信息，其中，所述文本识别模型包括局部注意力机制；生成单元，用于将所述文本信息输入到检索增强生成大语言模型进行语义修复，输出目标印章文本。

10、可选的，所述定位模型的生成过程中，所述获取单元还用于，获取多个训练印章数据，其中，所述训练印章数据包括印章图像数据和对应的json数据；所述装置还包括：训练单元，用于根据所述多个训练印章数据对基础定位模型进行训练，生成微调后的所述定位模型。

11、可选的，所述文本识别模型的生成过程中，所述获取单元还用于，获取多个训练印章数据，其中，所述训练印章数据包括印章图像数据和对应的json数据；所述装置还包括：训练单元，用于根据所述多个训练印章数据对基础文本识别模型进行训练，生成微调后的所述文本识别模型。

12、可选的，所述训练印章数据的生成过程中，所述获取单元还用于：获取印章文本信息，其中，所述印章文本信息为印章中的文字内容；所述生成单元还用于：通过印章数据合成引擎生成多张基础印章图像，其中，多张所述基础印章图像中包括多种形状的印章；所述生成单元还用于：在每张所述基础印章图像中叠加至少一种干扰，生成印章图像数据；所述生成单元还用于：根据所述印章图像数据生成对应的json数据，其中，所述json数据中包括所述文字内容、所述文字内容中每个字的中心坐标、目录、框位置以及旋转角度；所述生成单元还用于：将所述印章图像数据和对应的json数据确定为所述训练印章数据。

13、可选的，所述文本识别模型为基于 transformer 的光学字符识别模型。

14、可选的，所述基于 transformer 的光学字符识别模型包括编码器、掩码预测头和解码器，其中，所述掩码预测头包括层归一化和线性层。

15、可选的，所述装置还包括：更新单元，用于根据总损失对所述基于 transformer的光学字符识别模型进行参数更新，其中，所述总损失包括交叉熵损失和掩码计算误差损失。

16、第三方面，本发明实施例提供了一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面或第一方面任一种可能中任一项所述的方法。

17、第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如第一方面或第一方面任一种可能中任一项所述的方法。

18、本发明实施例中，通过获取待处理图像，其中，所述待处理图像中包括至少一个印章；将所述待处理图像输入到定位模型，确定每个所述印章的所在区域；将每个所述印章的所在区域输入到文本识别模型，输出文本信息，其中，所述文本识别模型具备局部注意力机制；将所述文本信息输入到检索增强生成大语言模型进行语义修复，输出目标印章文本。通过上述方法，通过定位模型和文本识别模型确定出印章中文本，然后通过检索增强大语言模型对上述印章中的文本进行修复，生成较为准确的目标印章文本，提高了对不同情况下印章中文本识别的准确性。

1.一种印章图像识别的方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述定位模型的生成过程包括：

3.根据权利要求1所述的方法，其特征在于，所述文本识别模型的生成过程包括：

4.根据权利要求2或3所述的方法，其特征在于，所述训练印章数据的生成过程包括：

5.根据权利要求1所述的方法，其特征在于，所述文本识别模型为基于transformer的光学字符识别模型。

6.根据权利要求5所述的方法，其特征在于，所述基于transformer的光学字符识别模型包括编码器、掩码预测头和解码器，其中，所述掩码预测头包括层归一化和线性层。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

8.一种印章图像识别的装置，其特征在于，所述装置包括：

9.一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。