一种基于旋转目标检测的印章识别方法、设备及介质与流程

1.本发明涉及图文识别技术领域，具体涉及一种基于旋转目标检测的印章识别方法、设备及介质。


背景技术：

2.随着社会经济的发展，印章作为企事业单位、社会团体、政府部门乃至国家的一种具有法律意义的标志和证据，在现代社会生活中发挥着重要作用。随着现代商务活动的不断发展，企业在业务开展的过程中通常会涉及大量的合同签署归档工作，以往会采取人工审核合同照片的方式来判断合同签署的双方是否都加盖了公章，但是这样做人工审核时间成本高、人力成本高，因此，基于深度学习的印章识别算法可自动提取出印章文本，从而实现计算机替代人工审核比对，解决合同管理工作中人工审核时间成本高、人力成本高的难题，降低财税及商务合同签订过程的业务风险，使商务连接更加高效和便捷。
3.目前印章识别的方案主要有基于曲线文本检测并矫正曲线文本图像送入文本识别模型的级联方案、基于abcnet的端到端文本识别方案及基于transformer的印章序列预测方案三种方案。但以上三种方案都需要大量的实际数据训练模型，数据成本和标注成本都极大。


技术实现要素：

4.为解决上述问题，本发明提供的技术方案为：
5.一种基于旋转目标检测的印章识别方法，包括：
6.获取包括印章的目标图像；
7.将所述目标图像输入至centernet目标印章检测模型，提取所述目标图像上的目标印章；
8.将所述目标印章输入至centernet印章文字检测模型，提取所述目标印章上的目标文字，并分别对所述目标文字进行调整得到文本行；
9.将所述文本行输入至文本识别模型进行文字识别，输出印章识别结果。
10.本发明进一步设置为所述目标印章输入至centernet印章文字检测模型后，centernet印章文字检测模型输出所有所述目标文字的中心点、尺寸及参照点，根据所述目标文字的中心点和所述目标文字的参照点确定各个所述目标文字的矫正旋转角度。
11.本发明进一步设置为所述参照点为目标文字的顶部中心点，遍历所有所述目标文字的所述中心点和所述顶部中心点，两点距离最小的所述中心点和所述顶部中心点为同一个文字的所述中心点和所述顶部中心点。
12.本发明进一步设置为根据所述目标文字的所述中心点、所述矫正旋转角度和所述尺寸确定所述目标文字所在矩形框的四个顶点，四个所述顶点中距离所述顶部中心点最近的两个顶点为上顶点，根据所述矫正旋转角度确定所述上顶点为左上顶点和右上顶点，根据所述左上顶点和所述右上顶点确定左下顶点和右下顶点。
13.本发明进一步设置为根据所述目标文字的所述左上顶点、所述右上顶点、所述左下顶点和所述右下顶点，对所述目标文字作透视变换，并单个裁剪完成透视变换后的所述目标文字，裁剪完后的所述目标文字以对应的所述矫正旋转角度作旋转矫正。
14.本发明进一步设置为按所述目标文字的所述矫正旋转角度的大小顺序，对所有完成旋转矫正的所述目标文字进行排列，得到所述目标印章上的文本行。
15.本发明进一步设置为所述目标文字的尺寸为所述目标文字的高和宽。
16.本发明进一步设置为所述文本识别模型为crnn文字识别模型。
17.一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述的基于旋转目标检测的印章识别方法。
18.一种存储介质，所述存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述的基于旋转目标检测的印章识别方法。
19.采用本发明提供的技术方案，与现有技术相比，具有如下有益效果：
20.本发明技术方案首先是基于centernet目标印章检测模型，从文档中检测出印章的位置，获得印章的坐标，并裁剪出目标印章的图片；将目标印章的图片输入到centernet印章文字检测模型，提取目标印章的图片上每个文字的尺寸、中心点位置和参照点位置，通过每个文字的中心点位置和参照点位置确定文字所需的矫正旋转角度，对所有文字进行透视变换、裁剪及旋转矫正，根据文字矫正旋转角度的大小顺序，对所有完成旋转矫正的所述目标文字进行排列，得到所述目标印章上的文本行；最后将文本行输入到文本识别模型进行文字识别，得到印章识别结果。
21.上述本发明所提出的基于旋转目标检测的印章识别方法将印章上的每一个文字作为一个具有旋转角度的目标，基于旋转目标检测算法，可以检测到印章图片中所有文字的位置，大小和矫正旋转角度，根据文字的矫正旋转角度进行矫正和排序，从而拼接成文本行进行文本识别。本发明基于旋转目标检测的印章识别方法基于少量数据就可得到鲁棒性和泛化性都很好的检测模型，极大降低了数据成本。
附图说明
22.图1为本发明实施例总流程图。
23.图2为本发明实施例印章文字检测流程图。
24.图3为本发明实施例目标印章示意图。
25.图4为本发明实施例目标印章进行文字检测示意图。
26.图5为本发明实施例文字检测示意图。
27.图6为本发明实施例文字检测另一示意图。
28.图7为本发明实施例电子设备结构示意图。
具体实施方式
29.为进一步了解本发明的内容，结合附图及实施例对本发明作详细描述。
30.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
31.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，一体地连接，也可以是可拆卸连接；可以是机械连接或电连接，也可以是两个元件内部的连通；可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
32.实施例1
33.结合附图1至附图6，本发明技术方案是一种基于旋转目标检测的印章识别方法，包括：
34.获取包括印章的目标图像；
35.将所述目标图像输入至centernet目标印章检测模型，提取所述目标图像上的目标印章；
36.将所述目标印章输入至centernet印章文字检测模型，提取所述目标印章上的目标文字，并分别对所述目标文字进行调整得到文本行；
37.将所述文本行输入至文本识别模型进行文字识别，输出印章识别结果。
38.在本实施例中，所述目标印章输入至centernet印章文字检测模型后，centernet印章文字检测模型输出所有所述目标文字的中心点、尺寸及参照点，根据所述目标文字的中心点和所述目标文字的参照点确定各个所述目标文字的矫正旋转角度。
39.在上述实施例中，所述参照点可以是所述目标文字的尺寸边界上的任意一点，例如目标文字的顶部中心点、底部中心点等等，只要保证根据目标文字的参照点和中心点能判断矫正旋转角度即可，以下实施例中参照点就以目标文字的顶部中心点进行说明。
40.在上述实施例中，在目标印章上定义矫正参照直线，将每个目标文字的中心点和顶部中心点所在的线段与矫正参照直线相交，两直线的夹角为上述的矫正旋转角度；所述矫正旋转角度有正负之分，即目标文字有可能作顺时针矫正旋转，也有可能作逆时针矫正旋转。
41.在本实施例中，所述参照点为目标文字的顶部中心点，遍历所有所述目标文字的所述中心点和所述顶部中心点，两点距离最小的所述中心点和所述顶部中心点为同一个文字的所述中心点和所述顶部中心点。
42.在上述实施例中，如图5所示，矫正参照直线为m，矫正参照直线优选为印章图像所在平面中的y轴，目标文字的中心点为o，目标文字的顶部中心点为p，目标文字所在矩形框的四个顶点为a、b、c、d，遍历所有目标文字的中心点o和顶部中心点p，op距离最小的中心点o和顶部中心点p为同一个文字的中心点和顶部中心点。
43.在本实施例中，根据所述目标文字的所述中心点、所述矫正旋转角度和所述尺寸确定所述目标文字所在矩形框的四个顶点，四个所述顶点中距离所述顶部中心点最近的两个顶点为上顶点，根据所述矫正旋转角度确定所述上顶点为左上顶点和右上顶点，根据所述左上顶点和所述右上顶点确定左下顶点和右下顶点。
44.在上述实施例中，如图6所示，矫正参照直线为m，目标文字的中心点为o，目标文字的顶部中心点为p，目标文字所在矩形框的四个顶点为a、b、c、d；其中顶点a和顶点b为距离顶部中心点p最近的顶点，即顶点a和顶点b为上顶点；以线段op为基准轴，定义顺时针方向为正角、逆时针方向为负角，∠pob为正角，∠poa为负角，即可以确定顶点a为左上顶点，顶
点b为右上顶点，然后根据顶点a和顶点b分别到顶点c和顶点d的距离，判断顶点c为右下顶点，顶点d为左下顶点。
45.在本实施例中，根据所述目标文字的所述左上顶点、所述右上顶点、所述左下顶点和所述右下顶点，对所述目标文字作透视变换，并单个裁剪完成透视变换后的所述目标文字，裁剪完后的所述目标文字以对应的所述矫正旋转角度作旋转矫正。
46.在上述实施例中，通过已知目标文字的左上顶点、右上顶点、左下顶点和右下顶点及透视中心对目标文字进行透视变换，得到扭转后的目标文字。
47.在本实施例中，按所述目标文字的所述矫正旋转角度的大小顺序，对所有完成旋转矫正的所述目标文字进行排列，得到所述目标印章上的文本行。
48.在上述实施例中，参见附图5，以矫正参照直线m为基准轴，定义顺时针方向为正角、逆时针方向为负角，目标文字的中心点和顶部中心点的线段op与矫正参照直线m之间的夹角为∠θ，∠θ即为矫正旋转角度，∠θ有正负值。
49.在上述实施例中，矫正旋转角度为矢量，所以选取矫正旋转角度最大和最小的文字，以矫正旋转角度最大的文字和矫正旋转角度最小的文字为排序基础，分别从两个方向上寻找与前一个文字角度差值最小的文字，以此类推，按顺序对所有文字进行排序，从而获得文本行。
50.在上述实施例中，矫正旋转角度为矢量，将矫正旋转角度转化为向对应数值进行大小的比较，此时正负值不再表示为方向，而表示为正数和负数，同理，选择矫正旋转角度对应数值最大或最小的文字作为排序基础，寻找与前一个文字角度差值最小的文字，以此类推，按顺序对所有文字进行排序，从而获得文本行。
51.在本实施例中，所述目标文字的尺寸为所述目标文字的高和宽。
52.在本实施例中，所述文本识别模型为crnn文字识别模型。
53.在以下内容中，进一步说明centernet目标印章检测模型和centernet印章文字检测模型的预先训练方式。
54.其中，centernet目标印章检测模型：设计模型结构，建立包含印章的文档训练数据集，预测文档中印章的中心点，基于印章的中心点预测印章的高和宽，从而提取文档中的目标印章。
55.centernet印章文字检测模型：模型结构不同于centernet目标印章检测模型的是在模型结构中新增文字顶部中心点的预测分支，建立包含文字的印章图像训练数据集，预测印章图像中文字的中心点和顶部中心点，基于文字的中心点预测文字的高和宽，输出印章上每一个文字的中心点、顶部中心点及高和宽。具体在训练过程中对样本进行标注，从文字的左上角开始，按顺时针方向标注文字的四个顶点，求得左上顶点和右上顶点两点连线的中点，而基于opencv求得每个文字的中心点及高和宽，将文字的中心点、顶部中心点及高和宽作为模型的训练标签。
56.本实施例基于旋转目标检测的印章识别方法首先是基于centernet目标印章检测模型，从文档中检测出印章的位置，获得印章的坐标，并裁剪出目标印章的图片；将目标印章的图片输入到centernet印章文字检测模型，提取目标印章的图片上每个文字的尺寸、中心点位置和参照点位置，通过每个文字的中心点位置和参照点位置确定文字所需的矫正旋转角度，对所有文字进行透视变换、裁剪及旋转矫正，根据文字矫正旋转角度的大小顺序，
对所有完成旋转矫正的所述目标文字进行排列，得到所述目标印章上的文本行；最后将文本行输入到文本识别模型进行文字识别，得到印章识别结果。本发明基于旋转目标检测的印章识别方法基于少量数据就可得到鲁棒性和泛化性都很好的检测模型，极大降低了数据成本。
57.实施例2
58.结合附图7，本发明技术方案是一种电子设备，所述电子设备包括存储器200和处理器100，所述存储器200存储有计算机程序，所述计算机程序被所述处理器100执行时，使得所述处理器100执行实施例1所述的基于旋转目标检测的印章识别方法。
59.实施例3
60.一种存储介质，其特征在于，所述存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现实施例1所述的基于旋转目标检测的印章识别方法。
61.以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。