一种合同文本图像印章检测和去除方法与流程

1.本发明涉及ocr文字识别技术领域，尤其涉及一种合同文本图像印章检测和去除方法。


背景技术：

2.ocr(optical character recognition)文字识别是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符，然后用字符识别方法将形状翻译成计算机文字的过程；即对文本资料进行扫描，然后对图像文件进行分析处理，获取文字及版面信息的过程。在业务流程中用户上传的合同类文本图片中包含印章(矩形印章、圆形印章、圆弧形印章以及部分印章)会影响ocr文本识别结果，ocr会识别出印章中文字信息，影响后期文本关键信息提取。现有的技术一般使用颜色模型基于颜色rgb通道分离整张图片中印章的方法。但是由于合同类文本图像中印章的大小、形状、印章的具体位置分布以及盖章时所受用力、印泥质量、光照等因素都会各不相同，导致对整张图片进行颜色rgb通道分离印章的方法会出现阈值很难控制。而且图片清晰度高低直接影响识别效果，基于颜色rgb通道分离印章的方法可能会造成非印章区域中文本信息丢失。
3.因此，现有技术存在缺陷，需要改进。


技术实现要素：

4.本发明的目的是克服现有技术的不足，提供一种合同文本图像印章检测和去除方法。
5.本发明的技术方案如下：提供一种合同文本图像印章检测和去除方法，包括如下步骤：
6.步骤1：对读入的合同类文本图像进行预处理；
7.步骤2：基于darknet53骨干网络yolov3检测网络进行深度学习网络检测并定位不同形状印章区域；
8.步骤3：在hsv颜色空间提取特征并去除印章特征；
9.步骤4：输出图像，完成印章去除。
10.进一步地，所述步骤1的具体步骤如下：
11.步骤1.1：对读入的图片进行预判，利用傅里叶变换对读入的图片进行分类，将图片分为正常图片或噪声图片；
12.步骤1.2：若经过步骤1.1判别为正常图片，直接结束图片处理流程；
13.步骤1.3：若经过步骤1.1判别为噪声图片，则利用小波变换对图片进行降噪。
14.进一步地，所述步骤2的具体步骤如下：
15.步骤2.1：基于darknet53骨干网络yolov3检测网络，对印章进行检测分类，检测类别分为矩形印章、圆形印章、圆弧形印章以及部分印章4个类别；
16.步骤2.2：输入特征图，将输入的特征图与输出特征图对应维度进行相加；
17.步骤2.3：通过darknet53网络进行3个不同尺度的检测；
18.步骤2.4：在3个不同尺度下设定3种先验框，使用kmeans聚类方法来决定9种尺寸的先验框；
19.步骤2.5：通过logistic回归预测对象类别；
20.步骤2.6：在yolov3检测网络计算损失函数；
21.步骤2.7：检测并定位不同形状印章区域。
22.进一步地，所述步骤3的具体步骤如下：
23.步骤3.1：读取合同类文本图片，通过深度学习网络检测印章位置并裁切该部分图片；
24.步骤3.2：将裁切印章部分的rgb图片转化到hsv颜色空间进行颜色分离；
25.步骤3.3：计算hsv颜色空间中三通道图片的统计直方图，确定最佳阈值；
26.步骤3.4：设定提取印章特征hsv三个通道阈值，从hsv颜色空间中提取印章特征；
27.步骤3.5：统计该部分印章特征hsv三通道的均值，设定提取文本体征hsv三个通道动态阈值，从hsv颜色空间中提取图片文本特征；
28.步骤3.6：对印章特征区域和文本特征区域进行逻辑运算“与”操作，得到印章特征和文本特征的共同区域；
29.步骤3.7：共同区域减去印章区域得到掩模图片；
30.步骤3.8：利用掩模图片对原图像进行逐像素点掩模操作，得到去除印章后的图片。
31.采用上述方案，本发明通过深度学习网络检测印章和hsv颜色空间去除印章方法，解决印章对ocr文本识别精度影响，利用深度学习可以有效地针对不同形状印章进行检测，对检测加盖印章区域进行hsv颜色空间变换，实现该区域中印章和文字分离，提取该区域文字信息，实现去除印章效果，提高ocr文本识别的精度。
附图说明
32.图1为本发明的流程框图。
具体实施方式
33.以下结合附图和具体实施例，对本发明进行详细说明。
34.请参阅图1，本发明提供一种合同文本图像印章检测和去除方法，包括如下步骤：
35.步骤1：对读入的合同类文本图像进行预处理。
36.用户提供的合同类文本图像存在大量的纹理噪声图片，纹理噪声图片会对后续边缘检测和直线检测产生较强的干扰，因此，需要对读入的图片进行预判，并对纹理噪声图片进行降噪。
37.图片的频率是表征图像中灰度变化剧烈程度的指标，是灰度在平面空间上的梯度。一般来讲，梯度大则该点的亮度强，否则该点亮度弱。这样通过观察傅里叶变换后的频谱图，也叫功率图，以此可知，在图片的能量分布中，如果频谱图中暗的点数更多，因为各点与邻域差异都不大，梯度相对较小，因此实际图像比较柔和；反之，如果频谱图中亮的点数多，那么实际图像一定是尖锐的，边界分明且边界两边像素差异较大。对频谱移频到原点以
后，可以看出图像的频率分布是以原点为圆心，对称分布的。同时，还可以分离出有周期性规律的干扰信号，以此判断出读入的图片是正常图片或噪声图片。
38.具体步骤如下：
39.步骤1.1：对读入的图片进行预判，利用傅里叶变换对读入的图片进行分类，将图片分为正常图片或噪声图片。
40.步骤1.2：若经过步骤1.1判别为正常图片，直接结束图片处理流程。
41.步骤1.3：若经过步骤1.1判别为噪声图片，则利用小波变换对图片进行降噪。
42.步骤2：基于darknet53骨干网络yolov3检测网络进行深度学习网络检测并定位不同形状印章区域。具体步骤如下：
43.步骤2.1：基于darknet53骨干网络yolov3检测网络，对印章进行检测分类，检测类别分为矩形印章、圆形印章、圆弧形印章以及部分印章4个类别。
44.步骤2.2：输入特征图，将输入的特征图与输出特征图对应维度进行相加。darknet53网络大量使用3
×
3与1
×
1卷积层，通过调节卷积步长来控制输出特征图的尺寸。借用残差网络resnet思想，将输入的特征图与输出特征图对应维度进行相加，即y＝f(x) x。
45.步骤2.3：通过darknet53网络进行3个不同尺度的检测。yolov3借鉴了金字塔特征图思想，小尺度特征图用于检测大尺度物体，而大尺度用于检测小尺度物体。总共输出3个特征图，第一个特征图下采样32倍，第二个特征图下采样16倍，第三个下采样8倍。
46.步骤2.4：在3个不同尺度下设定3种先验框，使用kmeans聚类方法来决定9种尺寸的先验框。
47.步骤2.5：通过logistic回归预测对象类别，logistic回归可以支持多类别对象预测。
48.步骤2.6：在yolov3检测网络计算损失函数。
49.在yolov3中，loss分为三个部分：
50.一个是xywh带来的误差，也就是bbox带来的loss；
51.一个是置信度带来的误差，也就是obj带来的loss；
52.最后一个是类别带来的误差，也就是class带来的loss；
53.loss计算公式如下：
[0054][0055][0056][0057]
loss＝loss
box
loss
cls
loss
obj
[0058]
其中：s表示grid size，s2表示14
×
14，28
×
28，4
×
54，b表示box，代表如果在i,j处的box有目标，其值为1，否则为0。表示如果在i,j没有处的box没有目标，其值为1，
否则为0。
[0059]
步骤2.7：检测并定位不同形状印章区域。
[0060]
步骤3：在hsv颜色空间提取特征并去除印章特征。具体步骤如下：
[0061]
步骤3.1：读取合同类文本图片，通过深度学习网络检测印章位置并裁切该部分图片。
[0062]
步骤3.2：将裁切印章部分的rgb图片转化到hsv颜色空间进行颜色分离。
[0063]
步骤3.3：计算hsv颜色空间中三通道图片的统计直方图，确定最佳阈值。
[0064]
步骤3.4：设定提取印章特征hsv三个通道阈值，从hsv颜色空间中提取印章特征。
[0065]
步骤3.5：统计该部分印章特征hsv三通道的均值，设定提取文本体征hsv三个通道动态阈值，从hsv颜色空间中提取图片文本特征。
[0066]
所述hsv三通道的均值可通过如下公式得出：
[0067][0068]
其中：seal
v_mean
为印章特征v通道均值，seal
v_total
为印章特征区域对应的v值总和，seal
v_area
为印章特征包含总像素点数量。
[0069]
text
v_threshold
＝0.88*seal
v_mean-10
[0070]
其中：text
v_threshold
为文本特征提取v通道阈值，seal
v_mean
为印章特征v通道均值。
[0071]
步骤3.6：对印章特征区域和文本特征区域进行逻辑运算“与”操作，得到印章特征和文本特征的共同区域。
[0072]
步骤3.7：共同区域减去印章区域得到掩模图片。
[0073]
步骤3.8：利用掩模图片对原图像进行逐像素点掩模操作，得到去除印章后的图片。
[0074]
步骤4：输出图像，完成印章去除。
[0075]
本发明针对合同类文本图片的预处理，在去除印章的同时，保留图片中完整的文本信息，使得ocr文本识别结果具有更高的准确性和鲁棒性。相对于现有技术在去除印章的过程中可能会把重要文本信息覆盖的情况，本发明基于深度学习印章检测和hsv颜色空间去除合同类文本图像中的印章，大大提高了ocr文本识别的精度。
[0076]
综上所述，本发明通过深度学习网络检测印章和hsv颜色空间去除印章方法，解决印章对ocr文本识别精度影响，利用深度学习可以有效地针对不同形状印章进行检测，对检测加盖印章区域进行hsv颜色空间变换，实现该区域中印章和文字分离，提取该区域文字信息，实现去除印章效果，提高ocr文本识别的精度。
[0077]
以上仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。