一种基于卷积自适应去噪的手写字体去除方法与流程

1.本发明属于计算机图像处理技术领域，尤其涉及一种基于自适应去噪的手印分离方法，用于解决手写字体的去除问题。


背景技术：

2.随着智能技术的推广，各类文本识别产品应运而生，伴随的图像处理问题也层出不穷。在图像处理技术领域，有关图像的去噪存在较多的处理方法，但结合实际产品需求，仍存在诸多问题，当前已有的图像去噪方法包括：局部自适应去噪方法和全局自适应去噪方法。
3.在文本图像识别方面，流行的处理方法均不完全适用于实际手写字体图像的去噪，考虑到不同颜色的笔在书写时，所留下的手写字迹有着像素的灰度值差异，且基于灰度值的传统去噪方法也并不能够有效地去除这类图像中的手写字体。为了能够完整地去除手写字体像素，同时对部分残留的手写像素做去噪处理，传统和深度相结合的方法显得尤为重要。


技术实现要素：

4.本发明要解决的技术问题是，针对图像中的手写字体去除，提供一种基于卷积自适应去噪的手写字体去除方法，主要用于解决传统方法无法处理的图像问题，尽可能达到手写字体完全去除的目的。
5.为了解决上述技术问题，本发明采用的技术方案是：该基于卷积自适应去噪的手写字体去除方法，具体包括以下步骤：
6.s1手写和印刷像素分类：对若干图像样本进行标注，对标注后的图像样本中的手写体部分和印刷体部分通过像素进行分类，再将手写体部分从图像样本中去除；
7.s2手写掩码图处理：根据手写体部分和印刷体部分的分类结果得到手写体掩码图，再对掩码图做二值化处理，得到处理后的填充掩码图；
8.s3外轮廓卷积去噪：通过对步骤s2得到的填充掩码图作采样卷积操作，对图像样本中手写体部分的外轮廓去噪；
9.s4中值滤波去噪：将中值滤波作用于手写掩码图上，设置中值滤波器的网格大小，并对网格内覆盖的像素灰度值做降序排序，选取中值作为滤波的临界值；
10.s5自适应阈值分析：为了去除图像样本中残余的手写体像素对滤波处理后的图像样本进行自适应阈值分析，获得灰度自适应阈值；
11.s6二值化去噪：根据步骤s5中得到的自适应阈值对图像做二值化处理，处理后的图像背景部分全部置白即灰度值为255，印刷体部分全部置黑即灰度值为0，从而得到最终的手写去除图像。
12.采用上述技术方案，首先采用像素分类技术对手写和印刷像素做二分类；其次，将已分类的手写像素从图像中去除；接着，对残留下来的手写像素部分做卷积去噪；最后，对
整张图像做自适应阈值计算和二值化处理，达到完全去除手写的目的。
13.作为本发明的优选技术方案，所述步骤s1中使用语义分割网络分别对手写体部分和印刷体部分的像素做二分类，将手写体部分从图像样本中进行初步去除。
14.作为本发明的优选技术方案，所述步骤s2中对掩码图做二值化处理后，修改手写体部分的像素值使手写体部分为白色，再设置非手写体部分的像素值，再利用空洞填充算法，填充手写体部分的空洞，得到处理后的填充掩码图；其中利用空洞填充算法的具体步骤为：
15.s21：假设原掩码图为a，将原掩码图a向外延展一至两个像素，并将原掩码图的像素值填充置为0即作为背景色并标记为b；
16.s22：再将b的大背景的像素值填充为255，标记为c；
17.s23：将填充好的掩码图像裁剪为原图像大小，去掉延展区域，标记为d；
18.s24：再将d取反与a相加，得到处理后的填充掩码图。
19.作为本发明的优选技术方案，所述步骤s3具体步骤为：
20.s31：首先对步骤s2得到的掩码图做下采样卷积操作，卷积核大小设置为3，卷积矩阵记作：矩阵中的a值为非零值；
21.s32：将卷积矩阵与掩码图做矩阵的点积操作，而卷积矩阵与掩码图中零值位置的像素做点积运算后的结果依然为零值，掩码图中非零值位置的像素做点积运算后的结果为非零值；
22.s33：再将非零值位置的像素按卷积核大小填充至上采样层，得到填充后的上采样卷积图；
23.s34：最后将上采样卷积图中的非零值位置的像素值全部置为255，并与图像样本做矩阵的加法操作，实现了对图像样本中手写体部分的外轮廓去噪的目的。
24.作为本发明的优选技术方案，所述步骤s5的自适应阈值分析具体步骤为：
25.s51：首先，根据灰度值的取值范围0-255遍历图像矩阵，统计灰度值的分布数量，记作：x＝{x0，x1，
…
，x
255
}；其中，x0表示灰度值为0的像素个数，其他依次类推；
26.s52：其次，统计所有像素点的灰度像素概率分布，记作：p＝{p0，p1，
…
，p
255
}；其中，p0表示灰度值为0的像素个数的占比，其他概率元素值表示依次类推，公式为1-1：
[0027][0028]
s53：最后，对灰度值的分布x，采用多项式方式做曲线的拟合，公式为1-2所示，为了使曲线拟合更加逼近真实分布的离散点，其中m的取值为10,w为参数；
[0029]
[0030]
再对函数f求一阶偏导数，并结合函数的单调性求极值点，
[0031]
其中极大值点集记作：f
max
＝{f(xa)，f(xb)，
…
}；其中，a和b分别表示x在函数a点处取得第一个极大值点，x在函数b点处取得第二个极大值点；
[0032]
极小值点集记作：f
min
＝{f(xj)，f(xk)，
…
}；其中，j和k分别表示x在函数j点处取得第一个极小值点，x在函数k点处取得第二个极小值点；
[0033]
根据大数定律，灰度值的像素个数成正态分布，为了使计算的自适应灰度值更准确，选择函数曲线波谷以上的所有点作为统计参与点，而对于函数实际曲线中存在的多个波谷，取极小值点集中的最大值，记作：max(f
min
)；
[0034]
作为灰度像素个数统计的分隔线，并计算该分隔线以上所有统计个数对应的像素点，计算其灰度均值作为灰度自适应阈值；
[0035]
若极小值点集为空，则采用灰度像素的概率分布统计作为参考，将概率分布p中的概率值做降序排序，记作：p1；选择p1中前一半的概率值所对应的像素点，计算其灰度均值作为灰度自适应阈值。
[0036]
作为本发明的优选技术方案，所述步骤s1中的语义分割网络使用deeplab v3 ，并配合骨干网络resnet101和/或xception。
[0037]
作为本发明的优选技术方案，所述步骤s4中将值滤波器的大小设置为3*3的网格。
[0038]
与现有技术相比，本发明具有的有益效果为：本发明首先采用像素分类技术对手写和印刷像素做二分类；其次，将已分类的手写像素从图像中去除；接着，对残留下来的手写像素部分做卷积去噪；最后，对整张图像做自适应阈值计算和二值化处理，达到完全去除手写的目的。本发明用于解决传统方法无法处理的图像问题，能够分析和判断图像的印刷和手写像素，达到从图像中完整地去除手写体的目的。
附图说明
[0039]
下面结合附图进一步描述本发明的技术方案：
[0040]
图1是本发明的基于卷积自适应去噪的手写字体去除方法的流程图；
[0041]
图2是本发明的基于卷积自适应去噪的手写字体去除方法的算法效果图。
具体实施方式
[0042]
为了加深对本发明的理解，下面将结合附图和实施例对本发明做进一步详细描述，该实施例仅用于解释本发明，并不对本发明的保护范围构成限定。
[0043]
实施例：如图1所示，该基于卷积自适应去噪的手写字体去除方法，具体包括以下步骤：
[0044]
该基于卷积自适应去噪的手写字体去除方法，具体包括以下步骤：
[0045]
s1手写和印刷像素分类：对若干图像样本进行标注，对标注后的图像样本中的手写体部分和印刷体部分通过像素进行分类，再将手写体部分从图像样本中去除；所述步骤s1中使用语义分割网络分别对手写体部分和印刷体部分的像素做二分类，将手写体部分从图像样本中进行初步去除；所述步骤s1中的语义分割网络使用deeplab v3 ，并配合骨干网络resnet101和/或xception；
[0046]
s2手写掩码图处理：根据手写体部分和印刷体部分的分类结果得到手写体掩码
图，再对掩码图做二值化处理，得到处理后的填充掩码图；
[0047]
所述步骤s2中对掩码图做二值化处理后，修改手写体部分的像素值使手写体部分为白色即为255，其他非手写体部分的像素值设置为0；再利用空洞填充算法，填充手写体部分的空洞，得到处理后的填充掩码图；其中利用空洞填充算法的具体步骤为：
[0048]
s21：假设原掩码图为a，将原掩码图a向外延展一至两个像素，并将原掩码图的像素值填充置为0即作为背景色并标记为b；
[0049]
s22：再将b的大背景的像素值填充为255，标记为c；
[0050]
s23：将填充好的掩码图像裁剪为原图像大小，去掉延展区域，标记为d；
[0051]
s24：再将d取反与a相加，得到处理后的填充掩码图；如附图2所示；
[0052]
s3外轮廓卷积去噪：通过对步骤s2得到的填充掩码图作采样卷积操作，对图像样本中手写体部分的外轮廓去噪；
[0053]
所述步骤s3具体步骤为：
[0054]
s31：首先对步骤s2得到的掩码图做下采样卷积操作，卷积核大小设置为3，卷积矩阵记作：矩阵中的a值为非零值；
[0055]
s32：将卷积矩阵与掩码图做矩阵的点积操作，而卷积矩阵与掩码图中零值位置的像素做点积运算后的结果依然为零值，掩码图中非零值位置的像素做点积运算后的结果为非零值；
[0056]
s33：再将非零值位置的像素按卷积核大小填充至上采样层，得到填充后的上采样卷积图；
[0057]
s34：最后将上采样卷积图中的非零值位置的像素值全部置为255，并与图像样本做矩阵的加法操作，实现了对图像样本中手写体部分的外轮廓去噪的目的；如附图2所示；
[0058]
s4中值滤波去噪：将中值滤波作用于手写掩码图上，设置中值滤波器的网格大小为3*3的网格，并对网格内覆盖的像素灰度值做降序排序，选取中值作为滤波的临界值；
[0059]
s5自适应阈值分析：通过以上步骤的处理，当前图像中仅有少部分的手写体像素被保留；为了去除图像样本中残余的手写体像素对滤波处理后的图像样本进行自适应阈值分析，获得灰度自适应阈值；
[0060]
所述步骤s5的自适应阈值分析具体步骤为：
[0061]
s51：首先，根据灰度值的取值范围0-255遍历图像矩阵，统计灰度值的分布数量，记作：x＝{x0，x1，
…
，x
255
}；其中，x0表示灰度值为0的像素个数，其他依次类推；
[0062]
s52：其次，统计所有像素点的灰度像素概率分布，记作：p＝{p0，p1，
…
，p
255
}；其中，p0表示灰度值为0的像素个数的占比，其他概率元素值表示依次类推(即p1表示灰度值为1的像素个数的占比，p
255
表示灰度值为255的像素个数的占比)，公式为1-1：
[0063][0064]
s53：最后，对灰度值的分布x，采用多项式方式做曲线的拟合，公式为1-2所示，为了使曲线拟合更加逼近真实分布的离散点，其中m的取值为10,w为参数；
[0065][0066]
再对函数f求一阶偏导数，并结合函数的单调性求极值点，
[0067]
其中极大值点集记作：f
max
＝{f(xa)，f(xb)，
…
}；其中，a和b分别表示x在函数a点处取得第一个极大值点，x在函数b点处取得第二个极大值点；
[0068]
极小值点集记作：f
min
＝{f(xj)，f(xk)，
…
}；其中，j和k分别表示x在函数j点处取得第一个极小值点，x在函数k点处取得第二个极小值点；
[0069]
根据大数定律，灰度值的像素个数成正态分布，为了使计算的自适应灰度值更准确，选择函数曲线波谷以上的所有点作为统计参与点，而对于函数实际曲线中存在的多个波谷，取极小值点集中的最大值，记作：max(f
min
)；
[0070]
作为灰度像素个数统计的分隔线，并计算该分隔线以上所有统计个数对应的像素点，计算其灰度均值作为灰度自适应阈值；
[0071]
若极小值点集为空，则采用灰度像素的概率分布统计作为参考，将概率分布p中的概率值做降序排序，记作：p1；选择p1中前一半的概率值所对应的像素点，计算其灰度均值作为灰度自适应阈值；
[0072]
s6二值化去噪：为了得到直观的手写去除图像以及弥补手写体字体去除后的背景空洞，需要根据步骤s5中得到的自适应阈值对图像做二值化处理；处理后的图像背景部分全部置白即灰度值为255，印刷体部分全部置黑即灰度值为0，从而得到最终的手写去除图像。
[0073]
对于本领域的普通技术人员而言，具体实施例只是对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种非实质性的改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。