一种纸质化验单图像预处理方法及系统与流程

1.本发明涉及图像处理技术领域，特别是涉及一种纸质化验单图像预处理方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.目前，纸质化验单依然是医院检查报告的主要载体，但是不易保存。随着手机的普及，人们更倾向于使用手机摄像头拍摄来保存纸质文档，但是这样做往往会存在问题。例如，文档的几何形状可能会由于拍照角度而发生失真，还有可能因为光源被遮挡而形成阴影，特别地，当纸质化验单本身已存在折痕时，其页面光照分布不均匀问题尤其突出。上述问题会导致化验单的视觉质量和可读性变差，降低后续ocr(optical character recognition，光学字符识别)提取信息的准确率。
4.针对手机拍摄的化验单图像失真问题，传统上多使用人工启发式算法解决图像阴影和折痕等失真问题，但是这对拥有不同特征的图像不具有鲁棒性。文档图像通常具有恒定的背景颜色，基于这一观察提出一种估计局部图像块中背景和文本颜色的技术。随后，将这些局部背景颜色估计与全局参考相匹配以生成阴影图，并使用此阴影图校正原始图像生成最终无阴影图。如文献bako s,darabi s,shechtman e,et al.removing shadows from images of documents[c]//asian conference on computer vision.springer,cham,2016:173-183。
[0005]
除此之外，还有方法是通过图像材料的二维边界来校正几何和光度(阴影)失真，使用边界插值可以计算校正映射以同时消除常见的几何变形。此外，可以使用相同的插值框架来估计本征照明图像，这个估计的照明图像与原始图像一起可用于去除阴影。如文献，brown m s,tsoi y c.geometric and shading correction for images of printed materials using boundary[j].ieee transactions on image processing,2006,15(6):1544-1554。
[0006]
目前，基于深度学习还未提出有效的统一方法同时去除各种文档失真问题，大多数技术专注于提出某种失真问题的解决方案。如文献，li x,zhang b,liao j,et al.document rectification and illumination correction using a patch-based cnn[j].acm transactions on graphics(tog),2019,38(6):1-11。使用深度学习的方法分别提出两个卷积神经网络来解决文档图像几何和光照失真，但是光照矫正网络对图像阴影和折痕的处理效果不好。


技术实现要素：

[0007]
为了解决上述问题，本发明提出了一种纸质化验单图像预处理方法及系统，去除纸质化验单图像的阴影和折痕，通过背景估计子网络提取化验单全局背景色特征，同时还
学习背景与非背景像素的空间分布特征，以此构建阴影注意力图；结合卷积神经网络和堆叠的条件生成对抗网络生成去除阴影和折痕的化验单图像，提高图像视觉质量和可读性，并确保对具有不同特征的化验单图像具有较好的效果以及鲁棒性。
[0008]
为了实现上述目的，本发明采用如下技术方案：
[0009]
第一方面，本发明提供一种纸质化验单图像预处理方法，包括：
[0010]
构建包括背景估计子网络、阴影去除子网络和折痕去除子网络折痕去除子网络的化验单图像预处理模型；
[0011]
对纸质化验单图像采用背景估计子网络进行特征学习，得到全局背景色以及背景和非背景像素的空间分布特征，以此构建阴影注意力图；
[0012]
根据原始纸质化验单图像、全局背景色和阴影注意力图对阴影去除子网络训练后得到无阴影图像；
[0013]
根据无阴影图像采用背景估计子网络构建折痕注意力图，并根据无阴影图像和折痕注意力图对折痕去除子网络训练后，得到无阴影无折痕的化验单图像。
[0014]
作为可选择的实施方式，所述背景估计子网络进行特征学习时，以有监督学习方式进行训练，以预测的全局背景色和原始图像间的损失为损失函数l
be
；具体为：
[0015][0016]
其中，bi为真实图像下的全局背景色，ψ
be
为背景估计子网络的映射，si为第i个原始纸质化验单图像，n为图像总数目。
[0017]
作为可选择的实施方式，对所述阴影去除子网络进行训练时的损失函数l
sr
为：
[0018]
l
sr
＝λ1l
fata
λ2l
gan
[0019]
其中，
[0020][0021][0022]
其中，si为第i个原始纸质化验单图像，ri为第i个原始纸质化验单图像的真实无阴影图像，为第i个原始纸质化验单图像的无阴影图像，d为图像数据集，λ1和λ2为权重。
[0023]
作为可选择的实施方式，对所述折痕去除子网络进行训练时的损失函数l
cr
为：
[0024]
l
cr
＝λ1l
data
λ2l
gan
λ3l
vgg
[0025]
其中，
[0026][0027][0028][0029]
其中，ti为第i个原始纸质化验单图像的无阴影无折痕图像，ri为第i个原始纸质化验单图像的真实无阴影图像，为第i个原始纸质化验单图像的无阴影图像，d为图像数据
集，λ1、λ2和λ3为权重。
[0030]
作为可选择的实施方式，所述背景估计子网络采用注意力机制，以根据注意力的不同生成阴影注意力图和折痕注意力图。
[0031]
作为可选择的实施方式，根据grad-cam方法对全局背景色以及背景和非背景像素的空间分布特征进行编码后得到阴影注意力图。
[0032]
作为可选择的实施方式，所述阴影去除子网络和折痕去除子网络均采用条件生成对抗网络，所述阴影去除子网络以原始纸质化验单图像、全局背景色和阴影注意力图为输入数据，以无阴影图像为真实图像进行训练；所述折痕去除子网络无阴影图像和折痕注意力图为输入数据，以无阴影无折痕图像为真实图像进行训练。
[0033]
第二方面，本发明提供一种纸质化验单图像预处理系统，包括：
[0034]
模型构建模块，被配置为构建包括背景估计子网络、阴影去除子网络和折痕去除子网络的化验单图像预处理模型；
[0035]
注意力模块，被配置为对纸质化验单图像采用背景估计子网络进行特征学习，得到全局背景色以及背景和非背景像素的空间分布特征，以此构建阴影注意力图；
[0036]
去阴影模块，被配置为根据原始纸质化验单图像、全局背景色和阴影注意力图对阴影去除子网络训练后得到无阴影图像；
[0037]
去折痕模块，被配置为根据无阴影图像采用背景估计子网络构建折痕注意力图，并根据无阴影图像和折痕注意力图对折痕去除子网络训练后，得到无阴影无折痕的化验单图像。
[0038]
第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。
[0039]
第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。
[0040]
与现有技术相比，本发明的有益效果为：
[0041]
本发明提供一种基于条件生成对抗学习的纸质化验单图像预处理方法，主要针对纸质化验单图像进行去噪，包括去除阴影和折痕；通过背景估计子网络提取化验单全局背景色特征，同时还学习背景与非背景像素的空间分布特征，以此构建阴影注意力图；结合卷积神经网络和堆叠的条件生成对抗网络生成去除阴影和折痕的化验单图像，提高图像视觉质量和可读性，提高后续ocr操识别准确率，在多重阴影情况下依然具有较好的鲁棒性。
[0042]
本发明去除化验单图像阴影和折痕的方法，通过使用浅层卷积神经网络作为背景估计模块提取化验单图像全局背景颜色特征，且采用注意力机制可以重点关注敏感区域，更易于模型训练收敛。
[0043]
本发明去除化验单图像阴影和折痕的方法，利用类似u-net网络作为条件生成对抗网络的生成器，结合浅层卷积神经网络和堆叠的条件生成对抗网络构建化验单图像预处理模型，条件生成对抗网络生成器使用类似u-net结构并带有跳跃连接，在提取对象高层次特征时，同样也更好地提取图像的低层次特征；最后再利用包括像素级损失、生成对抗网络损失和vgg感知损失的多项损失策略促进训练收敛，从而提高生成图像的质量。
[0044]
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得
estimationnetwork,be-net)、阴影去除子网络(shadowremoval network,sr-net)、折痕去除子网络(crease removal network,cr-net)；
[0063]
其中，所述背景估计子网络学习全局背景颜色特征，以及背景与非背景像素的空间分布特征，并利用grad-cam将之编码为阴影注意力图attention map；对于纸质化验单图像，阴影和折痕是重点关注的局部对象，因此本实施例引入注意力机制，重点关注感兴趣的特征区域，且对于不同的输入图像生成注意力重点不同的注意力图。
[0064]
所述阴影去除子网络和折痕去除子网络均为条件生成对抗神经网络，二者的生成器均采用了类似u-net的网络结构并带有跳跃连接，在提取化验单图像高维特征时，同样更好地提取图像的低维特征(例如几何形状、背景颜色和光照信息)，同时将低维特征与高维特征结合后，更好地生成去除噪声的图像。
[0065]
具体地，对于带有折痕和阴影的原始输入图像，经过背景估计子网络提取编码信息生成阴影注意力图；将原始图像、全局背景颜色特征和阴影注意力图经过阴影去除子网络后，得到无阴影图像；将无阴影图像再次经过背景估计子网络提取编码信息得到折痕注意力图；依次连接无阴影图和折痕注意力图用来训练折痕去除子网络，利用折痕去除子网络生成最终校正后的图像；此外，本实施例还利用包括像素级损失、生成对抗网络损失和vgg感知损失的多项损失策略促进训练收敛，从而提高生成图像的质量。
[0066]
具体地，给定图像数据集d，
[0067][0068]
其中，s表示原始图像，r表示无阴影图像(ground truth)，t表示无阴影无折痕图像(ground truth)，b表示全局背景色(ground truth)，n表示图像总数目。
[0069]
采用以有监督学习方式训练背景估计子网络be-net，采用训练后的be-net估计全局背景颜色和阴影注意力图即，
[0070][0071]
其中，ψ
be
表示背景估计子网络的映射。
[0072]
将原始图像s和作为输入数据，无阴影图像r作为真实图像，采用训练阴影去除子网络sr-net，得到无阴影图像即，
[0073][0074]
其中，ψ
sr
表示阴影去除子网络的映射。
[0075]
根据无阴影图像采用背景估计子网络be-net得到折痕注意力图将无阴影图像和作为输入数据，无阴影无折痕图像t作为真实图像，采用训练折痕去除子网络cr-net，得到效果类似扫描的去噪化验单图像，即，
[0076][0077]
其中，ψ
cr
表示折痕去除子网络的映射。
[0078]
具体地，所述背景估计子网络be-net包括四层卷积层、全局最大池化层和全连接层，如图1所示，其中，最后一层卷积层输出特征维度为128，经过全局最大池化层后可以唯一确定全连接层的输入维度也为128，由此带来的好处是输入图像的尺寸可以为任意大小。
[0079]
背景估计子网络学习提取图像的全局背景颜色，同时，be-net的卷积层还学习背景与非背景的空间分布特征；然后利用grad-cam方法从最后一层卷积层提取梯度生成与输入图像尺寸一致的attention map；attention map中的每个数值反映对应像素点属于背景的概率大小。
[0080]
需要注意的是，图1中化验单图像为待处理的图像，本实施例是对纸质化验单图像的折痕和阴影进去去噪，所以图1中所示出的化验单图像中的文字不清楚不影响对本实施例方案的理解。
[0081]
背景估计子网络以有监督学习方式进行训练，损失函数为预测全局背景颜色和ground truth的l1损失之和，即，
[0082][0083]
具体地，所述阴影去除子网络sr-net是条件生成对抗网络，生成器采用类似u-net网络结构并带有跳跃连接，如图2所示，提取图像低维几何信息，以及通过跳跃连接结合高维语义信息；其中，收缩路径(左侧)和扩展路径(右侧)各有3层使用相同的层次结构，以此减少参数量；鉴定器如图3所示，鉴别器复用了生成器收缩路径的基本组件，主要用来提取图像的特征，从而鉴别真假图像。
[0084]
所述阴影去除子网络的损失函数为：
[0085]
l
sr
＝λ1l
data
λ2l
gan
#(6)
[0086]
其中，l
data
指预测的去除阴影图像与ground truthri的像素级l1损失；l
gan
指去除阴影子网络的损失。
[0087]
其中，
[0088][0089][0090]
具体地，所述折痕去除子网络cr-net是条件生成对抗网络，其结构和阴影去除子网络结构相同，不同点在于输入数据和损失函数；vgg19网络使用19层网络结构，具体结构如图4所示，去除全连接层和softmax，取第五次最大池化层输出作为vgg19网络输出，减少全连接层带来的巨大参数量问题。
[0091]
所述折痕去除子网络的损失函数为：
[0092]
l
cr
＝λ1l
data
λ2l
gan
λ3l
vgg
#(9)
[0093]
其中，
[0094][0095]
[0096][0097]
实施例2
[0098]
本实施例提供一种纸质化验单图像预处理系统，包括：
[0099]
模型构建模块，被配置为构建包括背景估计子网络、阴影去除子网络和折痕去除子网络的化验单图像预处理模型；
[0100]
注意力模块，被配置为对纸质化验单图像采用背景估计子网络进行特征学习，得到全局背景色以及背景和非背景像素的空间分布特征，以此构建阴影注意力图；
[0101]
去阴影模块，被配置为根据原始纸质化验单图像、全局背景色和阴影注意力图对阴影去除子网络训练后得到无阴影图像；
[0102]
去折痕模块，被配置为根据无阴影图像采用背景估计子网络构建折痕注意力图，并根据无阴影图像和折痕注意力图对折痕去除子网络训练后，得到无阴影无折痕的化验单图像。
[0103]
此处需要说明的是，上述模块对应于实施例1中所述的步骤，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
[0104]
在更多实施例中，还提供：
[0105]
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1中所述的方法。为了简洁，在此不再赘述。
[0106]
应理解，本实施例中，处理器可以是中央处理单元cpu，处理器还可以是其他通用处理器、数字信号处理器dsp、专用集成电路asic，现成可编程门阵列fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0107]
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
[0108]
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1中所述的方法。
[0109]
实施例1中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
[0110]
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0111]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范
围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。