一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

图像处理方法、装置、电子设备及计算机可读存储介质与流程

2022-05-21 09:12:13 来源:中国专利 TAG:


1.本技术涉及图像处理领域,具体而言,本技术涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。


背景技术:

2.目前人们经常使用ocr技术对票据进行处理,ocr技术可以定位票据图片的文字区域,并对文字内容进行识别,将票据中的有用信息提取出来,提高票据处理的速度。但票据上往往有印章盖在关键信息上,它会给文字区域的定位和文字识别造成困难,从而导致票据信息提取失败。
3.因此,在进行ocr识别之前,需要对印章进行去除操作。传统的图像处理技术是通过颜色通道的分离方法来过滤印章,而实际场景中印章颜色往往与票据文字颜色相近,并且印章受环境影响也不是单纯呈现一种颜色,因此,使用传统的图像处理方法会导致印章去除不准确,例如发生印章去除不干净或将非印章信息也去除的情况。


技术实现要素:

4.本技术的目的旨在至少能解决上述的技术缺陷之一,特别是容易误将非印章信息除去的技术缺陷。
5.第一方面,提供了一种图像处理的方法,包括:
6.获取待处理的包含印章的初始图像,基于初始图像获取对应的二值图像;基于图像分割模型对二值图像的每个像素点进行分类,得到对应的分类结果;
7.将分类结果映射为对应的像素值,得到不包含印章的图像。
8.在第一方面的可选实施例中,基于初始图像获取对应的二值图像,包括:
9.对初始图像进行灰度化处理,得到对应的灰度图像;
10.对灰度图像进行二值化处理,得到与初始图像对应的二值图像。
11.在第一方面的可选实施例中,对二值图像的每个像素点进行分类,得到对应的分类结果,包括:
12.将二值图像压缩得到特征编码;
13.将特征编码解码,得到每个像素点的分类结果。
14.在第一方面的可选实施例中,分类结果的形式为矩阵;矩阵的元素对应为每个像素点的分类结果;将分类结果映射为对应的像素值,包括:
15.将矩阵中代表第一分类结果的第一类元素映射为第一预设像素值;
16.针对矩阵中代表第二分类结果的每一个第二类元素,确定该第二类元素在初始图像中对应的目标像素,将第二类元素映射为目标像素的像素值。
17.在第一方面的可选实施例中,基于图像分割模型对二值图像的每个像素点进行分类之前,还包括:
18.获取多组样本图像;每一组样本图像包括一张不带印章的原始样本图像和对应的
带有印章的样本图像;
19.基于多组样本图像分别获取多组对应的二值样本图像;
20.根据多组二值样本图像对初始图像分割模型进行训练,得到图像分割模型。
21.在第一方面的可选实施例中,获取多组样本图像,包括:
22.针对每一组样本图像,将印章合成到原始样本图像中,获取带有印章的样本图像。
23.在第一方面的可选实施例中,获取多组样本图像之后,还包括:
24.对多组样本图像中带有印章的样本图像进行数据增强操作;其中数据增强操作包括添加背景和添加噪声中的至少一种。
25.第二方面,提供了一种图像处理的装置,该装置包括:
26.图像预处理模块,获取待处理的包含印章的初始图像,基于初始图像获取对应的二值图像;
27.图像分割模块,基于图像分割模型对二值图像的每个像素点进行分类,得到对应的分类结果;
28.图像后处理模块,将分类结果映射为对应的像素值,得到不包含印章的图像。
29.在第二方面的可选实施例中,图像预处理模块在基于初始图像获取对应的二值图像时,具体用于:
30.对初始图像进行灰度化处理,得到对应的灰度图像;
31.对灰度图像进行二值化处理,得到与初始图像对应的二值图像。
32.在第二方面的可选实施例中,图像分割模块在基于图像分割模型对二值图像的每个像素点进行分类,得到对应的分类结果时,具体用于:
33.将二值图像压缩得到特征编码;
34.将特征编码解码,得到每个像素点的分类结果。
35.在第二方面的可选实施例中,分类结果的形式为矩阵;矩阵的元素对应为每个像素点的分类结果;图像后处理模块在将分类结果映射为对应的像素值时,具体用于:
36.将矩阵中代表第一分类结果的第一类元素映射为第一预设像素值;
37.针对矩阵中代表第二分类结果的每一个第二类元素,确定该第二类元素在初始图像中对应的目标像素,将第二类元素映射为目标像素的像素值。
38.在第二方面的可选实施例中,还包括模型训练模块,具体用于:
39.获取多组样本图像;每一组样本图像包括一张不带印章的原始样本图像和对应的带有印章的样本图像;
40.基于多组样本图像分别获取多组对应的二值样本图像;
41.根据多组二值样本图像对初始图像分割模型进行训练,得到图像分割模型。
42.在第二方面的可选实施例中,模型训练模块在获取多组样本图像时,具体用于:
43.针对每一组样本图像,将印章合成到原始样本图像中,获取带有印章的样本图像。
44.在第二方面的可选实施例中,还包括数据增强模块,用于:
45.对多组样本图像中带有印章的样本图像进行数据增强;其中数据增强操作包括添加背景和添加噪声中的至少一种。
46.本发明还提供了一种电子设备,该电子设备包括:
47.存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执
行程序时实现上述任一实施例的图像处理方法。
48.本发明还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现上述任一实施例的图像处理方法。
49.上述的图像处理方法,通过对包含印章的初始图像进行灰度化和二值化处理,得到对应的二值图像,再基于图像分割模型对二值图像的每个像素点进行分类,得到对应的分类结果,最后将分类结果映射为对应的像素值,得到不包含印章的图像。本发明可以根据图像的整体信息和局部信息来划分每个像素点,不再依赖于颜色通道的划分,因此,即便针对印章颜色与票据文字颜色相近的图像,也可以使非印章信息的像素点能够在分割中最大限度地保留下来,去除印章的效果更好,减小甚至消除了印章对票据信息提取过程的干扰,提高了票据处理的准确率。
50.本发明附加的方面和优点将在下面的描述部分给出,这些将从下面的描述中将变得明显,或通过本发明的实践了解到。
附图说明
51.为了更清楚地说明本技术实施例中的技术方案,下面将对本技术实施例描述中所需要使用的附图作简单地介绍。
52.图1为本技术实施例提供的一种图像处理方法的流程示意图;
53.图2为本技术实施例提供的一种图像处理方法的流程示意图;
54.图3为本技术实施例提供的一种图像处理方法中的将分类结果映射为对应的像素值的示意图;
55.图4为本技术示例提供的一种图像处理方法的流程示意图;
56.图5为本技术示例提供的一种图像分割模型的结构示意图;
57.图6为本技术实施例提供的示例中的图像处理方法的流程示意图;
58.图7为本技术实施例提供的一种图像处理装置的结构示意图;
59.图8为本技术实施例提供的一种图像处理的电子设备的结构示意图。
具体实施方式
60.下面详细描述本技术的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本技术,而不能解释为对本发明的限制。
61.本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
62.为使本技术的目的、技术方案和优点更加清楚,下面将结合附图对本技术实施方式作进一步的详细描述。
63.随着图像处理技术的发展,票据处理应用方面有了更多便捷的方法。例如,当企业税务核算和内部报销需要处理大量的税务发票、交通票据和收据时,可以用ocr技术来替代财务人员的人工整理,加快了票据的处理速度,也避免了人工量大容易出错的情况。ocr(optical character recognition,光学字符识别)是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符,通过检测暗、亮的模式确定其形状,然后用字符识别方法将形状翻译成计算机文字的过程,应用在票据处理方向即定位票据图片的文字区域并对文字内容进行识别,财务人员只需要扫描票据就能将票据的有用信息提取出来。
64.然而,ocr技术实际应用在票据处理方面时并不是一帆风顺,因为票据上往往盖有各式各样的印章。当印章盖在票据的关键信息时,就会对ocr技术中文字区域的定位和文字的识别造成极大困扰,导致票据提取信息产生误差甚至失败。
65.为了减少印章对后续图像处理手段的干扰,需要对印章进行去除操作。常用的印章消除方法有两种,第一种方法是基于传统的图像处理技术,利用颜色通道分离的方法把红色过滤掉,达到消除印章的目的。然而,实际应用中,印章的形状和大小各不相同,在不同的环境里也可能呈现不均匀的颜色,因此使用这种方法往往会发生印章去除不干净或将非印章信息也去除了的情况。并且,基于传统图像处理技术去除印章的方法无法做到自适应,需要针对图像特点手动调节二值化阈值,效率较低。第二种方法是使用生成对抗网络(gan,generative adversarial networks),将带有印章的票据迁移到不带印章的风格,从而达到去除印章的目的。使用gan生成的图片每个像素值都可能和原图的像素值不同,从而可能输出与原图像完全不同的生成图像,使结果不稳定。
66.本技术提供的图像方法、装置、电子设备和计算机可读存储介质,旨在解决现有技术的如上技术问题。
67.下面以具体地实施例对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本技术的实施例进行描述。
68.本技术实施例中提供的图像处理的方法,该方法可以应用于服务器,也可以应用于终端。
69.本技术领域技术人员可以理解,这里所使用的“终端”可以是手机、平板电脑、pda(personal digital assistant,个人数字助理)、mid(mobile internet device,移动互联网设备)等;“服务器”可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
70.本技术实施例中提供了一种图像处理的方法,该方法可以应用于服务器,也可以应用于终端,如图1所示,该方法可以包括:
71.步骤s100,获取待处理的包含印章的初始图像,基于该初始图像获取对应的二值图像。
72.在本技术实施例中,待处理的图像可以是从本地图像库中选取的带印章图像,也可以利用电子设备例如扫描仪或者数码照相机等获取的图像,还可以是从摄像头实时捕获的当前图像。
73.其中,二值图像(binary image)是指将图像上的每一个像素只有两种可能的取值或灰度等级状态,也就是说,图像中的任何像素点的灰度值均为0或者255,分别代表黑色和白色。基于待处理的初始图像获取对应的二值图像,是指当初始图像不是二值图像时,对初
始图像进行一定的图像处理流程,输出为该图像转化成的对应二值图像。此处图像处理流程所使用的方法并不做限制。
74.步骤s200,基于图像分割模型对二值图像的每个像素点进行分类,得到对应的分类结果。
75.在本技术的实施例中,分类结果可以包括每个像素点的分类结果,也可以只包括局部像素点的分类结果,可以是矩阵的形式,也可以是向量的像是,还可以是文字集合的形式,具体的分类结果形式在此不作限定。
76.其中,图像分割模型可以由两部分组成,即编码器和解码器,两者可以主要使用全卷积神经网络,学习方式可以为监督学习。其中,卷积神经网络具有表征学习能力,能够从输入信息中提取高阶特征,即可以从二值图像中提取出每一像素点的分类结果。
77.图像分割模型使用的卷积神经网络可以是基于几种常见基础网络自由搭配和改进而成,也可以是基于较为成熟的网络模型改进而成,在这里不作限制。
78.图像分割模型的训练方法会在后文进行进一步的说明。
79.步骤s300,将分类结果映射为对应的像素值,得到不包含印章的图像。
80.其中,本技术的映射是指,查询对应关系,也就是说,将分类结果映射为对应的像素值,可以是与分类结果对应的像素值。
81.具体地,分类操作可以遍历二值图像的所有像素点,因此分类结果可以是每个像素点的分类结果;确定与分类结果对应的像素值之后,可以将二值图像的每个像素点的像素值分别设置为分类结果对应的像素值。
82.此外,分类操作也可以只对图像局部像素点进行,只获得预设范围内的像素点的分类结果,也可以是只对满足预设条件的像素点进行分类,这里不做限制。
83.在本技术实施例中,使用深度学习的方法对图像的每个像素点进行二分类,可以包括:判断图像的每个像素点是否属于印章所对应的像素点。该分类操作通过图像分割模型来实施,如通过神经网络来实现,神经网络根据整个图像的整体特征和局部特征来划分每个像素点,有效克服了传统图像技术难于针对图像特点自动调整二值化阈值的缺点。
84.进一步地,由于该方法是对每个像素点都进行分类,分类依据是图像特征,因此对印章的样式、颜色、遮挡情况不敏感,有较高的准确率。
85.进一步的,在对每个像素点进行分类得到分类结果后,将分类结果映射为对应的像素值,此处对应的像素值由初始图像确定,不需要重新生成图像,其输出结果比较稳定。
86.本技术实施例中提供了一种可能的实现方式,在步骤s100中,基于该初始图像获取对应的二值图像,可以包括:
87.(1)对初始图像进行灰度化处理,得到对应的灰度图像。
88.其中,灰度图像是每个像素只有一个采样颜色的图像,在计算机领域中,这类图像通常显示为从最暗黑色到最亮的白色的灰度。灰度图像与黑白图像不同,在计算机图像领域中黑白图像只有黑色与白色两种颜色;灰度图像在黑色与白色之间还有许多级的颜色深度。灰度化处理是把含有亮度和色彩的彩色图像变化为只含有亮度信息的灰度图像过程。
89.一副彩色图像是由是由红色、绿色、蓝色三个通道组成的,灰度化处理就是让初始图像中的每一个像素点都满足红色变量的值、绿色变量的值和蓝色变量的值三者相等,即用转化后的灰度值统一替换(r,g,b)中的r值、g值和b值。
90.将(r,g,b)转化为灰度的方法在此处不做限制,可以使用浮点算法、
91.整数方法、移位方法和平均值法等,若初始图像为灰度图像,则无需进行此步骤,直接对初始图像进行二值化。
92.(2)对灰度图像进行二值化处理,得到与初始图像对应的二值图像。
93.其中,二值化是指让图像的每个像素点的灰度值为0或者255,即让整个图像呈现只有黑和白的效果。灰度化处理后的图像中灰度值范围为0至255,而二值化后的图像中的灰度值范围是0或者255。
94.其中,二值化的方法并不做限制,以下几种方法仅做举例和便于理解的用途:
95.a、对rgb彩色图像灰度化以后,以预设数值为阈值来对每个像素点二值化,像素值小于阈值时,将像素值设为0,像素值大于阈值时,像素值设为255;该方法不考虑图像的像素分布情况与像素值特征;
96.b、计算像素的平均值k,扫描图像的每个像素值,当像素值大于k时,像素值设为255,当像素值小于等于k时,像素值设为0;
97.c、使用直方图方法来寻找二值化的阈值,直方图是图像的重要特质,利用立方图发现图像的两个最高的峰,然后阈值取在两个峰之间的峰谷最低处。
98.在实际应用中可能出现以下几种情况,分别对这几种情况列举出可能的处理办法:当初始图像为二值图像时,将初始图像直接作为初始图像所对应的二值图像;当初始图像为灰度图像时,将灰度图像直接进行二值化,获取初始图像对应的二值图像;当初始图像为彩色图像时,先对初始图像进行灰度化处理,获得对应的灰度图像,再对灰度图像进行二值化处理,获得初始图像对应的二值图像。
99.本技术实施例中,通过对初始图像先进行灰度化处理,再进行二值化处理,得到初始图像对应的二值图像,作为图像分割模型的输入。
100.本技术实施例中提供了一种可能的实现方式,步骤s200中,基于图像分割模型对二值图像的每个像素点进行分类,可以包括:
101.(1)将二值图像压缩得到特征编码;
102.(2)将特征编码解码,得到每个像素点的分类结果。
103.在本技术实施例中,上述分类的过程可以理解为,通过特征提取算法得到图像特征,将图像所包含的内容变成数字化的矢量特征,通过矢量化的图像特征,使用分类器对图像的像素进行分类。
104.在本技术实例中,图像分割模型可以由编码器和解码器组成,进一步地,将二值图像压缩得到特征编码的步骤可以由图像分割模型中的编码器完成,将特征编码解码,得到每个像素点的分类结果的步骤可以由图像分割模型中的解码器完成。
105.其中,编码器的作用可以是将灰度化和二值化后带有印章的图片编码成较小的特征图。它可以由多个卷积层和池化层构成,池化操作可以为最大池化。编码器模块可以包含多个子结构,如inception模块和resent模块等。解码器的作用可以是将特征图解码成每个像素点的分类结果,例如,可以用“是”或“否”等不同文字代表不同的分类结果,也可以用“0”或“1”等不同数字代表不同的分类结果,还可以用不同的符号代表不同的分类结果。
106.当每个像素点的分类结果是以0和1表示时,输出即为初始图像灰度化和二值化后不带有印章的图。若要还原成原图尺寸大小,解码器进行上采样操作。解码器可以看作是编
码器的逆操作,但二者的子结构无需一一对应。
107.在一个实施例中,图像分割模型可以是基于encoder-decoder模型来架构。encoder-decoder模型,也就是编码-解码模型。所谓编码,就是将输入序列转化成一个固定长度的向量;解码,就是将之前生成的固定向量再转化成输出序列。具体实现的时候,编码器和解码器都不是固定的,可选的有cnn(convolutional neural networks,卷积神经网络)、rnn(recurrent neural network,rnn,循环神经网络)等,可以进行自由组合。例如编码时可以使用cnn,解码时可以使用rnn。
108.在一个实施例中,图像分割模型还可以是attention(注意力)模型和encoder-decoder模型的结合。attention模型即注意力模型,该模型在产生输出时,会产生一个“注意力范围”表示接下来输出的时候要重点关注输入序列中的哪些部分,然后根据关注的区域来产生下一个输出,可以解决encoder-decoder模型先输入的内容携带的信息会被后输入的信息覆盖的问题。
109.需要说明的是,此处对模型具体结构的论述仅做举例作用,并不限制具体选择何种网络来实现本步骤的功能。
110.本技术实施例中提供了一种可能的实现方式,分类结果的形式为矩阵;矩阵的元素对应为每个像素点的分类结果。
111.首先在此说明,论述中提到的像素是指组成数字图像的最小单元,即有明确位置和色彩数值的小方块,小方块的位置和颜色就决定该图像呈现出来的样子。每一个点阵图像都包含了一定量的像素,这些像素决定图像在屏幕上所呈现的大小。点阵图像又称为位图图像,是本技术实施例中主要的图像处理对象,由像素的单个点组成。
112.在本技术的实施例中,图像分割模型输出的包含分类结果的矩阵大小可以与初始图像的像素点矩阵大小相同。
113.作为一个示例,用来理解含有分类结果的矩阵中元素与像素点的对应情况,当一张待处理的初始图像所对应的二值图像宽度是800像素,高度是800像素时,也就是说明这张图片是由800*800的像素点矩阵构成的,这个矩阵是800行,800列,像素是该图像的最小单元。基于图像分割模型,对该二值图像的每个像素点进行分类,判断是否属于印章,此时判断结果为两种,第一分类结果是该像素点属于印章,第二分类结果是该像素点不属于印章,二值图像中的每个像素点都有唯一的分类结果。当二值图像是800*800的像素点矩阵构成时,包含了像素点分类结果的矩阵大小也为800*800的矩阵,矩阵中的元素与二值图像中的像素点一一对应,代表了每个像素点的分类结果。
114.本技术实施例中提供了一种可能的实现方式,如图2所示,步骤s300中将分类结果映射为对应的像素值,可以包括:
115.s301,将矩阵中代表第一分类结果的第一类元素映射为第一预设像素值;
116.s302,针对矩阵中代表第二分类结果的每一个第二类元素,确定该第二类元素在初始图像中对应的目标像素,将第二类元素映射为目标像素的像素值。
117.此处首先对映射的含义进行说明,在本技术中,映射为两个元素的集之间元素相互“对应”的关系,即一个像素点的分类结果对应为矩阵中的一个元素。
118.在本技术实施例中,步骤s301,将矩阵中代表第一分类结果的第一类元素映射为第一预设像素值,具体可以包括:
119.(1)确定第一类元素对应的第一预设像素值;
120.(2)将矩阵中的第一类元素设置为第一预设像素值。
121.在其他实施方式中,也可以是生成与代表分类结果的矩阵大小相同的输出像素点矩阵,确定输出像素点矩阵内与第一类元素在分类结果矩阵中位置相同的像素点,将这些像素点的像素值设置为第一预设像素值。第一预设像素值可以是提前设置好的像素值。
122.在本技术实施例中,矩阵中的每个第二类元素都有与之对应的初始图像中的目标像素,且每个第二类元素对应的目标像素是唯一的。在一个实施例中,由于包含分类结果的矩阵与初始图像的像素点矩阵大小相同,确定第二类元素在分类结果矩阵中的位置,再通过该位置确定初始图像中与该第二类元素对应的目标像素,再将矩阵中的第二类元素设置为目标像素的像素值,也可以是生成与代表分类结果的矩阵大小相同的输出像素点矩阵,确定输出像素点矩阵内与第二类元素在分类结果矩阵中位置相同的像素点,将这些像素点的像素值分别设置为与它们各自对应的目标像素的像素值。更简略地总结,在一个实施例中,可以将此过程简单理解为,将属于印章的像素值置为255(纯白),不属于印章的像素保留其原来的像素值。
123.为便于理解映射规则,此处以一个实施例来说明,当一张待处理的初始图像所对应的二值图像宽度是800像素,高度是800像素时,也就是说明这章图片是由800*800的像素点矩阵构成的,像素是该图像的最小单元。基于图像分割模型,对该二值图像的每个像素点进行分类,判断是否属于印章,此时判断结果为两种,第一分类结果是该像素点属于印章,第二分类结果是该像素点不属于印章,二值图像中的每个像素点都有唯一的分类结果。当二值图像是800*800的像素点矩阵构成时,包含了像素点分类结果的矩阵大小也为800*800的矩阵,矩阵中的元素与二值图像中的像素点一一对应,代表了每个像素点的分类结果。设置代表分类结果为属于印章的第一类元素为1,代表分类结果为不属于印章的第二类元素为0,第一预设像素值为0。进行映射时,将含有分类结果的矩阵中为1的元素设置为0像素值;确定分类结果矩阵中每个0元素的位置,通过该位置,确定初始图像中与每个0元素对应的目标像素,将含有分类结果的矩阵中为0的元素分别设置为它们各自对应的目标像素的像素值。
124.在一个实施例中,初始图像可以为二值图像,可以只对该二值图像中像素值为0(纯黑)的像素点进行分类,每个纯黑像素点的分类结果可以用0或1表示,其余纯白的像素点保留纯白色的像素值不变,而在分类结果矩阵中则表现为直接将对应元素置为1。此时,在得到分类结果矩阵后,可以只做最简单的映射。分类结果矩阵中,0代表该像素点不属于印章,将该像素点的像素值映射为0(纯黑),1代表该像素点属于印章或者是初始二值图像中的纯白像素点,所以该像素点的像素值映射为255(纯白),即可达到去除印章的效果。
125.作为一个示例,如图3所示,初始二值图像中包括4个像素点a1、b1、c1、d1。假设只对纯黑像素点进行分类,纯黑像素点a1的分类结果为属于印章,纯黑像素点d1的分类结果为不属于印章,因此,在分类结果矩阵中,a1对应元素置为1,d1对应元素置为0,其余初始二值图像中纯白的像素点在矩阵中对应的元素直接置为1。接下来将进行矩阵中元素进行映射,将0元素映射为像素值0(纯黑),1元素映射为像素值255(纯白),效果如图三最后一步所示,a’、b’、c’、d’是与初始二值图像中像素点a1、b1、c1、d1对应的经过处理的像素点,可以看到的是,分类结果为属于印章的a1像素点被去除了。
126.为了加深对上述图像处理方法的理解,下面阐述一个本发明的图像处理方法的示例,如图4所示,在一个示例中,本技术的图像处理方法可以包括如下步骤:
127.1)首先获取一张带印章的初始票据图像,对该初始票据图像进行预处理,预处理可以包括灰度化和二值化操作,由此得到对应的二值图像;
128.2)将该二值图像作为图像分割模型的输入;其中,图像分割模型可以是训练好的深度学习模型,可以对二值图像的每个像素点进行分类,得到对应的分类结果;在本示例中,训练结果是由0和1组成的矩阵,代表了每个像素点的分类结果;
129.3)将图像分割模型输出的分类结果映射为对应的像素值,得到不包含印章的图像。
130.在本示例中,映射方法可以是矩阵中的元素0代表对应的像素点不属于印章像素,该像素点保留其原始像素值;矩阵中的元素1代表对应的像素点属于印章,将该像素点的像素值置为255(纯白)。本技术的图像处理方法可以用在去除印章的应用中,也可以拓展延伸用在将票据背景和印章一起去除的应用中,通过更改模型相应的训练方法即可实现。
131.以下将结合示例对图4中的图像分割模型的结构进行进一步说明。
132.如图5所示,在一个示例中,图像分割模型可以由编码器和解码器组成。其中,编码器主要进行下采样操作,将图像压缩得到特征编码,再将特征编码传入解码器;解码器主要进行上采样操作,将特征编码还原成与原图像素点矩阵大小相等的结果矩阵,矩阵中包含了每个像素点对应的分类结果,分类结果可以用0或1表示。从输入和输出看,图像分割模型的输入可以是二值图像,输出可以是由0和1组成的矩阵。
133.在本技术实施例中,对每个像素点进行分类得到分类结果后,将分类结果映射为对应的像素值,此处对应的像素值由初始图像确定。具体地,在映射规则中,尽可能保留了每个非印章像素在初始图像中的像素值,相当于只是对原图像的像素做一个划分,是分类算法而不是生成算法,它的结果稳定可控。
134.本技术实施例中提供了一种可能的实现方式,在步骤s100或者步骤s200之前,还可以包括:
135.(1)获取多组样本图像;每一组样本图像包括一张不带印章的原始样本图像和对应的带有印章的样本图像;
136.(2)基于多组样本图像分别获取多组对应的二值样本图像。
137.其中,以上两个步骤是为了制作用于训练图像分割模型的训练数据集。不带印章的原始样本图像可以是从票据中切割出来的不含印章的部分,也可以是取自非票据的图像。带有印章的样本图像可以是基于不带印章的原始样本图像获得的,二者构成一组样本图像。对多组样本图像分别进行一定的处理,获得多组对应的二值样本图像。
138.在一个实施例中,一组样本图像中的两张图像可以为同类型图像,例如可以都是彩色图像、灰度图像或者二值图像。具体地,当这一组样本图像为彩色图像时,可以对该组样本图像先灰度化处理,再进行二值化处理,得到该组样本图像对应的二值样本图像;当这一组样本图像为灰度图像时,可以对该组样本图像进行二值化处理,得到该组样本图像对应的二值样本图像;若这一组样本图像为二值图像时,可以无需进行处理。
139.(3)根据多组二值样本图像对初始图像分割模型进行训练,得到图像分割模型。
140.其中,可以使用在之前步骤中获得的多组二值样本图像对初始图像分割模型进行
训练,得到图像分割模型。在训练过程中,模型的输入可以是带印章的二值样本图像,输出可以是不带印章的二值样本图像,进行监督学习。具体的训练流程可以基于框架tensorflow来实现。tensorflow是一个基于数据流编程(dataflow programming)的符号数学系统,被广泛应用于各类机器学习(machine learning)算法的编程实现。
141.本技术实施例中提供了一种可能的实现方式,在获取多组样本图像时,还包括:针对每一组样本图像,将印章合成到原始样本图像中,获取带有印章的样本图像。在一个实施例中,带有印章的样本图像可以由不带印章的原始样本图像与印章合成所得,两张图像的大小相等。此时,模型的训练数据可以不是手动标注而是合成的,合成意味着两张图像大小相同,像素点可以一一对应。
142.本技术实施例中提供了一种可能的实现方式,在获取多组样本图像中之后,还包括:对多组样本图像中带有印章的样本图像进行数据增强;其中数据增强操作包括添加背景和添加噪声中的至少一种。
143.数据增强,即对训练数据进行变换,变换手段可以是添加背景、添加噪声等。在本技术实施例中,可以对多组样本图像中带有印章的样本图像分别进行数据增强,可以使模型更加稳健,减少网络过拟合现象。
144.在一个实施例中,还可以对一组样本图像中的两张图像一起进行裁剪操作。
145.为了更好地理解上述图像处理方法,如图6所示,以下详细阐述一个本发明的图像处理方法的示例:
146.在一个示例中,本技术提供图像处理方法,包括如下步骤:
147.步骤s401,获取多组样本图像,每一组样本图像包括一张不带印章的原始样本图像和对应的带有印章的样本图像;
148.步骤s402,对多组样本图像中带有印章的样本图像进行数据增强操作,其中数据增强操作包括添加背景和添加噪声中的至少一种;
149.步骤s403,基于多组样本图像分别获取多组对应的二值样本图像;
150.步骤s404,根据多组二值样本图像对初始图像分割模型进行训练,得到图像分割模型;
151.步骤s405,获取待处理的包含印章的初始图像,基于该初始图像获取对应的二值图像;
152.步骤s406,基于图像分割模型对二值图像的每个像素点进行分类,判断像素点的分类结果是第一分类结果,还是第二分类结果;若分类结果为第一分类结果,则执行步骤s407;若分类结果为第二分类结果,则执行步骤s408;
153.步骤s407,将矩阵中代表第一分类结果的第一类元素映射为第一预设像素值;
154.步骤s408,针对矩阵中代表第二分类结果的每一个第二类元素,确定该第二类元素在初始图像中对应的目标像素;
155.步骤s409,将第二类元素映射为目标像素的像素值;
156.步骤s410,基于映射得到的第一像素值和目标像素的像素值得到不包含印章的图像。
157.上述示例中,上述的图像处理方法,通过对包含印章的初始图像进行灰度化和二值化处理,得到对应的二值图像,再基于图像分割模型对二值图像的每个像素点进行分类,
得到对应的分类结果,最后将分类结果映射为对应的像素值,得到不包含印章的图像。本发明可以根据图像的整体信息和局部信息来划分每个像素点,不再依赖于颜色通道的划分,因此,即便针对印章颜色与票据文字颜色相近的图像,也可以使非印章信息的像素点能够在分割中最大限度地保留下来,去除印章的效果更好,减小甚至消除了印章对票据信息提取过程的干扰,提高了票据处理的准确率。
158.本技术实施例提供了一种图像处理的装置,如图7所示,该图像处理装置500可以包括:图像预处理模块5001、图像分割模块5002以及图像后处理模块5003。其中,
159.图像预处理模块5001,用于获取待处理的包含印章的初始图像,基于初始图像获取对应的二值图像;
160.图像分割模块5002,用于对二值图像的每个像素点进行分类,得到对应的分类结果;
161.图像后处理模块5003,用于将分类结果映射为对应的预设像素值,得到不包含印章的图像。
162.本技术实施例中,图像预处理模块5001,在基于初始图像获取对应的二值图像时,具体用于:
163.对初始图像进行灰度化处理,得到对应的灰度图像;
164.对灰度图像进行二值化处理,得到与初始图像对应的二值图像。
165.在其中一个实施例中,图像分割模块5002在基于图像分割模型对二值图像的每个像素点进行分类,得到对应的分类结果时,具体用于:
166.将二值图像压缩得到特征编码;
167.将特征编码解码,得到每个像素点的分类结果。
168.在其中一个实施例中,分类结果的形式为矩阵;矩阵的元素对应为每个像素点的分类结果;图像后处理模块5003在将分类结果映射为对应的像素值时,具体用于:
169.将矩阵中代表第一分类结果的第一类元素映射为第一预设像素值;
170.针对矩阵中代表第二分类结果的每一个第二类元素,确定该第二类元素在初始图像中对应的目标像素,将第二类元素映射为目标像素的像素值。
171.在其中一个实施例中,图像处理装置500还包括模型训练模块,具体用于:
172.获取多组样本图像;每一组样本图像包括一张不带印章的原始样本图像和对应的带有印章的样本图像;
173.基于多组样本图像分别获取多组对应的二值样本图像;
174.根据多组二值样本图像对初始图像分割模型进行训练,得到图像分割模型。
175.在其中一个实施例中,模型训练模块在获取多组样本图像时,具体用于:
176.针对每一组样本图像,将印章合成到原始样本图像中,获取带有印章的样本图像。
177.在其中一个实施例中,图像处理装置500还包括:
178.数据增强模块,用于对多组样本图像中带有印章的样本图像进行数据增强;其中数据增强操作包括添加背景和添加噪声中的至少一种。
179.本技术实施例中提供了一种电子设备,该电子设备包括:存储器和处理器;至少一个程序,存储于存储器中,用于被处理器执行时,与现有技术相比可实现:对每个像素点都进行分类,分类依据是图像特征,因此对印章的样式、颜色、遮挡情况不敏感,有较高的准确
率。在对每个像素点进行分类得到分类结果后,将分类结果映射为对应的像素值,此处对应的像素值由初始图像确定,其输出结果比较稳定。
180.在一个可选实施例中提供了一种电子设备,如图8所示,图8所示的电子设备4000包括:处理器4001和存储器4003。其中,处理器4001和存储器4003相连,如通过总线4002相连。可选地,电子设备4000还可以包括收发器4004。需要说明的是,实际应用中收发器4004不限于一个,该电子设备4000的结构并不构成对本技术实施例的限定。
181.处理器4001可以是cpu(central processing unit,中央处理器),通用处理器,dsp(digital signal processor,数据信号处理器),asic(application specific integrated circuit,专用集成电路),fpga(field programmable gate array,现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器4001也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,dsp和微处理器的组合等。
182.总线4002可包括一通路,在上述组件之间传送信息。总线4002可以是pci(peripheral component interconnect,外设部件互连标准)总线或eisa(extended industry standard architecture,扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示,图8中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
183.存储器4003可以是rom(read only memory,只读存储器)或可存储静态信息和指令的其他类型的静态存储设备,ram(random access memory,随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备,也可以是eeprom(electrically erasable programmable read only memory,电可擦可编程只读存储器)、cd-rom(compact disc read only memory,只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
184.存储器4003用于存储执行本技术方案的应用程序代码,并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的应用程序代码,以实现前述方法实施例所示的内容。
185.其中,电子设备包括但不限于诸如移动电话、笔记本电脑、pad等等移动终端以及诸如数字tv、台式计算机等等固定终端。
186.本技术实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,当其在计算机上运行时,使得计算机可以执行前述方法实施例中相应内容。
187.应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
188.以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献