1.本发明涉及数字图像处理
技术领域：
：，尤其涉及一种图像处理方法、装置、设备以及存储介质。
背景技术：
：：2.光学字符识别技术是指电子设备(比如：扫描仪)检查纸质文档上打印的文本，通过检测暗、亮的模式确定其形状，将纸质文档中的文本转换成为黑白点阵的图像文件，并通过识别软件将图像中的文本转换成可编辑的文本格式，供文本处理软件进一步编辑加工的技术。然而，该技术对于在同一水平线上的文本具有很好的识别效果；若待识别的图像是根据弯曲的文本或者不在同一水平线上的文本扫描得到的，容易导致识别的准确率不高。3.目前，为保证光学字符识别算法能够获取到水平的文本往往需要固定的扫描台设备以及激光发生装置，不仅成本高，速度慢，而且可支持的场景单一；或者根据传统的图像处理算法，对图像进行二值化、计算连通域等操作使得与弯曲文本对应的图像在送入识别算法之后得到较好的识别率，其需要设置超参数、操作复杂，并且鲁棒性差。技术实现要素：4.本发明提供了一种图像处理方法、装置、设备以及存储介质，矫正了包括弯曲文本的待处理图像，简单高效的提升图像的识别率。5.根据本发明的第一方面，提供了一种图像处理方法，该方法包括：6.获取待处理图像的多个文本区域；7.调整与所述待处理图像的水平中线距离最近的第一文本区域，得到水平的目标文本行。8.可选的，所述第一文本区域对应于所述待处理图像的水平中线的初始文本行。9.进一步的，所述初始文本行，包括：10.根据水平方向上两个或两个以上相邻文本区域组成集合的横坐标，确定第一集合；11.根据经过所述第一集合内末端文本区域中心点的第一水平线，确定除第一集合之外的其他在竖直方向上相邻的集合的中心点与所述第一水平线距离最近的第二集合；12.根据经过所述第二集合内末端文本区域中心点的第二水平线，确定除第一集合以及第二集合之外的其他在竖直方向上相邻的集合的中心点与所述第二水平线距离最近的第三集合，得到包括所述第一集合、所述第二集合以及所述第三集合的初始文本行。13.进一步的，所述根据水平方向上两个或两个以上相邻文本区域组成集合的横坐标，确定第一集合，包括：14.将所述待处理图像中的多个文本区域依据同一水平方向以及相同的数量划分为两个或两个以上的集合，同一文本区域仅存在于单个集合之中；15.根据各集合内首个文本区域的横坐标的数值对所述集合正序排列确定在先的集合序列；16.判断所述集合序列中各集合的中心点到所述中线的距离最小的集合，得到所述第一集合。17.进一步的，所述根据经过所述第一集合内末端文本区域中心点的第一水平线，确定除第一集合之外的其他在竖直方向上相邻的集合的中心点与所述第一水平线距离最近的第二集合，包括：18.确定所述第一集合内末端文本区域中心点的第一坐标；19.经过所述第一坐标对应的点作平行于所述水平中线的第一水平线，选择除第一集合之外的其他在竖直方向上相邻的集合的中心点到所述第一水平线距离最近的相邻集合作为所述第二集合。20.可选的，合并在垂直方向上区分度极小的文本区域，得到所述初始文本行。21.可选的，所述调整与所述待处理图像的水平中线距离最近的第一文本区域，得到水平的目标文本行，包括：22.计算由所述第一文本区域中相邻两个文本区域中心点所确定的直线斜率；23.根据所述直线斜率确定所述仿射变换的参数值；24.根据所述参数值依次调整所述文本区域在垂直方向上的角度，得到水平的目标文本行。25.根据本发明的第二方面，提供了一种图像处理装置，该装置包括：26.获取模块，用于获取待处理图像的多个文本区域；27.调整模块，用于调整与所述待处理图像的水平中线距离最近的第一文本区域，得到水平的目标文本行。28.根据本发明的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器实现如本发明任一实施例所述的图像处理方法。29.根据本发明的第四方面，提供了一种计算机可读存储介质，所述计算机指令用于使所述计算机执行如本发明任一实施例所述的图像处理方法。30.本发明公开了一种图像处理方法、装置、设备以及存储介质。该图像处理方法包括：获取待处理图像的多个文本区域；调整与所述待处理图像的水平中线距离最近的第一文本区域，得到水平的目标文本行。采用本发明的技术方案，第一文本区域中的文本不少为弯曲文本，通过调整第一文本区域，得到水平的目标文本行，包括目标文本行的图像进行文本识别，可以提高文本识别率和识别准确度，计算量小、速度快、鲁棒性好以及实用性强。31.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。附图说明32.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。33.图1是根据本发明实施例提供的一种图像处理方法的流程示意图；34.图2a是根据本发明实施例提供的一种待处理图像的示意图；35.图2b是根据本发明实施例提供的另一种待处理图像的示意图；36.图3a是根据本发明实施例提供的一种待处理图像中文本区域的示意图；37.图3b是根据本发明实施例提供的另一种待处理图像中文本区域的示意图；38.图4a是根据本发明实施例提供的一种初始文本行的示意图；39.图4b是根据本发明实施例提供的另一种初始文本行的示意图；40.图5a是根据本发明实施例提供的一种目标文本行的示意图；41.图5b是根据本发明实施例提供的另一种目标文本行的示意图；42.图6是根据本发明实施例提供的一种图像处理装置的结构示意图；43.图7是用来实现本发明实施例的图像处理方法的电子设备的框图。具体实施方式44.为了使本
技术领域：
：的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。45.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。46.实施例一47.根据本技术实施例，提供了一种图像处理方法、装置、设备以及存储介质，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。本发明所提供的图像处理方法可应用于扫描笔或者其他光学字符识别技术的应用场景，比如，证件识别、银行卡识别、车牌识别、名片识别、营业执照识别以及票据识别等。本实施例以扫描笔的应用场景为例进行说明，扫描笔的扫描对象可以为书本上的文字，由于扫描笔的扫描窗口规格是固定的，对于书本而言，其中的文字大小可能并不相同，若书中的文字非常小，则扫描窗口大概率会扫到多行文本，增加了文本识别的难度，进而影响扫描笔识别结果的精度。如图1所示，该图像处理方法包括如下步骤：s110和s120。48.s110、获取待处理图像的多个文本区域。49.扫描笔的扫描窗口获取所述待处理图像，由于使用者在扫描过程中，手会存在不同程度的抖动，导致扫描得到的待处理图像中的文本是弯曲的，如图2a和图2b所示，扫描笔的窗口获取到的待处理图像中包含有两行的弯曲文本，图2a为中文的弯曲文本，图2b为英文的弯曲文本。所述文本区域为所述待处理图像中表示文本特征的最小单元。通过水平文本检测算法得到所述多个文本区域，如图3a所示，所述文本区域为所述待处理图像中的矩形框，并且多个矩形框将待处理图像中的文本内容完全选中，其中，单个文字可以被多个矩形框选中，也可以被单个矩形框选中，这根据待处理图像中的文本弯曲程度或者文本检测算法的不同而有影响，在此不做具体限定；同理，图3b提供了一种英文文本经过水平文本检测算法得到的多个文本区域(矩形框)的示意图。50.自然场景中的文本检测主要分为三种方法：基于连通域的方法、基于滑动检测窗的方法、基于深度学习的方法；本技术以深度学习的水平方向文本检测算法为基础实现对待处理图像中弯曲文本的拉直。其中，水平文本检测算法有很多，诸如：连接文本建议网络的文本检测算法(connectiontextproposalnetwork，ctpn)、最大稳定极值区域(maximallystableextremalregions，mser)等，其中mser广泛应用于自然场景中候选区域的提取，对于具有孔洞的字符，候选区域容易出现嵌套，对光照、颜色变换敏感，导致降低检测准确度；当然，对于本技术提出的图像处理方法也可以使用mser等同替换。本实施例以ctpn文本检测算法为例进行说明，ctpn文本检测算法结合卷积神经网络(convolutionalneuralnetworks，cnn)与长短期记忆深度网络(longshort-termmemory，lstm)，检测出横向分布的文字。51.首先使用vgg16(一种类型的卷积神经网络)的网络结构提取特征，得到待处理图像的空间特征；再利用lstm网络将cnn学习到的空间特征进行变换，提取空间特征中特征向量之间的关系，得到包含待处理图像“空间 序列”的特征；最后将所述“空间序列特征”输入全连接层(fullyconnectedlayer,fc)和区域生成网络(regionproposalnetwork,rpn)，生成用于表征文本位置信息的文本区域(矩形框)。ctpn算法仅预测文本的高度和高度偏移，将文本设置成固定的小宽度片段，预测得到各个小片段后，再通过比较复杂的后处理(如中心线拟合)得到整个文本的矩形框。52.s120、调整与所述待处理图像的水平中线距离最近的第一文本区域，得到水平的目标文本行。53.待处理图像的水平中线为经过所述待处理图像中心点平行于水平轴的直线，该水平中线将所述待处理图像划分为垂直方向上均等的上下两个图像区域。距离所述水平中线最近的的多个文本区域构成所述第一文本区域，可选的，所述水平中线可能横穿所述第一文本区域，也可能不经过所述第一文本区域，但是所述第一文本区域对应于距离所述水平中线最近的文本行，其表示被第一文本区域选中的文本行是扫描笔的扫描窗口在水平移动过程中最接近中心位置的文本行。将调整所述第一文本区域之后得到的目标文本行输入下一步的识别算法中，实现了将图像格式转换成文本格式，不仅计算量小，速度快，而且对硬件无特殊要求，鲁棒性好，极大的提升了文本识别率。54.可选的，所述第一文本区域对应于所述待处理图像的水平中线的初始文本行。55.所述初始文本行是待处理图像中第一文本区域选中的靠近图像水平中线的弯曲文本行，第一文本区域中的各相邻文本区域在垂直方向上区分度非常小，为了提高算法速度，对在垂直方向上区分度极小的文本区域进行合并，得到所述初始文本行。初始文本行可以认为是对最初的待处理图像中弯曲文本内的文字区域进行标注得到的结果。如图4a所示，提供了一种将区分度十分微小的相邻文本区域合并之后的初始文本行的示意图。图4b示出了英文文本行内区分度十分微小的相邻文本区域合并之后的示意图。56.进一步的，所述初始文本行，包括：根据水平方向上两个或两个以上相邻文本区域组成集合的横坐标，确定第一集合；根据经过所述第一集合内末端文本区域中心点的第一水平线，确定除第一集合之外的其他在竖直方向上相邻的集合的中心点与所述第一水平线距离最近的第二集合；根据经过所述第二集合内末端文本区域中心点的第二水平线，确定除第一集合以及第二集合之外的其他在竖直方向上相邻的集合的中心点与所述第二水平线距离最近的第三集合，得到包括所述第一集合、所述第二集合以及所述第三集合的初始文本行。57.以所述待处理图像左下角的顶点为原点，水平向右的方向为横轴(x轴)，竖直向上的方向为纵轴(y轴)建立直角坐标系；所述文本区域的坐标以矩形框左上角顶点的坐标标识，所述集合的坐标以该集合内从左至右的方向上首个文本区域的坐标标识；需要说明的是：上述建系方式仅为一种示例，同理，以待处理图像的中心点为原点建立坐标系也能实施本技术的图像处理方法。集合中的文本区域均为同一水平方向，并不对垂直方向上的文本区域进行组合得到集合，即单个集合中的文本区域为同一行的文本区域；并且不同的集合之间无相同的文本区域，但是在不同集合内，文本区域的数量是相同的；相邻两个集合之间也无独立存在的文本区域，即单行内的所有集合涵盖了所述第一文本区域。其中，所述文本区域的中心点为矩形框对角线的交点，第一集合的中心点根据该集合内首端文本区域左上角和左下角以及末端文本区域的右上角和右下角的对角线的交点确定，根据各个集合横坐标确定的第一集合是位于图像中文本行的首端且最接近所述水平中线的集合。58.通过集合的方式确定某一行的所有文本区域，要首先确定不同集合之间的先后顺序，因此，根据在先集合的末端文本区域的纵坐标来选择与该末端文本区域紧邻的在后的第二集合，以此保证第一集合和第二集合在相近似的高度方向上。过所述第一集合内末端文本区域的中心点平行于水平轴(或者所述水平中线)作第一水平线，以该第一水平线为基准选择与所述第一集合相邻的第二集合；具体的，在所述待处理图像包括的所有集合中确定除了第一集合之外的其他在竖直方向上相邻的集合的中心点到所述第一水平线的最小距离，将该最小距离对应的集合作为所述第二集合；其表示在竖直方向上存在邻接关系的两个集合中选择距离所述第一水平线最近的其中一个集合作为所述第二集合，同理，第三集合的选取依据经过所述第二集合内末端文本区域的中心点平行于水平轴的第二水平线，进一步的，在所述待处理图像包括的所有集合中确定除了第一集合以及第二集合之外的其他在竖直方向上相邻的集合的中心点到所述第二水平线的最小距离，将该最小距离对应的集合作为第三集合。因此，所述第一集合、第二集合以及第三集合组成了同一高度方向上的初始文本行。59.进一步的，所述根据水平方向上两个或两个以上相邻文本区域组成集合的横坐标，确定第一集合，包括：60.将所述待处理图像中的多个文本区域依据同一水平方向以及相同的数量划分为两个或两个以上的集合，同一文本区域仅存在于单个集合之中；根据各集合内首个文本区域的横坐标的数值对所述集合正序排列确定在先的集合序列；判断所述集合序列中各集合的中心点到所述中线的距离最小的集合，得到所述第一集合。61.由于单行内首个文本区域的角度在不同的文本行可能不同，进而导致每行首个文本区域的横坐标在某一固定数值范围的左右浮动，通过对所有集合内首个文本区域的横坐标进行正序排列，可以确定出扫描得到的待处理图像内多个文本行中位于首端的几个集合组成的集合序列，集合序列内集合的数量代表了待处理图像中文本行的数量。在所述集合序列之中，根据所述待处理图像的水平中线，选择在竖直方向上每组两个相邻的集合的中心点到所述水平中线的距离中最小的集合，依次比较相邻集合距离所述水平中线的距离，直至选择出最小距离的集合，将其作为第一集合。示例性的，若所述集合序列中包括四个集合，在竖直方向上，从上至下为：a集合、b集合、c集合和d集合；分别比较d集合与c集合、c集合与b集合、b集合与a集合之中各集合中心点到所述水平中线的距离，选出距离所述水平中线最近的集合作为第一集合。如果所述四个集合在竖直方向上被均等的分布在所述水平中线的两侧，则关键在于比较c集合与b集合这两个集合的中心点到所述水平中线的距离，选择最小的距离对应的集合即为所述第一集合。62.进一步的，所述根据经过所述第一集合内末端文本区域中心点的第一水平线，确定除第一集合之外的其他在竖直方向上相邻的集合的中心点与所述第一水平线距离最近的第二集合，包括：确定所述第一集合内末端文本区域中心点的第一坐标；经过所述第一坐标对应的点作平行于所述水平中线的第一水平线，选择除第一集合之外的其他在竖直方向上相邻的集合的中心点到所述第一水平线距离最近的相邻集合作为所述第二集合。63.可选的，所述根据经过所述第二集合内末端文本区域中心点的第二水平线，确定除第一集合以及第二集合之外的其他在竖直方向上相邻的集合的中心点与所述第二水平线距离最近的第三集合，包括：确定所述第二集合内末端文本区域中心点的第二坐标；经过所述第二坐标对应的点作平行于所述水平中线的第二水平线，选择除第一集合以及第二集合之外的其他在竖直方向上相邻的集合的中心点到所述第二水平线距离最近的相邻集合作为所述第三集合。可见，所述第三集合的选取，也同样遵照所述第二集合的选取原则，最终得到所述初始文本行。64.作为另一种可选的实施方式，确定所述第一集合各文本区域的纵坐标区间和所述第一集合内末端文本区域中心点的纵坐标；在所述第一集合内末端文本区域中心点纵坐标的邻域中选择与所述纵坐标区间存在交集的第二集合。根据第一集合中末端文本区域中心点纵坐标的邻域，确定中心点的纵坐标在此范围内的第二集合。进一步的，根据在先第一集合的纵坐标区间选择与第一集合的纵坐标存在重叠区域的在后第二集合，得到由多个集合组成的初始文本行；若集合与第一集合的纵坐标区间并无交集，则直接将该集合过滤，直至将所述待处理图像中所有的集合查询完毕。所述文本区域为矩形框，矩形框对角线的交点为文本区域的中心点，第一集合中，矩形框四个顶点纵坐标的数值构成该第一集合的纵坐标区间，由于在同一行文本中相邻的文本区域之间纵坐标在垂直方向上的变化量很小，即使相邻的文本区域被分到了不同的集合中，也能据此找到具有先后顺序的相邻两个集合。65.可选的，所述调整与所述待处理图像的水平中线距离最近的第一文本区域，得到水平的目标文本行，包括：66.计算由所述第一文本区域中相邻两个文本区域中心点所确定的直线斜率；67.根据所述直线斜率确定所述仿射变换的参数值；68.根据所述参数值依次调整所述文本区域在垂直方向上的角度，得到水平的目标文本行。69.仿射变换也称仿射投影，是指几何中，对一个向量空间进行线性变换并接上一个平移，变换为另一个向量空间，实现对图像的平移、缩放、旋转、翻转等。根据仿射变换的参数值进行图像行、列、坐标间的变换，通过调整参数值进而达到调整文本区域的目的，使得第一文本区域近似于一条直线，对应的目标文本行也处于同一水平线，如图5a和图5b所示，相较于待处理图像，具有明显的改善，将其输入文本识别算法，得到的输出文本的精确度有很大的提高。示例性的，当待处理图像中的文本弯曲程度比较大时，相邻两个文本区域之间的斜率相应的比较大，我们无需设置一个固定的阈值，根据相邻的两个文本区域中心点连接而成的直线的斜率，自适应的调节相邻文本区域之间的仿射变换参数，具有一定的灵活性，使得对包含弯曲文本的待处理图像的操作不过于机械；由于弯曲的文本在处理过程中相当于呈现一种将处于弯曲状态的一行文字经由不断的扭曲变换而拉直的效果，若仅仅对大于固定阈值的文本区域进行仿射变换，反而容易造成原本弯曲程度较小的文本区域反而弯曲程度变大，导致经过仿射变换之后的图像衔接处的文字出现严重的形变，或者出现整体的待处理图像内的文本偏向于某一个方向，而非水平的状况，所以需要依次调整，循序渐进的对每个文本区域进行仿射变换操作使得所述第一文本区域始终以待处理图像的水平中线为基础进行调整，得到最终水平的目标文本行。70.本发明公开了一种图像处理方法。该图像处理方法包括：获取待处理图像的多个文本区域；调整与所述待处理图像的水平中线距离最近的第一文本区域，得到水平的目标文本行。采用本发明的技术方案，第一文本区域中的文本不少为弯曲文本，通过调整第一文本区域，得到水平的目标文本行，包括目标文本行的图像进行文本识别，可以提高文本识别率和识别准确度，计算量小、速度快、鲁棒性好以及实用性强。71.实施例二72.根据本发明实施例，提供了一种图像处理装置的结构示意图，该装置可以执行上述实施例一提供的图像处理方法。如图6所示，该装置包括：获取模块610和调整模块620。其中：73.获取模块610，用于获取待处理图像的多个文本区域。74.调整模块620，用于调整与所述待处理图像的水平中线距离最近的第一文本区域，得到水平的目标文本行。75.可选的，所述第一文本区域对应于所述待处理图像的水平中线的初始文本行。76.可选的，所述调整模块620，包括：77.第一确定单元，用于根据水平方向上两个或两个以上相邻文本区域组成集合的横坐标，确定第一集合；78.第二确定单元，用于根据经过所述第一集合内末端文本区域中心点的第一水平线，确定除第一集合之外的其他在竖直方向上相邻的集合的中心点与所述第一水平线距离最近的第二集合；79.第三确定单元，用于根据经过所述第二集合内末端文本区域中心点的第二水平线，确定除第一集合以及第二集合之外的其他在竖直方向上相邻的集合的中心点与所述第二水平线距离最近的第三集合，得到包括所述第一集合、所述第二集合以及所述第三集合的初始文本行。80.进一步的，所述第一确定单元，包括：81.将所述待处理图像中的多个文本区域依据同一水平方向以及相同的数量划分为两个或两个以上的集合，同一文本区域仅存在于单个集合之中；82.根据各集合内首个文本区域的横坐标的数值对所述集合正序排列确定在先的集合序列；83.判断所述集合序列中各集合的中心点到所述中线的距离最小的集合，得到所述第一集合。84.进一步的，所述第二确定单元，包括：85.确定所述第一集合内末端文本区域中心点的第一坐标；86.经过所述第一坐标对应的点作平行于所述水平中线的第一水平线，选择除第一集合之外的其他在竖直方向上相邻的集合的中心点到所述第一水平线距离最近的相邻集合作为所述第二集合。87.可选的，合并在垂直方向上区分度极小的文本区域，得到所述初始文本行。88.进一步的，所述调整模块620，还包括：89.计算由所述第一文本区域中相邻两个文本区域中心点所确定的直线斜率；90.根据所述直线斜率确定所述仿射变换的参数值；91.根据所述参数值依次调整所述文本区域在垂直方向上的角度，得到水平的目标文本行。92.本发明公开了一种图像处理装置。该图像处理装置包括：获取模块，用于获取待处理图像的多个文本区域；调整模块，用于调整与所述待处理图像的水平中线距离最近的第一文本区域，得到水平的目标文本行。采用本发明的技术方案，第一文本区域中的文本不少为弯曲文本，通过调整第一文本区域，得到水平的目标文本行，包括目标文本行的图像进行文本识别，可以提高文本识别率和识别准确度，计算量小、速度快、鲁棒性好以及实用性强。93.实施例三94.下面参考图7，其示出了适于用来实现本发明实施例的电子设备700的结构图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。95.如图7所示，电子设备700可以包括处理装置710，其可以根据存储在只读存储器(rom)720中的程序或者从存储装置780加载到随机访问存储器(ram)730中的程序而执行各种适当的动作和处理。处理装置710可以是各种具有处理和计算能力的通用和/或专用处理组件。处理装置710的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理装置710执行上文所描述的各个方法和处理。96.在ram730中，还存储有电子设备700操作所需的各种程序和数据。处理装置710、rom720以及ram730通过总线740彼此相连。输入/输出(i/o)接口750也连接至总线740。97.通常，以下装置可以连接至i/o接口750：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置760；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置770；包括例如磁带、硬盘等的存储装置780；以及通信装置790。通信装置790可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备700，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。98.特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置790从网络上被下载和安装，或者从存储装置780被安装，或者从rom720被安装。在该计算机程序被处理装置710执行时，执行本发明实施例的方法中限定的上述功能。备选地，在其他实施例中，处理装置710可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法：获取待处理图像的多个文本区域；调整与所述待处理图像的水平中线距离最近的第一文本区域，得到水平的目标文本行。99.实施例四100.本发明上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。101.在一些实施方式中，客户端、服务器可以利用诸如http(hypertexttransferprotocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“lan”)，广域网(“wan”)，网际网(例如，互联网)以及端对端网络(例如，adhoc端对端网络)，以及任何当前已知或未来研发的网络。102.上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。103.上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取待处理图像的多个文本区域；调整与所述待处理图像的水平中线距离最近的第一文本区域，得到水平的目标文本行。104.可以以一种或多种程序设计语言或其组合来编写用于执行本发明的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。105.附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。106.描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定。107.本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：数字电子电路系统、集成电路系统、现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合等等。108.用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。109.在本发明的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。110.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。111.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)区块链网络和互联网。112.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。113.人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术及机器学习/深度学习技术、大数据处理技术、知识图谱技术等几大方向。114.云计算(cloudcomputing)，指的是通过网络接入弹性可扩展的共享物理或虚拟资源池，资源可以包括服务器、操作系统、网络、软件、应用和存储设备等，并可以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算技术，可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。115.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明提供的技术方案所期望的结果，本文在此不进行限制。116.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。当前第1页12当前第1页12
技术领域：
：，尤其涉及一种图像处理方法、装置、设备以及存储介质。
背景技术：
：：2.光学字符识别技术是指电子设备(比如：扫描仪)检查纸质文档上打印的文本，通过检测暗、亮的模式确定其形状，将纸质文档中的文本转换成为黑白点阵的图像文件，并通过识别软件将图像中的文本转换成可编辑的文本格式，供文本处理软件进一步编辑加工的技术。然而，该技术对于在同一水平线上的文本具有很好的识别效果；若待识别的图像是根据弯曲的文本或者不在同一水平线上的文本扫描得到的，容易导致识别的准确率不高。3.目前，为保证光学字符识别算法能够获取到水平的文本往往需要固定的扫描台设备以及激光发生装置，不仅成本高，速度慢，而且可支持的场景单一；或者根据传统的图像处理算法，对图像进行二值化、计算连通域等操作使得与弯曲文本对应的图像在送入识别算法之后得到较好的识别率，其需要设置超参数、操作复杂，并且鲁棒性差。技术实现要素：4.本发明提供了一种图像处理方法、装置、设备以及存储介质，矫正了包括弯曲文本的待处理图像，简单高效的提升图像的识别率。5.根据本发明的第一方面，提供了一种图像处理方法，该方法包括：6.获取待处理图像的多个文本区域；7.调整与所述待处理图像的水平中线距离最近的第一文本区域，得到水平的目标文本行。8.可选的，所述第一文本区域对应于所述待处理图像的水平中线的初始文本行。9.进一步的，所述初始文本行，包括：10.根据水平方向上两个或两个以上相邻文本区域组成集合的横坐标，确定第一集合；11.根据经过所述第一集合内末端文本区域中心点的第一水平线，确定除第一集合之外的其他在竖直方向上相邻的集合的中心点与所述第一水平线距离最近的第二集合；12.根据经过所述第二集合内末端文本区域中心点的第二水平线，确定除第一集合以及第二集合之外的其他在竖直方向上相邻的集合的中心点与所述第二水平线距离最近的第三集合，得到包括所述第一集合、所述第二集合以及所述第三集合的初始文本行。13.进一步的，所述根据水平方向上两个或两个以上相邻文本区域组成集合的横坐标，确定第一集合，包括：14.将所述待处理图像中的多个文本区域依据同一水平方向以及相同的数量划分为两个或两个以上的集合，同一文本区域仅存在于单个集合之中；15.根据各集合内首个文本区域的横坐标的数值对所述集合正序排列确定在先的集合序列；16.判断所述集合序列中各集合的中心点到所述中线的距离最小的集合，得到所述第一集合。17.进一步的，所述根据经过所述第一集合内末端文本区域中心点的第一水平线，确定除第一集合之外的其他在竖直方向上相邻的集合的中心点与所述第一水平线距离最近的第二集合，包括：18.确定所述第一集合内末端文本区域中心点的第一坐标；19.经过所述第一坐标对应的点作平行于所述水平中线的第一水平线，选择除第一集合之外的其他在竖直方向上相邻的集合的中心点到所述第一水平线距离最近的相邻集合作为所述第二集合。20.可选的，合并在垂直方向上区分度极小的文本区域，得到所述初始文本行。21.可选的，所述调整与所述待处理图像的水平中线距离最近的第一文本区域，得到水平的目标文本行，包括：22.计算由所述第一文本区域中相邻两个文本区域中心点所确定的直线斜率；23.根据所述直线斜率确定所述仿射变换的参数值；24.根据所述参数值依次调整所述文本区域在垂直方向上的角度，得到水平的目标文本行。25.根据本发明的第二方面，提供了一种图像处理装置，该装置包括：26.获取模块，用于获取待处理图像的多个文本区域；27.调整模块，用于调整与所述待处理图像的水平中线距离最近的第一文本区域，得到水平的目标文本行。28.根据本发明的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器实现如本发明任一实施例所述的图像处理方法。29.根据本发明的第四方面，提供了一种计算机可读存储介质，所述计算机指令用于使所述计算机执行如本发明任一实施例所述的图像处理方法。30.本发明公开了一种图像处理方法、装置、设备以及存储介质。该图像处理方法包括：获取待处理图像的多个文本区域；调整与所述待处理图像的水平中线距离最近的第一文本区域，得到水平的目标文本行。采用本发明的技术方案，第一文本区域中的文本不少为弯曲文本，通过调整第一文本区域，得到水平的目标文本行，包括目标文本行的图像进行文本识别，可以提高文本识别率和识别准确度，计算量小、速度快、鲁棒性好以及实用性强。31.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。附图说明32.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。33.图1是根据本发明实施例提供的一种图像处理方法的流程示意图；34.图2a是根据本发明实施例提供的一种待处理图像的示意图；35.图2b是根据本发明实施例提供的另一种待处理图像的示意图；36.图3a是根据本发明实施例提供的一种待处理图像中文本区域的示意图；37.图3b是根据本发明实施例提供的另一种待处理图像中文本区域的示意图；38.图4a是根据本发明实施例提供的一种初始文本行的示意图；39.图4b是根据本发明实施例提供的另一种初始文本行的示意图；40.图5a是根据本发明实施例提供的一种目标文本行的示意图；41.图5b是根据本发明实施例提供的另一种目标文本行的示意图；42.图6是根据本发明实施例提供的一种图像处理装置的结构示意图；43.图7是用来实现本发明实施例的图像处理方法的电子设备的框图。具体实施方式44.为了使本
技术领域：
：的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。45.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。46.实施例一47.根据本技术实施例，提供了一种图像处理方法、装置、设备以及存储介质，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。本发明所提供的图像处理方法可应用于扫描笔或者其他光学字符识别技术的应用场景，比如，证件识别、银行卡识别、车牌识别、名片识别、营业执照识别以及票据识别等。本实施例以扫描笔的应用场景为例进行说明，扫描笔的扫描对象可以为书本上的文字，由于扫描笔的扫描窗口规格是固定的，对于书本而言，其中的文字大小可能并不相同，若书中的文字非常小，则扫描窗口大概率会扫到多行文本，增加了文本识别的难度，进而影响扫描笔识别结果的精度。如图1所示，该图像处理方法包括如下步骤：s110和s120。48.s110、获取待处理图像的多个文本区域。49.扫描笔的扫描窗口获取所述待处理图像，由于使用者在扫描过程中，手会存在不同程度的抖动，导致扫描得到的待处理图像中的文本是弯曲的，如图2a和图2b所示，扫描笔的窗口获取到的待处理图像中包含有两行的弯曲文本，图2a为中文的弯曲文本，图2b为英文的弯曲文本。所述文本区域为所述待处理图像中表示文本特征的最小单元。通过水平文本检测算法得到所述多个文本区域，如图3a所示，所述文本区域为所述待处理图像中的矩形框，并且多个矩形框将待处理图像中的文本内容完全选中，其中，单个文字可以被多个矩形框选中，也可以被单个矩形框选中，这根据待处理图像中的文本弯曲程度或者文本检测算法的不同而有影响，在此不做具体限定；同理，图3b提供了一种英文文本经过水平文本检测算法得到的多个文本区域(矩形框)的示意图。50.自然场景中的文本检测主要分为三种方法：基于连通域的方法、基于滑动检测窗的方法、基于深度学习的方法；本技术以深度学习的水平方向文本检测算法为基础实现对待处理图像中弯曲文本的拉直。其中，水平文本检测算法有很多，诸如：连接文本建议网络的文本检测算法(connectiontextproposalnetwork，ctpn)、最大稳定极值区域(maximallystableextremalregions，mser)等，其中mser广泛应用于自然场景中候选区域的提取，对于具有孔洞的字符，候选区域容易出现嵌套，对光照、颜色变换敏感，导致降低检测准确度；当然，对于本技术提出的图像处理方法也可以使用mser等同替换。本实施例以ctpn文本检测算法为例进行说明，ctpn文本检测算法结合卷积神经网络(convolutionalneuralnetworks，cnn)与长短期记忆深度网络(longshort-termmemory，lstm)，检测出横向分布的文字。51.首先使用vgg16(一种类型的卷积神经网络)的网络结构提取特征，得到待处理图像的空间特征；再利用lstm网络将cnn学习到的空间特征进行变换，提取空间特征中特征向量之间的关系，得到包含待处理图像“空间 序列”的特征；最后将所述“空间序列特征”输入全连接层(fullyconnectedlayer,fc)和区域生成网络(regionproposalnetwork,rpn)，生成用于表征文本位置信息的文本区域(矩形框)。ctpn算法仅预测文本的高度和高度偏移，将文本设置成固定的小宽度片段，预测得到各个小片段后，再通过比较复杂的后处理(如中心线拟合)得到整个文本的矩形框。52.s120、调整与所述待处理图像的水平中线距离最近的第一文本区域，得到水平的目标文本行。53.待处理图像的水平中线为经过所述待处理图像中心点平行于水平轴的直线，该水平中线将所述待处理图像划分为垂直方向上均等的上下两个图像区域。距离所述水平中线最近的的多个文本区域构成所述第一文本区域，可选的，所述水平中线可能横穿所述第一文本区域，也可能不经过所述第一文本区域，但是所述第一文本区域对应于距离所述水平中线最近的文本行，其表示被第一文本区域选中的文本行是扫描笔的扫描窗口在水平移动过程中最接近中心位置的文本行。将调整所述第一文本区域之后得到的目标文本行输入下一步的识别算法中，实现了将图像格式转换成文本格式，不仅计算量小，速度快，而且对硬件无特殊要求，鲁棒性好，极大的提升了文本识别率。54.可选的，所述第一文本区域对应于所述待处理图像的水平中线的初始文本行。55.所述初始文本行是待处理图像中第一文本区域选中的靠近图像水平中线的弯曲文本行，第一文本区域中的各相邻文本区域在垂直方向上区分度非常小，为了提高算法速度，对在垂直方向上区分度极小的文本区域进行合并，得到所述初始文本行。初始文本行可以认为是对最初的待处理图像中弯曲文本内的文字区域进行标注得到的结果。如图4a所示，提供了一种将区分度十分微小的相邻文本区域合并之后的初始文本行的示意图。图4b示出了英文文本行内区分度十分微小的相邻文本区域合并之后的示意图。56.进一步的，所述初始文本行，包括：根据水平方向上两个或两个以上相邻文本区域组成集合的横坐标，确定第一集合；根据经过所述第一集合内末端文本区域中心点的第一水平线，确定除第一集合之外的其他在竖直方向上相邻的集合的中心点与所述第一水平线距离最近的第二集合；根据经过所述第二集合内末端文本区域中心点的第二水平线，确定除第一集合以及第二集合之外的其他在竖直方向上相邻的集合的中心点与所述第二水平线距离最近的第三集合，得到包括所述第一集合、所述第二集合以及所述第三集合的初始文本行。57.以所述待处理图像左下角的顶点为原点，水平向右的方向为横轴(x轴)，竖直向上的方向为纵轴(y轴)建立直角坐标系；所述文本区域的坐标以矩形框左上角顶点的坐标标识，所述集合的坐标以该集合内从左至右的方向上首个文本区域的坐标标识；需要说明的是：上述建系方式仅为一种示例，同理，以待处理图像的中心点为原点建立坐标系也能实施本技术的图像处理方法。集合中的文本区域均为同一水平方向，并不对垂直方向上的文本区域进行组合得到集合，即单个集合中的文本区域为同一行的文本区域；并且不同的集合之间无相同的文本区域，但是在不同集合内，文本区域的数量是相同的；相邻两个集合之间也无独立存在的文本区域，即单行内的所有集合涵盖了所述第一文本区域。其中，所述文本区域的中心点为矩形框对角线的交点，第一集合的中心点根据该集合内首端文本区域左上角和左下角以及末端文本区域的右上角和右下角的对角线的交点确定，根据各个集合横坐标确定的第一集合是位于图像中文本行的首端且最接近所述水平中线的集合。58.通过集合的方式确定某一行的所有文本区域，要首先确定不同集合之间的先后顺序，因此，根据在先集合的末端文本区域的纵坐标来选择与该末端文本区域紧邻的在后的第二集合，以此保证第一集合和第二集合在相近似的高度方向上。过所述第一集合内末端文本区域的中心点平行于水平轴(或者所述水平中线)作第一水平线，以该第一水平线为基准选择与所述第一集合相邻的第二集合；具体的，在所述待处理图像包括的所有集合中确定除了第一集合之外的其他在竖直方向上相邻的集合的中心点到所述第一水平线的最小距离，将该最小距离对应的集合作为所述第二集合；其表示在竖直方向上存在邻接关系的两个集合中选择距离所述第一水平线最近的其中一个集合作为所述第二集合，同理，第三集合的选取依据经过所述第二集合内末端文本区域的中心点平行于水平轴的第二水平线，进一步的，在所述待处理图像包括的所有集合中确定除了第一集合以及第二集合之外的其他在竖直方向上相邻的集合的中心点到所述第二水平线的最小距离，将该最小距离对应的集合作为第三集合。因此，所述第一集合、第二集合以及第三集合组成了同一高度方向上的初始文本行。59.进一步的，所述根据水平方向上两个或两个以上相邻文本区域组成集合的横坐标，确定第一集合，包括：60.将所述待处理图像中的多个文本区域依据同一水平方向以及相同的数量划分为两个或两个以上的集合，同一文本区域仅存在于单个集合之中；根据各集合内首个文本区域的横坐标的数值对所述集合正序排列确定在先的集合序列；判断所述集合序列中各集合的中心点到所述中线的距离最小的集合，得到所述第一集合。61.由于单行内首个文本区域的角度在不同的文本行可能不同，进而导致每行首个文本区域的横坐标在某一固定数值范围的左右浮动，通过对所有集合内首个文本区域的横坐标进行正序排列，可以确定出扫描得到的待处理图像内多个文本行中位于首端的几个集合组成的集合序列，集合序列内集合的数量代表了待处理图像中文本行的数量。在所述集合序列之中，根据所述待处理图像的水平中线，选择在竖直方向上每组两个相邻的集合的中心点到所述水平中线的距离中最小的集合，依次比较相邻集合距离所述水平中线的距离，直至选择出最小距离的集合，将其作为第一集合。示例性的，若所述集合序列中包括四个集合，在竖直方向上，从上至下为：a集合、b集合、c集合和d集合；分别比较d集合与c集合、c集合与b集合、b集合与a集合之中各集合中心点到所述水平中线的距离，选出距离所述水平中线最近的集合作为第一集合。如果所述四个集合在竖直方向上被均等的分布在所述水平中线的两侧，则关键在于比较c集合与b集合这两个集合的中心点到所述水平中线的距离，选择最小的距离对应的集合即为所述第一集合。62.进一步的，所述根据经过所述第一集合内末端文本区域中心点的第一水平线，确定除第一集合之外的其他在竖直方向上相邻的集合的中心点与所述第一水平线距离最近的第二集合，包括：确定所述第一集合内末端文本区域中心点的第一坐标；经过所述第一坐标对应的点作平行于所述水平中线的第一水平线，选择除第一集合之外的其他在竖直方向上相邻的集合的中心点到所述第一水平线距离最近的相邻集合作为所述第二集合。63.可选的，所述根据经过所述第二集合内末端文本区域中心点的第二水平线，确定除第一集合以及第二集合之外的其他在竖直方向上相邻的集合的中心点与所述第二水平线距离最近的第三集合，包括：确定所述第二集合内末端文本区域中心点的第二坐标；经过所述第二坐标对应的点作平行于所述水平中线的第二水平线，选择除第一集合以及第二集合之外的其他在竖直方向上相邻的集合的中心点到所述第二水平线距离最近的相邻集合作为所述第三集合。可见，所述第三集合的选取，也同样遵照所述第二集合的选取原则，最终得到所述初始文本行。64.作为另一种可选的实施方式，确定所述第一集合各文本区域的纵坐标区间和所述第一集合内末端文本区域中心点的纵坐标；在所述第一集合内末端文本区域中心点纵坐标的邻域中选择与所述纵坐标区间存在交集的第二集合。根据第一集合中末端文本区域中心点纵坐标的邻域，确定中心点的纵坐标在此范围内的第二集合。进一步的，根据在先第一集合的纵坐标区间选择与第一集合的纵坐标存在重叠区域的在后第二集合，得到由多个集合组成的初始文本行；若集合与第一集合的纵坐标区间并无交集，则直接将该集合过滤，直至将所述待处理图像中所有的集合查询完毕。所述文本区域为矩形框，矩形框对角线的交点为文本区域的中心点，第一集合中，矩形框四个顶点纵坐标的数值构成该第一集合的纵坐标区间，由于在同一行文本中相邻的文本区域之间纵坐标在垂直方向上的变化量很小，即使相邻的文本区域被分到了不同的集合中，也能据此找到具有先后顺序的相邻两个集合。65.可选的，所述调整与所述待处理图像的水平中线距离最近的第一文本区域，得到水平的目标文本行，包括：66.计算由所述第一文本区域中相邻两个文本区域中心点所确定的直线斜率；67.根据所述直线斜率确定所述仿射变换的参数值；68.根据所述参数值依次调整所述文本区域在垂直方向上的角度，得到水平的目标文本行。69.仿射变换也称仿射投影，是指几何中，对一个向量空间进行线性变换并接上一个平移，变换为另一个向量空间，实现对图像的平移、缩放、旋转、翻转等。根据仿射变换的参数值进行图像行、列、坐标间的变换，通过调整参数值进而达到调整文本区域的目的，使得第一文本区域近似于一条直线，对应的目标文本行也处于同一水平线，如图5a和图5b所示，相较于待处理图像，具有明显的改善，将其输入文本识别算法，得到的输出文本的精确度有很大的提高。示例性的，当待处理图像中的文本弯曲程度比较大时，相邻两个文本区域之间的斜率相应的比较大，我们无需设置一个固定的阈值，根据相邻的两个文本区域中心点连接而成的直线的斜率，自适应的调节相邻文本区域之间的仿射变换参数，具有一定的灵活性，使得对包含弯曲文本的待处理图像的操作不过于机械；由于弯曲的文本在处理过程中相当于呈现一种将处于弯曲状态的一行文字经由不断的扭曲变换而拉直的效果，若仅仅对大于固定阈值的文本区域进行仿射变换，反而容易造成原本弯曲程度较小的文本区域反而弯曲程度变大，导致经过仿射变换之后的图像衔接处的文字出现严重的形变，或者出现整体的待处理图像内的文本偏向于某一个方向，而非水平的状况，所以需要依次调整，循序渐进的对每个文本区域进行仿射变换操作使得所述第一文本区域始终以待处理图像的水平中线为基础进行调整，得到最终水平的目标文本行。70.本发明公开了一种图像处理方法。该图像处理方法包括：获取待处理图像的多个文本区域；调整与所述待处理图像的水平中线距离最近的第一文本区域，得到水平的目标文本行。采用本发明的技术方案，第一文本区域中的文本不少为弯曲文本，通过调整第一文本区域，得到水平的目标文本行，包括目标文本行的图像进行文本识别，可以提高文本识别率和识别准确度，计算量小、速度快、鲁棒性好以及实用性强。71.实施例二72.根据本发明实施例，提供了一种图像处理装置的结构示意图，该装置可以执行上述实施例一提供的图像处理方法。如图6所示，该装置包括：获取模块610和调整模块620。其中：73.获取模块610，用于获取待处理图像的多个文本区域。74.调整模块620，用于调整与所述待处理图像的水平中线距离最近的第一文本区域，得到水平的目标文本行。75.可选的，所述第一文本区域对应于所述待处理图像的水平中线的初始文本行。76.可选的，所述调整模块620，包括：77.第一确定单元，用于根据水平方向上两个或两个以上相邻文本区域组成集合的横坐标，确定第一集合；78.第二确定单元，用于根据经过所述第一集合内末端文本区域中心点的第一水平线，确定除第一集合之外的其他在竖直方向上相邻的集合的中心点与所述第一水平线距离最近的第二集合；79.第三确定单元，用于根据经过所述第二集合内末端文本区域中心点的第二水平线，确定除第一集合以及第二集合之外的其他在竖直方向上相邻的集合的中心点与所述第二水平线距离最近的第三集合，得到包括所述第一集合、所述第二集合以及所述第三集合的初始文本行。80.进一步的，所述第一确定单元，包括：81.将所述待处理图像中的多个文本区域依据同一水平方向以及相同的数量划分为两个或两个以上的集合，同一文本区域仅存在于单个集合之中；82.根据各集合内首个文本区域的横坐标的数值对所述集合正序排列确定在先的集合序列；83.判断所述集合序列中各集合的中心点到所述中线的距离最小的集合，得到所述第一集合。84.进一步的，所述第二确定单元，包括：85.确定所述第一集合内末端文本区域中心点的第一坐标；86.经过所述第一坐标对应的点作平行于所述水平中线的第一水平线，选择除第一集合之外的其他在竖直方向上相邻的集合的中心点到所述第一水平线距离最近的相邻集合作为所述第二集合。87.可选的，合并在垂直方向上区分度极小的文本区域，得到所述初始文本行。88.进一步的，所述调整模块620，还包括：89.计算由所述第一文本区域中相邻两个文本区域中心点所确定的直线斜率；90.根据所述直线斜率确定所述仿射变换的参数值；91.根据所述参数值依次调整所述文本区域在垂直方向上的角度，得到水平的目标文本行。92.本发明公开了一种图像处理装置。该图像处理装置包括：获取模块，用于获取待处理图像的多个文本区域；调整模块，用于调整与所述待处理图像的水平中线距离最近的第一文本区域，得到水平的目标文本行。采用本发明的技术方案，第一文本区域中的文本不少为弯曲文本，通过调整第一文本区域，得到水平的目标文本行，包括目标文本行的图像进行文本识别，可以提高文本识别率和识别准确度，计算量小、速度快、鲁棒性好以及实用性强。93.实施例三94.下面参考图7，其示出了适于用来实现本发明实施例的电子设备700的结构图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。95.如图7所示，电子设备700可以包括处理装置710，其可以根据存储在只读存储器(rom)720中的程序或者从存储装置780加载到随机访问存储器(ram)730中的程序而执行各种适当的动作和处理。处理装置710可以是各种具有处理和计算能力的通用和/或专用处理组件。处理装置710的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理装置710执行上文所描述的各个方法和处理。96.在ram730中，还存储有电子设备700操作所需的各种程序和数据。处理装置710、rom720以及ram730通过总线740彼此相连。输入/输出(i/o)接口750也连接至总线740。97.通常，以下装置可以连接至i/o接口750：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置760；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置770；包括例如磁带、硬盘等的存储装置780；以及通信装置790。通信装置790可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备700，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。98.特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置790从网络上被下载和安装，或者从存储装置780被安装，或者从rom720被安装。在该计算机程序被处理装置710执行时，执行本发明实施例的方法中限定的上述功能。备选地，在其他实施例中，处理装置710可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法：获取待处理图像的多个文本区域；调整与所述待处理图像的水平中线距离最近的第一文本区域，得到水平的目标文本行。99.实施例四100.本发明上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。101.在一些实施方式中，客户端、服务器可以利用诸如http(hypertexttransferprotocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“lan”)，广域网(“wan”)，网际网(例如，互联网)以及端对端网络(例如，adhoc端对端网络)，以及任何当前已知或未来研发的网络。102.上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。103.上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取待处理图像的多个文本区域；调整与所述待处理图像的水平中线距离最近的第一文本区域，得到水平的目标文本行。104.可以以一种或多种程序设计语言或其组合来编写用于执行本发明的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。105.附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。106.描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定。107.本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：数字电子电路系统、集成电路系统、现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合等等。108.用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。109.在本发明的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。110.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。111.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)区块链网络和互联网。112.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。113.人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术及机器学习/深度学习技术、大数据处理技术、知识图谱技术等几大方向。114.云计算(cloudcomputing)，指的是通过网络接入弹性可扩展的共享物理或虚拟资源池，资源可以包括服务器、操作系统、网络、软件、应用和存储设备等，并可以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算技术，可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。115.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明提供的技术方案所期望的结果，本文在此不进行限制。116.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。当前第1页12当前第1页12
再多了解一些
本文用于创业者技术爱好者查询，仅供学习研究，如用于商业用途，请联系技术所有人。
