图像处理方法、装置、设备和存储介质与流程

1.本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、设备和存储介质。


背景技术：

2.随着办公自动化和光学字符识别(optical character recognition，简称ocr)技术的普及，越来越多的场景开始应用ocr技术进行拍摄图像中关键信息的提取，以便于形成电子化的存档记录，其中，关键信息是指位于被拍摄产品的目标区域内的数据内容。比如，被拍摄产品为纸质名片，目标区域是名片中包含姓名和联系电话的区域，此时，关键信息即为名片中包含的姓名和联系电话。
3.为了准确地提取出上述关键信息，首先需要从拍得的图像中定位出产品的目标区域。另外，为了保证可以简单准确地从产品目标区域中提取相应的信息，需要将从图像中定位到的目标区域矫正到统一的标准化形态，以作为后续提取信息步骤的输入。但是，由于用户可能使用各种各样不同的拍摄终端，在任意的角度以及光照环境下面拍摄图像，这就导致了对不同产品拍摄而采集的图像质量千差万别。此时，如何有效地定位到所采集图像中产品的目标区域，并且为后续提取目标区域内信息的步骤提供标准形态的输入，就显得尤为重要。


技术实现要素：

4.本发明实施例提供一种图像处理方法、装置、设备和存储介质，能够将目标对象的目标区域在其拍摄图像中的形态矫正为设定的标准化形态。
5.第一方面，本发明实施例提供一种图像处理方法，该方法包括：
6.获取与目标对象对应的拍摄图像，所述目标对象中包括由多个标识图形包围的目标区域；
7.获取所述目标区域在参考图像中对应的参考坐标以及所述多个标识图形在所述参考图像中各自对应的定位点参考坐标，所述目标区域在所述参考图像中呈现设定形态；
8.确定所述多个标识图形在所述拍摄图像中各自对应的定位点预测坐标；
9.根据所述多个标识图形各自对应的定位点参考坐标和定位点预测坐标，以及所述目标区域对应的参考坐标，生成与所述拍摄图像对应的矫正图像，在所述矫正图像中所述目标区域呈现所述设定形态。
10.第二方面，本发明实施例提供一种图像处理装置，该装置包括：
11.获取模块，用于获取与目标对象对应的拍摄图像，所述目标对象中包括由多个标识图形包围的目标区域，以及，获取所述目标区域在参考图像中对应的参考坐标以及所述多个标识图形在所述参考图像中各自对应的定位点参考坐标，所述目标区域在所述参考图像中呈现设定形态；
12.确定模块，用于确定所述多个标识图形在所述拍摄图像中各自对应的定位点预测
坐标；
13.矫正模块，用于根据所述多个标识图形各自对应的定位点参考坐标和定位点预测坐标，以及所述目标区域对应的参考坐标，生成与所述拍摄图像对应的矫正图像，在所述矫正图像中所述目标区域呈现所述设定形态。
14.第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器；其中，存储器上存储有可执行代码，当所述可执行代码被处理器执行时，使处理器至少可以实现如第一方面所述的图像处理方法。
15.第四方面，本发明实施例提供了一种非暂时性机器可读存储介质，非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使处理器至少可以实现如第一方面所述的图像处理方法。
16.第五方面，本发明实施例提供了一种图像处理方法，包括：
17.响应于调用图像处理服务的请求，确定所述图像处理服务对应的处理资源；
18.利用所述图像处理服务对应的处理资源执行如下步骤：
19.获取与目标对象对应的拍摄图像，所述目标对象中包括由多个标识图形包围的目标区域；
20.获取所述目标区域在参考图像中对应的参考坐标以及所述多个标识图形在所述参考图像中各自对应的定位点参考坐标，所述目标区域在所述参考图像中呈现设定形态；
21.确定所述多个标识图形在所述拍摄图像中各自对应的定位点预测坐标；
22.根据所述多个标识图形各自对应的定位点参考坐标和定位点预测坐标，以及，所述目标区域对应的参考坐标，生成与所述拍摄图像对应的矫正图像，在所述矫正图像中所述目标区域呈现所述设定形态。
23.第六方面，本发明实施例提供一种图像处理方法，该方法包括：
24.获取与商品对应的拍摄图像，所述商品中包括由多个标识图形包围的商品标识区域；
25.获取所述商品标识区域在参考图像中对应的参考坐标以及所述多个标识图形在所述参考图像中各自对应的定位点参考坐标，所述商品标识区域在所述参考图像中呈现设定形态；
26.确定所述多个标识图形在所述拍摄图像中各自对应的定位点预测坐标；
27.根据所述多个标识图形各自对应的定位点参考坐标和定位点预测坐标，以及所述商品标识区域对应的参考坐标，生成与所述拍摄图像对应的矫正图像，在所述矫正图像中所述商品标识区域呈现所述设定形态；
28.在所述矫正图像中提取所述商品标识区域内包含的商品标识信息。
29.第七方面，本发明实施例提供一种图像处理装置，该装置包括：
30.获取模块，用于获取与商品对应的拍摄图像，所述商品中包括由多个标识图形包围的商品标识区域，以及，获取所述商品标识区域在参考图像中对应的参考坐标以及所述多个标识图形在所述参考图像中各自对应的定位点参考坐标，所述商品标识区域在所述参考图像中呈现设定形态；
31.确定模块，用于确定所述多个标识图形在所述拍摄图像中各自对应的定位点预测坐标；
32.矫正模块，用于根据所述多个标识图形各自对应的定位点参考坐标和定位点预测坐标，以及所述商品标识区域对应的参考坐标，生成与所述拍摄图像对应的矫正图像，在所述矫正图像中所述商品标识区域呈现所述设定形态；
33.提取模块，用于在所述矫正图像中提取所述商品标识区域内包含的商品标识信息。
34.第八方面，本发明实施例提供一种电子设备，包括：存储器、处理器；其中，存储器上存储有可执行代码，当所述可执行代码被处理器执行时，使处理器至少可以实现如第六方面所述的图像处理方法。
35.第九方面，本发明实施例提供了一种非暂时性机器可读存储介质，非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使处理器至少可以实现如第六方面所述的图像处理方法。
36.在本发明实施例中，针对某个目标对象来说，该目标对象中包括由多个标识图形包围的目标区域，其中，可以将目标对象中需要进行关键信息提取的区域称为目标区域。目标对象的目标区域和多个标识图形在目标对象对应的参考图像中呈现设定形态，该设定形态是便于对目标区域进行信息提取的形态。基于此，预先存储目标对象的目标区域在参考图像中对应的参考坐标，以及多个标识图形在参考图像中各自对应的定位点的坐标(称为定位点参考坐标)。其中，每个标识图形具有至少一个定位点，用以表征标识图形的位置。
37.实际应用中，将用户对目标对象进行拍摄而得到的图像称为拍摄图像，目标对象的目标区域在该拍摄图像中可能并未呈现上述设定形态，为了将目标对象的目标区域在拍摄图像中的形态矫正为上述设定形态，需要借助已经获得的多个标识图形各自对应的定位点参考坐标和目标区域对应的参考坐标。
38.具体来说，首先，确定多个标识图形在实际采集的拍摄图像中各自对应的定位点的坐标，称为定位点预测坐标，之后，根据多个标识图形各自对应的定位点参考坐标和定位点预测坐标，以及目标区域对应的参考坐标，对拍摄图像进行目标区域的形态的矫正，以生成与拍摄图像对应的矫正图像，在矫正图像中目标对象的目标区域将呈现设定形态。
39.在上述方案中，通过在目标对象中增加多个标识图形包围感兴趣的目标区域的设计，以及存储目标区域和多个标识图形在设定形态下各自对应的参考坐标，便可以简单、准确地完成目标对象的目标区域在其对应的各种拍摄图像中的形态矫正。
附图说明
40.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
41.图1为本发明实施例提供的一种目标对象的目标区域的不同显示效果示意图；
42.图2为本发明实施例提供的一种目标对象中的标识图形示意图；
43.图3为本发明实施例提供的一种目标对象的目标区域和标识图形的坐标表示方式示意图；
44.图4为本发明实施例提供的一种图像处理方法的流程图；
45.图5为本发明实施例提供的一种目标对象的拍摄图像示意图；
46.图6为本发明实施例提供的一种矫正图像示意图；
47.图7为本发明实施例提供的一种矫正图像生成过程的流程图；
48.图8为本发明实施例提供的一种矫正图像的生成原理示意图；
49.图9为本发明实施例提供的一种确定多个标识图形在拍摄图像中各自对应的定位点预测坐标和类别的流程图；
50.图10为本发明实施例提供的一种确定多个标识图形在拍摄图像中各自对应的定位点预测坐标和类别的原理示意图；
51.图11为本发明实施例提供的一种图像处理方法的应用场景示意图；
52.图12为本发明实施例提供的一种图像处理方法的流程图；
53.图13为本发明实施例提供的一种图像处理装置的结构示意图；
54.图14为与图13所示实施例提供的图像处理装置对应的电子设备的结构示意图；
55.图15为本发明实施例提供的一种图像处理装置的结构示意图；
56.图16为与图15所示实施例提供的图像处理装置对应的电子设备的结构示意图。
具体实施方式
57.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
58.在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。
59.取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
60.另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
61.本发明实施例提供的图像处理方法可以由一电子设备来执行，该电子设备可以是诸如pc机、笔记本电脑、智能手机等终端设备，也可以是服务器。该服务器可以是包含一独立主机的物理服务器，或者也可以为虚拟服务器，或者也可以为云端服务器或服务器集群。
62.本发明实施例中，目标对象可以是名片、证件、票据、商品外包装，等等。在不同应用场景中，可能会关注目标对象上不同区域内包含的数据内容。比如，商品录入场景中，可能需要录入商品的名称、条码；联系人存储场景中，需要存储联系人姓名、联系电话；证件信息读取场景中，需要读取出姓名、证件号。
63.由上述举例可知，不用应用场景中，需要从目标对象中提取的关键信息不同。本发明实施例中，将目标对象中某关键信息所位于的区域称为目标区域。
64.实际应用中，上述举例的关键信息获取过程简单来说可以包括：首先，对目标对象进行拍摄而得到拍摄图像，之后，在拍摄图像中定位出目标对象的目标区域所对应的像素
区域，之后，从该像素区域内提取出其中包含的关键信息。为了能够保证关键信息的高效、准确提取，需要排除对目标对象进行拍摄时各种不同拍摄环境的干扰，其中一种主要的干扰因素就是拍摄角度，即用户可以以任意的角度对目标对象进行拍摄，这样在拍摄图像中，目标对象的目标区域可能呈现各种不同的形态。如果该目标区域在拍摄图像中呈现的设定的某种标准形态，则会有助于关键信息的高效、准确提取。
65.为更加直观地理解上述设定形态下目标区域的显示效果与非设定形态下目标区域的显示效果，结合图1来示例性说明。
66.在图1中，假设目标对象为名片，目标区域为包含姓名、联系电话的区域x。如图1中所示，假设以某种拍摄角度对目标对象进行拍摄而得到图像1，此时，目标区域在图像1中呈现设定形态。假设以另一种拍摄角度对目标对象进行拍摄而得到图像2，此时，目标区域在图像1中未呈现设定形态。
67.当目标区域呈现图像1中所示意的设定形态时，后续基于ocr技术可以方便、准确地提取出目标区域内包含的数据信息——姓名和联系电话。
68.基于上述举例可知，本发明实施例提供的图像处理方法即用于对目标对象的目标区域在其拍摄图像中所呈现的形态进行矫正，以得到包含目标对象的目标区域的，且目标区域呈现设定形态的矫正图像。
69.为实现上述矫正目的，在本发明实施例中，在目标对象的设计阶段，在目标对象中会增加多个标识图形包围感兴趣的目标区域的设计。以便结合这多个标识图形来高效地完成上述矫正任务。
70.结合图2来示例性说明上述设计。在图2中，假设目标区域为图中示意的五边形区域，在该五边形区域周围设计了图中示意的四个标识图形：a、b、c、d。这四个标识图形顺序连线后会包围目标区域。
71.为完成上述矫正任务，需要预先得知在目标区域处于设定形态下，目标区域以及多个标识图形在目标对象中对应的参考坐标，以便以此为标准，完成目标区域在拍摄图像中形态的矫正。
72.为此，可以预先得到目标对象对应的参考图像，在该参考图像中，目标区域呈现设定形态，此时，确定目标区域在参考图像中对应的参考坐标以及多个标识图形在参考图像中各自对应的定位点参考坐标，每个标识图形具有至少一个定位点。
73.可选地，该参考图像可以是与目标对象对应的设计图，即在目标对象对应的完整设计图中标记出目标区域以及包围目标区域的多个标识图形，进而自动地确定出目标区域在设计图中对应的参考坐标以及多个标识图形在设计图中各自对应的定位点参考坐标。
74.如图3中所示，图中示意的是某目标对象对应的设计图，在该设计图中包含目标区域以及包围目标区域的四个标识图形：a、b、c、d。除此之外，在该设计图中还可以包括其他元素，比如图中示意的元素。
75.用于确定目标区域对应的参考坐标以及多个标识图形各自对应的定位点参考坐标的坐标轴可以是图3中示意的坐标轴。
76.目标区域的参考坐标可以是目标区域边界上的多个顶点的坐标，比如图3中示意的五个坐标：v1、v2、v3、v4、v5这五个顶点坐标。
77.根据使用的标识图形的不同，用于定位标识图形的位置的定位点也可以有所不
同。比如，标识图形为矩形形状的图形时，每个标识图形可以具有四个定位点，分别对应于矩形形状的四个顶点；再比如，标识图形为三角形形状的图形时，每个标识图形可以具有三个定位点，分别对应于三角形形状的三个顶点；再比如，标识图形为圆形形状的图形时，每个标识图形可以具有一个定位点，对应于圆心。
78.在图3中示意的标识图形的情形下，可选地，每个标识图形可以具有四个定位点，标记为1、2、3、4，在设计图(即参考图像)中，每个标识图形对应的定位点的坐标，称为这个标识图形对应的定位点参考坐标。图3中示意的四个标识图形各自对应的定位点参考坐标如图3中所示。
79.另外，值得说明的是，如图3中所示，多个标识图形并不一定都是相同样子的图形，比如图3中，标识图形d与其他的三个标识图形是不同的。之所以这样设计是为了明确当目标区域呈现设定形态时，多个标识图形之间的位置关系。换言之，这个不一样的标识图形d的位置，间接体现了目标区域的形态是否是设定形态，当目标区域的形态呈现设定形态时，则标识图形d的位置应该位于图3中示意的位置处。
80.基于上述举例，可选地，包围目标区域的多个标识图形中可以包括第一类别的标识图形和第二类别的标识图形。这里，不同类别的标识图形是指不同样式的标识图形，比如图3中示意的是两种类别的标识图形，标识图形a、b、c为一类，标识图形d为另一类。
81.实际应用中，多个标识图形中可以包括两类或更多类别的标识图形。标识图形的颜色、形状都可以作为分类的依据。
82.实际应用中，可以按需自定义各种标识图形，不以图3中示意的为限。
83.上文中假设目标对象对应的参考图像为设计图，实际上，参考图像也可以是对目标对象进行拍摄而得到的一个图像，只是，在该图像中，目标对象的目标区域呈现上述设定形态。从而，也可以基于该图像确定目标区域对应的参考坐标以及多个标识图形各自对应的定位点参考坐标。
84.基于已存储的目标区域对应的参考坐标以及多个标识图形各自对应的定位点参考坐标，可以对实际应用中对目标对象进行拍摄而得到的拍摄图像进行矫正处理，具体地，是对目标区域在该拍摄图像中的形态进行矫正处理。具体参考以下实施例中的说明。
85.值得说明的是，下文中的目标对象可以是上文中用于确定目标区域对应的参考坐标以及多个标识图形各自对应的定位点参考坐标的那个特定的目标对象，也可以是与该目标对象属于同种对象的其他对象实体。举例来说，确定目标区域对应的参考坐标以及多个标识图形各自对应的定位点参考坐标的目标对象为用户a的名片，那么下文中的目标对象可以是用户a的名片，也可以是其他用户b的名片，只是用户a与用户b的名片都是采用同一个模板制作出的，区别仅在于个人信息不同。基于此，可以将本发明实施例中所述的目标对象理解为是一类基于相同模板制作出的对象。
86.图4为本发明实施例提供的一种图像处理方法的流程图，如图4所示，该方法包括如下步骤：
87.401、获取与目标对象对应的拍摄图像，目标对象中包括由多个标识图形包围的目标区域。
88.目标区域在拍摄图像中可能未呈现设定形态。
89.402、获取目标区域在参考图像中对应的参考坐标以及多个标识图形在参考图像
中各自对应的定位点参考坐标，目标区域在参考图像中呈现设定形态。
90.仍以图3中示意的情形为例，假设参考图像为图3中示意的图像，在参考图像中标记出目标区域(图中示意的五边形区域)，以及显示出目标对象中包围目标区域的多个标识图形，多个标识图形为图3中示意的abcd这四个标识图形。目标区域对应的参考坐标由图3中示意的v1、v2、v3、v4、v5这五个顶点坐标表示，每个标识图形具有图3中示意的四个定位点：1234，从而，每个标识图形对应的定位点参考坐标即为每个标识图形具有的四个定位点在参考图像中对应的坐标。如图3中所示，目标对象的目标区域在参考图像中呈现设定形态。另外，由于图3中示意的多个标识图形中包括两种类别的标识图形，因此，可以将每个标识图形对应的类别信息也存储下来。
91.为便于理解，假设在实际应用中，某个用户对目标对象进行拍摄得到如图5中示意的拍摄图像，在该拍摄图像中，目标对象的目标区域未呈现设定形态。
92.值得说明的是，由于参考图像的作用就是为了确定目标区域对应的参考坐标以及多个标识图形各自对应的定位点参考坐标，此时，并不关心目标区域中实际包含的数据信息以及目标对象中除目标区域外存在的信息，因此，在图3中，并未示意出目标区域内包含的数据信息以及其他位置包含的数据信息。
93.但是，当在实际应用场景中某用户对目标对象进行拍摄而得到的拍摄图像中，除了可以显示出目标对象中包含的多个标识图形外，还可以显示出目标对象中包含的其他数据信息，比如图5中示意的信息。另外，在实际应用中，目标对象中并不会实际标注出目标区域的边界线，因此，如图5中所示，拍摄图像中并不会包括图3中示意的五边形。
94.基于上述假设，后续步骤的目的就是矫正目标对象的目标区域在拍摄图像中的形态，最终的矫正结果体现为：生成与该拍摄图像对应的矫正图像，如图6中所示。
95.根据图6中的示意可知，在该矫正图像中可以仅包括多个标识图形以及被多个标识图形包围的目标区域中的数据信息，而不包含拍摄图像中的其他数据信息，而且，在该矫正图像中，目标区域呈现设定形态，即目标区域在拍摄图像中的形态被矫正为设定形态。从最终的效果上来说，相当于从拍摄图像中截取出对应于目标对象的目标区域的图像区域，并对该图像区域进行旋转矫正，以得到矫正图像。
96.可选地，在得到如图6中所示的矫正图像后，可以对矫正图像中进行信息提取处理，以获取目标对象的目标区域中包含的数据信息：
97.产品序列号：edfgace12568。
98.由图6中的示意可知，矫正图像中仅显示有多个标识图形以及被多个标识图形包围的数据信息，而该数据信息即为目标对象的目标区域内包含的数据信息，所以，通过ocr技术对该矫正图像进行信息提取即可得到目标区域内包含的数据信息。
99.得到上述矫正图像的过程即包括如下步骤：
100.403、确定多个标识图形在拍摄图像中各自对应的定位点预测坐标。
101.404、根据多个标识图形各自对应的定位点参考坐标和定位点预测坐标，以及目标区域对应的参考坐标，生成与拍摄图像对应的矫正图像，在矫正图像中目标区域呈现所述设定形态。
102.确定多个标识图形在拍摄图像中各自对应的定位点预测坐标，简单来说就是在拍摄图像中识别出多个标识图形，并定位多个标识图形的位置，只是，每个标识图形的位置以
其对应的至少一个定位点的位置来表示。一个标识图形的位置可以是中心点位置、顶点位置，从而，标识图形的定位点可以是标识图形的中心点、顶点。
103.为了与在参考图像中确定出的多个标识图形各自对应的定位点坐标(上文中称为定位点参考坐标)相区别，这里将在拍摄图像中确定出的多个标识图形各自对应的定位点坐标称为定位点预测坐标。
104.实际应用中，可选地，可以预先训练一个模型，使得该模型具有识别标识图形以及定位标识图形位置的能力。
105.基于此，可以将拍摄图像输入到该预设模型中，以通过预设模型输出多个标识图形在拍摄图像中各自对应的定位点预测坐标和类别。
106.如前文所述，多个标识图形可以包括两种或多种类别的标识图形，而不同类别的标识图形的设计主要是为了区分多个标识图形以及明确多个标识图形的位置关系，因此，上述预设模型可以被训练具有识别标识图形类别的能力。
107.为了训练上述模型，可以收集若干样本图像，每个样本图像中包括一种或多种标识图形，在样本图像中标记每个标识图形对应的类别以及每个标识图形对应的位置坐标(定位点的坐标)，以标记信息作为监督信息对该模型进行训练。
108.在得到多个标识图形在拍摄图像中各自对应的定位点预测坐标后，可以根据多个标识图形各自对应的定位点参考坐标和定位点预测坐标，以及目标区域对应的参考坐标，生成与拍摄图像对应的矫正图像，从而完成对拍摄图像中目标区域的形态的矫正处理。具体地，生成矫正图像的过程具体可以包括如下步骤：
109.根据多个标识图形各自对应的定位点参考坐标和定位点预测坐标，确定变换矩阵；
110.根据变换矩阵、目标区域对应的参考坐标以及多个标识图形各自对应的定位点参考坐标和定位点预测坐标，生成与拍摄图像对应的矫正图像。
111.其中，在得到多个标识图形在拍摄图像中各自对应的定位点预测坐标和类别后，基于已经存储的多个标识图形在参考图像中各自对应的定位点参考坐标和类别，可以计算出变换矩阵。
112.具体地，计算过程可以是：
113.根据多个标识图形在参考图像中各自对应的定位点参考坐标和类别，以及多个标识图形在拍摄图像中各自对应的定位点预测坐标和类别，确定多个标识图形各自对应的坐标对，其中，任一标识图形对应的坐标对中包括该任一标识图形对应的定位点参考坐标和定位点预测坐标。之后，根据多个标识图形各自对应的坐标对，确定变换矩阵。
114.为便于理解上述计算过程，举例来说。假设在图3中，标识图形a、b、c、d各自对应的定位点参考坐标表示如下：
115.标识图形a：
116.定位点1：(ax1,ay1)；定位点2：(ax2,ay2)；定位点3：(ax3,ay3)；定位点4：(ax4,ay4)。
117.标识图形b：
118.定位点1：(bx1,by1)；定位点2：(bx2,by2)；定位点3：(bx3,by3)；定位点4：(bx4,by4)。
119.标识图形c：
120.定位点1：(cx1,cy1)；定位点2：(cx2,cy2)；定位点3：(cx3,cy3)；定位点4：(cx4,cy4)。
121.标识图形d：
122.定位点1：(dx1,dy1)；定位点2：(dx2,dy2)；定位点3：(dx3,dy3)；定位点4：(dx4,dy4)。
123.假设在图5中，标识图形a、b、c、d各自对应的定位点预测坐标表示如下：
124.标识图形a：
125.定位点1：(ax1’,ay1’)；定位点2：(ax2’,ay2’)；定位点3：(ax3’,ay3’)；定位点4：(ax4’,ay4’)。
126.标识图形b：
127.定位点1：(bx1’,by1’)；定位点2：(bx2’,by2’)；定位点3：(bx3’,by3’)；定位点4：(bx4,by4)。
128.标识图形c：
129.定位点1：(cx1’,cy1’)；定位点2：(cx2’,cy2’)；定位点3：(cx3’,cy3’)；定位点4：(cx4’,cy4’)。
130.标识图形d：
131.定位点1：(dx1’,dy1’)；定位点2：(dx2’,dy2’)；定位点3：(dx3’,dy3’)；定位点4：(dx4’,dy4’)。
132.基于上述坐标假设情形以及标识图形a、b、c对应于第一类别，标识图形d对应于第二类别的类别识别结果，最终可以确定出每个标识图形对应的坐标对：
133.标识图形a：
134.定位点1：(ax1,ay1)，(ax1’,ay1’)；定位点2：(ax2,ay2),(ax2’,ay2’)；定位点3：(ax3,ay3),(ax3’,ay3’)；定位点4：(ax4,ay4),(ax4’,ay4’)。
135.其他标识图形同理，不再赘述。
136.其中，在确定每个标识图形对应的坐标对的过程中，主要是需要实现多个标识图形在参考图像和拍摄图像中的对齐，即以标识图形a为例，在已经标识图形a在参考图像中对应的定位点参考坐标的基础上，需要在拍摄图像中包含的多个标识图形中确定哪个标识图形时标识图形a。而为实现该目的，需要使用到标识图形的类别识别结果。
137.具体来说，上述预设模型会输出拍摄图像中包含的四个标识图形各自对应的类别，由于三个标识图形对应于第一类别，一个标识图形对应于第二类别，基于已知的标识图形d是对应于第二类别的先验知识，可以知道拍摄图像中对应于第二类别的那个标识图形是标识图形d。在确定出标识图形d后，根据已知的剩余其他三个标识图形与标识图形d的位置关系，便可以在拍摄图像中确定出剩下的三个标识图形分别是标识图形a、b、c中的哪一个。
138.之后，将同一标识图形对应的定位点参考坐标和定位点预测坐标一一对应的组成一个坐标对即可。
139.最终，基于得到的若干坐标对建立方程y＝mx，求解该方程即可得到变换矩阵m，其中，x表示由多个标识图形各自对应的定位点预测坐标构成的矩阵，x表示由多个标识图形
各自对应的定位点参考坐标构成的矩阵。
140.由此可见，假设参考图像中由多个标识图形所包围的像素区域称为像素区域q1，拍摄图像中由这多个标识图形所包围的像素区域称为像素区域q2，那么变换矩阵描述了像素区域q1与像素区域q2之间的像素位置映射关系。
141.在得到上述变换矩阵后，可以根据变换矩阵、目标区域对应的参考坐标以及多个标识图形各自对应的定位点参考坐标和定位点预测坐标，生成与拍摄图像对应的矫正图像，在矫正图像中目标对象的目标区域呈现设定形态，如图6所示。
142.下面提供一种可选的生成上述矫正图像的实现方式，如图7所示，可以包括如下步骤：
143.701、根据多个标识图形各自对应的定位点参考坐标，生成空白的矫正图像，矫正图像的尺寸由多个标识图形各自对应的定位点参考坐标确定。
144.702、根据变换矩阵对拍摄图像中待矫正区域内的第一像素位置进行位置映射，以在空白的矫正图像中确定对应的第二像素位置，其中，第一像素位置是待矫正区域内包含的任一像素位置，待矫正区域由多个标识图形各自对应的定位点预测坐标确定。
145.703、将第一像素位置对应的像素值赋值给第二像素位置，以生成与拍摄图像对应的矫正图像。
146.结合图8来示例性说明上述步骤的执行过程。
147.仍以前述实施例中假设的标识图形a、b、c、d这四个标识图形为例，可以先根据这四个标识图形各自对应的定位点参考坐标生成一张空白的矫正图像。如图8中所示，该空白的矫正图像可以是一张白色或黑色的图像。可选地，如图8所示，矫正图像的尺寸可以与这四个标识图形各自对应的定位点参考坐标所围成的矩形框k的尺寸相等。
148.具体地，可以在一个预设的坐标系中定位出四个标识图形各自对应的定位点参考坐标，进而确定由这四个标识图形所围成的矩形框k，之后，生成一个与矩形框k相同尺寸的矫正图像，类似于将矩形框k抠出并渲染成白色或黑色，以得到空白的矫正图像。其中，上述坐标系与参考图像中的坐标系一致。
149.另外，如图8中所示，在拍摄图像中，同样地可以确定出由四个标识图形各自对应的定位点预测坐标所围成的待矫正区域q。之后，以待矫正区域q内的任一个像素位置(x,y)为例，基于变换矩阵对该像素位置(x,y)进行位置映射后，在空白的矫正图像中可以确定出与之对应的像素位置(x’,y’)，之后，将像素位置(x,y)对应的像素值赋值给像素位置(x’,y’)。对待矫正区域q内的各个像素位置都进行上述处理，便可以将待矫正区域q内包含的数据信息都映射到矫正图像中，因为这些数据信息是以像素值来表现的。最终，通过上述像素位置的映射以及像素值赋值处理后，便可以得到图6中示意的最终输出的矫正图像。
150.以上实施例中提到，可以通过一个预设模型，对拍摄图像中包含的多个标识图形进行定位以及类别识别。在一可选实施例中，该预设模型可以包括第一模型和第二模型，可以通过这两个模型的配合完成上述任务。
151.具体地，如图9所示，多个标识图形在拍摄图像中各自对应的定位点预测坐标和类别的确定过程可以包括如下步骤：
152.901、将拍摄图像输入到第一模型中，以通过第一模型输出多个标识图形在拍摄图像中各自对应的定位框坐标和类别。
153.902、根据多个标识图形各自对应的定位框坐标，从拍摄图像中截取出多个标识图形各自对应的子图。
154.903、将多个标识图形各自对应的子图输入到第二模型中，以通过第二模型输出多个标识图形在各自对应的子图中对应的定位点预测坐标。
155.904、根据多个标识图形在各自对应的子图中对应的定位点预测坐标和多个标识图形各自对应的定位框坐标，确定多个标识图形在所述拍摄图像中各自对应的定位点预测坐标。
156.为便于理解，结合图10来示例性说明。在图10中，仍旧假设拍摄图像为图5中示意的图像。
157.在图10中，将拍摄图像输入到第一模型中后，第一模型输出图中示意的四个定位框：k1、k2、k3、k4，每个定位框内包含一个标识图形。另外，每个定位框上可以关联有对应的类别标记，用以表示其中包含的标识图形的类别。在图10中，类别标记包括对应于第一类别的c1以及对应于第二类别的c2。
158.之后，根据四个定位框坐标，从拍摄图像中截取出多个标识图形各自对应的子图，得到如图10中示意的四个子图。
159.将这四个子图逐个输入到第二模型中，第二模型输出每个子图中包含的标识图形在该子图中对应的定位点预测坐标。
160.由于此时得到的定位点预测坐标仅是在子图中对应的坐标，子图是完整的拍摄图像中的部分图像区域，要得到标识图形在拍摄图像中对应的定位点预测坐标，则需要结合定位框坐标来确定。
161.具体地，针对任一标识图形来说，将该标识图形在其对应的子图中对应的定位点预测坐标与包含该标识图形的定位框的坐标对应相加，即可得到该标识图形在拍摄图像中对应的定位点预测坐标。
162.本发明实施例中，第一模型、第二模型可以是神经网络模型，比如：卷积神经网络(convolutional neural network，简称cnn)模型；残差网络(residual network，简称resnet)模型；dla
‑
34模型，等等。
163.以上结合各个实施例介绍了本发明实施例提供的图像处理方案的详细执行过程，为了能够更加直观地理解该图像处理方案能够实现的效果，结合图11所示的应用场景来整体说明。
164.假设目标对象为名片，某用户a对另一用户b的名片进行拍摄得到图11中示意的拍摄图像。用户a想要对用户b的姓名和联系方式进行电子化存储。基于此，目标区域即为名片中包括姓名和联系方式的区域。假设由于拍摄角度的问题，目标区域在该拍摄图像中的显示形态不符合要求，需要进行矫正。另外，假设包围目标区域的多个标识图形是图中示意的几个图形。
165.用户a在拍摄得到该拍摄图像后，使用终端设备安装的某种应用程序(app)加载该拍摄图像，以触发本发明实施例提供的图像处理方案的执行，其中，假设该图像处理方案由该应用程序运行。假设该应用程序中已经预先存储有同类名片的注册信息，这里，同类名片是指与用户b的名片样式相同的名片，可以是对应的名片模板。其中，注册信息即为名片的目标区域在参考图像中对应的参考坐标以及包围目标区域的多个标识图形各自对应的定
位点参考坐标。
166.如前文所述，应用程序先确定多个标识图形在拍摄图像中各自对应的定位点预测坐标，之后，根据多个标识图形各自对应的定位点参考坐标和定位点预测坐标以及目标区域对应的参考坐标，生成矫正图像，在矫正图像中目标区域呈现设定形态。
167.如前文所述，本发明提供的图像处理方法可以在云端来执行，在云端可以部署有若干计算节点，每个计算节点中都具有计算、存储等处理资源。在云端，可以组织由多个计算节点来提供某种服务，当然，一个计算节点也可以提供一种或多种服务。
168.针对本发明提供的方案，云端可以提供有用于完成图像处理方法的服务，称为图像处理服务。当用户需要使用该图像处理服务的时候，调用该图像处理服务，以向云端触发调用该图像处理服务的请求，在该请求中可以携带有对目标对象拍摄得到的拍摄图像。云端确定响应该请求的计算节点，利用该计算节点中的处理资源执行如下步骤：
169.获取与目标对象对应的拍摄图像，所述目标对象中包括由多个标识图形包围的目标区域；
170.获取所述目标区域在参考图像中对应的参考坐标以及所述多个标识图形在所述参考图像中各自对应的定位点参考坐标，所述目标区域在所述参考图像中呈现所述设定形态；
171.确定所述多个标识图形在所述拍摄图像中各自对应的定位点预测坐标；
172.根据所述多个标识图形各自对应的定位点参考坐标和定位点预测坐标，以及所述目标区域对应的参考坐标，生成与所述拍摄图像对应的矫正图像，在所述矫正图像中所述目标区域呈现所述设定形态。
173.图12为本发明实施例提供的一种图像处理方法的流程图，如图12所示，该图像处理方法可以包括如下步骤：
174.1201、获取与商品对应的拍摄图像，商品中包括由多个标识图形包围的商品标识区域。
175.1202、获取商品标识区域在参考图像中对应的参考坐标以及多个标识图形在所述参考图像中各自对应的定位点参考坐标，商品标识区域在参考图像中呈现所述设定形态。
176.1203、确定多个标识图形在所述拍摄图像中各自对应的定位点预测坐标。
177.1204、根据多个标识图形各自对应的定位点参考坐标和定位点预测坐标，以及商品标识区域对应的参考坐标，生成与拍摄图像对应的矫正图像，其中，在矫正图像中商品标识区域呈现设定形态。
178.1205、在矫正图像中提取商品标识区域内包含的商品标识信息。
179.本实施例提供的图像处理方法用于提取商品图像中的商品标识信息。可以适用于商品信息录入等应用场景中。商品标识信息可以包括商品名称，条形码等信息。在商品上，需要提取的商品标识信息被预设的多个标识图形包围。
180.举例来说，实际应用中，商家在买入大量的某款商品(比如购买了很多箱某种牛奶)后，需要将每个商品录入到商品管理系统中，此时，商家可以对每个商品进行拍摄以得到商品对应的拍摄图像。本实施例中，针对某款商品来说，参考图像可以是商家对其中某个商品进行实际拍摄而得到的一幅拍摄角度良好、环境干扰很少的图像，也可以是商品生产方提供的这款商品的设计图。
181.本实施例提供的图像处理方案的详细执行过程可以参考前述其他实施例中的相关说明，在此不赘述。
182.以下将详细描述本发明的一个或多个实施例的图像处理装置。本领域技术人员可以理解，这些图像处理装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
183.图13为本发明实施例提供的一种图像处理装置的结构示意图，如图13所示，该装置包括：获取模块11、确定模块12、矫正模块13。
184.获取模块11，用于获取与目标对象对应的拍摄图像，所述目标对象中包括由多个标识图形包围的目标区域，以及，获取所述目标区域在参考图像中对应的参考坐标以及所述多个标识图形在所述参考图像中各自对应的定位点参考坐标，所述目标区域在所述参考图像中呈现所述设定形态。
185.确定模块12，用于确定所述多个标识图形在所述拍摄图像中各自对应的定位点预测坐标。
186.矫正模块13，用于根据所述多个标识图形各自对应的定位点参考坐标和定位点预测坐标，以及所述目标区域对应的参考坐标，生成与所述拍摄图像对应的矫正图像，在所述矫正图像中所述目标区域呈现所述设定形态。
187.可选地，所述参考图像包括：与所述目标对象对应的设计图。
188.可选地，所述装置还包括：信息提取模块，用于对所述矫正图像进行信息提取处理，以获取所述目标区域中包含的数据信息。
189.可选地，所述多个标识图形中包括第一类别的标识图形和第二类别的标识图形。
190.可选地，矫正模块13具体可以用于：根据所述多个标识图形各自对应的定位点参考坐标和定位点预测坐标，确定变换矩阵；根据所述变换矩阵、所述目标区域对应的参考坐标以及所述多个标识图形各自对应的定位点参考坐标和定位点预测坐标，生成与所述拍摄图像对应的矫正图像。
191.可选地，确定模块12具体可以用于：将所述拍摄图像输入到预设模型中，以通过所述预设模型输出所述多个标识图形在所述拍摄图像中各自对应的定位点预测坐标和类别。从而，矫正模块13具体可以用于：根据所述多个标识图形在所述参考图像中各自对应的定位点参考坐标和类别，以及所述多个标识图形在所述拍摄图像中各自对应的定位点预测坐标和类别，确定所述变换矩阵。
192.可选地，矫正模块13具体可以用于：根据所述多个标识图形在所述参考图像中各自对应的定位点参考坐标和类别，以及所述多个标识图形在所述拍摄图像中各自对应的定位点预测坐标和类别，确定所述多个标识图形各自对应的坐标对，其中，任一标识图形对应的坐标对中包括所述任一标识图形对应的定位点参考坐标和定位点预测坐标；根据所述多个标识图形各自对应的坐标对，确定所述变换矩阵。
193.可选地，所述预设模型包括第一模型和第二模型，基于此，确定模块12具体可以用于：将所述拍摄图像输入到所述第一模型中，以通过所述第一模型输出所述多个标识图形在所述拍摄图像中各自对应的定位框坐标和类别；根据所述多个标识图形各自对应的定位框坐标，从所述拍摄图像中截取出所述多个标识图形各自对应的子图；将所述多个标识图形各自对应的子图输入到所述第二模型中，以通过所述第二模型输出所述多个标识图形在
各自对应的子图中对应的定位点预测坐标；根据所述多个标识图形在各自对应的子图中对应的定位点预测坐标和所述多个标识图形各自对应的定位框坐标，确定所述多个标识图形在所述拍摄图像中各自对应的定位点预测坐标。
194.可选地，矫正模块13具体可以用于：根据所述多个标识图形各自对应的定位点参考坐标，生成空白的矫正图像，所述矫正图像的尺寸由所述多个标识图形各自对应的定位点参考坐标确定；根据所述变换矩阵对所述拍摄图像中待矫正区域内的第一像素位置进行位置映射，以在所述空白的矫正图像中确定对应的第二像素位置，其中，所述第一像素位置是所述待矫正区域内包含的任一像素位置，所述待矫正区域由所述多个标识图形各自对应的定位点预测坐标确定；将所述第一像素位置对应的像素值赋值给所述第二像素位置，以生成与所述拍摄图像对应的矫正图像。
195.图13所示装置可以执行前述图1至图10所示实施例中提供的图像处理方法，详细的执行过程和技术效果参见前述实施例中的描述，在此不再赘述。
196.在一个可能的设计中，上述图13所示图像处理装置的结构可实现为一电子设备，如图14所示，该电子设备可以包括：处理器21、存储器22。其中，存储器22上存储有可执行代码，当所述可执行代码被处理器21执行时，使处理器21至少可以实现如前述图1至图10所示实施例中提供的图像处理方法。
197.可选地，该电子设备中还可以包括通信接口23，用于与其他设备进行通信。
198.另外，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如前述图1至图10所示实施例中提供的图像处理方法。
199.图15为本发明实施例提供的一种图像处理装置的结构示意图，如图15所示，该装置包括：获取模块31、确定模块32、矫正模块33、提取模块34。
200.获取模块31，用于获取与商品对应的拍摄图像，所述商品中包括由多个标识图形包围的商品标识区域，以及，获取所述商品标识区域在参考图像中对应的参考坐标以及所述多个标识图形在所述参考图像中各自对应的定位点参考坐标，所述商品标识区域在所述参考图像中呈现所述设定形态。
201.确定模块32，用于确定所述多个标识图形在所述拍摄图像中各自对应的定位点预测坐标。
202.矫正模块33，用于根据所述多个标识图形各自对应的定位点参考坐标和定位点预测坐标，以及所述商品标识区域对应的参考坐标，生成与所述拍摄图像对应的矫正图像，在所述矫正图像中所述商品标识区域呈现所述设定形态。
203.提取模块34，用于在所述矫正图像中提取所述商品标识区域内包含的商品标识信息
204.图15所示装置可以执行前述图12所示实施例中提供的图像处理方法，详细的执行过程和技术效果参见前述实施例中的描述，在此不再赘述。
205.在一个可能的设计中，上述图15所示图像处理装置的结构可实现为一电子设备，如图16所示，该电子设备可以包括：处理器41、存储器42。其中，存储器42上存储有可执行代码，当所述可执行代码被处理器41执行时，使处理器41至少可以实现如前述图12所示实施例中提供的图像处理方法。
206.可选地，该电子设备中还可以包括通信接口43，用于与其他设备进行通信。
207.另外，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如前述图12所示实施例中提供的图像处理方法。
208.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
209.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
210.本发明实施例提供的图像处理方法可以由某种程序/软件来执行，该程序/软件可以由网络侧提供，前述实施例中提及的电子设备可以将该程序/软件下载到本地的非易失性存储介质中，并在其需要执行前述图像处理方法时，通过cpu将该程序/软件读取到内存中，进而由cpu执行该程序/软件以实现前述实施例中所提供的图像处理方法，执行过程可以参见前述图1至图10中的示意。
211.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。