图像处理方法、装置、电子设备及存储介质与流程

1.本技术涉及图像处理领域，具体涉及图像处理方法、装置、电子设备及存储介质。


背景技术：

2.对诸如通过广角镜头拍摄的图像的处理经常包括保形畸变校正。目前的保形畸变校正算法需要多次迭代以生成用于保形畸变校正的保形畸变校正映射图，在采用保形畸变校正算法对图像进行处理之前，还需要通过人像分割模型确定图像中的人体的位置，以将确定的人体的位置提供给保形畸变校正算法。
3.现有技术所采用的处理方法，一方面，多次迭代导致图像处理的速度慢。另一方面，图像的保形效果除了受到保形畸变校正算法的精度的影响，还受到人像分割模型的精度的影响。


技术实现要素：

4.本技术实施例提供一种图像处理方法、装置、电子设备、存储介质、计算机程序产品，以解决图像处理的速度慢和图像的保形效果受到人像分割模型的精度的影响的问题。
5.本技术实施例提供一种图像处理方法，包括：
6.对目标图像进行保线畸变校正，得到所述目标图像对应的目标保线畸变校正图像；
7.将所述目标保线畸变校正图像输入到保形网络中，得到所述目标图像对应的目标保形畸变校正映射图；
8.利用所述目标保形畸变校正映射图对所述目标保线畸变校正图像进行保形畸变校正，得到校正后的图像。
9.本技术实施例提供一种图像处理装置，包括：
10.第一校正单元，被配置为对目标图像进行保线畸变校正，得到所述目标图像对应的目标保线畸变校正图像；
11.获取单元，被配置为将所述目标保线畸变校正图像输入到保形网络中，得到所述目标图像对应的目标保形畸变校正映射图；
12.第二校正单元，被配置为利用所述目标保形畸变校正映射图对所述目标保线畸变校正图像进行保形畸变校正，得到校正后的图像。
13.本技术实施例提供一种电子设备，包括：
14.处理器；
15.用于存储该处理器可执行指令的存储器；
16.其中，该处理器被配置为执行所述指令，以实现上述图像处理方法。
17.本技术实施例提供一种存储介质，该存储介质中存储有指令，当存储介质中的指令由处理器执行时，能够实现上述图像处理方法。
18.本技术实施例提供一种计算机程序产品，计算机程序产品包括计算机程序，计算
机程序被处理器执行时实现上述图像处理方法。
19.本技术实施例提供的图像处理方法、装置、电子设备及存储介质，对目标图像进行保线畸变校正，得到目标图像对应的目标保线畸变校正图像；将该目标保线畸变校正图像输入到保形网络中，得到该目标图像对应的目标保形畸变校正映射图；利用该目标保形畸变校正映射图对该目标保线畸变校正图像进行保形畸变校正，得到校正后的图像。得到的校正后的图像具有保线效果和保形效果，通过保形网络得到目标图像对应的目标保形畸变校正映射图，而无需多次迭代，提升图像处理过程的速度，同时，无需通过人像分割模型确定图像人体的位置，保形效果不受人像分割模型的精度影响。
附图说明
20.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
21.图1示出了本技术实施例提供的图像处理方法的流程图；
22.图2示出了本技术实施例提供的图像处理装置的结构框图；
23.图3示出了本技术实施例提供的电子设备的结构框图。
具体实施方式
24.下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
25.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
26.近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(artificial intelligence，ai)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(slam)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
27.图1示出了本技术实施例提供的图像处理方法的流程图，该方法包括：
28.步骤101，对目标图像进行保线畸变校正，得到目标图像对应的目标保线畸变校正图像。
29.本技术实施例提供的图像处理方法可以用于对用户通过终端拍摄的人像进行处
理。本技术实施例提供的图像处理方法的代码可以封装在插件中。该插件可以在拍摄界面被打开时运行，例如，当用户点击表示相机的按钮时，运行该插件。本技术实施例提供的图像处理方法可以基于用户的相关操作而触发执行。例如，当用户点击拍摄界面中的拍照按钮时，可以获取终端上的相机拍摄到的包括被拍摄的人的图像，执行本技术实施例提供的图像处理方法，对被拍摄的人的图像进行处理，得到校正后的图像，在拍摄界面中展示校正后的图像，从而，使得用户可以看到具有保线效果和保形效果的校正后的图像。例如，在用户点击拍摄界面中的拍照按钮之后，在拍摄界面中展示终端上的相机拍摄到的包括被拍摄的人的图像，同时，在拍摄界面中展示指示可以保线和保形的按钮，用户可以点击指示可以保线和保形的按钮，以触发执行本技术实施例提供的图像处理方法，对被拍摄的人的图像进行处理，得到校正后的图像，在拍摄界面中展示校正后的图像。
30.在本技术中，可以采用任意一种已有的保线畸变校正算法对目标图像进行保线畸变校正，得到目标图像对应的目标保线畸变校正图像。
31.步骤102，将该目标保线畸变校正图像输入到保形网络中，得到该目标图像对应的目标保形畸变校正映射图。
32.在本技术中，保形畸变校正映射图可以称之为保形畸变校正map图。目标图像对应的目标保形畸变校正映射图中的每一个第一像素分别对应该目标图像对应的目标保线畸变校正图像中的一个第二像素。对于每一个第一像素，该第一像素在目标图像对应的目标保形畸变校正映射图中的位置与该第一像素对应的第二像素在该目标保线畸变校正图像中的位置相同。
33.在本技术中，在针对目标图像对应的目标保线畸变校正图像进行保形畸变校正时，目标图像对应的目标保线畸变校正图像中的需要替换的像素称之为与保形相关的第二像素。对于目标图像对应的目标保线畸变校正图像中的、一个与保形相关的第二像素，利用目标图像对应的目标保线畸变校正图像中的、一个其他第二像素替换该与保形相关的第二像素，目标图像对应的目标保形畸变校正映射图中的、对应于该与保形相关的第二像素的第一像素的像素值为该其他第二像素的位置。
34.在本技术中，保形网络包括用于特征提取的单元、用于生成保形畸变校正映射图的单元。保形网络中的用于特征提取的单元从输入到保形网络中的保线畸变校正图像中提取用于描述保形对象的畸变的特征，保形网络中的用于生成保形畸变校正映射图的单元基于用于描述保形对象的畸变的特征，生成保形畸变校正映射图。
35.保形网络可以包括作为用于特征提取的单元的卷积神经网络、作为用于生成保形畸变校正映射图的单元的多层感知机。保形网络也可以为编码器-解码器类型的神经网络，保形网络包括作为用于特征提取的单元的编码器、作为用于生成保形畸变校正映射图的单元的解码器。
36.在本技术中，预先训练保形网络，在预先训练保形网络时，可以预先分别训练保形网络中的用于特征提取的单元、训练保形网络中的用于生成保形畸变校正映射图的单元，在完成用于特征提取的单元的训练、用于生成保形畸变校正映射图的单元的训练之后，利用训练保形网络对目标图像进行处理。
37.在一次针对用于特征提取的单元的训练中，利用一个用于训练的保线畸变校正图像和该用于训练的保线畸变校正图像对应的第一标注信息训练用于特征提取的单元，该用
于训练的保线畸变校正图像对应的第一标注信息为经过标注的、用于描述该用于训练的保线畸变校正图像中的保形对象的畸变的特征。将该用于训练的保线畸变校正图像输入到用于特征提取的单元中，用于特征提取的单元输出预测特征，该预测特征为预测出的、用于描述该用于训练的保线畸变校正图像中的保形对象的畸变的特征。计算该预测特征与该第一标注信息之间的损失，根据该损失，更新用于特征提取的单元的参数。
38.在一次针对用于生成保形畸变校正映射图的单元的训练中，利用一个用于训练的保线畸变校正图像对应的第一标注信息和该用于训练的保线畸变校正图像对应的第二标注信息训练用于生成保形畸变校正映射图的单元。该用于训练的保线畸变校正图像对应的第二标注信息为经过标注的、保形畸变校正映射图。将该用于训练的保线畸变校正图像对应的第一标注信息输入到用于生成保形畸变校正映射图的单元中，用于生成保形畸变校正映射图的单元输出预测结果，该预测结果为预测出的、保形畸变校正映射图，计算计算该预测结果与该第二标注信息之间的损失，根据该损失，更新用于生成保形畸变校正映射图的单元的参数。
39.步骤103，利用该目标保形畸变校正映射图对该目标保线畸变校正图像进行保形畸变校正，得到校正后的图像。
40.在本技术中，在利用目标图像对应的目标保形畸变校正映射图对目标图像对应的目标保线畸变校正图像进行保形畸变校正时，遍历目标图像对应的目标保形畸变校正映射图中的第一像素。目标图像对应的目标保形畸变校正映射图中的每一个第一像素分别对应目标图像对应的目标保线畸变校正图像中的一个第二像素。对于每一个第一像素，该第一像素在目标图像对应的目标保形畸变校正映射图中的位置与该第一像素对应的第二像素在该目标保线畸变校正图像中的位置相同。在本技术中，第一像素的位置是指第一像素在目标图像对应的目标保形畸变校正映射图中的位置，第二像素的位置是指第二像素在目标图像对应的目标保线畸变校正图像中的位置。在利用目标图像对应的目标保形畸变校正映射图对目标图像对应的目标保线畸变校正图像进行保形畸变校正时，可以遍历目标图像对应的目标保形畸变校正映射图中的第一像素，对于遍历到的一个第一像素，若该第一像素的像素值为该第一像素对应的第二像素的位置，则可以确定该第一像素对应的第二像素不参与保形。对于遍历到的一个第一像素，若该第一像素的像素值不是该第一像素对应的第二像素的位置，则可以确定该第一像素对应的第二像素与保形相关，查找到目标图像对应的目标保线畸变校正图像中的、位置为该第一像素的像素值的一个其他第二像素，由该其他第二像素替换该第一像素对应的第二像素。
41.例如，像素的位置采用坐标(x，y)表示，x表示像素所在的行，y表示像素所在的列。目标图像对应的目标保形畸变校正映射图中的每一个第一像素的像素值均为一个坐标。
42.在遍历目标图像对应的目标保形畸变校正映射图中的第一像素的过程中，首先访问目标图像对应的目标保形畸变校正映射图中的位置为(1,1)的第一像素，位置为(1,1)的第一像素对应的第二像素为目标图像对应的目标保线畸变校正图像中的、位置为(1,1)的第二像素。
43.若目标图像对应的目标保形畸变校正映射图中的、位置为(1,1)的第一像素的像素值为(1,1)，则确定目标图像对应的目标保线畸变校正图像中的、与位置为(1,1)的第一像素相对应的第二像素即目标图像对应的目标保线畸变校正图像中的位置为(1,1)的第二
像素不参与保形，继续访问目标图像对应的目标保形畸变校正映射图中的、位置为(1,2)的第一像素。
44.若目标图像对应的目标保形畸变校正映射图中的、位置为(1,1)的第一像素的像素值不是(1,1)，该位置为(1,1)的第一像素的像素值为(2,3)，查找目标图像对应的目标保线畸变校正图像中的、位置为(2,3)的一个其他第二像素，利用该位置为(2,3)的其他第二像素替换目标图像对应的目标保线畸变校正图像中的、位置为(1,1)的第二像素。然后，继续访问目标图像对应的目标保形畸变校正映射图中的、位置为(1,2)的第一像素。
45.在访问到每一个第一像素时进行的操作与上述在访问到位置为(1,1)的第一像素时进行的操作同理，在目标图像对应的目标保线畸变校正图像中的、每一个参与保形的第二像素均被相应的其他第二像素替换之后，得到校正后的图像。
46.在本技术中，对目标图像进行保线畸变校正，得到目标图像对应的目标保线畸变校正图像；将该目标保线畸变校正图像输入到保形网络中，得到该目标图像对应的目标保形畸变校正映射图；利用该目标保形畸变校正映射图对该目标保线畸变校正图像进行保形畸变校正，得到校正后的图像。得到的校正后的图像具有保线效果和保形效果，通过保形网络得到目标图像对应的目标保形畸变校正映射图，而无需多次迭代，提升图像处理过程的速度，同时，无需通过人像分割模型确定图像人体的位置，保形效果不受人像分割模型的精度影响。
47.在一些实施例中，在对目标图像进行保线畸变校正之前，还包括：生成训练数据；其中，训练数据包括：多个保线畸变校正样本图像、每一个保线畸变校正样本图像对应的保形畸变校正标注映射图；基于多个保线畸变校正样本图像，以及各个保线畸变校正样本图像对应的保形畸变校正标注映射图训练保形网络。
48.在本技术中，在将目标图像对应的目标保线畸变校正图像输入到保形网络中之前，预先通过训练数据训练保形网络。训练数据包括：多个保线畸变校正样本图像、每一个保线畸变校正样本图像对应的保形畸变校正标注映射图。
49.保形畸变校正标注映射图可以称之为保形畸变校正标注map图，保形畸变校正标注映射图作为训练保形网络时保形网络的目标输出即ground truth，ground truth简称gt。
50.在本技术中，可以预先获取多个经过保线畸变校正并且未经过保形畸变校正的图像，将每一个经过保线畸变校正并且未经过保形畸变校正的图像均作为保线畸变校正样本图像。获取到的保线畸变校正样本图像可以通过对相机拍摄的未经过任何处理的图像进行保线畸变校正得到，未经过任何处理的图像可以为人像。
51.在本技术中，对于每一个保线畸变校正样本图像，可以采用保形畸变校正算法生成用于对该保线畸变校正样本图像进行保形畸变校正的、保形畸变校正映射图，将生成的该目标保形畸变校正映射图作为该保线畸变校正样本图像对应的保形畸变校正标注映射图。保形畸变校正算法可以为已有的任意一种保形畸变校正算法。
52.在本技术中，每一次训练保形网络，可以将一个保线畸变校正样本图像输入到保形网络中，得到保形网络输出的、保线畸变校正样本图像对应的保形畸变校正预测映射图。每一次训练保形网络，可以计算保线畸变校正样本图像对应的保形畸变校正预测映射图与该保线畸变校正样本图像对应的保形畸变校正标注映射图之间的损失，基于计算出的损
失，更新保形网络的参数。
53.在本技术中，可以利用多个保线畸变校正样本图像以及各个保线畸变校正样本图像对应的保形畸变校正标注映射图训练保形网络，可以使得保形网络直接学习保线畸变校正图像与保形畸变校正标注图的关联关系。
54.在一些实施例中，生成训练数据，包括：获取原始图像集合；对原始图像集合中的各个原始图像，利用保线畸变校正算法对该原始图像进行保线畸变校正，得到该原始图像对应的保线畸变校正图像；基于保形畸变校正算法和各原始图像对应的保线畸变校正图像，生成各原始图像对应的保形畸变校正映射图；从每一个原始图像对应的保形畸变校正映射图中筛选出对应的保形精确度大于精确度阈值的保形畸变校正映射图；将对应于所筛选出的保形畸变校正映射图的保线畸变校正图像作为保线畸变校正样本图像，将该所筛选出的保形畸变校正映射图作为该保线畸变校正样本图像对应的保形畸变校正标注映射图。
55.在本技术中，原始图像集合中的原始图像为没有经过保线畸变校正和保形畸变校正的图像，原始图像可以为人像。
56.在本技术中，对于该多个原始图像中的每一个原始图像，可以采用保线畸变校正算法对该图像进行保线畸变校正，得到该原始图像对应的保线畸变校正图像。
57.在本技术中，对于每一个原始图像对应的保线畸变校正图像，在基于保形畸变校正算法和该原始图像对应的保线畸变校正图像，得到该原始图像对应的保形畸变校正映射图时，可以利用保形畸变校正算法生成用于对该原始图像对应的保线畸变校正图像进行保形畸变校正的、保形畸变校正映射图，将生成的保形畸变校正映射图作为该原始图像对应的保形畸变校正映射图。
58.在本技术中，在得到每一个原始图像对应的保形畸变校正映射图之后，可以从每一个原始图像对应的保形畸变校正映射图中筛选出对应的保形精确度大于精确度阈值的保形畸变校正映射图。
59.在本技术中，可以采用以下方式确定任意一个保形畸变校正映射图对应的保形精确度：利用该目标保形畸变校正映射图，对与该目标保形畸变校正映射图相对应的原始图像进行保形畸变校正，得到保形畸变校正后的图像；计算保形畸变校正后的图像中的人体的轮廓与该人体的保形后的期望轮廓的相似度，将该相似度作为目标保形畸变校正映射图对应的的保形精确度。该人体的保形后的期望轮廓可以是指期望通过保形得到的该人体的轮廓，该人体的保形后的期望轮廓可以通过工程师根据先验经验、在与该目标保形畸变校正映射图相对应的原始图像中的该人体的轮廓，进行用于调整轮廓的操作而得到。
60.在本技术中，对于每一个对应的保形精确度大于精确度阈值的保形畸变校正映射图，可以将对应于该对应的保形精确度大于精确度阈值的保形畸变校正映射图的保线畸变校正图像作为保线畸变校正样本图像，将该对应的保形精确度大于精确度阈值的保形畸变校正映射图作为保线畸变校正样本图像对应的保形畸变校正标注映射图。对于每一个对应的保形精确度大于精确度阈值的保形畸变校正映射图，对应于该对应的保形精确度大于精确度阈值的保形畸变校正映射图的保线畸变校正图像为与该对应的保形精确度大于精确度阈值的保形畸变校正映射图对应的原始图像相对应的保线畸变校正图像。
61.在本技术中，从每一个原始图像对应的保形畸变校正映射图中筛选出对应的保形精确度大于精确度阈值的保形畸变校正映射图，相当于选择出可以取得较好的保形效果的
保形畸变校正映射图，利用可以取得较好的保形效果的保形畸变校正映射图作为保线畸变校正样本图像对应的保形畸变校正标注映射图，参与保形网络的训练，可以提升保形网络的训练精度，进而进一步提升在完成训练之后，保形网络生成的保形畸变校正映射图的准确度。
62.在一些实施例中，获取原始图像集合包括：对于多个不同的拍摄条件中的每一个拍摄条件，以该拍摄条件，拍摄该拍摄条件对应的原始图像，该拍摄条件包括：终端型号、焦距、光照强度中的至少一项；将该每一个拍摄条件对应的原始图像组合为原始图像集合。
63.对于多个不同的拍摄条件中的每一个拍摄条件，该拍摄条件包括至少一个未被其他拍摄条件包括的项。对于多个不同的拍摄条件中的每一个拍摄条件，以该拍摄条件，拍摄该拍摄条件对应的原始图像，拍摄到的图像作为该拍摄条件对应的原始图像，若该拍摄条件包括终端型号，则在以该拍摄条件，拍摄该拍摄条件对应的原始图像时，采用型号为该拍摄条件中的终端型号的终端拍摄，若该拍摄条件包括光照强度，则在以该拍摄条件，拍摄该拍摄条件对应的原始图像时，若该拍摄条件包括焦距，则在以该拍摄条件，拍摄该拍摄条件对应的原始图像时，焦距采用该拍摄条件中的焦距。对于多个不同的拍摄条件中的每一个拍摄条件，可以分别以该拍摄条件对多个不同的人进行拍摄，从而，可以得到该拍摄条件对应的多个原始图像。在将每一个拍摄条件对应的原始图像组合为原始图像集合时，可以将每一个拍摄条件对应的所有原始图像进行组合，得到原始图像集合，对于每一个拍摄条件，原始图像集合包括该拍摄条件对应的所有原始图像。
64.在本技术中，可以利用在多个不同的拍摄条件下拍摄的多个原始图像对应的保线畸变校正图像、在多个不同的拍摄条件下拍摄的多个原始图像对应的目标保形畸变校正映射图训练保形网络，从而，使得在完成保形网络的训练之后，保形网络适用于针对在多个场景中的任意一个场景下采集到的目标图像，均可以对目标图像进行保线畸变校正和保形畸变校正，提升在完成保形网络的训练之后，保形网络的适用性。
65.在一些实施例中，对于每一个原始图像，该原始图像对应的保线畸变校正图像包括人体，该原始图像对应的保形畸变校正映射图包括：该人体的各个待保形部分对应的子映射图；以及基于保形畸变校正算法和各原始图像对应的保线畸变校正图像，生成各原始图像对应的保形畸变校正映射图，包括：基于该人体的各个待保形部分的标注框，确定该人体的每一个待保形部分，每一个待保形部分为以下之一：该人体的头部、该人体的躯干和该人体的脚部；对于该各个待保形部分，利用保形畸变校正算法生成该待保形部分对应的子映射图，其中，该待保形部分对应的子映射图中的每一个第三像素分别对应属于该待保形部分的一个第四像素，该第三像素的像素值为该原始图像对应的保线畸变校正图像中的、用于替换该第三像素对应的第四像素的像素的位置或该第三像素对应的第四像素的位置。
66.在本技术中，对于每一个原始图像，可以首先基于该原始图像对应的保线畸变校正图像中的人体的每一个待保形部分的标注框，确定该人体的每一个待保形部分。对于该人体的每一个待保形部分，该待保形部分的标注结果通过预先对该待保形部分进行标注而得到。在确定该人体的每一个待保形部分之后，对于该人体的每一个待保形部分，可以将该待保形部分的位置信息作为保形畸变校正算法的输入参数，以使得保形畸变校正算法定位该待保形部分，生成该待保形部分对应的子映射图，该待保形部分对应的子映射图可以用于对该待保形部分进行保形。生成的所有待保形部分对应的子映射图组成该原始图像对应
的保形畸变校正映射图，该原始图像对应的保形畸变校正映射图包括：该人体的头部对应的子映射图、该人体的躯干对应的子映射图、该人体的脚部对应的子映射图。
67.对于该原始图像对应的保线畸变校正图像中的人体的任意一个待保形部分，若利用该待保形部分对应的子映射图对该待保形部分进行保形，可以遍历该待保形部分对应的子映射图中的第三像素，对于遍历到的一个第三像素，若该第三像素的像素值为该第三像素对应的第四像素的位置，则可以确定该第三像素对应的第四像素不参与保形。对于遍历到的一个第三像素，若该第三像素的像素值为该原始图像对应的保线畸变校正图像中的、用于替换该第三像素对应的第四像素的像素的位置，则可以确定该第三像素对应的第四像素与保形相关，根据用于替换该第三像素对应的第四像素的像素的位置，查找到用于替换该第三像素对应的第四像素的像素的位置，由用于替换该第三像素对应的第四像素的像素的位置替换该第三像素对应的第四像素。
68.在本技术中，原始图像对应的保形畸变校正映射图包括每一个待保形部分对应的子映射图，原始图像对应的保形畸变校正映射图可以用于对该原始图像对应的保线畸变校正图像中的人体的多个不同的待保形部分进行保形，利用原始图像对应的保形畸变校正映射图对保形网络进行训练，可以使得保形网络学习如何生成可以对人体的多个不同的待保形部分进行保形的保形畸变校正映射图，进而使得训练之后，保形网络学习可以生成对目标图像中的人体的多个不同的待保形部分进行保形的保形畸变校正映射图，保形网络可以对目标图像中的人体的多个不同的待保形部分进行保形。
69.在一些实施例中，对于原始图像对应的保线畸变校正图像中的人体的任意一个待保形部分，利用保形畸变校正算法生成该待保形部分对应的子映射图包括：确定该待保形部分对应的保形权重，其中，该待保形部分对应的保形权重与保形畸变校正算法针对该待保形部分的保形力度相关；利用该保形畸变校正算法基于该待保形部分对应的保形权重，生成该待保形部分对应的子映射图。
70.在本技术中，本技术采用的保形畸变校正算法可以为已有的基于权重进行保形的保形畸变校正算法。对于该原始图像对应的保线畸变校正图像中的人体的任意一个待保形部分，可以确定该待保形部分对应的保形权重。待保形部分对应的保形权重与保形畸变校正算法针对待保形部分的保形力度相关。可以将该待保形部分的默认权重作为该待保形部分对应的保形权重，待保形部分的默认权重为保形畸变校正算法进行保形畸变校正时针对直线类型的线段默认采用的权重，还可以将相关人员例如机器学习领域的工程师预先设置的针对该待保形部分的权重作为该待保形部分对应的保形权重。
71.对于该人体的每一个待保形部分，将该待保形部分的位置信息作为保形畸变校正算法的输入参数，以使得保形畸变校正算法定位该待保形部分，同时，将待保形部分对应的保形权重作为保形畸变校正算法的输入参数，以使得保形畸变校正算法基于待保形部分对应的保形权重，生成该待保形部分对应的子映射图，待保形部分对应的保形权重对应的保形力度可以理解为待保形部分所需的保形力度，相应的，该待保形部分对应的子映射图可以用于：以待保形部分所需的保形力度，对该待保形部分进行保形。
72.在本技术中，每一个待保形部分对应的子映射图均可以用于以待保形部分所需的保形力度对待保形部分进行保形，进而可以利用包括每一个待保形部分对应的子映射图的、原始图像对应的保形畸变校正映射图对保形网络进行训练，使得保形网络学习如何生
成可以对输入到保形网络中的图像中的人体的多个不同的待保形部分以所需的保形力度进行保形的保形畸变校正映射图，进而使得完成保形网络的训练之后，保形网络学习可以生成对目标图像中的人体的多个不同的待保形部分以所需的保形力度进行保形的保形畸变校正映射图，对目标图像中的人体的多个不同的待保形部分以所需的保形力度进行保形。
73.在一些实施例中，对于原始图像对应的保线畸变校正图像中的人体的任意一个待保形部分，该待保形部分对应的保形权重包括：待保形部分的轮廓上的线段对应的保形权重；以及确定该待保形部分的权重包括：基于该待保形部分中的直线类型的线段的标注结果，确定该待保形部分中的直线类型的线段；基于该直线类型的线段的默认权重，确定该直线类型的线段对应的保形权重，其中，该默认权重为保形畸变校正算法进行保形畸变校正时针对直线类型的线段默认采用的权重，该直线类型的线段对应的保形权重大于该默认权重，该直线类型的线段对应的保形权重的大小与针对该直线类型的线段的保形力度的大小成反比。
74.在本技术中，本技术采用的保形畸变校正算法可以为可以为已有的同时考虑直线类型的线段对应的保形权重和曲线类型的线段对应的保形权重的保形畸变校正算法。直线类型的线段对应的保形权重可以称之为保直线项权重。对于同时考虑直线类型的线段对应的保形权重和曲线类型的线段对应的保形权重的保形畸变校正算法而言，直线类型的线段对应的保形权重的大小与针对直线类型的线段的保形力度的大小成反比，曲线类型的线段对应的保形权重的大小与针对曲线类型的线段的保形力度的大小成正比。若直线类型的线段的默认权重较小，则以较大的保形力度对直线类型的线段保形，可能造成直线的至少一部分弯曲而变成弧线的问题。待保形部分的轮廓上的直线类型的线段的标注结果由相关人员预先进行标注得到。例如，直线类型的线段的标注结果为经过加粗的该直线类型的线段。可以根据待保形部分的轮廓上的直线类型的线段的标注结果，确定待保形部分的轮廓上的直线类型的线段。对于待保形部分的轮廓上的任意一个直线类型的线段，可以将该直线类型的线段的默认权重与预设增加量相加，得到该直线类型的线段对应的保形权重，即该直线类型的线段对应的保形权重为该直线类型的线段的默认权重与预设增加量之和。
75.在本技术中，考虑了待保形部分中的直线类型的线段的默认权重较小，若在针对待保形部分的保形过程中直接采用直线类型的线段的默认权重对直线类型的线段进行保形，可能造成直线类型的线段的一部分弯曲而变成弧线的问题。相应的，若保形畸变校正算法基于直线类型的线段的默认权重生成待保形部分对应的子映射图，则生成的待保形部分对应的子映射图是在被用于对待保形部分进行保形时会造成待保形部分中的直线类型的线段的一部分弯曲的子映射图。进一步地，利用待保形部分中的直线类型的线段的一部分弯曲的子映射图参与保形网络的训练，则可能导致训练完成之后，在保形网络生成的目标图像对应的目标保形畸变校正映射图中的针对目标图像中的待保形部分对应的子映射图为在被用于对目标图像中的待保形部分进行保形时，会造成目标图像中的待保形部分中的直线类型的线段的一部分弯曲的子映射图。
76.在本技术中，直线类型的线段对应的保形权重大于直线类型的线段的默认权重，可以确保保形畸变校正算法针对直线类型的线段的保形力度为一个较小的保形力度，保形畸变校正算法基于直线类型的线段对应的保形权重生成的待保形部分对应的子映射图为
可以避免在被用于对待保形部分进行保形时待保形部分中的直线类型的线段的一部分弯曲的子映射图。进一步的，在被用于对待保形部分进行保形时会造成待保形部分中的直线类型的线段的一部分弯曲的子映射图参与保形网络的训练，确保训练完成之后，在保形网络生成的目标图像对应的目标保形畸变校正映射图中的针对目标图像中的待保形部分对应的子映射图被用于对目标图像中的待保形部分进行保形时，不会造成目标图像中的待保形部分中的直线类型的线段的一部分弯曲。
77.在一些实施例中，利用目标保形畸变校正映射图对目标保线畸变校正图像进行保形畸变校正，得到校正后的图像，包括：遍历该目标保形畸变校正映射图中的第一像素；当遍历到像素值不为目标数值的第一像素时，查找该目标保线畸变校正图像中的、位置为该第一像素的像素值的第二像素，以及使用查找到的第二像素替换与该第一像素的位置对应的第二像素，其中，与像素值为该目标数值的第一像素的位置对应的第二像素不参与保形，查找到的第二像素的位置与该与该第一像素的位置对应的第二像素的位置不同，像素值不为目标数值的第一像素的像素值为目标其他第二像素的位置，该目标其他第二像素用于替换与像素值不为目标数值的第一像素的位置对应的第二像素。
78.在本技术中，目标图像对应的目标保形畸变校正映射图中的每一个第一像素的位置分别对应目标图像对应的目标保线畸变校正图像中的一个第二像素，第一像素的位置和与该第一像素的位置对应的第二像素的位置相同。
79.对于目标图像对应的目标保形畸变校正映射图中的一个第一像素，若与该第一像素的位置对应的第二像素不参与保形即不需要由除了与该第一像素的位置对应的第二像素之外的其他第二像素替换与该第一像素的位置对应的第二像素，则该第一像素的像素值为目标数值例如0，若与该第一像素的位置对应的第二像素参与保形，则该第一像素的像素值为目标图像对应的目标保线畸变校正图像中的、用于替换与该第一像素的位置对应的第二像素的目标其他第二像素的位置。
80.当利用目标图像对应的目标保形畸变校正映射图对目标图像对应的目标保线畸变校正图像进行保形畸变校正，得到校正后的图像时，遍历目标图像对应的目标保形畸变校正映射图中的第一像素。当遍历到的第一像素的像素值不为目标数值例如0时，可以确定与该第一像素的位置对应的第二像素参与保形，查找目标图像对应的目标保线畸变校正图像中的、位置为该第一像素的像素值的第二像素，查找到的第二像素即为一个目标其他第二像素，由查找到的第二像素替换与该第一像素的位置对应的第二像素。在遍历完成之后，每一个目标图像对应的目标保线畸变校正图像中的每一个需要被替换的第二像素均被相应的其他第二像素替换，从而，得到校正后的图像。
81.在本技术中，对于不参与保形的第二像素，由于目标图像对应的目标保形畸变校正映射图中的、位置对应于不参与保形的第二像素的第一像素的像素值为目标数值，直接根据位置对应于不参与保形的第二像素的第一像素的像素值为目标数值，即可确定不参与保形的第二像素不参与保形，无需再将位置对应于不参与保形的第二像素的第一像素的像素值与不参与保形的第二像素的位置进行比较来确定不参与保形的第二像素不参与保形，进而提升利用保形畸变校正映射图对保线畸变校正图像进行保形畸变校正的过程的速度。
82.请参考图2，其示出了本技术实施例提供的图像处理装置的结构框图。图像处理装置包括：第一校正单元201，获取单元202，第二校正单元203。
83.第一校正单元201被配置为对目标图像进行保线畸变校正，得到所述目标图像对应的目标保线畸变校正图像；
84.获取单元202被配置为将所述目标保线畸变校正图像输入到保形网络中，得到所述目标图像对应的目标保形畸变校正映射图；
85.第二校正单元203被配置为利用所述目标保形畸变校正映射图对所述目标保线畸变校正图像进行保形畸变校正，得到校正后的图像。
86.在一些实施例中，第二校正单元203进一步被配置为遍历所述目标保形畸变校正映射图中的第一像素；当遍历到像素值不为目标数值的第一像素时，查找所述目标保线畸变校正图像中的、位置为所述第一像素的像素值的第二像素，以及使用查找到的第二像素替换与所述第一像素的位置对应的第二像素，其中，与像素值为所述目标数值的第一像素的位置对应的第二像素不参与保形，查找到的第二像素的位置与所述与所述第一像素的位置对应的第二像素的位置不同，像素值不为目标数值的第一像素的像素值为目标其他第二像素的位置，所述目标其他第二像素用于替换与像素值不为目标数值的第一像素的位置对应的第二像素。
87.在一些实施例中，图像处理装置还包括：
88.训练单元，被配置为生成训练数据；其中，所述训练数据包括：多个保线畸变校正样本图像、每一个保线畸变校正样本图像对应的保形畸变校正标注映射图；基于所述多个保线畸变校正样本图像，以及各个所述保线畸变校正样本图像对应的保形畸变校正标注映射图训练所述保形网络。
89.在一些实施例中，训练单元进一步被配置为获取原始图像集合；对所述原始图像集合中的各个原始图像，利用保线畸变校正算法对所述原始图像进行保线畸变校正，得到所述原始图像对应的保线畸变校正图像；基于保形畸变校正算法和各所述保线畸变校正图像，生成各所述原始图像对应的保形畸变校正映射图；从每一个原始图像对应的保形畸变校正映射图中筛选出对应的保形精确度大于精确度阈值的保形畸变校正映射图；将对应于所筛选出的保形畸变校正映射图的保线畸变校正图像作为所述保线畸变校正样本图像，将所述所筛选出的保形畸变校正映射图作为所述保线畸变校正样本图像对应的保形畸变校正标注映射图。
90.在一些实施例中，原始图像对应的保线畸变校正图像包括人体，所述原始图像对应的保形畸变校正映射图包括：所述人体的各个待保形部分对应的子映射图；训练单元进一步被配置为基于所述人体的各个待保形部分的标注框，确定所述人体的每一个待保形部分，所述待保形部分为以下之一：所述人体的头部、所述人体的躯干和所述人体的脚部；对于所述各个待保形部分，利用所述保形畸变校正算法生成所述待保形部分对应的子映射图，其中，所述待保形部分对应的子映射图中的每一个第三像素分别对应属于所述待保形部分的一个第四像素，所述第三像素的像素值为所述原始图像对应的保线畸变校正图像中的、用于替换所述第三像素对应的第四像素的像素的位置或所述第三像素对应的第四像素的像素的位置。
91.在一些实施例中，训练单元进一步被配置为确定所述待保形部分对应的保形权重，其中，所述待保形部分对应的保形权重与所述保形畸变校正算法针对所述待保形部分的保形力度相关；利用所述保形畸变校正算法基于所述待保形部分对应的保形权重，生成
所述待保形部分对应的子映射图。
92.在一些实施例中，所述待保形部分对应的保形权重包括：所述待保形部分的轮廓上的线段对应的保形权重；训练单元进一步被配置为基于所述待保形部分中的直线类型的线段的标注结果，确定所述待保形部分中的直线类型的线段；基于所述直线类型的线段的默认权重，确定所述直线类型的线段对应的保形权重，其中，所述默认权重为保形畸变校正算法进行保形畸变校正时针对直线类型的线段默认采用的权重，所述直线类型的线段对应的保形权重大于所述默认权重，所述直线类型的线段对应的保形权重的大小与针对所述直线类型的线段的保形力度的大小成反比。
93.在一些实施例中，训练单元进一步被配置为获取不同拍摄条件下的图像，所述拍摄条件包括：终端型号、焦距、光照强度中的至少一项；将不同拍摄条件下的图像组合为所述原始图像集合。
94.本技术提供的图像处理方法的实施例中的任意一个步骤和任意一个步骤中的具体操作均可以由图像处理装置中的相应的单元完成。图像处理装置中的各个单元完成的相应的操作的过程参考在图像处理方法的实施例中描述的相应的操作的过程。
95.通过图像处理装置，得到校正后的图像，得到的校正后的图像具有保线效果和保形效果，通过保形网络得到目标图像对应的目标保形畸变校正映射图，而无需多次迭代，提升图像处理过程的速度，同时，无需通过人像分割模型确定图像人体的位置，保形效果不受人像分割模型的精度影响。
96.图3是本实施例提供的一种电子设备的结构框图。电子设备包括处理组件322，其进一步包括一个或多个处理器，以及由存储器332所代表的存储器资源，用于存储可由处理组件322执行的指令，例如应用程序。存储器332中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件322被配置为执行指令，以执行上述方法。
97.电子设备还可以包括一个电源组件326被配置为执行电子设备的电源管理，一个有线或无线网络接口350被配置为将电子设备连接到网络，和一个输入输出(i/o)接口358。电子设备可以操作基于存储在存储器332的操作系统，例如windows servertm，macos xtm，unixtm,linuxtm，freebsdtm或类似。
98.在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由电子设备执行以完成上述图像处理方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
99.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由下面的权利要求指出。
100.应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。