图像处理方法及装置、计算机可读存储介质和电子设备与流程

1.本公开涉及图像处理技术领域，具体而言，涉及一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备。


背景技术：

2.随着终端设备的普及以及用户拍摄需求的增加，影像技术也在快速发展。然而，由于采用广角摄像模组等原因，拍摄出的图像可能存在畸变的问题。
3.目前，存在一些畸变校正的方案。然而，对于变焦(zoom)而生成的图像，普遍存在畸变校正效果不一致的问题。


技术实现要素：

4.本公开提供一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备，进而至少在一定程度上克服对变焦图像进行畸变校正处理效果不一致的问题。
5.根据本公开的第一方面，提供了一种图像处理方法，包括：获取基于变焦操作而生成的变焦图像，确定变焦图像中的人脸图像；对变焦图像进行网格划分，得到第一网格图；根据变焦图像的变焦倍数，对第一网格图进行缩小，得到第二网格图；对第二网格图中与人脸图像对应的网格区域进行优化，以生成与第二网格图对应的第三网格图；根据变焦倍数，对第三网格图进行放大，得到第四网格图，并基于第四网格图，生成处理后的变焦图像。
6.根据本公开的第二方面，提供了一种图像处理装置，包括：图像获取模块，用于获取变焦过程中生成的变焦图像，确定变焦图像中的人脸图像；网格划分模块，用于对变焦图像进行网格划分，得到第一网格图；网格缩小模块，用于根据变焦图像的变焦倍数，对第一网格图进行缩小，得到第二网格图；网格优化模块，用于对第二网格图中与人脸图像对应的网格区域进行优化，以生成与第二网格图对应的第三网格图；图像生成模块，用于根据变焦倍数，对第三网格图进行放大，得到第四网格图，并基于第四网格图，生成处理后的变焦图像。
7.根据本公开的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的图像处理方法。
8.根据本公开的第四方面，提供了一种电子设备，包括处理器；存储器，用于存储一个或多个程序，当一个或多个程序被处理器执行时，使得所述处理器实现上述的图像处理方法。
9.在本公开的一些实施例所提供的技术方案中，通过按变焦倍数将变焦图像的网格图缩小，再进行网格优化。可以将变焦图像的网格图统一到原始图像尺度上，避免变焦过程中不同的变焦图像采用不同尺度的处理方式或参数，由此，可以保证变焦图像畸变校正处理的一致性，实现变焦过程中视觉上的连贯性。另外，本公开方案在进行畸变校正时，主要针对网格图进行处理，资源消耗低。
10.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不
能限制本公开。
附图说明
11.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
12.图1示出了本公开实施例的图像处理方案的系统架构的示意图；
13.图2示出了适于用来实现本公开实施例的电子设备的结构示意图；
14.图3示意性示出了根据本公开示例性实施方式的图像处理方法的流程图；
15.图4示出了由第一网格图到第四网格图的过程的示意图；
16.图5示出了本公开实施例的在终端设备上显示选择界面的示意图；
17.图6示意性示出了本公开实施例的对变焦图像进行处理的整个过程的流程图；
18.图7示意性示出了根据本公开示例性实施方式的图像处理装置的方框图；
19.图8示意性示出了根据本公开另一示例性实施方式的图像处理装置的方框图。
具体实施方式
20.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
21.此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
22.附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，下面所有的术语“第一”、“第二”、“第三”、“第四”等仅是为了区分的目的，不应作为本公开内容的限制。
23.图1示出了本公开实施例的图像处理方案的系统架构的示意图。
24.如图1所示，系统架构可以包括终端设备11和服务器12。终端设备11与服务器12可以通过网络连接，网络的连接类型可以例如包括有线、无线通信链路或者光纤电缆等。
25.应当理解，终端设备11和服务器12的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备和服务器。比如服务器12可以是多个服务器组成的服务器集群等。
unit，gpu)、图像信号处理器(image signal processor，isp)、控制器、视频编解码器、数字信号处理器(digital signal processor，dsp)、基带处理器和/或神经网络处理器(neural-network processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。另外，处理器210中还可以设置存储器，用于存储指令和数据。
35.电子设备200可以通过isp、摄像模组291、视频编解码器、gpu、显示屏290及应用处理器等实现拍摄功能。在一些实施例中，电子设备200可以包括1个或n个摄像模组291，n为大于1的正整数，若电子设备200包括n个摄像头，n个摄像头中有一个是主摄像头。
36.需要注意的是，在本公开的一些实例场景中，电子设备200至少包括广角摄像模组，例如，本公开所述的原始图像和/或变焦图像可以基于该广角摄像模组拍摄得到。
37.内部存储器221可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。外部存储器接口222可以用于连接外部存储卡，例如micro sd卡，实现扩展电子设备200的存储能力。
38.本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
39.计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
40.计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
41.计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。
42.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
43.描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
44.下面以终端设备执行本公开实施方式的图像处理方法为例进行说明，在这种情况下，图像处理装置可以配置在终端设备中。
45.图3示意性示出了本公开的示例性实施方式的图像处理方法的流程图。参考图3，图像处理方法可以包括以下步骤：
46.s30.获取基于变焦操作而生成的变焦图像，确定变焦图像中的人脸图像。
47.在本公开的示例性实施方式中，变焦图像可以是基于变焦操作生成且待进行人脸畸变校正的图像。变焦图像可以是预览的图像，也可以是是响应用户的拍摄操作拍摄出的图像。拍摄所用的摄像模组可以为广角摄像模组或超广角摄像模组。
48.根据本公开的一些实施例，预先拍摄有原始图像，终端设备可以响应针对该原始图像的变焦操作，生成变焦图像。原始图像可以是预先利用广角摄像模组或超广角摄像模组拍摄得到的图像。
49.终端设备获取到变焦图像后，可以利用人脸检测算法确定出变焦图像中的人脸区域，本公开实施方式称该人脸区域为人脸图像。
50.s32.对变焦图像进行网格划分，得到第一网格图。
51.第一网格图可以是变焦图像的原始网格图，其可以被配置为稀疏网格图，以减少后续处理过程的计算量。
52.具体的，可以对变焦图像进行均匀划分，得到第一网格图。例如，变焦图像的像素分辨率为3000*4000，则将变焦图像均分为31*41个网格点得到网格图，网格图中每个网格的尺寸为10*10。本公开对第一网格图中包含网格点的数量以及划分方式均不做限制。
53.s34.根据变焦图像的变焦倍数，对第一网格图进行缩小，得到第二网格图。
54.应当注意的是，本公开实施方式的变焦图像相比于原始图像尺度，是变焦后确定出的，而变焦的程度可以用变焦倍数来表征。例如，变焦图像的变焦倍数为2.5，则可以表示变焦图像是原始图像以中心点进行放大2.5倍而得到的图像。可以理解的是，变焦图像和原始图像的分辨率相同。
55.终端设备可以根据变焦图像的变焦倍数，对第一网格图进行缩小，得到第二网格图。
56.s36.对第二网格图中与人脸图像对应的网格区域进行优化，以生成与第二网格图对应的第三网格图。
57.首先，终端设备可以将第二网格图与原始图像尺度对应的网格图进行融合，得到与原始图像尺度对应的第一中间网格图。
58.具体的，终端设备可以确定第二网格图在原始图像尺度对应的网格图中的位置，再利用第二网格图替换原始图像尺度对应的网格图中与该位置对应的网格区域，得到与原始图像尺度对应的第一中间网格图。
59.在本公开实施例中，可以例如利用上(top)、下(bot)、左(left)、右(right)的信息来表征上述位置。
60.接下来，终端设备可以对第一中间网格图进行优化，以得到第二中间网格图。例如，可以对第一中间网格图进行全局优化，也可以仅优化第一中间网格图中与人脸图像对应的网格区域。
61.然后，终端设备可以从第二中间网格图中提取与第二网格图对应的第三网格图。
62.具体的，在确定第二网格图在原始图像尺度对应的网格图中的位置的情况下，可以从第二中间网格图中提取与该位置对应的网格区域，作为与第二网格图对应的第三网格图。例如，可以利用上述上下左右的信息来确定出要提取的区域位置。
63.在本公开的一些实施例中，对网格区域进行优化可以包括对与人脸图像对应的网格区域进行优化以及对除与人脸图像对应的网格区域之外的网格区域进行优化。
64.首先，一方面，终端设备可以对第二网格图中与人脸图像对应的网格区域进行优化，得到第一优化结果。另一方面，终端设备可以对第二网格图中除人脸图像对应的网格区域之外的网格区域进行优化，得到第二优化结果。
65.接下来，可以融合第一优化结果和第二优化结果，生成与第二网格图对应的第三网格图。
66.上述优化的过程可以包括线性优化过程和/或非线性优化过程，可以结合仿射投影或相似投影等手段来构建优化项，求解优化问题，本公开对此不做限制。
67.s38.根据变焦倍数，对第三网格图进行放大，得到第四网格图，并基于第四网格图，生成处理后的变焦图像。
68.在确定出第三网格图之后，终端设备可以根据变焦图像的变焦倍数，对第三网格图进行放大，得到第四网格图。
69.图4示意性示出了由第一网格图生成第四网格图的过程。首先，可以基于变焦倍数对第一网格图进行缩小，得到第二网格图；接下来，可以对第二网格图进行优化，得到第三网格图；随后，可以基于变焦倍数对第三网格图进行放大，得到第四网格图。
70.在确定出第四网格图之后，终端设备可以基于第四网格图，生成处理后的变焦图像。
71.根据本公开的一些实施例，首先，终端设备可以确定第四网格图对应的像素点。接下来，终端设备可以对第四网格图对应的像素点进行插值处理，以生成处理后的变焦图像。
72.根据本公开的另一些实施例，首先，终端设备可以确定变焦图像中原始的像素点信息以及第四网格图；接下来，终端设备可以基于变焦图像中原始的像素点信息以及第二网格图，生成处理后的人脸图像。
73.本公开对插值算法不做限制，例如包括最近邻插值算法、双线性插值算法、三次多项式插值算法中的任意一种。
74.在生成处理后的变焦图像后，终端设备可以显示是否用处理后的变焦图像替换原始图像的选择界面。该选择界面可以以弹窗的形式示出，参考图5。
75.终端设备可以响应针对选择界面上替换选择操作，用处理后的变焦图像替换原始图像，并保存。
76.图6示意性示出了本公开实施例的对变焦图像进行处理的整个过程的流程图。
77.在步骤s602中，终端设备可以获取变焦图像，进行网格划分，得到第一网格图。
78.在步骤s604中，终端设备可以按变焦图像的变焦倍数，对第一网格图进行缩小，得到第二网格图。
79.在步骤s606中，终端设备可以确定第二网格图在原始图像尺度对应的网格图中的位置，并替换，得到第一中间网格图。
80.在步骤s608中，终端设备可以对第一中间网格图进行优化，得到第二中间网格图。
81.在步骤s610中，终端设备可以从第二中间网格图中提取位置对应的第三网格图。
82.在步骤s612中，终端设备可以按变焦倍数，对第三网格图进行放大，得到第四网格图。
83.在步骤s614中，终端设备可以基于第四网格图，进行图像插值，生成处理后的变焦图像。
84.综上所述，本公开实施方式通过按变焦倍数将变焦图像的网格图缩小，再进行网格优化。可以将变焦图像的网格图统一到原始图像尺度上，避免变焦过程中不同的变焦图像采用不同尺度的处理方式或参数，由此，可以保证变焦图像畸变校正处理的一致性，实现变焦过程中视觉上的连贯性。另外，本公开方案在进行畸变校正时，主要针对网格图进行处理，资源消耗低。
85.应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
86.进一步的，本示例实施方式中还提供了一种图像处理装置。
87.图7示意性示出了本公开的示例性实施方式的图像处理装置的方框图。参考图7，根据本公开的示例性实施方式的图像处理装置7可以包括图像获取模块71、网格划分模块73、网格缩小模块75、网格优化模块77和图像生成模块79。
88.具体的，图像获取模块71可以用于获取变焦过程中生成的变焦图像，确定变焦图像中的人脸图像；网格划分模块73可以用于对变焦图像进行网格划分，得到第一网格图；网格缩小模块75可以用于根据变焦图像的变焦倍数，对第一网格图进行缩小，得到第二网格图；网格优化模块77可以用于对第二网格图中与人脸图像对应的网格区域进行优化，以生成与第二网格图对应的第三网格图；图像生成模块79可以用于根据变焦倍数，对第三网格图进行放大，得到第四网格图，并基于第四网格图，生成处理后的变焦图像。
89.根据本公开的示例性实施例，网格优化模块77可以被配置为执行：将第二网格图与原始图像尺度对应的网格图进行融合，得到与原始图像尺度对应的第一中间网格图；对第一中间网格图进行优化，得到第二中间网格图；从第二中间网格图中提取与第二网格图对应的第三网格图。
90.根据本公开的示例性实施例，网格优化模块77得到第一中间网格图的过程可以被配置为执行：确定第二网格图在原始图像尺度对应的网格图中的位置；利用第二网格图替换原始图像尺度对应的网格图中与位置对应的网格区域，得到与原始图像尺度对应的第一中间网格图。
91.根据本公开的示例性实施例，网格优化模块77提取第三网格图的过程可以被配置为执行：从第二中间网格图中提取与位置对应的网格区域，作为与第二网格图对应的第三网格图。
92.根据本公开的示例性实施例，网格优化模块77还可以被配置为执行：对第二网格图中与人脸图像对应的网格区域进行优化，得到第一优化结果；对第二网格图中除与人脸图像对应的网格区域之外的网格区域进行优化，得到第二优化结果；融合第一优化结果和第二优化结果，生成与第二网格图对应的第三网格图。
93.根据本公开的示例性实施例，图像获取模块71还可以被配置为执行：响应针对原始图像的变焦操作，生成变焦图像。在这种情况下，参考图8，相比于图像处理装置7，图像处理装置8还可以包括替换交互模块81。
94.具体的，替换交互模块81可以被配置为执行：在生成处理后的变焦图像之后，显示是否用处理后的变焦图像替换原始图像的选择界面；其中，响应针对选择界面上的替换选择操作，用处理后的变焦图像替换原始图像。
95.根据本公开的示例性实施例，图像生成模块79可以被配置为执行：确定第四网格图对应的像素点；对第四网格图对应的像素点进行插值处理，以生成处理后的变焦图像。
96.由于本公开实施方式的图像处理装置的各个功能模块与上述方法实施方式中相同，因此在此不再赘述。
97.通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
98.此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
99.应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
100.本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本公开的其他实施例。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
101.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。