图像处理方法、装置、电子设备及计算机可读存储介质与流程

1.本技术涉及影像技术领域，具体涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.电子设备在通过成像装置(例如摄像头等)采集图像后，为了突出图像中的关注对象，会将图像划分为前景区域及背景区域，并对图像的背景区域进行虚化处理，以达到突出在前景区域的关注对象的图像效果。对于某些容易出现前景区域及背景区域混淆的图像，容易出现将部分前景区域错误地虚化或遗漏部分背景区域未虚化的情况，导致图像的虚化效果差。


技术实现要素：

3.本技术实施例公开了一种图像处理方法、装置、电子设备及计算机可读存储介质，能够提高图像前景识别的准确性，并提高了图像的虚化效果。
4.本技术实施例公开了一种图像处理方法，包括：
5.识别第一图像中的前景区域，得到第一前景识别结果；
6.基于所述第一前景识别结果对所述第一图像进行虚化处理，得到第一虚化图像；
7.响应针对所述第一虚化图像的选择操作，确定所述选择操作在所述第一虚化图像中选择的一个或多个图像区域；
8.识别各个所述图像区域的前景区域，得到各个所述图像区域对应的第二前景识别结果；
9.基于各个所述图像区域的第二前景识别结果，对所述第一图像或所述第一虚化图像进行虚化处理，得到第二虚化图像。
10.本技术实施例公开了一种图像处理装置，包括：
11.第一识别模块，用于识别第一图像中的前景区域，得到第一前景识别结果；
12.虚化模块，用于基于所述第一前景识别结果对所述第一图像进行虚化处理，得到第一虚化图像；
13.区域选择模块，用于响应针对所述第一虚化图像的选择操作，确定所述选择操作在所述第一虚化图像中选择的一个或多个图像区域；
14.第二识别模块，用于识别各个所述图像区域的前景区域，得到各个所述图像区域对应的第二前景识别结果；
15.所述虚化模块，还用于基于各个所述图像区域的第二前景识别结果，对所述第一虚化图像进行虚化处理，得到第二虚化图像。
16.本技术实施例公开了一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如上所述的方法。
17.本技术实施例公开了一种计算机可读存储介质，其上存储有计算机程序，所述计
算机程序被处理器执行时实现如上所述的方法。
18.本技术实施例公开的图像处理方法、装置、电子设备及计算机可读存储介质，在基于第一前景识别结果对第一图像进行虚化处理，得到第一虚化图像后，响应针对第一虚化图像的选择操作，确定选择操作在所述第一虚化图像中选择的一个或多个图像区域，识别各个图像区域的前景区域，得到各个图像区域对应的第二前景识别结果，再基于各个图像区域的第二前景识别结果，对第一图像或第一虚化图像进行虚化处理，得到第二虚化图像。在对第一图像初次虚化处理后，用户可选择需要进一步优化的图像区域，并再次对选择的图像区域进行前景识别，提高了前景识别的准确性，且基于更加精确的第二前景识别结果对第一图像或第一虚化图像进行二次虚化处理，能够改善将部分前景区域错误地虚化或遗漏部分背景区域未虚化的情况，提高了图像的虚化效果。此外，用户可在第一虚化图像中选择需要进一步优化的图像区域，贴合用户的不同需求，提高了与用户之间的互动性。
附图说明
19.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1为一个实施例中图像处理电路的框图；
21.图2为一个实施例中图像处理方法的流程图；
22.图3a为一个实施例中对第一虚化图像进行选择操作的示意图；
23.图3b为一个实施例中显示选择框的示意图；
24.图3c为另一个实施例中对第一虚化图像进行选择操作的示意图；
25.图3d为另一个实施例中显示选择框的示意图；
26.图3e为一个实施例中调整选择框尺寸的示意图；
27.图4为另一个实施例中图像处理方法的流程图；
28.图5为一个实施例中利用选择的图像区域的第二前景识别结果对第一前景识别结果进行修正的示意图；
29.图6为一个实施例中利用选择的图像区域的第二前景识别结果对第一深度图进行修正的示意图；
30.图7为另一个实施例中图像处理方法的流程图；
31.图8为一个实施例中得到图像区域对应的局部发丝抠图结果的示意图；
32.图9为一个实施例中图像处理装置的框图；
33.图10为一个实施例中电子设备的结构框图。
具体实施方式
34.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
35.需要说明的是，本技术实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
36.可以理解，本技术所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本技术的范围的情况下，可以将第一前景识别结果称为第二前景识别结果，且类似地，可将第二前景识别结果称为第一前景识别结果。第一前景识别结果和第二前景识别结果两者都是前景识别结果，但其不是同一前景识别结果。
37.本技术实施例提供一种电子设备。该电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义isp(image signal processing，图像信号处理)管线的各种处理单元。图1为一个实施例中图像处理电路的框图。为便于说明，图1仅示出与本技术实施例相关的图像处理技术的各个方面。
38.如图1所示，图像处理电路包括isp处理器140和控制逻辑器150。成像设备110捕捉的图像数据首先由isp处理器140处理，isp处理器140对图像数据进行分析以捕捉可用于确定成像设备110的一个或多个控制参数的图像统计信息。成像设备110可包括一个或多个透镜112和图像传感器114。图像传感器114可包括色彩滤镜阵列(如bayer滤镜)，图像传感器114可获取每个成像像素捕捉的光强度和波长信息，并提供可由isp处理器140处理的一组原始图像数据。姿态传感器120(如三轴陀螺仪、霍尔传感器、加速度计等)可基于姿态传感器120接口类型把采集的图像处理的参数(如防抖参数)提供给isp处理器140。姿态传感器120接口可以采用smia(standard mobile imaging architecture，标准移动成像架构)接口、其它串行或并行摄像头接口或上述接口的组合。
39.需要说明的是，虽然图1中仅示出了一个成像设备110，但是在本技术实施例中，可包括至少两个成像设备110，每个成像设备110可分别对应一个图像传感器114，也可多个成像设备110对应一个图像传感器114，在此不作限定。每个成像设备110的工作过程可参照上述所描述的内容。
40.此外，图像传感器114也可将原始图像数据发送给姿态传感器120，姿态传感器120可基于姿态传感器120接口类型把原始图像数据提供给isp处理器140，或者姿态传感器120将原始图像数据存储到图像存储器130中。
41.isp处理器140按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，isp处理器140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
42.isp处理器140还可从图像存储器130接收图像数据。例如，姿态传感器120接口将原始图像数据发送给图像存储器130，图像存储器130中的原始图像数据再提供给isp处理器140以供处理。图像存储器130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括dma(direct memory access，直接直接存储器存取)特征。
43.当接收到来自图像传感器114接口或来自姿态传感器120接口或来自图像存储器130的原始图像数据时，isp处理器140可进行一个或多个图像处理操作，如时域滤波。处理
后的图像数据可发送给图像存储器130，以便在被显示之前进行另外的处理。isp处理器140从图像存储器130接收处理数据，并对该处理数据进行原始域中以及rgb和ycbcr颜色空间中的图像数据处理。isp处理器140处理后的图像数据可输出给显示器160，以供用户观看和/或由图形引擎或gpu(graphics processing unit，图形处理器)进一步处理。此外，isp处理器140的输出还可发送给图像存储器130，且显示器160可从图像存储器130读取图像数据。在一个实施例中，图像存储器130可被配置为实现一个或多个帧缓冲器。
44.isp处理器140确定的统计数据可发送给控制逻辑器150。例如，统计数据可包括陀螺仪的振动频率、自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜112阴影校正等图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备110的控制参数及isp处理器140的控制参数。例如，成像设备110的控制参数可包括姿态传感器120控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、照相机防抖位移参数、透镜112控制参数(例如聚焦或变焦用焦距)或这些参数的组合。isp控制参数可包括用于自动白平衡和颜色调整(例如，在rgb处理期间)的增益水平和色彩校正矩阵，以及透镜112阴影校正参数。
45.示例性地，结合图1的图像处理电路，对本技术实施例所提供的图像处理方法进行说明。isp处理器140可从成像设备110或图像存储器130中获取第一图像，识别该第一图像中的前景区域，得到第一前景识别结果，并基于该第一前景识别结果对第一图像进行虚化处理，得到第一虚化图像。isp处理器140可将第一虚化图像输出到显示器160进行显示。用户可根据显示器160显示的第一虚化图像选择所需优化的图像区域，isp处理器140可响应针对第一虚化图像的选择操作，确定该选择操作在第一虚化图像中选择的一个或多个图像区域，并识别各个图像区域的前景区域，得到各个图像区域对应的第二前景识别结果，再基于各个图像区域的第二前景识别结果，对第一虚化图像进行虚化处理，得到第二虚化图像。可选地，isp处理器140可将第二虚化图像输出至显示器160进行显示，也可将第二虚化图像存储在图像存储器130中。
46.如图2所示，在一个实施例中，提供一种图像处理方法，可应用于上述的电子设备，该电子设备可包括但不限于手机、智能可穿戴设备、平板电脑、pc(personal computer，个人计算机)、车载终端、数码相机等，本技术实施例对此不作限定。该图像处理方法可包括以下步骤：
47.步骤210，识别第一图像中的前景区域，得到第一前景识别结果。
48.第一图像中可包括前景区域及背景区域，其中，前景区域可指的是第一图像中的目标对象所在的图像区域，背景区域可指的是第一图像中除目标对象以外的图像区域。其中，该目标对象可为第一图像中关注的对象，例如，第一图像可为人物图像，则目标对象可为人物图像中的人像，第一图像可为动物图像，则目标对象可为动物图像中的动物等，第一图像可为建筑图像，则目标对象可为建筑图像中的建筑等，但不限于此。
49.第一图像可为彩色图像，例如可以是rgb(red green blue，红绿蓝)格式的图像或yuv(y表示明亮度，u和v表示色度)格式的图像等。第一图像可以是预先存储在电子设备的存储器中的图像，也可以是电子设备通过摄像头实时采集到的图像。
50.电子设备可对第一图像进行前景识别，得到第一前景识别结果，该第一前景识别
结果可用于对第一图像中的前景区域进行标注。作为一种实施方式，电子设备可获取第一图像中各个像素点的深度信息，该深度信息可用于表征被拍摄物体与摄像头之间的距离，深度信息越大可表示距离越远。前景区域与背景区域对应的深度信息差别较大，因此，可利用第一图像中各个像素点对应的深度信息对第一图像中的前景区域及背景区域进行划分，例如，该背景区域可以是深度信息大于第一阈值的像素点组成的区域，该前景区域可以是深度信息小于第二阈值的像素点组成的区域等。
51.在一些实施例中，电子设备可提取第一图像的图像特征，并对该图像特征进行分析，以确定第一图像的前景区域。可选地，该图像特征可包括但不限于边缘特征、颜色特征、位置特征等。
52.在一些实施例中，电子设备也可采用神经网络确定第一图像中的前景区域，可将第一图像输入预先训练得到的对象分割模型，并通过该对象分割模型识别第一图像中包含的目标对象，以得到该目标对象对应的前景区域。该对象分割模型可以是根据多组样本训练图像进行训练得到的，每一组样本训练图像可包括样本图像，每一样本图像可标注有前景区域。该图像分割模型可包括但不限于基于deeplab语义分割算法的网络、u
‑
net网络结构、fcn(fully convolutional networks，全卷积神经网络)等，在此不作限定。
53.需要说明的是，电子设备也可采用其它方式识别第一图像中的前景区域，识别前景区域的方式在本技术实施例中不作限制。
54.步骤220，基于第一前景识别结果对第一图像进行虚化处理，得到第一虚化图像。
55.电子设备可根据第一前景识别结果确定第一图像的前景区域及背景区域，并对第一图像中的背景区域进行虚化处理，以得到第一虚化图像，其中，虚化处理可采用高斯滤波器、均值模糊处理、中值模糊处理等方式进行实现，在此不作限定。
56.在一些实施例中，电子设备也可先对第一图像进行虚化，再基于第一前景识别结果，将虚化后的第一图像与虚化前的第一图像进行融合，得到第一虚化图像。该融合的方式可包括但不限于取均值进行融合、分配不同权重系数融合、alpha融合处理等。以alpha融合处理为例，alpha融合处理可为虚化前的第一图像及虚化后的第一图像中的每个像素点分别赋予一个alpha值，使得虚化前的第一图像及虚化后的第一图像具有不同的透明度。可将第一前景识别结果作为虚化后的第一图像的alpha值，将虚化后的第一图像与虚化前的第一图像进行融合。
57.在一些实施例中，电子设备可对第一图像进行深度估计，得到第一图像的深度估计结果，该深度估计结果可包括第一图像中各个像素点的深度信息。可根据深度估计结果对第一图像进行区域划分，将深度信息相同或相近的像素点划分到同一图像区域中。可根据划分后的各个图像区域的像素点的深度信息确定各个图像区域对应的虚化参数，再根据各个图像区域对应的虚化参数对各个图像区域进行虚化处理。该虚化参数可用于描述虚化程度，例如可包括虚化力度、虚化系数等参数，深度信息较大的图像区域可对应较大的虚化程度，深度信息较小的图像区域可对应较小的虚化程度，从而可分别对不同的图像区域进行不同程度的虚化处理。
58.步骤230，响应针对第一虚化图像的选择操作，确定选择操作在第一虚化图像中选择的一个或多个图像区域。
59.电子设备在对第一图像进行虚化处理后，可通过显示装置显示得到的第一虚化图
像，用户可查看该第一虚化图像，并对需要优化的图像区域进行选择。可选地，该需要优化的图像区域可以是前景区域与背景区域的交界部分等容易出现虚化错误或漏虚化的区域，例如人像图像中头发与背景的交界区域，或是头发中的漏洞区域等。
60.电子设备可响应针对该第一虚化图像的选择操作，确定选择操作在第一虚化图像中选择的一个或多个图像区域。其中，选择操作可包括但不限于触控操作、语音操作、视线交互操作、手势操作等多种交互操作方式。
61.作为一种实施方式，该选择操作可为用户在触控屏上进行的触控操作。电子设备可获取选择操作在屏幕上的一个或多个触控位置，针对各个触控位置，可按照区域尺寸形成与各个触控位置对应的选择框，并确定第一虚化图像中与各个选择框对应的图像区域。选择操作在屏幕上的触控位置可包括触控坐标，用户可在屏幕上进行多次触控，以选择多个同时需要进行优化的图像区域。电子设备可同时获取多个触控位置，以确定多个对就要的图像区域，再对用户选择的多个图像区域进行优化的虚化处理(即多次触控一次优化的方式)。电子设备也可以在每次检测到用户进行选择操作时，获取当前检测到的触控位置，以得到相应的图像区域，并对该图像区域进行优化的虚化处理(即多次触控多次优化的方式)。
62.上述的区域尺寸可以是用户根据实际需求进行预先设置的固定尺寸，也可以是电子设备在出厂前由研发人员统一设置的固定尺寸，区域尺寸也可根据第一虚化图像的图像分辨率、图像尺寸等进行动态调整，例如，图像尺寸较大，对应的区域尺寸也可较大等，但不限于此。电子设备在确定各个触控位置后，可基于区域尺寸形成与每个触控位置对应的选择框，该选择框可以是矩形、正方形、多边形、圆形等任意形状，在此不作限制。触控位置可处于选择框的特定位置，例如，可以处于选择框的中心位置，也可以处于选择框的角点位置(如左上角点、右上角点等)。
63.电子设备可在屏幕上按照预设的显示方式(如预设的颜色、线条等)显示选择框，第一虚化图像中处于选择框内的图像内容即为选择的图像区域，用户通过显示的选择框可以直观地获知所选择的图像区域。在一些实施例中，用户可根据实际需求对选择框的尺寸进行调整，若电子设备检测到针对目标选择框触发的调整操作时，则可根据调整操作调整该目标选择框的尺寸，该目标选择框指的是用户需要调整尺寸的选择框。调整操作的操作方式可区别于选择操作的操作方式，例如，选择操作可为单击操作，调整操作可为滑动操作，或选择操作可为单击操作，调整操作可为双击操作等，但不限于此。
64.示例性地，请参考图3a及图3b，图3a为一个实施例中对第一虚化图像进行选择操作的示意图，图3b为一个实施例中显示选择框的示意图。如图3a及图3b所示，电子设备10中可在屏幕中显示第一虚化图像310，用户可根据实际需求对需要进行优化虚化的区域进行选择，可通过触控方式进行选择，电子设备10可根据用户触控的触控位置，在屏幕中显示选择框320，该选择框320内的图像内容即为选择的图像区域。
65.又示例性地，请参考图3c及图3d，图3c为另一个实施例中对第一虚化图像进行选择操作的示意图，图3d为另一个实施例中显示选择框的示意图。如图3c及图3d所示，电子设备10中可在屏幕中显示第一虚化图像330，用户可根据实际需求在第一虚化图像310中进行多次触控操作，电子设备10可根据用户触控的多个触控位置，在在屏幕中显示每个触控位置对应的选择框340，每个选择框340内的图像内容即为选择的图像区域。图3e为一个实施
例中调整选择框尺寸的示意图。如图3e所示，用户可根据实际需求调整选择框340的尺寸大小，从而调整选择的图像区域。
66.步骤240，识别各个图像区域的前景区域，得到各个图像区域对应的第二前景识别结果。
67.电子设备在确定用户选择的一个或多个图像区域后，可分别重新识别各个图像区域的前景区域，得到各个图像区域对应的第二前景识别结果。可选地，由于第一虚化图像为经过虚化处理后的图像，为了保证前景识别的准确性，电子设备在确定各个图像区域后，可根据各个图像区域在第一虚化图像中的图像位置，从第一图像中裁剪相同图像位置的区域图像，并对从第一图像中裁剪的区域图像进行前景识别，以得到各个图像区域对应的第二前景识别结果。由于图像区域仅为第一虚化图像中的局部区域，因此裁剪的区域图像也为第一图像中的局部图像，通过重新对局部图像进行前景识别，可以得到更加精细、准确的第二前景识别结果，以对第一前景识别结果进行修正，提高前景识别的准确性。
68.步骤250，基于各个图像区域的第二前景识别结果，对第一图像或第一虚化图像进行虚化处理，得到第二虚化图像。
69.在一些实施例中，电子设备在得到各个图像区域对应的第二前景识别结果后，可根据各个图像区域对应的第二前景识别结果对第一前景识别结果进行修正，以得到修正后的目标前景识别结果，并基于该目标前景识别结果对第一图像进行虚化处理，得到第二虚化图像。由于目标前景识别结果的前景、背景的识别准确度更高，因此可得到虚化效果更好的第二虚化图像。
70.在一些实施例中，电子设备在得到各个图像区域对应的第二前景识别结果后，也可直接根据各个图像区域对应的第二前景识别结果，对第一虚化图像中的各个图像区域进行虚化处理，得到第二虚化图像。仅对第一虚化图像中选择的各个图像区域进行二次的虚化处理，在提高虚化效果的同时，减少计算量，提高处理效果。
71.在本技术实施例中，在对第一图像初次虚化处理后，用户可选择需要进一步优化的图像区域，并再次对选择的图像区域进行前景识别，提高了前景识别的准确性，且基于更加精确的第二前景识别结果对第一图像或第一虚化图像进行二次虚化处理，能够改善将部分前景区域错误地虚化或遗漏部分背景区域未虚化的情况，提高了图像的虚化效果。此外，用户可在第一虚化图像中选择需要进一步优化的图像区域，贴合用户的不同需求，提高了与用户之间的互动性。
72.如图4所示，在另一个实施例中，提供一种图像处理方法，该方法可应用于上述的电子设备，该方法可包括以下步骤：
73.步骤402，识别第一图像中的前景区域，得到第一前景识别结果。
74.步骤402的描述可参考上述实施例中步骤210的描述，在此不再赘述。
75.步骤404，对第一图像进行深度估计，得到深度估计结果。
76.电子设备可对第一图像进行深度估计，确定第一图像中各个像素点的深度信息，得到深度估计结果。电子设备对第一图像进行深度估计的方式可以是软件的深度估计方式，也可以是结合硬件设备计算深度信息的方式等。软件的深度估计方式可包括但不限于使用深度估计模型等神经网络进行深度估计的方式，该深度估计模型可通过深度训练集训练得到，深度训练集可包括多张样本图像及每张样本图像对应的深度图等。结合硬件设备
的深度估计方式可包括但不限于利用多摄像头(例如双摄像头)进行深度估计、利用结构光进行深度估计、利用tof(time of flight，飞行时间)进行深度估计等。本技术实施例对深度估计的方式不作限定。
77.需要说明的是，步骤402与步骤404之间的执行顺序在此不作限定，也可先执行步骤404再执行步骤402，或是同时执行步骤402及步骤404。
78.步骤406，根据第一前景识别结果及深度估计结果对第一图像进行虚化处理，得到第一虚化图像。
79.第一图像的深度估计结果中可包含第一图像中各个像素点的深度信息，可根据各个像素点的深度信息将第一图像划分为多个图像块，从而可确定每个图像块对应的虚化参数。例如，被划分为同一图像块的各个像素点的深度信息可属于同一深度值区间，或被划分为同一图像块的各个像素点之间的深度信息之间的差值小于深度阈值等。
80.电子设备可根据各个像素点的深度信息可将第一图像划分为前景区域及背景区域，由于深度估计结果中划分的前景区域及背景区域是基于深度信息划分的，会导致前景区域的边缘不够准确，而第一前景识别结果识别的前景区域更加准确，因此，在一些实施例中，可根据第一前景识别结果对深度估计结果进行修正，得到第一深度图。可选地，可基于第一前景识别结果调整深度估计结果中划分的前景区域的边缘信息，得到第一深度图，再利用第一深度图对第一图像进行虚化处理，得到第一虚化图像。该边缘信息可包括被标注为边缘像素点的像素点坐标。
81.可选地，电子设备可将第一前景识别结果与深度估计结果中划分的前景区域进行比对，判断第一前景识别结果中前景区域的边缘信息与深度估计结果中前景区域的边缘信息是否一致，若不一致，可直接将深度估计结果中前景区域的边缘信息修改为第一前景识别结果中前景区域的边缘信息，也可以将深度估计结果中前景区域的边缘信息与第一前景识别结果中前景区域的边缘信息进行融合。可选地，该融合的方式可包括但不限于像素点的均值融合、按照不同的权重系数进行融合等方式，由于第一前景识别结果对前景区域的识别准确度大于深度估计结果，因此，第一前景识别结果中前景区域的边缘信息对应的权重系数可大于深度估计结果中前景区域的边缘信息的权重系数。需要说明的是，也可采用其它方式对深度估计结果进行修正及调整，在此不作限定。
82.在得到第一深度图后，电子设备可根据第一深度图中划分的前景区域及背景区域，以及背景区域中各个像素点的深度信息对背景区域进行划分，得到多个背景子区域。电子设备可再基于各个背景子区域中的像素点的深度信息确定各个背景子区域对应的虚化参数，以根据各个背景子区域对应的虚化参数对各个背景子区域进行不同虚化力度的虚化处理。
83.步骤408，响应针对第一虚化图像的选择操作，确定选择操作在第一虚化图像中选择的一个或多个图像区域。
84.步骤410，识别各个图像区域的前景区域，得到各个图像区域对应的第二前景识别结果。
85.步骤408～410的描述可参考上述实施例中步骤230～240的描述，在此不再赘述。
86.步骤412，将各个图像区域对应的第二前景识别结果与第一前景识别结果进行融合，得到目标前景识别结果。
87.在一些实施例中，电子设备可根据选择的各个图像区域对应的第二前景识别结果对第一前景识别结果进行修正，将各个图像区域对应的第二前景识别结果与第一前景识别结果进行融合，以得到更加准确的目标前景识别结果。
88.作为一种具体实施方式，电子设备可将第一前景识别结果中与各个图像区域对应的前景识别结果，分别替换为各个图像区域对应的第二前景识别结果，得到目标前景识别结果。第一前景识别结果可包括第一图像的前景掩膜，该前景掩膜可用于对第一图像的前景区域的位置进行标注。电子设备在确定用户选择的各个图像区域后，可根据各个图像区域在第一虚化图像中的图像位置，确定前景掩膜中与各个图像区域具有相同图像位置的掩膜区域，即为各个图像区域对应的掩膜区域。各个图像区域的第二前景识别结果可包括各个图像区域对应的局部前景掩膜，可将第一图像的前景掩膜中，与各个图像区域对应的掩膜区域替换为对应的局部前景掩膜，以得到更加准确的目标前景掩膜，该目标前景掩膜可作为目标前景识别结果。
89.图5为一个实施例中利用选择的图像区域的第二前景识别结果对第一前景识别结果进行修正的示意图。如图5所示，电子设备对第一图像510进行前景识别，得到第一前景识别结果520，可基于第一前景识别结果520及第一图像510的深度估计结果对第一图像510进行虚化处理，得到第一虚化图像530。用户可在电子设备的屏幕显示的第一虚化图像530中选择需要进行优化的图像区域532，可对该图像区域532进行局部的前景识别，得到图像区域532对应的第二前景识别结果540。可将第一前景识别结果520中与图像区域532对应的前景识别结果522，替换为第二前景识别结果540，得到目标前景识别结果550。若存在多个选择的图像区域，则可依次将第一前景识别结果中与每个图像区域5对应的前景识别结果替换为对应的第二前景识别结果。
90.需要说明的是，也可采用其它方式将各个图像区域对应的第二前景识别结果与第一前景识别结果进行融合，例如，可将第一前景识别结果中各个图像区域对应的前景识别结果，与各个图像区域对应的第二前景识别结果进行加权平均融合等方式，在此不作限定。
91.步骤414，根据目标前景识别结果对深度估计结果进行修正，得到目标深度图，并基于目标深度图对第一图像进行虚化处理，得到第二虚化图像。
92.可根据更加精准的目标前景识别结果对深度估计结果进行修正，得到前景区域更加精确的目标深度图，电子设备可根据目标深度图重新对第一图像进行虚化处理，以得到虚化效果更好的第二虚化图像。可以理解地，根据目标前景识别结果对深度估计结果进行修正的方式可与上述实施例中描述的根据第一前景识别结果对深度估计结果进行修正的方式类似，根据目标深度图对第一图像进行虚化处理的方式可与上述实施例中描述的根据第一深度图对第一图像进行虚化的方式类似，在此不再重复赘述。
93.在本技术实施例中，在对第一图像初次虚化处理后，用户可选择需要进一步优化的图像区域，电子设备可对选择的各个图像区域进行前景识别，并将得到的各个图像区域对应的第二前景识别结果与第一前景识别结果进行融合，以对第一前景识别结果进行修正，得到更加准确的目标前景识别结果，从而基于该目标前景识别结果对第一图像进行虚化处理可得到虚化效果更好的第二虚化图像，提高了前景识别的准确性及图像虚化效果。
94.在一些实施例中，除了上述实施例中利用各个选择的图像区域的第二前景识别结果对第一图像再次进行整图的虚化处理以外，还可直接利用各个选择的图像区域的第二前
景识别结果对第一虚化图像中进行局部的虚化处理，以减少计算量，提高图像处理效率。电子设备在得到各个图像区域对应的第二前景识别结果后，可基于各个图像区域的第二前景识别结果对第一深度图进行修正，可基于各个图像区域的第二前景识别结果，对第一深度图中与各个图像区域对应的边缘信息进行调整，得到第二深度图。
95.作为一种具体实施方式，可根据各个选择的图像区域在第一虚化图像中的图像位置，确定第一深度图中与各个选择的图像区域具有相同图像位置的深度图区域，可根据各个选择的图像区域的第二前景识别结果，对相应的深度图区域中包含的前景区域的边缘信息进行修正，从而调整第一深度图中前景区域的边缘信息。
96.以选择的各个图像区域中的第一图像区域为例，该第一图像区域可为选择的任一图像区域。可获取第一图像区域的第二前景识别结果中前景区域的边缘信息，可将第一图像区域的第二前景识别结果中前景区域的边缘信息，与第一深度图中与第一图像区域对应的第一深度图区域中包含的前景区域的边缘信息进行比对，判断二者是否一致，若不一致，则可将第一深度图区域中包含的前景区域的边缘信息修改为第一图像区域的第二前景识别结果中前景区域的边缘信息。可选地，若二者不一致，也可以将第一深度图区域中包含的前景区域的边缘信息与第一图像区域的第二前景识别结果中前景区域的边缘信息进行融合，该融合的方式可包括但不限于像素点的均值融合、按照不同的权重系数进行融合等方式，在此不作限定。
97.由于各个图像区域的第二前景识别结果更加准确，因此利用各个图像区域的第二前景识别结果对第一深度图中相应深度图区域的前景区域的边缘信息进行修正，可以到更加准确划分前景区域与背景区域的第二深度图。
98.作为一种实施方式，电子设备可利用第二深度图对第一图像进行虚化处理，以得到更加准确的第二虚化图像。作为另一种实施方式，电子设备也可根据各个图像区域在第二深度图中的深度信息，分别对第一虚化图像中的各个图像区域进行虚化处理，得到第二虚化图像。
99.进一步地，各个图像区域在第二深度图中对应的深度图区域准确地划分前景区域及背景区域，可根据各个图像区域在第二深度图中对应的深度图区域中包含的背景区域的深度信息，重新确定各个图像区域对应的虚化参数，并根据各个图像区域对应的虚化参数对各个图像区域中包含的背景区域进行虚化处理，以得到第二虚化图像。
100.图6为一个实施例中利用选择的图像区域的第二前景识别结果对第一深度图进行修正的示意图。如图6所示，电子设备可对第一图像610进行深度估计，得到深度估计结果，并利用第一图像的第一前景识别结果对该深度估计结果进行修正，得到第一深度图620。可根据第一深度图620对第一图像610进行虚化处理，得到第一虚化图像630。用户可在第一虚化图像630中选择需要进行优化的图像区域，电子设备可根据用户的选择操作确定图像区域632，并对图像区域632进行前景识别，得到图像区域632对应的第二前景识别结果640。可根据图像区域632对应的第二前景识别结果640，对第一深度图620中与该图像区域632具有相同图像位置的深度图区域622中的前景区域的边缘信息进行调整，得到第二深度图650。
101.可选地，电子设备在得到第二深度图650后，可根据第二深度图650中与图像区域632具有相同图像位置的深度图区域的深度信息，对第一虚化图像630中的图像区域632进行虚化处理，得到第二虚化图像。
102.在本技术实施例中，可根据用户选择的各个图像区域的第二前景识别结果对第一深度图进行修正，并基于修正得到的第二深度图对第一虚化图像中的图像区域进行虚化处理，得到虚化效果更好的第二虚化图像，直接利用各个选择的图像区域的第二前景识别结果对第一虚化图像中进行局部的虚化处理，提高了前景识别的准确性及图像虚化效果，且减少了计算量，提高图像处理效率。
103.如图7所示，在另一个实施例中，提供一种图像处理方法，可应用于上述的电子设备，该方法可包括以下步骤：
104.步骤702，识别第一图像的人像区域及头发区域，得到满足精度条件的人像分割结果。
105.在本技术实施例中，第一图像可包括人像图像，人像图像指的是包含有人像的图像，人像图像中的人像区域即为前景区域，除人像区域以外的区域即为背景区域。由于人像图像在进行前景的人像区域识别时，人物的头发区域特别容易发生误识别的情况，比如将头发区域的发丝部分错误地识别为背景区域，或是将背景区域错误地识别为头发区域等，导致得到的前景人像区域不准确。因此，在本技术实施例中，可分别识别第一图像的人像区域及头发区域，得到满足精度条件的人像分割结果，人像分割结果可用于标注第一图像中的人像区域位置。该满足精度条件的人像分割结果能够精确定位第一图像中的头发区域，人像分割结果更为准确。可选地，该精度条件可采用一项或多项精度指标进行设定，例如，该精度指标可包括得到的人像分割结果与真实人像分割结果之间的绝对误差和(sum of absolute difference，sad)、均方误差(mean squared error，mse)、梯度误差等；精度条件可包括得到的人像分割结果与真实人像分割结果之间的误差小于sad阈值、小于mse阈值、小于梯度误差阈值等中的一种或多种。
106.在一些实施例中，电子设备可先识别第一图像中的人像区域，得到第一图像对应的人像分割图，再基于该人像分割图识别第一图像中的头发区域，得到第一图像的发丝抠图结果，可根据该发丝抠图结果对人像分割图进行修正，得到满足精度条件的人像分割结果。
107.具体地，电子设备识别第一图像中的人像区域的方式，可包括但不限于利用基于图论的人像分割方法、基于聚类的人像分割方法、基于语义的人像分割方法、基于实例的人像分割方法、基于deeplab系列的网络模型的人像分割方法、基于u型网络(u
‑
net)的分割方法或者基于全卷积网络(fully convolutional network，fcn)的人像分割方法等方式。
108.以电子设备通过人像分割模型识别第一图像的人像区域，得到人像分割图为例，该人像分割模型可以是u
‑
net结构的模型，该人像分割模型中可包括编码器及解码器，编码器中可包括多个下采样层，解码器可包括多个上采样层。人像分割模型可通过编码器的多个下采样层先对第一图像进行多次的下采样卷积处理，再通过解码器的多个上采样层进行多次的上采样处理，得到人像分割图。人像分割模型中，相同分辨率之间的下采样层及上采样层之间可实现跳跃连接，将相同分辨率之间的下采样层与上采样层的特征进行融合，使得上采样过程更加准确。
109.可选地，人像分割模型可以是根据人像样本集合训练得到的，该人像样本集合可包括多张携带有人像标签的人像样本图像，该人像标签可用于标注人像样本图像中的人像区域，例如，该人像标签可包括人像掩膜，人像腌膜中属于人像区域的像素点可对应第一像
素值，属于背景区域的像素点可对应第二像素值，通过二值化的人像掩膜可准确标注样本图像的人像区域。
110.在一些实施例中，在将第一图像输入人像分割模型之前，可根据人像分割模型的输入尺寸对第一图像进行缩放处理和/或旋转处理，得到满足该输入尺寸的第一图像，再将第一图像输入人像分割模型进行人像识别。例如，人像分割模型的输入尺寸为竖向尺寸(图像与水平线平行的边短于与水平线垂直的边)，若第一图像为横向尺寸(图像与水平线平行的边长于与水平线垂直的边)，则可先将第一图像顺时针或逆时针旋转90度；或人像分割模型的输入尺寸小于第一图像的图像尺寸，则可先对第一图像进行缩小处理，得到与该输入尺寸一致的第一图像等。能够保证输入的第一图像与人像分割模型适配，保证输出的人像分割图的准确性。
111.电子设备在得到人像分割图后，可将人像分割图与第一图像进行通道拼接，得到拼接图像，并根据该拼接图像识别第一图像中的头发区域，以得到满足精度条件的人像分割结果。
112.在一些实施例中，电子设备得到的人像分割图可为单通道图像，进一步地，该人像分割图可为单通道的三值图像，在人像分割图中，被识别为属于人像区域的像素点可对应第一像素值，被识别为属于背景区域的像素点可对应第二像素值，被识别为属于人像与背景交接区域的像素点可对应第三像素值。例如，以人像分割图为灰度图像为例，被识别为属于人像区域的像素点对应的灰度值可为0，被识别为属于背景区域的像素点对应的灰度值可为255，被识别为属于人像与背景交接区域的像素点对应的灰度值可为127.5等，但不限于此。
113.可将单通道的人像分割图与第一图像进行通道拼接，该第一图像为三通道的图像(如rgb图像或hsv图像等)，可将人像分割图拼接为第一图像的第4个通道，得到具备四通道的拼接图像。可选地，在对人像分割图及第一图像进行通道拼接前，可先分别对第一图像及人像分割图进行归一化处理，再将归一化处理后的第一图像及人像分割图进行通道拼接。该归一化处理的方式可包括将图像中每个像素点的像素值减去均值，再除以方差，得到归一化后的像素值，或是直接将每个像素点的像素值除了灰度值区域(如255)，得到归一化后的像素值等，但不限于于此。先对第一图像及人像分割图进行归一化处理，再进行通道拼接，可以提高后续进行头发区域识别的准确性及效率。
114.电子设备可对拼接图像进行发丝抠图，识别发丝区域，得到第一图像的发丝抠图结果，并基于该发丝抠图结果及人像分割图得到满足精度条件的人像分割结果。该发丝抠图的方式可包括但不限于泊松抠图(poisson matting)方法、基于贝叶斯理论的贝叶斯抠图(bayes matting)、基于数据驱动的机器学习抠图方法或者封闭式表面抠图方法等不使用深度学习的传统抠图方法，或者运用诸如卷积神经网络(convolutional neutral network，cnn)等人工神经网络的基于深度学习的抠图方法。
115.作为一种具体实施方式，电子设备可将拼接图像输入第一发丝抠图模型，通过该第一发丝抠图模型提取拼接图像的特征，并根据特征确定第一图像中的头发区域，以得到满足精度条件的人像分割结果。其中，第一发丝抠图模型可以是基于第一训练集训练得到的，该第一训练集包括多张标注有头发区域的人像样本图像，该人像样本图像中可携带有头发标签，该头发标签可用于标注人像样本图像中的头发区域。可选地，为了保证得到满足
精度条件的人像分割结果，可按照该精度条件对第一发丝抠图模型进行训练，使得第一发丝抠图模型输出的预测的头发区域满足该精度条件，例如，第一发丝抠图模型输出的预测的头发区域与人像样本图像的真实头发区域之间的误差可小于设置的sad阈值、小于mse阈值、小于梯度误差阈值等，但不限于此。
116.该第一发丝抠图模型也可以是采用u
‑
net等网络架构的模型，第一发丝抠图模型可包括编码器及解码器，第一发丝抠图模型基于输入的拼接图像，输出第一图像的发丝抠图结果，该发丝抠图结果可包括第一图像对应的头发掩膜，该头发掩膜可包括第一图像中头发区域的位置信息，可用于对第一图像中的头发区域进行标注。
117.可根据第一发丝抠图模型输出的发丝抠图结果对人像分割图进行修正，以得到满足精度条件的人像分割结果。进一步地，可根据发丝抠图结果对人像分割图中属于人像与背景交接区域的像素点的像素值进行调整，确定属于人像与背景交接区域的每个像素点是属于头发区域还是背景区域。可查找人像分割图中被识别为属于人像与背景交接区域的各个像素点，在发丝抠图结果中对应头发区域还是背景区域，以发丝抠图结果对人像分割图中被识别为属于人像与背景交接区域的各个像素点进行准确的区域划分。
118.作为另一种实施方式，发丝抠图结果可以是单通道的头发掩膜，可直接将人像分割图与该发丝抠图结果匹配的区域替换为该发丝抠图结果，得到满足精度条件的人像分割结果。分别采用人像分割模型及第一发丝抠图模型识别第一图像的人像区域及头发区域，能够提高得到的满足精度条件的人像分割结果的稳定性及准确性。
119.在其它实施方式中，电子设备也可直接将第一图像输入图像处理模型，并通过该图像处理模型识别第一图像的人像区域及头发区域，得到满足精度条件的人像分割结果。可选地，该图像处理模型可以是具备双编解码结构的神经网络，图像处理模型可以通过同时携带有人像标签及头发标签的人像样本图像进行训练得到。采用此方式可以降低得到的满足精度条件的人像分割结果的计算量，提高图像处理效率。
120.步骤704，基于满足精度条件的人像分割结果对第一图像进行虚化处理，得到第一虚化图像。
121.在一些实施例中，电子设备还可对第一图像进行深度估计，得到第一图像的深度估计结果，并根据满足精度条件的人像分割结果对该深度估计结果进行修正，得到第一图像的第一深度图，再利用该第一深度图对第一图像进行虚化处理，得到第一虚化图像。
122.步骤706，响应针对第一虚化图像的选择操作，确定选择操作在第一虚化图像中选择的一个或多个图像区域。
123.步骤706的描述可参考上述各实施例中的相关描述，在此不再赘述。
124.步骤708，识别各个图像区域的头发区域，得到各个图像区域对应的局部发丝抠图结果。
125.对于人像图像来说，容易出现虚化效果不好的区域通常为发丝与背景的交界区域，为了提高图像虚化效果，本技术实施例在确定用户选择的一个或多个图像区域后，可再次对各个图像区域内的头发区域进行识别，得到各个图像区域对应的局部发丝抠图结果，以细化第一图像中局部的发丝识别。
126.对各个图像区域内的头发区域进行识别的方式可包括但不限于泊松抠图方法、基于贝叶斯理论的贝叶斯抠图、基于数据驱动的机器学习抠图方法或者封闭式表面抠图方法
等不使用深度学习的传统抠图方法，或者运用诸如卷积神经网络等人工神经网络的基于深度学习的抠图方法。
127.作为一种具体实施方式，电子设备可通过第二发丝抠图模型识别各个图像区域中的头发区域，得到各个图像区域对应的局部发丝抠图结果。第二发丝抠图模型与第一发丝抠图模型的网络架构可相同或相似，其中，第二发丝抠图模型可以是基于第二训练集训练得到的，该第二训练集中包括多张从第一训练集的人像样本图像随机裁剪得到的样本图像。
128.可选地，第二训练集中的样本图像，可以是按照区域尺寸从第一训练集的人像样本图像随机裁剪得到的，由于第一训练集的人像样本图像携带有头发标签，直接从第一训练集的人像样本图像裁剪与选择框相同尺寸的图像区域作为样本图像对第二发丝抠图模型，可提高第二发丝抠图模型的局部发丝识别能力，并提高训练效率。
129.在一些实施例中，在电子设备通过第二发丝抠图模型识别各个图像区域中的头发区域之前，可从第一图像中裁剪与各个图像区域对应的第一区域图像，并从人像分割图中裁剪与各个图像区域对应的第二区域图像。其中，与各个图像区域对应的第一区域图像可指的是第一图像中与各个图像区域具备相同图像位置的图像内容所形成的图像，与各个图像区域对应的第二区域图像指的是人像分割图中与各个图像区域具备相同图像位置的图像内容所形成的图像。
130.可将各个图像区域对应的第一区域图像与第二区域图像进行通道拼接，得到各个图像区域对应的输入图像，并将各个图像区域对应的输入图像输入第二发丝抠图模型。可通过第二发丝抠图模型识别输入的各个图像区域对应的输入图像中包含的头发区域，得到各个图像区域对应的局部发丝抠图结果。
131.示例性地，现结合图8对上述实施例中得到各个图像区域对应的局部发丝抠图结果进行说明。如图8所示，电子设备的屏幕可显示第一虚化图像810，用户可选择需要进行优化的图像区域812，电子设备可从第一图像820中裁剪与该图像区域812具备相同图像位置的第一区域图像822，并从人像分割图830中裁剪与该图像区域812具备相同图像位置的第二区域图像832。可将第一区域图像822与第二区域图像832进行通道拼接，第一区域图像822可拼接为第二区域图像832的第四个通道，得到四通道的输入图像840。可将输入图像840输入第二发丝抠图模型，并通过第二发丝抠图模型识别输入图像840的头发区域，得到图像区域812对应的局部发丝抠图结果850。
132.在一些实施例中，在将各个图像区域的输入图像输入第二发丝抠图模型之前，可先对输入图像进行预处理，以使得预处理后的输入图像与第二发丝抠图模型适配。可按照第二发丝抠图模型对应的尺寸要求，对输入图像进行缩放处理和/或旋转处理，得到满足该尺寸要求的输入图像，该尺寸要求为第二发丝抠图模型对于输入的图像的尺寸要求。例如，裁剪的第一区域图像及第二区域图像均为选择框的尺寸，小于第二发丝抠图模型的尺寸要求，则可先将输入图像放大；或是拼接得到的输入图像为竖向图像(图像与水平线平行的边短于与水平线垂直的边)，而第二发丝抠图模型的尺寸要求为横向尺寸(图像与水平线平行的边长于与水平线垂直的边)，则可先将输入图像按顺时针或逆时针旋转90度。先对输入图像进行缩放处理和/或旋转处理，使得输入图像满足该尺寸要求，再将满足该尺寸要求的输入图像输入至第二发丝抠图模型进行头发区域识别，可保证识别结果的准确性。
133.进一步地，在对输入图像进行缩放处理和/或旋转处理后，还可对输入图像进行归一化处理，归一化处理的方式可与上述实施例中描述的对第一图像、人像分割图进行归一化处理的方式类似，再将归一化处理后的输入图像输入至第二发丝抠图模型进行头发区域识别。可选地，也可在裁剪得到第一区域图像及第二区域图像后，先分别对第一区域图像及第二区域图像进行归一化处理，再将归一化处理后的第一区域图像及第二区域图像进行通道拼接。
134.在得到第二发丝抠图模型输出的局部发丝抠图结果后，可按照输入图像的原始尺寸对局部发丝抠图结果进行缩放处理和/或旋转处理，以得到与图像区域的尺寸相同的局部发丝抠图结果。
135.步骤710，基于各个图像区域的局部发丝抠图结果，对第一图像或第一虚化图像进行虚化处理，得到第二虚化图像。
136.作为一种实施方式，电子设备可将各个图像区域的局部发丝抠图结果与满足精度条件的人像分割结果进行融合，得到目标人像分割结果。可根据各个图像区域的局部发丝抠图结果对满足精度条件的人像分割结果进行修正，以得到更加准确的目标人像分割结果。具体地，可将满足精度条件的人像分割结果中，与各个图像区域具备相同位置的图像内容，替换为各个图像区域对应的局部发丝抠图结果。在得到目标人像分割结果后，可根据目标前景识别结果对第一图像的深度估计结果进行修正，得到目标深度图，并基于目标深度图对第一图像进行虚化处理，得到第二虚化图像。
137.作为另一种实施方式，电子设备可将各个图像区域的局部发丝抠图结果对第一深度图进行修正，可基于各个图像区域的局部发丝抠图结果对第一深度图中与各个图像区域对应的头发边缘进行调整，得到第二深度图。再利用各个图像区域在第二深度图中的深度信息，分别对第一虚化图像中的各个图像区域进行虚化处理，得到第二虚化图像。可选地，也可利用第二深度图对第一图像进行虚化处理，以得到更加准确的第二虚化图像。
138.需要说明的是，本技术的方案除了应用于虚化优化场景以外，还可应用于其它的图像处理场景中，例如，在对选择的各个图像区域进行局部发丝抠图，得到更加准确的人像区域后，可基于更加准确的人像区域对发丝与背景的交界区域进行颜色调整或光斑虚化等处理，在此不作限定。
139.在本技术实施例中，采用交互式的发丝抠图渲染优化方式，用户可根据实际需求选择需要优化的图像区域，并对选择的图像区域进行局部的发丝抠图，提升了发丝抠图的精度，提高了人像识别的准确度，从而提高了虚化处理后果的发丝显著性效果，避免发丝区域背景漏虚或发丝区域误虚化的情况，且提高了与用户之间的交互性。
140.如图9所示，在一个实施例中，提供一种图像处理装置900，可应用于上述的电子设备，该图像处理装置900可包括第一识别模块910、虚化模块920、区域选择模块930及第二识别模块940。
141.第一识别模块910，用于识别第一图像中的前景区域，得到第一前景识别结果。
142.虚化模块920，用于基于第一前景识别结果对第一图像进行虚化处理，得到第一虚化图像。
143.区域选择模块930，用于响应针对第一虚化图像的选择操作，确定选择操作在第一虚化图像中选择的一个或多个图像区域。
144.在一个实施例中，区域选择模块930，还用于获取选择操作在屏幕上的一个或多个触控位置；针对各个触控位置，按照区域尺寸形成与各个触控位置对应的选择框；以及确定第一虚化图像中与各个选择框对应的图像区域。
145.在一个实施例中，区域选择模块930，还用于若检测到针对目标选择框触发的调整操作，则根据调整操作调整目标选择框的尺寸。
146.第二识别模块940，用于识别各个图像区域的前景区域，得到各个图像区域对应的第二前景识别结果。
147.虚化模块920，还用于基于各个图像区域的第二前景识别结果，对第一虚化图像进行虚化处理，得到第二虚化图像。
148.在本技术实施例中，在对第一图像初次虚化处理后，用户可选择需要进一步优化的图像区域，并再次对选择的图像区域进行前景识别，提高了前景识别的准确性，且基于更加精确的第二前景识别结果对第一图像或第一虚化图像进行二次虚化处理，能够改善将部分前景区域错误地虚化或遗漏部分背景区域未虚化的情况，提高了图像的虚化效果。此外，用户可在第一虚化图像中选择需要进一步优化的图像区域，贴合用户的不同需求，提高了与用户之间的互动性。
149.在一个实施例中，虚化模块920，包括融合单元及虚化单元。
150.融合单元，用于将各个图像区域对应的第二前景识别结果与第一前景识别结果进行融合，得到目标前景识别结果。
151.在一个实施例中，融合单元，还用于将第一前景识别结果中与各个图像区域对应的前景识别结果，分别替换为各个图像区域对应的第二前景识别结果，得到目标前景识别结果。
152.虚化单元，用于基于目标前景识别结果对第一图像进行虚化处理，得到第二虚化图像。
153.在一个实施例中，上述图像处理装置900，除了包括第一识别模块910、虚化模块920、区域选择模块930及第二识别模块940，还包括深度估计模块。
154.深度估计模块，用于对第一图像进行深度估计，得到深度估计结果，深度估计结果包括第一图像中各个像素点的深度信息。
155.虚化单元，还用于根据目标前景识别结果对深度估计结果进行修正，得到目标深度图，并基于目标深度图对第一图像进行虚化处理，得到第二虚化图像。
156.在本技术实施例中，在对第一图像初次虚化处理后，用户可选择需要进一步优化的图像区域，电子设备可对选择的各个图像区域进行前景识别，并将得到的各个图像区域对应的第二前景识别结果与第一前景识别结果进行融合，以对第一前景识别结果进行修正，得到更加准确的目标前景识别结果，从而基于该目标前景识别结果对第一图像进行虚化处理可得到虚化效果更好的第二虚化图像，提高了前景识别的准确性及图像虚化效果。
157.在一个实施例中，虚化模块920，还用于根据第一前景识别结果对深度估计结果进行修正，得到第一图像的第一深度图，并根据第一深度图对第一图像进行虚化处理，得到第一虚化图像。
158.在一个实施例中，虚化模块920，还用于基于各个图像区域的第二前景识别结果，对第一深度图中与各个图像区域对应的边缘信息进行调整，得到第二深度图；以及根据各
个图像区域在第二深度图中的深度信息，分别对第一虚化图像中的各个图像区域进行虚化处理，得到第二虚化图像。
159.在本技术实施例中，可根据用户选择的各个图像区域的第二前景识别结果对第一深度图进行修正，并基于修正得到的第二深度图对第一虚化图像中的图像区域进行虚化处理，得到虚化效果更好的第二虚化图像，直接利用各个选择的图像区域的第二前景识别结果对第一虚化图像中进行局部的虚化处理，提高了前景识别的准确性及图像虚化效果，且减少了计算量，提高图像处理效率。
160.在一个实施例中，第一图像包括人像图像。第一识别模块910，还用于识别第一图像的人像区域及头发区域，得到满足精度条件的人像分割结果。
161.在一个实施例中，第一识别模块910，包括人像分割单元、拼接单元及发丝抠图单元。
162.人像分割单元，用于识别第一图像的人像区域，得到人像分割图。
163.拼接单元，用于将人像分割图与第一图像进行通道拼接，得到拼接图像。
164.发丝抠图单元，用于根据拼接图像识别第一图像中的头发区域，以得到满足精度条件的人像分割结果。
165.在一个实施例中，发丝抠图单元，还用于将拼接图像输入第一发丝抠图模型，通过第一发丝抠图模型提取拼接图像的特征，并根据该特征确定第一图像中的头发区域，以得到满足精度条件的人像分割结果，其中，第一发丝抠图模型是基于第一训练集训练得到的，第一训练集包括多张标注有头发区域的人像样本图像。
166.在一个实施例中，第二识别模块940，还用于通过第二发丝抠图模型识别各个图像区域中的头发区域，得到各个图像区域对应的局部发丝抠图结果，其中，第二发丝抠图模型是基于第二训练集训练得到的，第二训练集中包括多张从第一训练集的人像样本图像随机裁剪得到的样本图像。
167.在一个实施例中，上述图像处理装置900，还包括裁剪模块及拼接模块。
168.裁剪模块，用于从第一图像中裁剪与各个图像区域对应的第一区域图像；以及从人像分割图中裁剪与各个图像区域对应的第二区域图像。
169.拼接模块，用于将各个图像区域对应的第一区域图像与第二区域图像进行通道拼接，得到各个图像区域对应的输入图像。
170.第二识别模块940，还用于将各个图像区域对应的输入图像输入第二发丝抠图模型，并通过第二发丝抠图模型识别各个图像区域对应的输入图像中的头发区域，得到各个图像区域对应的局部发丝抠图结果。
171.在一个实施例中，上述图像处理装置900，还包括预处理模块。
172.预处理模块，用于在拼接模块得到各个图像区域对应的输入图像后，按照第二发丝抠图模型对应的尺寸要求，对输入图像进行缩放处理和/或旋转处理，得到满足尺寸要求的输入图像。
173.在本技术实施例中，采用交互式的发丝抠图渲染优化方式，用户可根据实际需求选择需要优化的图像区域，并对选择的图像区域进行局部的发丝抠图，提升了发丝抠图的精度，提高了人像识别的准确度，从而提高了虚化处理后果的发丝显著性效果，避免发丝区域背景漏虚或发丝区域误虚化的情况，且提高了与用户之间的交互性。
174.图10为一个实施例中电子设备的结构框图。如图10所示，电子设备1000可以包括一个或多个如下部件：处理器1010、与处理器1010耦合的存储器1020，其中存储器1020可存储有一个或多个计算机程序，一个或多个计算机程序可以被配置为由一个或多个处理器1010执行时实现如上述各实施例描述的方法。
175.处理器1010可以包括一个或者多个处理核。处理器1010利用各种接口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1020内的指令、程序、代码集或指令集，以及调用存储在存储器1020内的数据，执行电子设备1000的各种功能和处理数据。可选地，处理器1010可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field－programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现。处理器1010可集成中央处理器(central processing unit，cpu)、图像处理器(graphics processing unit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1010中，单独通过一块通信芯片进行实现。
176.存储器1020可以包括随机存储器(random access memory，ram)，也可以包括只读存储器(read
‑
only memory，rom)。存储器1020可用于存储指令、程序、代码、代码集或指令集。存储器1020可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储电子设备1000在使用中所创建的数据等。
177.可以理解地，电子设备1000可包括比上述结构框图中更多或更少的结构元件，例如，包括电源模块、物理按键、wifi(wireless fidelity，无线保真)模块、扬声器、蓝牙模块、传感器等，还可在此不进行限定。
178.本技术实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序被处理器执行时实现如上述实施例描述的方法。
179.本技术实施例公开一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可被处理器执行时实现如上述各实施例描述的方法。
180.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、rom等。
181.如此处所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括rom、可编程rom(programmable rom，prom)、可擦除prom(erasable prom，eprom)、电可擦除prom(electrically erasable prom，eeprom)或闪存。易失性存储器可包括随机存取存储器(random access memory，ram)，它用作外部高速缓冲存储器。作为说明而非局限，ram可为多种形式，诸如静态ram(static ram，sram)、动态ram(dynamic random access memory，dram)、同步dram(synchronous dram，sdram)、双倍数据率sdram(double data rate sdram，ddr sdram)、增
强型sdram(enhanced synchronous dram，esdram)、同步链路dram(synchlink dram，sldram)、存储器总线直接ram(rambus dram，rdram)及直接存储器总线动态ram(direct rambus dram，drdram)。
182.应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本技术的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本技术所必须的。
183.在本技术的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
184.上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
185.另外，在本技术各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
186.以上对本技术实施例公开的一种图像处理方法、装置、电子设备及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想。同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。