一种图像虚化方法、存储介质及终端设备与流程

1.本发明涉及图像处理技术领域，特别涉及一种图像虚化方法、存储介质及终端设备。


背景技术：

2.双摄像头已经越来越多地应用于移动终端设备上，现有技术中双摄像头中的一个摄像头用来拍摄照片，另一个摄像头用来辅助计算照片的深度值，以便进行后续的图像虚化处理。其中，所述图像虚化处理过程为拍摄得到的图像的背景进行虚化，再将虚化的背景与前景融合，这会使得背景与前景的前景与背景之间产生光晕，而影响图像质量。


技术实现要素：

3.本发明要解决的技术问题在于，针对现有技术的不足，提供一种图像虚化方法、存储介质及终端设备。
4.为了解决上述技术问题，本发明所采用的技术方案如下：
5.一种图像虚化方法，所述方法包括：
6.确定待处理图像对应的背景区域和前景区域；
7.确定所述待处理图像对应的第一图像和第二图像；
8.基于所述背景区域对所述第一图像进行虚化处理，得到第一虚化图像；
9.基于所述前景区域对所述第二图像进行虚化处理，得到第二虚化图像；
10.将所述第一虚化图像、所述第二虚化图像以及所述待处理图像进行融合，以得到所述待处理图像对应的虚化图像。
11.所述图像虚化方法，其中，所述确定待处理图像对应的背景区域和前景区域具体包括：
12.获取待处理图像以及副图像，并基于所述待处理图像以及所述副图像确定所述待处理图像对应的深度图，其中，所述待处理图像为成像模组的第一成像器拍摄的，副图像为所述成像模组的第二成像器拍摄的；
13.基于预设焦点，确定所述深度图对应的背景区域和前景区域；
14.将所述待处理图像中与所述背景区域对应的图像区域作为所述待处理图像对应的背景区域，以将所述待处理图像中与所述前景区域对应的图像区域作为待处理图像对应的前景区域。
15.所述图像虚化方法，其中，所述基于预设焦点，确定所述深度图对应的背景区域和前景区域具体包括：
16.基于预设焦点确定所述深度图对应的预设深度阈值；
17.基于所述预设深度阈值，确定所述深度图对应的背景区域和前景区域，其中，所述背景区域中各像素点对应的深度值均大于或者等于所述预设深度阈值，所述前景区域中各像素点对应的深度值均小于所述预设深度阈值。
18.所述图像虚化方法，其中，所述获取待处理图像以及副图像，并基于所述待处理图像以及副图像确定所述待处理图像对应的深度图具体包括：
19.获取所述待处理图像以及副图像，并分别将所述待处理图像的图像尺寸以及所述副图像的图像尺寸调整为预设图像尺寸，得到调整后的待处理图像和调整后的副图像；
20.根据所述调整后的待处理图像和所述调整后的副图像，确定待处理图像对应的深度图。
21.所述图像虚化方法，其中，所述预设图像尺寸与所述第一图像的图像尺寸相同，并且所述第一图像的图像尺寸小于所述第二图像的图像尺寸，所述第二图像的图像尺寸小于所述待处理图像的图像尺寸。
22.所述图像虚化方法，其中，所述基于所述待处理图像以及副图像确定所述待处理图像对应的深度图之后，所述方法还包括：
23.对于预设深度范围内的每个第一深度值，确定该深度值对应的目标像素点的目标数量，其中，所述目标像素点为所述深度图中深度值小于或等于该第一深度值的像素点；
24.若该第一深度值对应的目标数量大于或等于第一数量阈值，且第二深度值对应的目标数量小于第一数量阈值，将第二深度值对应的所有目标像素点的深度值调整为第一深度值，其中，所述第二深度值小于第一深度值；
25.若该第一深度值对应的目标数量大于或等于第二数量阈值，且第二深度值对应的目标数量小于第二数量阈值，将所述深度图中的候选像素点的深度值设置为第一深度值，其中，所述候选像素点为深度图中深度值大于第一深度值的像素点。
26.所述图像虚化方法，其中，所述基于所述背景区域对所述第一图像进行虚化处理，得到第一虚化图像具体包括：
27.基于所述背景区域确定所述第一图像对应的候选背景区域，并确定所述候选背景区域对应的第一模糊核；
28.对于所述候选背景区域中的每个第一像素点，基于所述第一模糊核确定该第一像素点在所述第一图像中对应的第一图像区域，并对该第一图像区域中的若干第二像素点进行调整，以得到调整后的第一图像区域，其中，若干第二像素点中的每个第二像素点均不位于所述候选背景区域；
29.根据所述调整后的第一图像区域确定该第一像素点对应的虚化后的像素值，以得到第一虚化图像。
30.所述图像虚化方法，其中，所述第一模糊核为散焦模糊核或高斯模糊核中的一种。
31.所述图像虚化方法，其中，所述基于所述前景区域对所述第二图像进行虚化处理，得到第二虚化图像具体包括：
32.基于所述前景区域确定所述第二图像对应的候选前景区域，并确定所述候选前景区域对应的第二模糊核；
33.对于所述候选前景区域的每个边缘像素点，基于所述第二模糊核确定该边缘像素点在所述第二图像中对应的第二图像区域，并对该第二图像区域中的若干参考像素点进行调整，以得到调整后的第二图像区域，其中，所述若干参考像素点中的各参考像素点均不位于所述候选前景区域中；
34.根据所述调整后的第二图像区域确定该边缘像素点对应的虚化后的像素值，以得
到第二虚化图像。
35.所述图像虚化方法，其中，所述第一模糊核为散焦模糊核或高斯模糊核中的一种。
36.所述图像虚化方法，其中，所述将所述第一虚化图像、所述第二虚化图像以及所述待处理图像进行融合，以得到所述待处理图像对应的虚化图像具体包括：
37.将所述第一虚化图像和第二虚化图像中的一虚化图像作为目标图像、另一虚化图像作为参考图像，其中，所述目标图像的图像尺寸大于所述参考图像的图像尺寸；
38.将所述参考图像的图像尺寸调整至所述目标图像的图像尺寸；
39.将调整后的参考图像与所述目标图像融合，以得到所述融合图像；
40.将所述融合图像的图像尺寸调整至所述待处理图像的图像尺寸，并将调整后的融合图像与所述待处理图像进行融合，以得到所述待处理图像对应的虚化图像。
41.所述图像虚化方法，其中，所述将所述参考图像的图像尺寸调整至所述目标图像的图像尺寸具体为：
42.采用圆形采样的双线性插值操作将所述参考图像的图像尺寸调整至所述目标图像的图像尺寸。
43.一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的图像虚化方法中的步骤。
44.一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
45.所述通信总线实现处理器和存储器之间的连接通信；
46.所述处理器执行所述计算机可读程序时实现如上任一所述的图像虚化方法中的步骤。
47.有益效果：与现有技术相比，本发明提供了一种图像虚化方法、存储介质及终端设备，所述方法包括确定待处理图像对应的背景区域、前景区域、第一图像以及第二图像；基于所述背景区域对所述第一图像进行虚化处理，得到第一虚化图像；基于所述前景区域对所述第二图像进行虚化处理，得到第二虚化图像；将所述第一虚化图像、所述第二虚化图像以及所述待处理图像进行融合，以得到所述待处理图像对应的虚化图像。本发明通过在第一图像对背景区域进行虚化，以及在第二图像上对前景边缘进行虚化，在虚化后的第一图像和虚化后的第二图像进行融合时，可以提高背景区域的边缘与所述前景区域的边缘的平滑性，减少了虚化得到的虚化图像中前景边缘与背景边缘处的光晕，从而提高了虚化得到的虚化图像的图像质量。
附图说明
48.图1为本发明提供的图像虚化方法的流程图。
49.图2为本发明提供的图像虚化方法中异常滤波前的深度图的示意图。
50.图3为本发明提供的图像虚化方法中异常滤波后的深度图的示意图。
51.图4为本发明提供的图像虚化方法中将候选区域划分为若干子候选区域的示例图。
52.图5为本发明提供的图像虚化方法中待处理图像一个示意图。
53.图6为本发明提供的图像虚化方法中第一图像区域的示意图。
54.图7为本发明提供的图像虚化方法中调整后的第一图像区域的示意图。
55.图8为本发明提供的图像虚化方法中圆形双线性差值的的示意图。
56.图9为现有双线性差值的示意图。
57.图10为本发明提供的终端设备的结构原理图。
具体实施方式
58.本发明提供一种图像虚化方法、存储介质及终端设备，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
59.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
60.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
61.随着智能手机的不断发现，目前智能手机普遍配置的成像模组普遍包括主成像器和辅助成像器，主成像器用于拍摄待处理图像，辅助成像器用于拍摄副图像，以便于基于该副图像辅助计算待处理图像的深度值，并基于该深度值确定该待处理图像的前景区域和背景区域；这样在对该照片进行虚化时，可以对各背景区域进行虚化，再将虚化后的背景区域与前景区域融合，以得到拍照虚化效果。
62.目前普遍使用的虚化方法有在主成像器拍摄到待处理图像后，直接在待处理图像上进行背景区域虚化，然后在融合前景区域与虚化后的背景区域，这种直接在待处理图像尺寸上进行背景区域虚化，需要深待处理图像对应的深度图的图像尺寸与待处理图像的图像尺寸一样大，这样在大尺寸的图像进行虚化时需要一定的处理时间，降低图像虚化的实时性，从而无法满足移动端对实时性的要求。为了解决实时性问题，技术人员通过将待处理图像下采样(比如：1/4尺度等)得到若干图像尺寸小于待处理图像尺寸的参考图片，在参考图片进行背区域景虚化后，再将虚化后的参考图像上采样(一般是双线性插值)到待处理图像大小，最后融合前景区域与上采样后的参考图像的背景区域，而各图像尺寸的图像进行融合时，由于虚化会在不同尺度之间叠加融合的时候出现像素对不齐的问题，导致不同尺度融合边界出现虚化强度不一样，前景区域和背景区域之间出现的光晕等于问题。
63.为了解决上述问题，在本发明实施例中，确定待处理图像对应的背景区域、前景区域、第一图像以及第二图像；基于所述背景区域对所述第一图像进行虚化处理，得到第一虚
化图像；基于所述前景区域对所述第二图像进行虚化处理，得到第二虚化图像；将所述第一虚化图像、所述第二虚化图像以及所述待处理图像进行融合，以得到所述待处理图像对应的虚化图像。本发明通过在第一图像对背景区域进行虚化，以及在第二图像上对前景边缘进行虚化，在虚化后的第一图像和虚化后的第二图像进行融合时，可以提高背景区域的边缘与所述前景区域的边缘的平滑性，从而减少虚化得到的虚化图像中前景边缘与背景边缘处的光晕，从而提高了虚化得到的虚化图像的图像质量。
64.举例说明，本发明实施例可以应用到终端设备的场景中。在该场景中，首先，终端设备可以获取待处理图像，并且确定待处理图像对应的背景区域、前景区域、第一图像以及第二图像；基于所述背景区域对所述第一图像进行虚化处理，得到第一虚化图像；基于所述前景区域对所述第二图像进行虚化处理，得到第二虚化图像；将所述第一虚化图像、所述第二虚化图像以及所述待处理图像进行融合，以得到所述待处理图像对应的虚化图像。
65.可以理解的是，在上述应用场景中，虽然将本发明实施方式的动作描述为全部由终端设备，但是这些动作也可以部分有终端设备执行，部分服务器1执行，或者全部由服务器执行。本发明在执行主体方面不受限制，只要执行了本发明实施方式所公开的动作即可。此外，需要注意的是，上述应用场景仅是为了便于理解本发明而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。
66.下面结合附图，通过对实施例的描述，对发明内容作进一步说明。
67.本实施提供了一种图像虚化方法，如图1所示，所述方法包括：
68.s10、确定待处理图像对应的背景区域和前景区域。
69.具体地，所述待处理图像可以是通过成像模组拍摄的图像，所述成像模组至少包括两个成像器，两个成像器分别为主成像器和辅助成像器。所述主成像器和辅助成像器设置在同一平面上，主成像器和辅助成像器可以是横向相邻设置在一起，也可以是竖向相邻设置。所述主成像器和辅助成像器可以为电子设备(例如，智能手机)的双摄像头，即主成像器和辅助成像器均为摄像头。例如，主成像器和辅助成像器可以为双后置摄像头或双前置摄像头，其中，主成像器和辅助成像器可以一个为彩色成像器另一个为黑白成像器(例如，主成像器彩色成像器，辅助成像器为黑白成像器)，主成像器和辅助成像器也可以采用焦距不一样的成像器，当然，主成像器和辅助成像器也可以采用一样的成像器。此外，在实际应以中，所述成像模组还可以包括3个成像器(例如，具有三个摄像头的智能手机等)，也可以包括4个成像器等。
70.进一步，所述待处理图像可以是通过电子设备自身配置的成像模组获取的待处理图像，也可以是通过网络、蓝牙以及红外等途径获取其他电子设备的成像模组采集得到的待处理图像。在本实施例的一个具体实现方式中，所述待处理图像为通过电子设备自身配置的成像模组拍摄得到，并且所述待处理图像通过所述成像模组的主成像器拍摄得到的图像，其中，所述主成像器用于拍摄待处理图像。可以理解的是，电子设备配置有成像模组，即所述电子设备至少配置有主成像器和辅助成像器，主成像器用于拍摄待处理图像，辅助成像器用于拍摄副图像，所述副图像用于辅助计算待处理图像的深度值。例如，配置有双摄像头的手机拍照图像时，双摄像头中主摄像头采集到图像a，双摄像头中辅助摄像头采集到图像b，那么图像a为待处理图像，图像b为用于确定所述图像a的深度图的副图像。
71.进一步，所述前景区域为所述待处理图像的部分图像区域，所述背景区域为所述
待处理图像部分图像区域，其中，所述前景区域与所述背景区域不相交，并且所述前景区域和所述背景区域构成所述待处理图像。此外，所述前景区域和背景区域可以基于预设深度阈值进行划分，前景区域为待处理图像中像素点的深度值大于预设深度阈值的像素点构成的图像区域；背景区域为待处理图像中像素点的深度值小于或等于预设深度阈值的像素点构成的图像区域。
72.基于此，在确定待处理图像的背景区域和前景区域的过程中，需要确定待处理图像对应的深度图。相应的，在本实施例的一个实现方式中，所述确定待处理图像对应的背景区域和前景区域具体包括：
73.s11、获取待处理图像以及副图像，并基于所述待处理图像以及副图像确定所述待处理图像对应的深度图；
74.s12、基于预设焦点，确定所述深度图对应的背景区域和前景区域；
75.s13、将所述待处理图像中与所述背景区域对应的图像区域作为所述待处理图像对应的背景区域，以将所述待处理图像中与所述前景区域对应的图像区域作为待处理图像对应的前景区域。
76.具体地，在所述步骤s11中，所述待处理图像和所述副图像为成像模组中主成像器和辅助成像器拍摄得到，其中，所述待处理图像为主成像器拍摄得到，所述辅副图像为辅助成像器拍摄的，用于辅助计算所述待处理图像的深度图。在本实施例的一个可能实现方式中，所述待处理图像和副图像为帧同步图像，其中，所述帧同步图像指的是待处理图像的帧序号与待处理图像对应副图像的帧序号相同。此外，为了保证待处理图像和副图像的帧同步，在通过第一成像器采集待处理图像以及通过第二成像器采集副图像之前，可以设置第一成像器和第二成像器的固定数据流帧率，以使得第一成像器采集待处理图像时的帧率和第二成像器采集副图像时的帧率相等。这样当电子设备处于采集预览状态，并第一成像器采集待处理图像时的帧率和第二成像器采集副图像时的帧率相等时，第一成像器采集到待处理图像和第二采集图像采集的副图像帧同步，这样可以避免待处理图像和副图像时差范围大，从而造成深度图不准确的问题。
77.所述深度图为所述待处理图像中各像素点对应的深度值构成的图像，其中，待处理图像中各像素点的深度值指的是该像素点到主成像器与辅助成像器所在平面的距离。此外，深度图的图像尺寸与待处理图像的图像尺寸相等，并且对于深度图中的每个像素点，该像素点与待处理图像中的目标像素点相对应，并且该像素点的像素值为目标像素点的深度值，所述目标像素点为待处理图像中位置信息与该像素点在深度图中的位置信息相同的像素点。例如，该像素点在深度图中的位置信息为(10,20)，像素值为50，那么该目标像素点在待处理图像中的位置信息为(10,20)，并且目标像素点的深度值为50。
78.进一步，基于所述待处理图像以及副图像确定所述待处理图像对应的深度图的过程可以为：对于待处理图像中的每个像素点，基于待处理图像和副图像确定该像素点的深度值，在获取到所有像素点对应的深度值后，按照各像素点在待处理图像中位置将各深度值排布，以得到待处理图像的深度图。其中，像素点的深度值可以根据三角测距远离来实现。这是由于待处理图像和第二预览图像分别有第一成像器和第二成像器采集得到，而第一成像器和第二成像器之间具有一定距离，从而导致视差。由此，可以根据三角测距远离计算得到待处理图像和副图像中同一对象的深度值，也就是该对象距离第一成像器和第二成
像器所在平面的距离，例如，像素点a距离第一成像器和第二成像器所在平面的距离为50，那么该像素点的深度值为50。
79.进一步，在本实施例的一个实现方式中，所述获取待处理图像以及副图像，并基于所述待处理图像以及副图像确定所述待处理图像对应的深度图具体包括：
80.s111、获取所述待处理图像以及副图像，并分别将所述待处理图像的图像尺寸以及所述副图像的图像尺寸调整为预设图像尺寸；
81.s112、根据调整后的待处理图像和调整后的副图像，确定待处理图像对应的深度图。
82.具体地，预设图像尺寸为预先设置，用于确定待处理图像和副图像调整后的图像尺寸，其中，所述预设图像尺寸小于待处理图像的图像尺寸。由此，将所述待处理图像的图像尺寸调整为预设图像尺寸指的是对所述待处理图像进行下采样，以使得所述下采样后的待处理图像的图像尺寸等于预设图像尺寸。此外，由于所述副图像的图像尺寸等于待处理图像的图像尺寸，从而所述预设图像尺寸小于副图像尺寸。由此，所述将所述副图像的图像尺寸调整为预设图像尺寸指的是对所述副图像进行下采样，以使得所述下采样后的副图像的图像尺寸等于预设图像尺寸。这样通过缩小待处理图像的图像尺寸和副图像的图像尺寸；可以减少深度图的计算量，以提高深度图的获取速度，从而可以提高图像虚化的实时性。
83.进一步，所述预设图像尺寸可以为预先设定的固定值(例如，224*224)，所述固定值可以为拍摄所述待处理图像的成像装置预先配置，使得成像装置在拍摄到待处理图像时，可以快速确定待处理图像对应的预设图像尺寸。此外，所述预设图像尺寸可以为根据待处理图像的图像尺寸确定。所述待处理图像的图像尺寸为所述预设图像尺寸的倍数(例如，2倍、4倍等)，在获取到待处理图像的图像尺寸后，根据待处理图像的图像尺寸以预设图像尺寸的倍数关系，可以快速确定预设图像尺寸。例如，所述预设图像尺寸为待处理图像的图像尺寸的四分之一。
84.进一步，在获取到深度图后，可以对所述深度图进行滤波处理，以提高深度图的均匀性以及边缘平滑性。由此，在本实施例的一个实现方式中，所述基于所述待处理图像以及副图像确定所述待处理图像对应的深度图之后，所述方法还包括：
85.对于预设深度范围内的每个第一深度值，确定该深度值对应的目标像素点的目标数量，其中，所述目标像素点为所述深度图中深度值小于或等于该第一深度值的像素点；
86.若该第一深度值对应的目标数量大于或等于第一数量阈值，且第二深度值对应的目标数量小于第一数量阈值，将第二深度值对应的所有目标像素点的深度值调整为第一深度值，其中，所述第二深度值小于第一深度值；
87.若该第一深度值对应的目标数量大于或等于第二数量阈值，且第二深度值对应的目标数量小于第二数量阈值，将所述深度图中的候选像素点的深度值设置为第一深度值，其中，所述候选像素点为深度图中深度值大于第一深度值的像素点。
88.具体地，所述预设深度范围可以为预先设置，也可以为根据所述深度图中各像素点对应的深度值确定。其中，所述预设深度范围包括深度图中每个像素点的深度值。可以理解的是，对于深度图中的每个像素点，该像素点的深度值包含于该预设深度范围内。例如，所述预设深度范围为0-255，那么深度图中每个像素点的深度值均大于或等于0，且小于或
者等于255。在一个实现方式中，由深度图的获取方式可以知道，深度图中的每个像素点的深度值均处于0-255之间，从而可以将所述预设深度范围设置为0-255，这样在获取到深度图后可以直接调取该预设深度范围，减少了获取预设深度范围所需时间，可以提高虚化处理的速度。在另一个实现方式中，所述预设深度范围为根据所述深度图中各像素点对应的深度值确定的，所述预设深度范围的确定过程可以为：获取深度图中各像素点的深度值，并选取获取到的所有深度值中最大深度值以及最小深度值，将所述最小深度值和最大深度值形成的区间作为预设深度范围，其中，所述预设深度范围包括最大深度值和最小深度值，这样可以提高预设深度范围与深度图像的匹配性，并且可以减少与预设深度范围包括的深度值的数据，以减少确定该深度值对应的目标像素点的目标数量的次数，从而提高深度图修正的速度，进而提高待处理图像的虚化速度。
89.进一步，所述目标像素点的目标数量为深度图中所有目标像素点的数量，所述目标像素点为深度图中深度值小于或者等于该第一深度值的像素点。例如，第一深度值为20，深度图中的像素点a，深度值为15，那么像素点a为第一深度值对应的目标像素点；而深度图中像素点b，深度值为25，那么像素点b不为第一深度值对应的目标像素点。可以理解的是，在预设深度范围内的每个第一深度值，在深度图中查找深度值小于或者等于第一深度值的目标像素点，并统计查找到的所有目标像素点的数量，以得到第一深度值对应的目标数量。其中，所述深度图中查找深度值小于或者等于第一深度值的目标像素点的过程可以为：对于每个第一深度值，可以将深度图中每个像素点的深度值与第一深度值进行比较，若该像素点的深度值小于或等于第一深度值，则该像素点为第一深度值对应的目标像素点。
90.进一步，在本实施例的一个实现方式中，在所述目标数量也可以通过像素直方图方式确定，确定的具体过程可以为：在获取到深度图后，可以统计深度图的像素(即深度值)直方图，在确定像素直方图后，根据该像素直方图确定预设深度范围中各第一深度值对应的像素数量，其中，所述第一深度值对应的像素数量指的是深度图中深度值等于该第一深度值的像素数量；在获取到各第一深度值对应的像素数量后，对于每个第一深度值a，计算小于该第一深度值a的各第一深度值b对应的像素数量以及该第一深度值a的像素数量的和，将计算得到的和作为该第一深度值a对应的目标数量。由此，该第一深度值对应的目标数量的计算公式可以为：
[0091][0092]
其中，d表示第一深度值，num(
·
)表示深度值为第一深度值的像素点的个数；d1为预设深度范围的下限值，d2为预设深度范围的上限值。例如，预设深度范围为0-255，d1为0，d2为255。
[0093]
进一步，所述第一数量阈值和所述第二数量阈值均为预先设定，并且所述第一数量阈值和第二数量阈值的和等于深度图包含的所有像素点的数量。例如，深度图的图像尺寸为m*n，第一数量阈值为s1，第二数量阈值为s2，则s1 s2＝m*n。
[0094]
在本实施例的一个实现方式中，所述第一数量阈值与所述数量阈值均与深度图包括的所有像素点的数量成比例关系，并且第一数量阈值对应的比例系数与第二数量阈值对应的比例系数的和等于1，例如，所述数量阈值均与深度图包括的所有像素点的数量为m*n，第一数量阈值为a*m*n，第二预设数量为(1-a)*m*n，其中，m*n为深度图的图像尺寸，a为比
例系数。本实现方式中根据深度图包含的像素点的数量来确定第一数量阈值和第二数量阈值，使得第一数量阈值和第二数量阈值与所述深度图相对应，可以提高后续基于第一数量阈值和第二数量阈值对深度图中像素点的深度值进行调整的准确性，可以准确滤除深度图中的异常像素点，提高深度图的均匀性。例如，如图2所述的深度图，深度图中的a区域为异常像素点区域；而由如图3所示的修正后的深度图可以看出，a区域中的异常像素点被修复。此外，当然，在实际应用中，所述a可以根据实际需求确定，例如，0.3等。
[0095]
进一步，在获取到第一数量阈值和第二数量阈值后，可以基于所述第一数量阈值和第二数量阈值对深度图进行过滤，以去除所述深度图中的修正所述深度图中的异常像素点的深度值。其中，基于所述第一数量阈值和第二数量阈值对深度图进行过滤的具体过程可以为：对于每个第一深度值，确定第一深度值对应的第二深度值，分别获取第一深度值对应的目标数量(记为第一目标数量)以及第二深度值对应的目标数量(记为第二目标数据)，其中，所述第二深度值小于第一深度值；分别将第一目标数量和第二目标数量与第一数量阈值和第二数量阈值进行比较；若第一目标数量大于或等于第一数量阈值，且第二目标数据小于第一数量阈值，将第二深度值对应的所有目标像素点的深度值调整为第一深度值；若第一目标数量大于或等于第二数量阈值，且第二目标数量小于第二数量阈值，将所述深度图中的候选像素点的深度值设置为第一深度值，其中，所述候选像素点为深度图中深度值大于第一深度值的像素点，所述第二数量阈值与所述第一数量阈值的和等于深度图中的像素点数量。在本实施例了一个具体实现方式中，所述第二深度值与第一深度值可以相差1，即第二深度值比第一深度值小1。
[0096]
举例说明：假设深度图包含的所有像素点的数量为2000，第一数量阈值为600，第二预设数量为1400，第一深度值a对应的目标数量为800，第二深度值a对应的目标数量为500，第一深度值b对应的目标数量为1500，第二深度值b对应的目标数量为1300；那么将第二深度值a对应的所有目标像素点对应的深度值设置为第一深度值a，将深度图中除第一深度值对应的目标像素点外的所有像素点的深度值调整为第二深度值b。
[0097]
进一步，所述前景区域为所述待处理图像的部分图像区域，所述背景区域为所述待处理图像部分图像区域，所述前景区域与所述背景区域不相交，并且所述前景区域和所述背景区域构成所述待处理图像。在获取到深度图后，可以基于深度图中各像素点的深度值来将深度图划分为前景区域和背景区域，其中，所述划分方式可以为基于预设深度阈值进行划分，即当深度值大于预设深度阈值的像素点划为像素点组a，小于或者等于预设深度阈值的像素点划分为像素点组b，像素点组a中的所有像素点形成的图像区域可以为前景区域，像素点组b中的所有像素点形成的图像区域可以为背景区域。可以理解的是，前景区域为待处理图像中像素点的深度值大于预设深度阈值的像素点构成的图像区域；背景区域为待处理图像中像素点的深度值小于或等于预设深度阈值的像素点构成的图像区域。
[0098]
在本实施例的一个实现方式中，所述基于预设焦点，确定所述深度图对应的背景区域和前景区域可以包括：
[0099]
a10、基于预设焦点确定所述深度图对应的预设深度阈值；
[0100]
a20、基于所述预设深度阈值基于预设焦点，确定所述深度图对应的背景区域和前景区域，其中，所述背景区域中各像素点对应的深度值均大于或者等于所述预设深度阈值，所述前景区域中各像素点对应的深度值均小于所述预设深度阈值。
[0101]
具体地，所述预设深度阈值可以为预设焦点的深度值，所述预设焦点为待处理图像的焦点位置，所述预设焦点可以根据采集到的待处理图像自动生成，也可以根据用户的选取操作生成的，也可以是外部设备发送的。例如，当成像装置中显示待处理图像时，可以接收用户对所述待处理图像执行的点击操作，并获取点击操作对点击点作为预设焦点，并将所述点击点的位置信息(例如，点击点在所述显示界面上对应的像素点对应的像素位置，如，(125,150)等)作为预设焦点的位置信息。
[0102]
在本实施例的一个实现方式中，所述预设焦点根据采集到的待处理图像自动生成，其中，预设焦点可以根据预览图像的图像中心确定，也可以是根据预览图像中人脸图像确定。所述预设焦点根据预览图像的图像中心确定的过程可以为：当采集到待处理图像时，获取所述待处理图像的图像中心点，将所述图像中心点作为所述待处理图像对应的预设焦点。此外，所述预设焦点根据图像中人脸图像确定的过程可以为：当获取到待处理图像时，检测待处理图像携带人脸图像；若未携带人脸图像，则将图像中心点作为预设焦点；若携带一张人脸图像，将该人脸图像中的一像素点作为预设焦点(例如，鼻尖对应的像素点，或者人脸图像的中心点等)；若携带多张人脸图像时，选取多张人脸图像中人脸图像所占图像区域最大的人脸图像作为目标人脸图像，并将目标人脸图像中的一像素点作为预设焦点(例如，左眼球对应的像素点等)。当然，在实际应用中，当根据待处理图像自动生成焦点后，用户还可以手动对所述预设焦点进行设置，其中，所述手动设置预设焦点的优先级高于根据待处理图像自动生成预设焦点的优先级。可以理解的是，当预设焦点为手动设置时，成像装置不会再执行根据待处理图像自动生成预设焦点的动作；当预设焦点为自动生成时，成像装置可以根据手动设置的预设焦点来更新自动生成的预设焦点。
[0103]
在本实施例的一个实现方式中，所述基于预设焦点确定所述深度图对应的预设深度阈值之前，所述方法包括：
[0104]
a10、基于预设焦点在所述待处理图像中确定候选区域；
[0105]
a20、基于所述候选区域对应所述预设焦点进行修正处理，并将到修正处理后的预设焦点作为预设焦点。
[0106]
具体地，所述候选区域为所述待处理图像的一个图像区域，所述候选区域可以包含所述预设焦点。可以理解的是，所述候选区域为包含预设焦点的一个图像区域，该图像区域为深度图中的一图像区域，例如，在获取到预设焦点后，以该预设焦点为圆心，以预设半径(例如，20像素点)为半径绘制圆形区域，该圆形区域待处理图像的相交区域为预设焦点对应的图像区域；再如，预先将待处理图像划分为图像区域a、图像区域b以及图像区域c，当检测到用户点击图像区域b时，所以图像区域b便可作为预设焦点对应的图像区域。此外，所述候选区域可以为所述预设焦点为中心的正方形区域、矩形区域、圆形区域以及三角形区域等。
[0107]
本实施例的一个可能实现方式中，所述候选区域为以预设焦点为中心的正方形区域，其中，所述正方形区域的边长可以根据深度图的宽和高确定，例如，所述正方形的边长为深度图的宽与长中最小值与预设阈值的比值，即正方形边长ls＝min(w,h)/d，其中，w为深度图的宽、h为深度图的高，d为预设阈值，例如，d＝24等。
[0108]
进一步，在本实施例的一个实现方式中，所述基于所述候选区域对应所述预设焦点进行修正处理，具体包括：
[0109]
b10、将所述候选区域划分为若干子候选区域，并分别获取各子候选区域各自对应的深度均值；
[0110]
b20、根据获取到的所有深度均值确定所述预设焦点对应的目标区域，并将所述目标区域对应的区域中心作为修正处理后的预设焦点。
[0111]
具体地，在所述步骤b110中，所述任意两个子候选区域之间可以不重叠，也可以部分重叠。所述候选区域的划分过程为：以预设焦点为中心选取第一子候选区域，第一子候选区域包含于候选区域内，然后，将候选区域除第一子区域外的区域划分为至少两个子区域，并将每个子区域作为一个子候选区域，以得到候选区域对应的若干子候选区域。
[0112]
举例说明：设置预设焦点作为(x,y)，待深度图的大小为(w,h)，所述候选区域为以预设焦点为中心的正方形区域，候选区域的边长为ls，所述候选区域的四个顶点分别为：以及首先以预设焦点为中心选取边长为ls/2的第一候选区域s5，然后将候选区域等分为4个第二子候选区域(s1,s2,s3,s4)，4个第二子候选区域中的任意两个第二子候选区域对称，其中，若两个第二子候选区域左右并排布置，在这两个第二子候选区域沿竖直方向对称，若两个第二子候选区域上下并排布置，在这两个第二子候选区域沿水平方向对称，以得到如图4所示的5个子候选区域，其中，5个子候选区域的边长均为ls/2,s1子候选区域的四个顶点坐标为s2子候选区域的四个顶点坐标为子候选区域的四个顶点坐标为s3子候选区域的四个顶点坐标为}；}；s4子候选区域的四个顶点坐标为{(x,y)，以及s5子候选区域的四个顶点坐标为
[0113]
进一步，所述深度均值为子候选区域中各像素点对应的深度值的平均值，其中，所述深度值用于表示实际拍摄场景中实际景物与成像模组之间的距离差。在本实施例中，所述深度值可以是将实际拍摄场景中实际景物与成像模组之间的距离差归一化到0-255得到的数值。此外，所述子候选区域中各像素点对应的深度值可以根据深度图中该像素点的深度值确定。进一步，在所述步骤b20中，在获取到各子候选区域各自对应的深度均值后，分别将各深度均值进行比较，以选取该深度均值中的最大深度均值，并将选取到的最大深度均值对应的子候选区域作为预设焦点对应的目标区域。可以理解的是，所述目标区域为所述预设焦点对应的若干子候选区域中的一个子候选区域，其中，该子候选区域的深度均值为所有子候选区域中深度均值最大的子候选区域。此外，在确定到目标区域后，获取所述目标区域的区域中心点，并将所述区域中心点作为预设焦点，以对所述预设焦点进行修正，这样可以避免当预设焦点处于靠近待处理图像的前景边缘并且前景区域有孔洞时，造成的预设焦点景深计算错误，从而提高了深度图像的背景区域的准确性。当然，在实际应用中，在确定子候选区域时，获取了预设焦点对应的候选区域，从而在确定目标区域时，可以将候选区域也作为候选区域的一个子候选区域，所述预设焦点对应的子候选区域包括候选区域，以
及对候选区域进行划分得到的各子候选区域。
[0114]
进一步，在确定所述预设焦点后，获取所述预设焦点对应的深度值，并将所述预设焦点对应的深度值作为确定预设深度阈值，通过该预设深度阈值将深度图划分为前景区域以及背景区域。所述基于预设深度阈值确定所述深度图对应的前景区域以及背景区域的过程可以为：
[0115]
获取所述深度图中深度值小于或等于所述预设深度阈值的目标像素点；
[0116]
确定所述目标像素点形成的图像区域，并将该图像区域作为所述深度图对应的背景区域；
[0117]
将深度图中除背景区域外的图像区域作为前景区域。
[0118]
具体地，所述获取所述待处理图像中深度值小于所述深度阈值的像素点指的是对于待处理图像中的每个像素点，根据待处理图像对应的深度值确定该像素点的深度值，并将该像素点的深度值与深度阈值进行比较，若该像素点的深度值小于深度阈值，则获取该像素点，例如，记录该像素点的位置信息。此外，在获取到所有深度值小于或等于预设深度阈值的像素点后，将获取到所有像素点形成的区域作为背景区域，而将待处理图像中未被选取的像素点形成的区域作为前景区域，例如，如图5所示，图中女孩子所处区域为前景区域，图中除女孩子所处区域外的所有区域为背景区域。
[0119]
s20、确定所述待处理图像对应的第一图像和第二图像。
[0120]
具体地，所述第一图像和所述第二图像均为根据待处理图像生成，用于执行虚化处理的图像，其中，所述第一图像和第二图像的图像尺寸不同，并且第一图像的图像尺寸和第二图像的图像尺寸均与所述待处理图像的图像尺寸不同。所述第一图像的图像尺寸和第二图像的图像尺寸均小于所述待处理图像的图像尺寸，例如，所述待处理图像的图像尺寸为488*488，第一图像的图像尺寸为244*244，第二图像的图像尺寸为200*200等。在本实施例的一个实现方式中，第一图像为待处理图像的四分之一图像尺寸的图像；第二图像为待处理图像的二分之一图像尺寸的图像。
[0121]
进一步，所述第一图像和所述第二图像均可以通过对待处理图像进行下采样确定，并且所述第一图像和所述第二图像对应的下采样程度不同，以使得所述第一图像和所述第二图像对应的图像尺寸不同，并且所述第一图像和所述第二图像均小于待处理图像的图像尺寸。例如，第一图像为对待处理图像进行步长为1的下采样，以使得第一的图像尺寸为待处理图像二分之一；第二图像为对待处理图像进行步长为2的下采样，以使得第二图像的图像尺寸为待处理图像四分之一。这样通过下采样来确定各待虚化图像，可以使得各点虚化图像包括待处理图像的图像细节。在本实施的一个具体实现方式中，在第一图像为待处理图像的四分之一图像尺寸的图像，第二图像为待处理图像的二分之一图像尺寸的图像时，所述下采样可以为双线性池化，其中，第一图像对应的池化核为2*2，第二图像对应的池化核为4*4。
[0122]
s30、基于所述背景区域对所述第一图像进行虚化处理，得到第一虚化图像。
[0123]
具体地，所述基于所述背景区域对所述第一图像进行虚化处理包括对第一图像的候选背景区域进行虚化处理，其中，所述第一图像对应的候选背景区域为根据所述背景区域确定，所述候选背景区域与所述背景区域相对应。例如，对于候选背景区域中的每个像素点，背景区域均存在一个像素点与该像素点相对应，并且候选背景区域中各像素点对应的
背景区域中的像素点均不相同。例如，候选背景区域中的像素点a和像素点b；像素点a对应背景区域中像素点c，像素点b对应的背景区域中的像素点d，那么像素点c和像素点d不相同。
[0124]
进一步，由上所述可知，深度图的图像尺寸小于所述待处理图像的图像尺寸，第一图像的图像尺寸小于所述待处理图像的图像尺寸，那么第一图像的图像尺寸与深度图的图像尺寸可以相同，也可以不同。由此，在基于背景区域确定第一图像对应的候选背景区域之前，可以判断所述深度图像的图像尺寸与所述第一图像的图像尺寸是否相同，如果深度图像的图像尺寸与所述第一图像的图像尺寸相同，可以将直接将所述第一图像中与深度图中的背景区域对应的图像区域作为候选背景区域，例如，将深度图与所述第一图像上下重叠放置，第一图像中与深度图中的背景区域重叠的部分为所述第一图像中的候选背景区域；或者对于背景区域中的每个像素点，基于该像素点在深度图中的位置信息，确定第一图像中与该像素点对应的候选像素点，其中，所述候选像素点在第一图像中的位置信息与该像素点在深度图中的位置信息相同。此外，如果深度图像的图像尺寸与所述第一图像的图像尺寸不同；可以获取深度图的图像尺寸与第一图像的图像尺寸中较大的图像尺寸a，并将对较小的图像尺寸b对应的图像进行上采样，以使得上采样得到图像的图像尺寸等于图像尺寸a。例如，深度图的图像尺寸为122*122，第一图像的图像尺寸为244*244，那么可以对深度图进行上采样，使得采样后的深度图的图像尺寸为244*244。在本实施例的一个具体实现方式中，所述第一图像的图像尺寸与深度图的图像尺寸相同，且均为待处理图像的图像尺寸的四分之一。
[0125]
进一步，在本实施例的一个实现方式中，所述基于所述背景区域对所述第一图像进行虚化处理，得到第一虚化图像具体包括：
[0126]
c10、所述基于所述背景区域确定所述第一图像对应的候选背景区域，并确定所述候选背景区域对应的第一模糊核；
[0127]
c20、对于所述候选背景区域中的每个第一像素点，基于所述第一模糊核确定该第一像素点在所述第一图像中对应的第一图像区域，并对该第一图像区域中的若干第二像素点进行调整，以得到调整后的第一图像区域，其中，若干第二像素点中的每个第二像素点均不位于所述候选背景区域；
[0128]
c30、根据所述调整后的第一图像区域确定该第一像素点对应的虚化后的像素值，以得到第一虚化图像。
[0129]
具体地，所述第一模糊核可以为对所述背景区域进行虚化处理所采用的卷积核，所述第一模糊核可以为散焦模糊核，也可以为高斯模糊核。当虚化处理核为散焦模糊核时，采用散焦模糊对该第一像素点进行散焦滤波，当虚化处理核为高斯模糊核时，采用高斯模糊算法对该第一像素点进行高斯滤波。此外，所述第一模糊核对应的大小可以根据待处理图像对应的虚化强度确定。其中，所述虚化强度表示待处理图像的虚化程度。所述虚化强度为预先设置的默认虚化强度，或者根据接收到的虚化指令确定虚化强度。可以理解的是，所述虚化强度可以是用户输入的虚化强度，可是成像装置自身配置的默认虚化强度，也可以是外部设备发送的虚化强度，还可以是用户设定的虚化强度等。此外，虚化处理预先划分100个等级，并且用1到100的自然数标识，那么所述虚化强度为100个等级中的一个等级，即虚化强度为1到100中的一个自然数。其中，虚化强调对应的虚化等级越高，所述待虚化区域
被虚化的程度越高，反之，虚化强调对应的虚化等级越低，所述待虚化区域被虚化的程度越低。
[0130]
进一步，在确定第一模糊核后，对于候选背景区域中的每个第一像素点，在第一图像中确定该第一像素点的第一模糊核对应的第一图像区域，其中，所述第一图像区域的区域大小与所述第一模糊核大小相同。例如，第一模糊核的大小为3*3，那么第一图像区域的图像尺寸为3*3。此外，在获取到第一图像区域后，获取第一图像区域中的未位于候选背景区域内的所有第二像素点，在获取到所有第二像素点后，对各第二像素点的像素点进行调整，以得到调整后的第一图像区域，并且根据调整后的第一图像区域中的各像素点对应的像素值确定第一像素点对应的像素值，例如，第一像素点的像素值等于第一图像区域中各像素点的均值等。
[0131]
在本实施例中，在获取到各第二像素点后，可以将各第二像素点的像素值设置为0，或者将各第二像素点从第一图像区域中去除，以得到调整后的第一图像区域。可以理解的是，调整后的第一图像区域中各第二像素点的像素值设置为0，或者第一图像区域不包括各第二像素点。这样可以避免靠近前景区域的像素点在虚化时受到前景区域中的像素点的影响，从而避免前景区域与背景区域的边缘产生光晕的问题。
[0132]
举例说明：如图6所示，图6中的a区域为第一图像区域，第一图像区域的中心像素点为第一像素点，图6中的凸起区域不包括于候选背景区域，那么a区域中位于凸起区域中的像素点a、像素点b和像素点c为第一像素点对应的第二像素点。在确定第二像素点，将第二像素点从第一图像区域中去除得到如图7中的b区域，并将该b区域作为第一像素点对应的第一图像区域。
[0133]
s40、基于所述前景区域对所述第二图像进行虚化处理，得到第二虚化图像。
[0134]
具体地，所述基于所述前景区域对所述第二图像进行虚化处理包括对第二图像中候选前景区域的边缘进行虚化处理，其中，所述第二图像对应的候选前景区域为根据所述前景区域确定，所述候选前景区域与所述前景区域相对应。例如，对于候选前景区域中的每个像素点，前景区域均存储一个像素点与该像素点相对应，并且候选前景区域中各像素点对应的前景区域中的像素点均不相同。例如，候选前景区域中的像素点a和像素点b；像素点a对应前景区域中像素点c，像素点b对应的前景区域中的像素点d，那么像素点c和像素点d不相同。
[0135]
进一步，由上所述可知，深度图的图像尺寸小于所述待处理图像的图像尺寸，第二图像的图像尺寸小于所述待处理图像的图像尺寸，那么第二图像的图像尺寸与深度图的图像尺寸可以相同，也可以不同。由此，在基于背景区域确定第二图像对应的候选背景区域之前，可以判断所述深度图像的图像尺寸与所述第二图像的图像尺寸是否相同，如果深度图像的图像尺寸与所述第二图像的图像尺寸相同，可以将直接将所述第二图像中与深度图中的前景区域对应的图像区域作为候选前景区域，例如，将深度图与所述第二图像上下重叠放置，第二图像中与深度图中的前景区域重叠的部分为所述第二图像中的候选前景区域；或者对于前景区域中的每个像素点，基于该像素点在深度图中的位置信息，确定第二图像中与该像素点对应的候选像素点，其中，所述候选像素点在第二图像中的位置信息与该像素点在深度图中的位置信息相同。
[0136]
此外，如果深度图像的图像尺寸与所述第二图像的图像尺寸不同；可以获取深度
图的图像尺寸与第二图像的图像尺寸中较大的图像尺寸a，并将对较小的图像尺寸b对应的图像进行上采样，以使得上采样得到图像的图像尺寸等于图像尺寸a。例如，深度图的图像尺寸为56*56，第一图像的图像尺寸为112*112，那么可以对深度图进行上采样，使得采样后的深度图的图像尺寸为112*112。在本实施例的一个具体实现方式中，所述第二图像的图像尺寸为深度图的图像尺寸的两倍，第二图像的图像尺寸为待处理图像的图像尺寸的二分之一，深度图的图像尺寸为待处理图像的图像尺寸的四分之一。此外，在实际应用中，在将深度图上采样到第二图像可以根据深度图的图像尺寸与第二图像的图像尺寸的对应关系，对深度图的前景区域进行调整，以使得上调整后的深度图的前景区域的区域范围与第二图像中前景区域的区域范围相同。例如，第二图像的图像尺寸为待处理图像的图像尺寸的二分之一，深度图的图像尺寸为待处理图像的图像尺寸的四分之一，那么将前景区域进行调整，使得调整得到的前景区域的区域面积为原前景区域的两倍。这样只对前景区域进行调整，可以提高深度图的调整的速度。当然，在对前景区域进行调整后，可以调整得到的前景区域中值滤波和高斯滤波操作，使得调整得到的前景区域的边缘像素点的像素值介于0-255之间。
[0137]
进一步，在本实施例的一个实现方式中，所述基于所述前景区域对所述第二图像进行虚化处理，得到第二虚化图像具体包括：
[0138]
d10、基于所述前景区域确定所述第二图像对应的候选前景区域，并确定所述候选前景区域对应的第二模糊核；
[0139]
d20、对于所述候选前景区域的每个边缘像素点，基于所述第二模糊核确定该边缘像素点在所述第二图像中对应的第二图像区域，并对该第二图像区域中的若干参考像素点进行调整，以得到调整后的第二图像区域，其中，所述若干参考像素点中每个参考像素点均不位于所述候选前景区域中；
[0140]
d30、根据所述调整后的第二图像区域确定该边缘像素点对应的虚化后的像素值，以得到第二虚化图像。
[0141]
具体地，所述第二模糊核可以为对所述背景区域进行虚化处理所采用的卷积核，所述第二模糊核可以为散焦模糊核，也可以为高斯模糊核。当虚化处理核为散焦模糊核时，采用散焦模糊对该边缘像素点进行散焦滤波，当虚化处理核为高斯模糊核时，采用高斯模糊算法对该边缘像素点进行高斯滤波。此外，所述第二模糊核对应的大小可以根据待处理图像对应的虚化强度确定。其中，所述虚化强度表示待处理图像的虚化程度。所述虚化强度为预先设置的默认虚化强度，或者根据接收到的虚化指令确定虚化强度。可以理解的是，所述虚化强度可以是用户输入的虚化强度，可是成像装置自身配置的默认虚化强度，也可以是外部设备发送的虚化强度，还可以是用户设定的虚化强度等。此外，虚化处理预先划分100个等级，并且用1到100的自然数标识，那么所述虚化强度为100个等级中的一个等级，即虚化强度为1到100中的一个自然数。其中，虚化强调对应的虚化等级越高，所述待虚化区域被虚化的程度越高，反之，虚化强调对应的虚化等级越低，所述待虚化区域被虚化的程度越低。
[0142]
进一步，在确定第二模糊核后，对于候选前景区域中的每个边缘像素点，在第二图像中确定该边缘像素点的第二模糊核对应的第一图像区域，其中，所述第二图像区域的区域大小与所述第二模糊核大小相同。例如，第二模糊核的大小为3*3，那么第二图像区域的
图像尺寸为3*3。此外，在获取到第二图像区域后，获取第二图像区域中的未位于候选前景区域内的所有参考像素点，在获取到所有参考像素点后，对各参考像素点的像素点进行调整，以得到调整后的第二图像区域，并且根据调整后的第二图像区域中的各像素点对应的像素值确定边缘像素点对应的像素值，例如，边缘像素点的像素值等于第二图像区域中各像素点的均值等。此外，在本实施例的一个实现方式中，在选取候选前景区域中的每个边缘像素点时，可以判该边缘像素点的像素值是否包含于预设阈值集合，如果包含于预设阈值集合，则不对该边缘像素点进行虚化，如果不包含于预设阈值集合，在对该边缘像素点进行虚化，其中所述预设阈值集合包括0和255，其中，所述选取候选前景区域中的每个边缘像素点中各像素点的像素值均介于0-255，当然，存在边缘像素点的像素值等于0，或255。
[0143]
在本实施例中，在获取到各参考像素点后，可以将各参考像素点的像素值设置为0，或者将各参考像素点从第二图像区域中去除，以得到调整后的第二图像区域。可以理解的是，调整后的第二图像区域中各参考像素点的像素值设置为0，或者第二图像区域不包括各参考像素点。这样可以使得前景区域的边缘像素点与背景区域的边缘像素点的平滑性，防止虚化后的前景区域和北京区域的边缘出现光晕或伪影。
[0144]
s50、将所述第一虚化图像、所述第二虚化图像以及所述待处理图像进行融合，以得到所述待处理图像对应的虚化图像。
[0145]
具体地，所述第一虚化图像的图像尺寸与第一图像的图像尺寸相同，第二虚化图像的图像尺寸与第二图像的图像尺寸相同，所述虚化图像为通过对第一虚化图像、第二虚化图像以及待处理图像进行融合得到的图像，其中，所述对第一虚化图像、第二虚化图像以及待处理图像进行融合的过程可以为首先将第一虚化图像和第二虚化图像进行融合得到融合图像，再将融合图像与待处理图像进行融合得到待处理图像对应的虚化图像。而由上所述可知，第一图像的图像尺寸、第二图像的图像尺寸以及待处理图像的图像尺寸均不同，而第一虚化图像的图像尺寸与第一图像的图像尺寸相同，第二虚化图像的图像尺寸与第二图像的图像尺寸相同，从而第一虚化图像的图像尺寸、第二虚化图像的图像尺寸和待处理图像的图像尺寸均不相同。
[0146]
基于此，在本实施例的一个实现方式中，所述将所述第一虚化图像、所述第二虚化图像以及所述待处理图像进行融合，以得到所述待处理图像对应的虚化图像具体包括：
[0147]
将所述第一虚化图像和第二虚化图像中的一虚化图像作为目标图像，另一虚化图像作为参考图像，其中，所述目标图像的图像尺寸大于所述参考图像的图像尺寸；
[0148]
将所述参考图像的图像尺寸调整至所述目标图像的图像尺寸；
[0149]
将调整后的参考图像与所述目标图像融合，以得到所述融合图像；
[0150]
将所述融合图像的图像尺寸调整至所述待处理图像的图像尺寸，并将调整后的融合图像与所述待处理图像进行融合，以得到所述待处理图像对应的虚化图像。
[0151]
具体地，所述参考图像为第一虚化图像和第二虚化图像中的一个，目标图像为虚化图像和第二虚化图像中的另一个，并且，所述目标图像的图像尺寸大于参考图像的图像尺寸。在本实施例的一个实现方式中，第一虚化图像的图像尺寸为待处理图像的四分之一，第二虚化图像的图像尺寸为待处理图像的二分之一，相应的，所述参考图像为第一虚化图像，目标图像为第二虚化图像。
[0152]
进一步，在本实施例的一个实现方式中，所述将所述参考图像的图像尺寸调整至
所述目标图像的图像尺寸具体为：
[0153]
采用圆形采样的双线性插值操作将所述参考图像的图像尺寸调整至所述目标图像的图像尺寸。
[0154]
具体地，所述圆形采样的双线性插值操作指的是对于参考图像中的四个采样像素点，将通过该四个采样像素点的圆的圆心作为插值像素点，例如，如图8所示，在圆形采样双线性插值的过程中，选取像素点a、像素点b、像素点c以及像素点d的作为插值采样点，如果插值像素点的位置信息为(0,0),那么取像素点a、像素点b、像素点c以及像素点d的位置信息分别为也就是说，插值像素点是在取像素点a、像素点b、像素点c以及像素点d进行插值采样操作得到的像素点。而传统双线性插值中，如图9所示，该插值像素点是在(-1,-1),(-1,1),(1,-1),(1,1)四个点进行采样插值。本技术通过圆形采样双线性插值操作可以缓解多尺度虚化后上采样产生的背景锯齿效应和块状伪影。
[0155]
进一步，将调整后的参考图像与所述目标图像融合指的是将调整后的参考图像中的像素点与目标图像中该像素点对应的进行融合。可以理解的是，将调整后的参考图像与目标图像进行融合的过程可以为：对于目标图像中的每个目标像素点，获取该像素点对应的参考像素点，其中，参考像素点为调整后的参考图像中的像素点，并且参考像素点的在调整后的参考图像中的位置信息与该目标像素点在目标图像中的位置信息相同。在获取到目标像素点后，根据参考像素点的像素值和该目标像素点的像素值确定融合像素点的像素值，该融合像素点在融合图像的位置信息与该像素点在目标图像中的位置信息相同。在本实施的一个实现方式中，所述融合像素点的像素值的计算公式可以为：
[0156]
m1_r＝((255-weight)*m1_1 weight*m1_2)＞＞8
[0157]
其中，m1_r表示融合图像中的像素点，m1_1为调整后的参考图像中参考像素点的像素值，m1_2为目标图像中目标像素点的像素值，＞＞表示右移操作，weight为融合系数，其中，融合系数可以预先设定，例如，weight深度图中前景区域对应的前景掩膜中的像素点的像素值，其中，所述像素值可以为0、255等。
[0158]
进一步，在得到融合图像后，将所述融合图像的图像尺寸调整至所述待处理图像的图像尺寸，并将调整后的融合图像与所述待处理图像进行融合，以得到所述待处理图像对应的虚化图像。其中，将所述融合图像的图像尺寸调整至所述待处理图像的图像尺寸采用圆形采样的双线性插值操作，具体过程可以参照参考图像的调整过程，这里就不再赘述。此外，调整后的融合图像与待处理图像的融合过程与调整后的参考图像与目标图像的融合过程相同，这里就不在赘述。
[0159]
综上所述，本实施例提供了一种图像虚化方法，所述方法包括确定待处理图像对应的背景区域、前景区域、第一图像以及第二图像；基于所述背景区域对所述第一图像进行虚化处理，得到第一虚化图像；基于所述前景区域对所述第二图像进行虚化处理，得到第二虚化图像；将所述第一虚化图像、所述第二虚化图像以及所述待处理图像进行融合，以得到所述待处理图像对应的虚化图像。本发明通过在第一图像对背景区域进行虚化，以及在第二图像上对前景边缘进行虚化，在虚化后的第一图像和虚化后的第二图像进行融合时，可以提高背景区域的边缘与所述前景区域的边缘的平滑性，从而减少虚化得到的虚化图像中
前景边缘与背景边缘处的光晕，从而提高了虚化得到的虚化图像的图像质量。
[0160]
基于上述图像虚化方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的图像虚化方法中的步骤。
[0161]
基于上述图像虚化方法，本发明还提供了一种终端设备，如图10所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(communications interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
[0162]
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
[0163]
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
[0164]
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
[0165]
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
[0166]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。