图像虚化方法、装置、电子设备和计算机可读存储介质与流程

1.本技术实施例涉及图像处理技术领域，具体涉及一种图像虚化方法、装置、电子设备和计算机可读存储介质。


背景技术：

2.图像虚化是指将图像中的背景区域虚化处理，以突出主图区域的画面。目前已广泛应用于手机、相机等拍摄终端中，从而直接拍摄得到虚化后的图像。
3.目前，拍摄终端通常需要将拍摄得到的图像转化为内存占用更小的rgb格式后再进行虚化处理。然而，某些特殊的虚化要求，例如光斑虚化，通常需要对图像中亮度值满足特定要求的区域进行虚化处理，而rgb格式的图像无法直观的体现出图像中各像素点的亮度值，无法较好的定位亮度区域，导致在进行光斑虚化或其他与亮度有关的虚化时，虚化的效果不够理想。


技术实现要素：

4.本技术实施例提供一种图像虚化方法、装置、电子设备和计算机可读存储介质，旨在解决现有的虚化方法的效果不够理想的技术问题。
5.一方面，本技术实施例提供一种预览图像虚化方法，包括：
6.提供目标yuv图像中的y通道图像；
7.根据y通道图像中各像素点的像素值确定目标yuv图像中各像素点的虚化权重系数；
8.根据虚化权重系数对目标yuv图像进行虚化处理，得到目标虚化图像。
9.另一方面，本技术实施例还提供一种预览图像虚化装置，包括：
10.提供模块，用于提供目标yuv图像中的y通道图像；
11.确定模块，用于根据y通道图像中各像素点的像素值确定目标yuv图像中各像素点的虚化权重系数；
12.虚化模块，用于根据虚化权重系数对目标yuv图像进行虚化处理，得到目标虚化图像。
13.另一方面，本技术实施例还提供一种电子设备，电子设备包括处理器、存储器以及存储于存储器中并可在处理器上运行的图像虚化程序，处理器执行图像虚化程序以实现上述的图像虚化方法中的步骤。
14.另一方面，本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有图像虚化程序，图像虚化程序被处理器执行以实现上述的图像虚化方法中的步骤。
15.相比于现有技术，本技术提供的图像虚化方法时利用y通道图像中各像素点的像素值去对图像进行虚化处理，也就是直接在yuv颜色空间上进行虚化处理。一方面，y通道图像各像素点的像素值可以直观的体现出图像中各像素点的亮度值，在进行光斑虚化或其他
与亮度有关的虚化时，具有很好的虚化效果，另一方面，单独提取y通道图像也有效降低了虚化处理过程中的计算量。
附图说明
16.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1是本技术实施例提供的图像虚化方法的场景示意图；
18.图2是本技术实施例中提供的图像虚化方法的第一实施例流程示意图；
19.图3是本技术实施例中提供的图像虚化方法的第二实施例流程示意图；
20.图4是本技术实施例中提供的图像虚化方法的第三实施例流程示意图；
21.图5是本技术实施例中提供的图像虚化方法的第四实施例流程示意图；
22.图6是本技术实施例中提供的图像虚化方法的第五实施例流程示意图；
23.图7是本技术实施例中提供的图像虚化方法中第六实施例流程示意图；
24.图8是本技术实施例中提供的图像虚化方法中第七实施例流程示意图；
25.图9是本技术实施例中提供的图像虚化装置的一个实施例结构示意图；
26.图10是本技术实施例中提供的电子设备的一个实施例结构示意图。
具体实施方式
27.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明包含的范围。
28.在本技术实施例中，“示例性”一词用来表示“用作例子、例证或说明”。本技术实施例中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本技术实施例所公开的原理和特征的最广范围相一致。
29.本技术实施例中提供一种图像虚化方法、装置、电子设备和计算机可读存储介质，以下分别进行详细说明。
30.本技术实施例中的图像虚化方法应用于图像虚化装置，图像虚化装置设置于电子设备，电子设备中包括存储器、处理器以及存储于存储器中并可在处理器上运行的图像虚化程序，处理器执行图像虚化程序时实现的图像虚化方法中的步骤。
31.如图1所示，图1为本技术实施例图像虚化的场景示意图，本发明实施例中图像虚化场景中包括图像虚化装置100以及拍摄装置200。其中拍摄装置200主要用于拍摄得到yuv图像，而图像虚化装置100中运行图像虚化方法对应的计算机存储介质，以执行图像虚化的
步骤。
32.本发明实施例中图像虚化装置100主要用于：提供目标yuv图像中的y通道图像；根据y通道图像中各像素点的像素值确定目标yuv图像中各像素点的虚化权重系数；根据虚化权重系数对目标yuv图像进行虚化处理，得到目标虚化图像。
33.需要说明的是，图1所示的图像虚化的场景示意图仅仅是一个示例，本发明实施例描述的图像虚化的场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定。
34.基于上述图像虚化的场景，提出了图像虚化方法的实施例。
35.如图2所示，图2为本技术实施例中提供的图像虚化方法的第一实施例流程示意图，图像虚化方法的执行主体为电子设备，本实施例中图像虚化方法包括步骤201-203：
36.201，提供目标yuv图像中的y通道图像。
37.本实施例中，目标yuv图像通常是指由拍摄装置所直接采集得到的图像。具体的，以智能手机为例，当用户选择虚化拍摄时，此时手机上摄像头所直接采集的图像即为目标yuv图像，目标yuv图像会输入到图像虚化装置中，并经过本发明提出的图像虚化方法处理后，得到用户所需求的虚化后拍摄图像。当然，在其他场景下，也可以通过其他任意方式提供目标yuv图像。当然，目标yuv图像也可以是按照现有的格式转化规则将提供的其他颜色格式的初始图像转化得到
38.本实施例中，yuv图像通常包含三个通道，也就是yuv图像中各像素点用三个分量yuv表示，因此，将各像素点三个分量中的y分量单独提取出来，就可以得到目标yuv图像的y通道图像。
39.本实施例中，yuv图像中的y分量表示像素点的亮度值，而uv两个分量则共同表示像素点的色度值。也就是说，图像虚化装置所提供的y通道图像可以理解为目标yuv图像的亮度图像，y通道图像中各像素点的像素值即为目标yuv图像中对应像素点的亮度值。
40.202，根据y通道图像中各像素点的像素值确定目标yuv图像中各像素点的虚化权重系数。
41.本实施例中，针对于某些与图像中各像素点亮度值相关的虚化过程，图像虚化装置通常会根据y通道图像中各像素点的像素值去分别设定目标yuv图像中各像素点的虚化权重系数，对于满足虚化要求的像素点，设定的虚化权重系数会更高。以光斑虚化为例，光斑虚化是指将图像中的光源区域进行虚化处理，也就是说，图像虚化装置通常会根据y通道图像中各像素点的像素值去判断该像素点是否位于光源区域，若是，则会给该像素点设定较高的虚化权重系数，以保证该点的虚化效果，从而整体上实现了光斑虚化。为进一步理解本技术提出的光斑虚化，后续图3～图5则具体提供了光斑虚化的具体实现流程，具体请参阅后续图3～图5及其解释说明的内容。
42.需要说明的一点是，考虑到虚化处理通常情况下是指对图像中的背景区域进行虚化，常见的光斑虚化也主要是针对于图像中背景区域也就是主体区域之外的光源区域进行虚化。作为本技术的优选实施例，图像虚化装置在设定目标yuv图像中各像素点的虚化权重系数的过程中，会根据各像素点对应的深度值识别出背景区域，结合背景区域完成虚化权重系数的设定，详细的说明可以参阅后续图6及其解释说明的内容。
43.203，根据虚化权重系数对目标yuv图像进行虚化处理，得到目标虚化图像。
44.本实施例中，结合前述的描述可知，由于虚化权重系数是基于y通道图像中各像素点的像素值，也就是目标yuv图像中各像素点的亮度值所设定的，因此图像虚化装置利用各像素点的虚化权重系数对目标yuv图像内各像素点的像素值进行调整后，所得到的虚化图像会与各像素点的亮度值明显关联。以光斑虚化为例，由于在前述过程中光源区域内像素点的虚化权重系数设定更高，因此，最终得到的虚化图像中光源区域内会具有明显的虚化效果。
45.本实施例中，通常情况下是利用各像素点的虚化权重系数处理目标yuv图像中各像素点的像素值，从而得到虚化图像。具体的，是基于像素点邻域像素点的像素值和虚化权重系数进行加权求和，从而得到了该像素点调整后的像素值，由于光源区域内像素点的虚化权重系数高于非光源区域内像素点的虚化权重系数，也就是说靠近光源区域内的像素点的像素值会更多的受到光源区域内像素点的影响，从而实现光源区域的虚化效果。
46.本实施例中，需要说明的一点是，对图像进行虚化处理时，是对整个yuv图像进行虚化处理，也就是需要根据各像素点对应的虚化权重系数对y通道图像和uv通道图像进行虚化处理。但考虑到一般情况下，uv通道图像的尺寸通常是y通道图像尺寸的1/4，因此，在利用y通道图像得到yuv图像中各像素点的虚化权重系数后，再对uv通道图像处理时需要对yuv图像中各像素点的虚化权重系数进行下采样，以保证虚化权重系数和uv通道图像中各像素点一一对应。具体的采样方式，本技术在此不做限制。
47.进一步的，为提高虚化效果，本实施例还提出了另一种虚化得到虚化图像的实现方式，具体的，针对于不同的像素点，所选择的邻域像素点的邻域范围也不相同，具体请参阅后续图7及其解释说明的内容。
48.作为本技术的进一步优选实施例，在对图像进行虚化之后，图像虚化装置还会根据yuv图像中各像素点的深度值的变化情况确定深度值突变区域，然后对虚化图像中的深度值突变区域进行平滑处理，以得到虚化效果更优的虚化图像，具体可以参阅后续图8及其解释说明的内容。
49.相比于现有技术，本技术提供的图像虚化方法是利用y通道图像中各像素点的像素值去对图像进行虚化处理，也就是直接在yuv颜色空间上进行虚化处理。一方面，y通道图像各像素点的像素值可以直观的体现出图像中各像素点的亮度值，在进行光斑虚化或其他与亮度有关的虚化时，具有很好的虚化效果，另一方面，单独提取y通道图像也有效降低了虚化处理过程中的计算量。
50.如图3所示，图3为本技术实施例中提供的图像虚化方法的第二实施例流程示意图。
51.考虑到光斑虚化是最常见的与像素点亮度值相关的虚化操作，目前已被广泛运用于手机、相机等拍摄终端上，具有宽广的应用场景。因此，在本实施例中，是以光斑虚化为例，提供了图像在光斑虚化的过程中根据y通道图像中各像素点的像素值确定目标yuv图像中各像素点的虚化权重系数的具体实现流程，包括步骤301～步骤303：
52.301，根据y通道图像中各像素点的像素值和预设的光源分割阈值，确定目标yuv图像中的光源区域。
53.本实施例中，可以理解，光斑虚化主要是对图像中的光源区域进行虚化处理。由于光源区域内像素点的亮度值较高，对应到y通道图像中则该像素点的像素值会很高，因此，
图像虚化装置可以根据y通道图像中各像素点的像素值和预设的光源分割阈值的大小关系去确定目标yuv图像中的光源区域，具体的，若某像素点的像素值高于分割阈值，则表明该像素点的亮度值较高，有较高的可能性为光源区域内的点。作为优选，实验数据表明，将光源分割阈值设定为250时，此时光源区域内的像素点与光源区域外的像素点之间具有良好的分离效果。
54.结合前述可知，图像虚化装置可以直接根据y通道图像中各像素点的像素值和预设的光源分割阈值的大小关系去确定目标yuv图像中的光源区域，也就是将像素值高于光源分割阈值的像素点均视为光源区域内的像素点。但考虑到图像可能存在噪声点，或者其他亮度值较高却并非光源的像素点，作为优选，本技术进一步提出了利用光源分割阈值对光源区域进行轮廓分割，然后通过光源轮廓和该光源轮廓的最小外接矩形的面积比值，进一步判断各轮廓是否为光源区域轮廓的方式，来确定更加精确的光源区域，具体请参阅图4及其解释说明的内容。
55.302，设定光源区域之外各像素点的虚化权重系数。
56.本实施例中，为便于描述，后续将目标yuv图像中光源区域之外的区域简称为非光源区域。
57.本实施例中，设定非光源区域内各像素点的虚化权重系数和后续设定目标yuv图像中光源区域内各像素点的虚化权重系数可以是分别进行的，也可以是关联进行的，具体的设定规则将在后续步骤303中描述。
58.303，设定光源区域内各像素点的虚化权重系数。
59.其中，光源区域内各像素点的虚化权重系数均大于光源区域之外各像素点的虚化权重系数；或者，光源区域内预设比例的像素点的虚化权重系数的平均值大于光源区域之外所有像素点的虚化权重系数的平均值，预设比例可以为十分之九，也可以是十分之八，在此不作限定。
60.本实施例中，在图像虚化装置根据各像素点的像素值和预设的光源分割阈值确定出目标yuv图像中的光源区域和非光源区域后，需要分别去设定光源区域内各像素点的虚化权重系数和非光源区域内各像素点的虚化权重系数。具体的设定规则有很多种，但无论采用何种规则设定，光源区域内每个像素点的虚化权重系数都需要大于非光源区域内各像素点的虚化权重系数，以保证后续可以正常实现光斑虚化的效果。
61.作为一种可行的方案，图像虚化装置可以将非光源区域内各像素点的虚化权重系数统一设定为第一虚化权重系数，而将光源区域内各像素点的虚化权重系数统一设定为第二虚化权重系数，并使得第二虚化权重系数大于第一虚化权重系数即可。例如，图像虚化装置可以将非光源区域内各像素点的虚化权重系数统一设定为1，而将光源区域内各像素点的虚化权重系数统一设定为5。
62.作为另一种可行的方案，光源区域内各像素点的虚化权重系数是根据光源区域之外各像素点的虚化权重系数和与光源区域内各像素点的亮度值相关的修正系数设定的，可以控制最终虚化光斑的亮度。此时，具体的步骤请参阅后续图5及其解释说明的内容。
63.本实施例提供了图像在光斑虚化的过程中根据y通道图像中各像素点的像素值，设定各像素点的虚化权重系数的具体实现流程，也就是当采用本技术实施例提供的方法设定像素点的虚化权重系数时，可以最终实现光斑虚化的效果，可以广泛运行于手机、相机等
拍摄终端的虚化拍摄程序。
64.如图4所示，图4为本技术实施例中提供的图像虚化方法的第三实施例流程示意图。
65.考虑到在光斑虚化过程中，会存在噪声点的干扰，并且部分非光源的物体发生反光时亮度值也较高，因此若直接利用各像素点的亮度值和预设光源分割阈值的大小直接判断各像素点是否为光源像素点容易存在误判的问题，本技术实施例中提出了另一种能够准确提取出光源区域的技术方案，包括步骤401-404：
66.401，根据y通道图像中各像素点的像素值和预设的光源分割阈值的大小关系，对y通道图像进行分割，得到y通道图像中的至少一个候选光源区域；候选光源区域内各像素点的像素值均大于光源分割阈值。
67.本实施例中，图像虚化装置利用的光源分割阈值对y通道图像进行分割，可以得到候选光源区域，相比于分别判断各像素点是否大于光源分割阈值的方式，候选光源区域更多考虑了图像的一些整体特征。
68.402，确定各候选光源区域对应的最小外接矩形区域。
69.本实施例中，通常情况下，图像虚化装置会提取各候选光源区域的轮廓，然后沿轮廓去确定最小外接矩形，也就是能够将轮廓包含在内的最小矩形。具体确定最小外接矩阵的方式属于本领域的常规方案，本发明在此不做赘述，例如可以分别确定各个朝向上包含轮廓的最小外接矩形，再从各个朝向上包含轮廓的最小外接矩形中确定面积最小也就是包含像素点个数最少的最小外接矩形。
70.403，分别获取各候选光源区域和对应的最小外接矩形区域的像素点个数。
71.本实施例中，通常情况下，图像区域的面积可以采用数点法确定，也就是计算各个图像区域内像素点个数。因此，在确定最小外接矩形区域后，会分别获取各候选光源区域内的像素点个数和对应的最小外接矩形区域内的像素点个数。
72.404，分别计算各候选光源区域的像素点个数和对应的最小外接矩形区域的像素点个数的比值，得到各候选光源区域的光源占比，并将光源占比高于预设占比阈值的候选光源区域确定为目标yuv图像中的光源区域。
73.本实施例中，可以理解，图像中主要出现的光源一般为点光源或线光源，而这两种光源所形成的光源区域比较规则，内部像素点的亮度值也会比较高，内部一般不会存在非光源区域，即光源区域占最小外接矩形区域的面积比较大，也就是光源区域的像素点个数和对应的最小外接矩形区域的像素点个数的比值比较高。而针对于不规则的光源区域，例如类月牙形的光源区域，或是内部存在较多细小的非光源区域的不平整的光源区域，往往更可能是不规则物体的反射光，并非直接光源，此时光源区域占最小外接矩形区域的面积比较小。因此，图像虚化装置会在计算各候选光源区域的像素点个数和对应的最小外接矩形区域的像素点个数的比值得到各候选光源区域的光源占比后，进一步判断光源占比和预设占比阈值的大小关系，来确定哪些候选光源区域更可能是光源区域，若光源占比高于占比阈值，则表明该候选光源区域更可能是光源区域，且光源占比越高。作为优选，实验发现，占比阈值预设为0.4时，可以更好的识别出候选光源区域中的真正光源区域。
74.本实施例提供了一种具体根据图像中各像素点的像素值确定光源区域的方法，通过利用阈值对图像进行分割，得到包含整体特征的候选光源区域，然后基于常见的点光源、
线光源所形成的光源区域的属性，利用各候选光源区域和最小外接矩形的面积比值，也就是像素点个数的比值，得到光源区域占最小外接矩形区域的面积占比，从而将部分更可能是不规则物体反光形成的不规则光源区域、不平整光源区域等伪光源区域剔除，最终得到的光源区域定位更加准确，减少了光源区域的误判，提高了光斑虚化的效果。
75.如图5所示，图5是本技术实施例中提供的图像虚化方法的第四实施例流程示意图。
76.考虑到直接分别设定光源区域和非光源区域内各像素点的虚化权重系数为固定常数会导致最终得到的虚化光斑亮度难以调节，本实施例进一步提出了一种基于非光源区域各像素点的虚化权重系数去设定光源区域内各像素点的虚化系数的方法，包括步骤501-502：
77.501，根据光源区域内各像素点的像素值和光源分割阈值之间的差值，计算光源区域内各像素点的虚化权重修正系数。
78.本实施例中，图像虚化装置是通过利用亮度值和预设光源分割阈值的差值，来设定各像素点的虚化权重修正系数，而并非是将光源区域内像素点的虚化系数直接设定为大于1的常数。也就是说，光源区域内不同的亮度值设定的修正系数也不尽相同。
79.502，根据光源区域内各像素点的虚化权重修正系数和光源区域之外各像素点的虚化权重系数，设定光源区域内各像素点的虚化权重系数。
80.本实施例中，光源区域之外各像素点的虚化权重系数可以预设为1，在此不作限定。
81.本实施例中，通常情况下，若虚化权重修正系数为正数，则光源区域内各像素点的虚化权重系数可以是虚化权重修正系数和虚化权重基础系数之和，若虚化权重修正系数为大于1的数，则光源区域内各像素点的虚化权重系数也可以是虚化权重修正系数和虚化权重基础系数的积。具体的，光源区域内各像素点的虚化权重系数的一种优选计算公式如下：
82.w
i,j
＝1 5*exp(((y_4
i,j-255)/var)2)
83.其中，w
i,j
即为图像中像素点i
i,j
的虚化权重系数，y_4
i,j
即为图像中i
i,j
的亮度值，也就是y通道图像中像素点i
i,j
的像素值，var为用于控制光斑的亮度系数，优选var＝25。
84.相比于直接将光源区域内各像素点的虚化权重系数和非光源区域内各像素点的虚化权重系数分别设定为不同固定常数的技术方案，本实施例通过根据光源区域内各像素点的亮度值和非光源区域内各像素点的虚化权重系数设定光源区域内各像素点的虚化权重系数，可以方便实现对虚化光斑亮度的控制，提高了光斑虚化效果。
85.如图6所示，图6是本技术实施例中提供的图像虚化方法的第五实施例流程示意图。
86.考虑到图像虚化通常主要是针对于背景区域的图像进行虚化，而光斑虚化也主要是针对于背景区域内光源的虚化。因此，本发明实施例还提出了先利用图像中各像素点的深度值对图像继续背景区域分割的技术方案，包括步骤601-603：
87.601，获取y通道图像中各像素点对应的深度值以及y通道图像的焦点深度值。
88.本实施例中，通常情况下，拍摄得到的yuv图像中各像素点对应的深度值以及焦点深度值都可以由具有深度采集功能的拍摄装置同时拍摄得到的深度图像确定。也就是说，若需要利用各像素点对应的深度值，拍摄装置需要具有深度采集功能，例如拍摄装置可以
通过安装双目镜头或是安装tof镜头的方式，在采集带虚化的yuv图像同时，采集yuv图像对应的深度图像，其中深度图像中各像素点的像素值即为yuv图像中各对应像素点对应的深度值。当然，若在其他获取yuv图像的方式中，若同时也获取到该yuv图形各像素点对应深度值以及焦点深度值的数据，也是可行的。
89.602，根据y通道图像中各像素点对应的深度值以及焦点深度值，确定目标yuv图像中的背景区域。
90.本实施例中，可以理解，焦点处区域通常为主体区域，因此，图像虚化装置根据y通道图像中各像素点对应的深度值和焦点深度值的差值，可以快速确定yuv图像中的背景区域和主体区域。通常情况下，可以认为深度值与焦点深度值之间的差值大于预设的深度容忍阈值的像素点即为背景区域内的像素点，而深度值与焦点深度值之间的差值小于或等于预设的深度容忍阈值的像素点即为背景区域内的像素点即为主景区域内的像素点。
91.作为优选，考虑到虚化过程中也会根据各像素点的深度值来对各像素点进行不同程度的虚化，例如，当深度值与焦点深度值的差值越大时，虚化程度越高，此时，可以根据各像素点的深度值和焦点深度值确定一张虚化半径图，也就是，该虚化半径图中各像素点对应的虚化半径会随着深度值与焦点深度值的差值增大而增大，而当深度值与焦点深度值之间的差值小于深度容忍阈值时，对应的虚化半径即为0。具体的，虚化半径图的计算规则如下：
[0092][0093]
其中，r
i,j
即为像素点i
i,j
对应的虚化半径，l为预设虚化强度系数，d
i,j
即为像素点i
i,j
对应的深度值，df即为焦点深度值，d
max
即为各像素点对应的深度值中最大值，δd即为深度容忍阈值，通常情况下，预设为3。
[0094]
本实施例中，可以看出，虚化半径系数体现了各像素点的深度值和焦点深度值的差值。通常情况下，可以将r
i,j
＝0的像素点确定为背景区域的像素点。当然了，也可以将r
i,j
大于某一给定正数的像素点确定为背景区域的像素点，以1作为阈值为例，可以理解，此时需要将深度值和焦点深度值之间差值小于d
max
/l的像素点视为背景区域的像素点，但不管阈值选定为多少，背景区域总是和像素点的深度值关联。
[0095]
需要说明的是，通常情况下，背景区域在计算机中的具体表现形式为掩模图mask，关于掩模图的定义属于本领域技术人员的公知常识，本发明在此不做赘述。
[0096]
603，根据背景区域内各像素点的像素值确定目标yuv图像中各像素点的虚化权重系数。
[0097]
本实施例中，可以理解，光斑虚化通常也是针对于背景区域内的光源进行虚化处理，也就是在利用深度值确定出背景区域后，图像虚化装置会根据背景区域内各像素点的像素值和预设的光源分割阈值，确定目标yuv图像中的光源区域，也就是只针对于背景区域进行光源区域的搜索，此时，前述图3～图5示出的步骤中，对y通道图像的处理也均需要适应性的调整为对y通道图像中的背景区域进行处理。
[0098]
当然，需要强调的一点是，除了在搜索光源区域的时候，只针对于背景区域进行处理外，在后续的对图像进行虚化处理的过程中，也只针对于背景区域内的像素点进行虚化
处理，具体的，步骤204也就适应替换为根据虚化权重系数处理目标yuv图像中的背景区域，得到目标yuv图像的虚化图像。
[0099]
本实施例中，通过引入深度值对图像进行背景区域分割，然后对背景区域内的光源区域进行搜索和虚化处理，可以实现针对于背景区域的光斑虚化效果，更符合实际需求。
[0100]
如图7所示，图7是本技术实施例中提供的图像虚化方法的第六实施例流程示意图。
[0101]
为进一步提高虚化的效果，本实施例中，针对于不同的像素点，会采用不同大小的邻域取值参数，包括步骤701-704：
[0102]
701，获取y通道图像中背景区域内目标像素点对应的目标虚化半径参数。
[0103]
本实施例中，其中目标虚化半径参数可以是基于前述步骤602所提供的虚化半径参数计算公式计算得到，可以看出，虚化半径参数与目标像素点的深度值和焦点深度值之间的差值相关具体的，目标像素点的深度值和焦点深度值之间的差值相关，差值越大，也就是目标像素点距离焦点距离越远，则该像素点的虚化半径参数也越大，也就是距离越远的光源区域虚化程度越高，虚化光斑越大，而更靠近主体区域的光源区域虚化程度较低，虚化光斑较小，从而可以表现出明显的虚化层次感。并且，当目标像素点的深度值和焦点深度值之间的差值小于一定阈值时，虚化半径参数为0，也就是针对于非背景区域，不进行虚化处理。
[0104]
702，根据目标虚化半径参数确定目标像素点对应的邻域像素点。
[0105]
本实施例中，在确定目标像素点的目标虚化半径参数，图像虚化装置会将与目标像素点的横坐标之差或纵坐标之差小于目标虚化半径参数的像素点设定为邻域像素点，也就是说，邻域像素点是横坐标取值范围为(i-r，i r)，纵坐标取值范围为(j-r，j r)的正方形区域内的所有像素点，其中，i，j即为目标像素点的横坐标和纵坐标，r即为目标像素点对应的目标虚化半径参数。
[0106]
703，根据邻域像素点对应的虚化权重系数，对邻域像素点的像素值进行加权求和，得到目标像素点对应的虚化像素值。
[0107]
本实施例中，图像虚化装置可以各邻域像素点对应的虚化权重系数作为加权系数，对各邻域像素点的像素值进行加权求和，就可以得到目标像素点对应的虚化像素值，但考虑到虚化像素值也应当正常的位于0～255的范围内时，通常情况下，需要对各邻域像素点对应的虚化权重系数进行归一化处理，具体是将各邻域像素点的虚化权重系数除以全部虚化权重系数之和，得到归一化后的虚化权重系数，然后将各邻域像素点的像素值和对应的归一化后的虚化权重系数相乘并求和，就可以得到位于0～255的范围内的虚化像素值。
[0108]
704，将目标yuv图像中各像素点的像素值调整为与各像素点分别对应的虚化像素值，得到目标虚化图像。
[0109]
本实施例中，图像虚化装置将yuv图像中各像素点的像素值调整为与各像素点分别对应的虚化像素值，此时就可以得到yuv图像中各像素点的像素值，其中，具体的计算公式如下：
[0110][0111]
其中，blur_y_2即为y通道图像的虚化图像，y_2则表示y通道图像，w即为虚化权重系数，也可以理解为虚化权重系数图像，(m,n)则表示各自图像中的像素点i
m,n
所对应的数值。
[0112]
对于uv通道图像的虚化过程，具体的计算公式与上述相同，区别仅在于用uv通道图像替换了y通道图像。
[0113]
本实施例提供的虚化方式，通过引入了与各像素点对应的虚化半径参数，也就是针对于不同位置的像素点，所选取的邻域范围也不同，具体的，虚化半径参数与像素点深度值与焦点深度值的差值正相关，也就是差值越大，虚化半径参数也越大，也就是，针对于图像中更深的背景，虚化光斑会更大，而接近于主体区域的光源区域，得到的虚化光斑会较小，即突出了虚化图像的层次感，进一步提高了虚化效果。
[0114]
如图8所示，图8是本技术实施例中提供的图像虚化方法的第七实施例流程示意图。
[0115]
考虑到对图像的虚化过程中，由于深度值突变会导致虚化结果出现明显的断层，为提高虚化效果，本实施例进一步提出了根据各像素值对应的深度值确定突变区域，并对得到的虚化图像中的突变区域进行平滑处理的技术方案，包括步骤801～803：
[0116]
801，根据虚化权重系数对目标yuv图像进行虚化处理，得到目标yuv图像对应的初始虚化图像。
[0117]
本实施例中，按照如图7示出的方法处理目标yuv图像，得到虚化图像为可能存在突变的初始虚化图像，也就是可能会由于深度值突变而导致虚化图像不连续。
[0118]
802，根据y通道图像中各像素点对应的深度值，确定初始虚化图像中的突变区域。
[0119]
本实施例中，各像素点对应的深度值可以参阅前述步骤601及其解释说明的内容，通常情况下，可以由具有深度采集功能的拍摄装置同时拍摄得到的深度图像确定，当然也可以通过其他方式获取。
[0120]
本实施例中，突变区域通常是指像素点深度值突然改变的区域，因此，可以根据y通道图像中各像素点对应的深度值，确定初始虚化图像中的突变区域。具体的，可以根据各像素点深度值的二阶梯度来计算，例如利用拉普拉斯算子求解各像素点深度值的拉普拉斯二阶梯度，当然，也可以采用其他的二阶梯度算子，本发明并不限制二阶梯度的具体计算过程。当某像素点深度值的二阶梯度高于一定阈值时，表明该像素点是突变区域内的像素点。
[0121]
进一步的，考虑到前述提及的虚化半径参数也是与图像中的深度值相关联，因此，也完全可以通过求各像素点的虚化半径参数的二阶梯度来确定突变区域，其本质与求解各像素点深度值的二阶梯度相同。但需要说明的是，由于主体区域内各像素点的虚化半径参数均为0，显然不会存在突变，也就是说利用虚化半径参数的二阶梯度相当于是只会确定背景区域内的突变区域，因此，利用各像素点的虚化半径参数的二阶梯度可以更好的确定背景区域内的突变区域。
[0122]
803，对突变区域进行平滑处理，得到平滑后的虚化图像。
[0123]
本实施例中，平滑后的虚化图像即为目标虚化图像。
[0124]
本实施例中，通过利用各像素点对应的深度值去识别图像中的突变区域，也就是深度值突然发生改变的区域，并对应对虚化图像中的突变区域进行平滑处理，可以得到平滑后的虚化图像，相比于初始虚化图像，平滑后的虚化图像中虚化效果更加平滑。
[0125]
为了更好实施本技术实施例中图像虚化方法，在图像虚化方法基础之上，本技术实施例中还提供一种图像虚化装置的结构示意图，如图9所示，图像虚化装置包括：
[0126]
提供模块901，用于提供目标yuv图像中的y通道图像；
[0127]
确定模块902，用于根据y通道图像中各像素点的像素值确定目标yuv图像中各像素点的虚化权重系数；
[0128]
虚化模块903，用于根据虚化权重系数对目标yuv图像进行虚化处理，得到目标虚化图像。
[0129]
在本技术一些实施例中，上述确定模块包括：
[0130]
光源区域分割次模块，用于根据y通道图像中各像素点的像素值和预设的光源分割阈值，确定目标yuv图像中的光源区域；
[0131]
第一虚化权重系数设定次模块，用于设定光源区域之外各像素点的虚化权重系数；
[0132]
第二虚化权重系数设定次模块，用于设定光源区域内各像素点的虚化权重系数。
[0133]
在本技术一些实施例中，上述光源区域分割次模块包括：
[0134]
光源区域分割单元，用于根据y通道图像中各像素点的像素值和预设的光源分割阈值的大小关系，对y通道图像进行分割，得到y通道图像中的至少一个候选光源区域；候选光源区域内各像素点的像素值均大于光源分割阈值；
[0135]
外界矩形区域确定单元，用于确定各候选光源区域对应的最小外接矩形区域；
[0136]
像素点个数获取单元，用于分别获取各候选光源区域和对应的最小外接矩形区域的像素点个数；
[0137]
光源区域分割单元，用于分别计算各候选光源区域的像素点个数和对应的最小外接矩形区域的像素点个数的比值，得到各候选光源区域的光源占比，并将光源占比高于预设占比阈值的候选光源区域确定为目标yuv图像中的光源区域。
[0138]
在本技术一些实施例中，上述第二虚化权重系数设定次模块包括：
[0139]
修正系数确定单元，用于根据光源区域内各像素点的像素值和光源分割阈值之间的差值，计算光源区域内各像素点的虚化权重修正系数；
[0140]
光源区域内系数设定单元，用于根据光源区域内各像素点的虚化权重修正系数和光源区域之外各像素点的虚化权重系数，设定光源区域内各像素点的虚化权重系数。
[0141]
在本技术一些实施例中，上述确定模块包括：
[0142]
深度值获取次模块，用于获取y通道图像中各像素点对应的深度值以及y通道图像的焦点深度值；
[0143]
背景区域划分次模块，用于根据y通道图像中各像素点对应的深度值以及焦点深度值，确定目标yuv图像中的背景区域；
[0144]
背景虚化权重系数设定次模块，用于根据背景区域内各像素点的像素值确定目标yuv图像中各像素点的虚化权重系数。
[0145]
在本技术一些实施例中，上述虚化模块包括：
[0146]
半径参数获取次模块，用于获取y通道图像中背景区域内目标像素点对应的目标虚化半径参数；
[0147]
邻域像素点确定次模块，用于根据目标虚化半径参数确定目标像素点对应的邻域像素点；其中，邻域像素点与目标像素点的横坐标之差或纵坐标之差小于目标虚化半径参数；
[0148]
虚化像素值计算次模块，用于根据各邻域像素点对应的虚化权重系数，对邻域像素点的像素值进行加权求和，得到目标像素点对应的虚化像素值。
[0149]
虚化像素值调整次模块，用于将目标yuv图像中各像素点的像素值调整为与各像素点分别对应的虚化像素值，得到目标虚化图像。
[0150]
在本技术一些实施例中，上述虚化模块包括：
[0151]
初始虚化图像确定次模块，用于根据虚化权重系数对目标yuv图像进行虚化处理，得到目标yuv图像对应的初始虚化图像；
[0152]
突变区域确定次模块，用于根据y通道图像中各像素点对应的深度值，确定初始虚化图像中的突变区域；
[0153]
平滑次模块，用于对突变区域进行平滑处理，得到平滑后的虚化图像，平滑后的虚化图像为目标虚化图像。
[0154]
本发明实施例还提供一种电子设备，如图10所示，图10是本技术实施例中提供的电子设备的一个实施例结构示意图，电子设备包括存储器、处理器以及存储于存储器中并可在处理器上运行的图像虚化程序，处理器执行图像虚化程序时实现任一实施例中的图像虚化方法中的步骤。
[0155]
具体来讲：电子设备可以包括一个或者一个以上处理核心的处理器1001、一个或一个以上存储介质的存储器1002、电源1003和输入单元1004等部件。本领域技术人员可以理解，图10中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
[0156]
处理器1001是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器1002内的软件程序和/或模块，以及调用存储在存储器1002内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器1001可包括一个或多个处理核心；优选的，处理器1001可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1001中。
[0157]
存储器1002可用于存储软件程序以及模块，处理器1001通过运行存储在存储器1002的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器1002可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器1002可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器1002还可以包括存储器控制器，以提供处理器1001对存储器1002的访问。
[0158]
电子设备还包括给各个部件供电的电源1003，优选的，电源1003可以通过电源管理系统与处理器1001逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源1003还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
[0159]
该电子设备还可包括输入单元1004，该输入单元1004可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
[0160]
尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器1001会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器1002中，并由处理器1001来运行存储在存储器1002中的应用程序，从而实现本发明实施例所提供的任一种图像虚化方法中的步骤。
[0161]
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一存储介质中，并由处理器进行加载和执行。
[0162]
为此，本发明实施例提供一种计算机存储介质，该存储介质可以包括：只读存储器(rom，read only memory)、随机存取记忆体(ram，random access memory)、磁盘或光盘等。计算机可读存储介质上存储有图像虚化程序，图像虚化程序被处理器执行时实现本发明实施例所提供的任一种图像虚化方法中的步骤。
[0163]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。
[0164]
具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。
[0165]
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
[0166]
以上对本技术实施例所提供的一种图像虚化方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。