一种抠像数据生成方法、装置、计算机设备及存储介质与流程

1.本发明涉及图像处理技术领域，特别涉及一种抠像数据生成方法、装置、计算机设备及存储介质。


背景技术：

2.抠像算法在目前视频产品上的应用很广,不管是在利用身体轮廓而做的特效功能或是会议上的背景替换和模糊功能,都很有很大的商业价值。在抠像算法模型的训练上,训练数据的缺乏一直是一个常见的问题,太少的训练数据很难让训练出效果好的模型。主要原因是在数据的标注和收集上需要很大的人力资源。针对此问题,常见的方法会使用数据生成来增加训练数据量,但是过去的数据生成很容易产生不够真实的数据影响训练的结果,因此，如何生成接近真实状况的数据并提高生成效率是本领域技术人员需要解决的问题。


技术实现要素：

3.本发明实施例提供了一种抠像数据生成方法、装置、计算机设备及存储介质，旨在改善抠像数据的生成质量和提高抠像数据的生成效率。
4.第一方面，本发明实施例提供了一种抠像数据生成方法，包括：
5.分别获取初始前景图像、背景图像和所述初始前景图像对应的alpha图像；
6.通过深度学习模型对所述初始前景图像和背景图像进行颜色分布转换，并由所述深度学习模型输出第一前景图像；
7.分别计算所述初始前景图像和第一前景图像各自对应的rgb平均值，并根据所述rgb平均值转换得到对应的第二前景图像；
8.将所述第二前景图像、背景图像和alpha图像进行融合，并将融合后的图像作为最终的抠像数据。
9.第二方面，本发明实施例提供了一种抠像数据生成装置，包括：
10.图像获取单元，用于分别获取初始前景图像、背景图像和所述初始前景图像对应的alpha图像；
11.第一转换单元，用于通过深度学习模型对所述初始前景图像和背景图像进行颜色分布转换，并由所述深度学习模型输出第一前景图像；
12.第二转换单元，用于分别计算所述初始前景图像和第一前景图像各自对应的rgb平均值，并根据所述rgb平均值转换得到对应的第二前景图像；
13.第一融合单元，用于将所述第二前景图像、背景图像和alpha图像进行融合，并将融合后的图像作为最终的抠像数据。
14.第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的抠像数据生成方法。
15.第四方面，本发明实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的抠像数据生成方法。
16.本发明实施例提供了一种抠像数据生成方法、装置、计算机设备及存储介质，该方法包括：分别获取初始前景图像、背景图像和所述初始前景图像对应的alpha图像；通过深度学习模型对所述初始前景图像和背景图像进行颜色分布转换，并由所述深度学习模型输出第一前景图像；分别计算所述初始前景图像和第一前景图像各自对应的rgb平均值，并根据所述rgb平均值转换得到对应的第二前景图像；将所述第二前景图像、背景图像和alpha图像进行融合，并将融合后的图像作为最终的抠像数据。本发明实施例通过对初始前景图像和背景图像进行颜色分布转换，并结合rgb平均值对初始前景图像进一步转换，从而将转换后的第二前景图像与背景图像和alpha图像进行融合，改善抠像数据的生成质量。同时，本发明实施例在生成抠像数据时，仅需要更换背景图像，即可生成新的抠像数据，如此可以极大地提高抠像数据的生成效率。
附图说明
17.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1为本发明实施例提供的一种抠像数据生成方法的流程示意图；
19.图2a、2b、2c分别为本发明实施例提供的一种抠像数据生成方法中的初始前景图像、alpha图像和背景图像示意图；
20.图3为本发明实施例提供的一种抠像数据生成装置的示意性框图。
具体实施方式
21.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
22.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
23.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
24.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
25.下面请参见图1，图1为本发明实施例提供的一种抠像数据生成方法的流程示意图，具体包括：步骤s101～s104。
26.s101、分别获取初始前景图像、背景图像和所述初始前景图像对应的alpha图像；
27.s102、通过深度学习模型对所述初始前景图像和背景图像进行颜色分布转换，并由所述深度学习模型输出第一前景图像；
28.s103、分别计算所述初始前景图像和第一前景图像各自对应的rgb平均值，并根据所述rgb平均值转换得到对应的第二前景图像；
29.s104、将所述第二前景图像、背景图像和alpha图像进行融合，并将融合后的图像作为最终的抠像数据。
30.本实施例中，首先分别获取初始前景图像、背景图像和alpha图像，其中，所述初始前景图像可以是包括人像图等前景图像，背景图像则是与所述初始前景图像中背景不同的图像，alpha图像即阿尔法通道(αchannel或alpha channel)是指一张图片的透明和半透明度。然后通过深度学习模型将所述初始前景图像和背景图像转换融合为第一前景图像，并进一步根据所述初始前景图像和背景图像的各自对应的rgb平均值，计算得到所述初始前景图像对应的第二前景图像。随后对所述第二前景图像与背景图像、alpha图像进行融合，从而得到最终的抠像数据。
31.本实施例通过对初始前景图像和背景图像进行颜色分布转换，并结合rgb平均值对初始前景图像进一步转换，从而将转换后的第二前景图像与背景图像和alpha图像进行融合，改善抠像数据的生成质量。同时，本实施例在生成抠像数据时，仅需要更换背景图像，即可生成新的抠像数据，如此可以极大地提高抠像数据的生成效率，降低抠像数据的标注成本。
32.在一实施例中，所述步骤s101包括：
33.将所述初始前景图像转换为灰度图像，并隔离所述灰度图像的边缘像素；
34.对隔离后的灰度图像进行反转，并创建掩码；
35.通过位运算提取所述灰度图像的边界信息，并基于所述边界信息对所述灰度图像进行叠加，以此提取得到所述alpha图像。
36.本实施例中，通过图像掩膜运算将所述初始前景图像及其对应的alpha图像进行分离，从而提取得到所述alpha图像。在数字图像处理中，图像掩模主要用于：
①
提取感兴趣区，用预先制作的感兴趣区掩模与待处理图像相乘，得到感兴趣区图像，感兴趣区内图像值保持不变，而区外图像值都为0。
②
屏蔽作用，用掩模对图像上某些区域作屏蔽，使其不参加处理或不参加处理参数的计算，或仅对屏蔽区作处理或统计。
③
结构特征提取，用相似性变量或图像匹配方法检测和提取图像中与掩模相似的结构特征。
④
特殊形状图像的制作。
37.在一实施例中，所述深度学习模型为ssh自监督合成框架。
38.进一步的，所述步骤s102包括：
39.通过ssh自监督合成框架中的内容网络提取所述初始前景图像中的内容特征，以及通过ssh自监督合成框架中的参考网络提取所述背景图像中的外观特征；
40.通过ssh自监督合成框架中的融合网络对所述内容特征和外观特征进行融合，得到所述第一前景图像。
41.本实施例中，所述的ssh自监督合成框架是基于struts spring hibernate的一个集成框架，其中，struts是一个基于sunj2ee平台的mvc框架，主要是采用servlet和jsp技术来实现的；spring是一个解决了许多在j2ee开发中常见的问题的强大框架；hibernate是一个开放源代码的对象关系映射框架，它对jdbc进行了非常轻量级的对象封装，使得用户可
以随心所欲的使用对象编程思维来操纵数据库。在采用ssh自监督合成框架对所述初始前景图像和背景图像进行颜色分布转换，以输出得到第一前景图像时，ssh自监督合成框架利用参考网络和内容网络分别提取背景图像的外观特征以及初始前景图像的内容特征，然后利用融合网络对外观特征和内容特征进行重建协调，以输出得到所述第一前景图像。
42.在一实施例中，所述步骤s103包括：
43.按照下式计算并转换得到所述第二前景图像：
44.f”＝f-(mean(f)-mean(f’))
45.式中，f”为所述第二前景图像，f’为第一前景图像，f为初始前景图像，mean为rgb平均值。
46.本实施例中，通过上述公式将初始前景图像转换为第二前景图像，所述第二前景图像相比于初始前景图像来说，降低了颜色分布的差异，从而使后续融合得到的抠像数据具有更高的质量。
47.在一具体实施例中，所述步骤s102还包括：
48.基于python平台分别计算得到所述初始前景图像和第一前景图像的rgb平均值。当然，在其他实施例中，也可以采用其他方式计算rgb平均值，例如通过photoshop软件计算等等。
49.在一实施例中，所述步骤s104包括：
50.按照下式对所述第二前景图像、背景图像和alpha图像进行融合：
51.i＝αf” (1-α)b
52.式中，i表示融合后的抠像数据，α表示alpha图像，b表示背景图像。
53.本实施例中，按照上述融合公式将所述第二前景图像、背景图像和alpha图像融合为最终的抠像数据，而不是将最初的初始前景图像与背景图像和alpha图像融合为最终的抠像数据，这样做的好处是减少了由于光源和场地的不同而造成不同的颜色分布。另外，基于上述融合公式，当需要生成更多数量的抠像数据时，只需通过增加背景图像b的数量即可实现，即提高了抠像数据的生成效率。
54.图3为本发明实施例提供的一种抠像数据生成装置300的示意性框图，该装置300包括：
55.图像获取单元301，用于分别获取初始前景图像、背景图像和所述初始前景图像对应的alpha图像；
56.第一转换单元302，用于通过深度学习模型对所述初始前景图像和背景图像进行颜色分布转换，并由所述深度学习模型输出第一前景图像；
57.第二转换单元303，用于分别计算所述初始前景图像和第一前景图像各自对应的rgb平均值，并根据所述rgb平均值转换得到对应的第二前景图像；
58.第一融合单元304，用于将所述第二前景图像、背景图像和alpha图像进行融合，并将融合后的图像作为最终的抠像数据。
59.在一实施例中，所述图像获取单元301包括：
60.灰度转换单元，用于将所述初始前景图像转换为灰度图像，并隔离所述灰度图像的边缘像素；
61.图像反转单元，用于对隔离后的灰度图像进行反转，并创建掩码；
62.信息提取单元，用于通过位运算提取所述灰度图像的边界信息，并基于所述边界信息对所述灰度图像进行叠加，以此提取得到所述alpha图像。
63.在一实施例中，所述深度学习模型为ssh自监督合成框架。
64.在一实施例中，所述第一转换单元302包括：
65.特征提取单元，用于通过ssh自监督合成框架中的内容网络提取所述初始前景图像中的内容特征，以及通过ssh自监督合成框架中的参考网络提取所述背景图像中的外观特征；
66.特征融合单元，用于通过ssh自监督合成框架中的融合网络对所述内容特征和外观特征进行融合，得到所述第一前景图像。
67.在一实施例中，所述第二转换单元303包括：
68.图像转换单元，用于按照下式计算并转换得到所述第二前景图像：
69.f”＝f-(mean(f)-mean(f’))
70.式中，f”为所述第二前景图像，f’为第一前景图像，f为初始前景图像，mean为rgb平均值。
71.在一实施例中，所述第一融合单元304包括：
72.第二融合单元，用于按照下式对所述第二前景图像、背景图像和alpha图像进行融合：
73.i＝αf” (1-α)b
74.式中，i表示融合后的抠像数据，α表示alpha图像，b表示背景图像，α表示alpha图像，b表示背景图像。
75.在一实施例中，所述第二转换单元303还包括：
76.平均值计算单元，用于基于python平台分别计算得到所述初始前景图像和第一前景图像的rgb平均值。
77.由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
78.本发明实施例还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccess memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
79.本发明实施例还提供了一种计算机设备，可以包括存储器和处理器，存储器中存有计算机程序，处理器调用存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然计算机设备还可以包括各种网络接口，电源等组件。
80.说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以对本技术进行若干改进和修饰，这些改进和修饰也落入本技术权利要求的保护范围内。
81.还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将
一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。