一种抠图数据生成方法、装置、计算机设备及存储介质与流程

1.本发明涉及图像处理技术领域，特别涉及一种抠图数据生成方法、装置、计算机设备及存储介质。


背景技术：

2.当前，在对网络模型(例如抠图模型)进行训练时，当训练数据增加到一定数量后,如果数据场景的分布不够均匀,便会造成训练出来的模型有盲点。并且，如果训练数据均是从网络上搜集而来,那么训练数据的分布便会偏向某些特定的场景,例如训练数据中的办公室的场景较少，从而造成抠图模型在办公室内的环境效果下便不好。而在原本数据量很大的状况下,如果要用人力来专门搜集特定场景的数据的成本就会大大的提高。因此，如何解决训练数据不平均，而导致模型抠图效果不好的问题是本领域技术人员需要克服的问题。


技术实现要素：

3.本发明实施例提供了一种抠图数据生成方法、装置、计算机设备及存储介质，旨在生成可有效提升抠图模型训练效果的抠图数据。
4.第一方面，本发明实施例提供了一种抠图数据生成方法，包括：
5.分别获取前景图像和背景图像，并提取所述前景图像中的原始掩膜图像；
6.将所述原始掩膜图像和背景图像融合为一目标图像；
7.将所述目标图像输入至抠图模型中，并由所述抠图模型输出所述目标图像的目标掩膜图像；
8.基于交并比计算所述原始掩膜图像和目标掩膜图像的重叠程度；
9.将重叠程度在预设重叠范围内的目标掩膜图像所对应的目标图像作为用于训练抠图模型的抠图数据。
10.第二方面，本发明实施例提供了一种抠图数据生成装置，包括：
11.图像获取单元，用于分别获取前景图像和背景图像，并提取所述前景图像中的原始掩膜图像；
12.第一融合单元，用于将所述原始掩膜图像和背景图像融合为一目标图像；
13.模型输出单元，用于将所述目标图像输入至抠图模型中，并由所述抠图模型输出所述目标图像的目标掩膜图像；
14.第一计算单元，用于基于交并比计算所述原始掩膜图像和目标掩膜图像的重叠程度；
15.数据生成单元，用于将重叠程度在预设重叠范围内的目标掩膜图像所对应的目标图像作为用于训练抠图模型的抠图数据。
16.第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实
现如第一方面所述的抠图数据生成方法。
17.第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的抠图数据生成方法。
18.本发明实施例提供了一种抠图数据生成方法、装置、计算机设备及存储介质，该方法包括：分别获取前景图像和背景图像，并提取所述前景图像中的原始掩膜图像；将所述原始掩膜图像和背景图像融合为一目标图像；将所述目标图像输入至抠图模型中，并由所述抠图模型输出所述目标图像的目标掩膜图像；基于交并比计算所述原始掩膜图像和目标掩膜图像的重叠程度；将重叠程度在预设重叠范围内的目标掩膜图像所对应的目标图像作为用于训练抠图模型的抠图数据。本发明实施例通过将前景图像中的原始掩膜图像与背景图像相融合，从而生成新的图像，即所述目标图像，然后利用抠图模型对该目标图像进行预测，并基于预测结果判断该目标图像是否有利于抠图模型的训练，从而以此生成可有效提升抠图模型训练效果的抠图数据。
附图说明
19.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1为本发明实施例提供的一种抠图数据生成方法的流程示意图；
21.图2为本发明实施例提供的一种抠图数据生成方法的子流程示意图；
22.图3为本发明实施例提供的一种抠图数据生成装置的示意性框图；
23.图4为本发明实施例提供的一种抠图数据生成装置的子示意性框图。
具体实施方式
24.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
26.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
27.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
28.下面请参见图1，图1为本发明实施例提供的一种抠图数据生成方法的流程示意图，具体包括：步骤s101～s105。
29.s101、分别获取前景图像和背景图像，并提取所述前景图像中的原始掩膜图像；
30.s102、将所述原始掩膜图像和背景图像融合为一目标图像；
31.s103、将所述目标图像输入至抠图模型中，并由所述抠图模型输出所述目标图像的目标掩膜图像；
32.s104、基于交并比计算所述原始掩膜图像和目标掩膜图像的重叠程度；
33.s105、将重叠程度在预设重叠范围内的目标掩膜图像所对应的目标图像作为用于训练抠图模型的抠图数据。
34.本实施例中，首先对获取的前景图像提取其中的原始掩膜图像(mask图)，并将所述原始掩膜图像与获取的背景图像融合为目标图像。然后通过抠图模型对所述目标图像进行预测，并将预测结果(即所述目标掩膜图像)与所述原始掩膜图像进行重叠比对，以确定目标掩膜图像和原始掩膜图像之间的重叠程度，并基于该重叠程度进一步确定是否将对应的目标图像作为最终的抠图数据进行保留。
35.本实施例所述提供的抠图数据生成方法，可以发现当前所采用的的抠图模型的弱点,进而为该抠图模型生成用于训练消除对应的弱点的抠图数据。可以理解是的，当训练数据到一定的规模时候,很难通过人工搜集到使模型预测效果较差的数据，并且即便搜集到，也需要付出高额的成本。而本实施例通过将前景图像中的原始掩膜图像与背景图像相融合，从而生成新的图像，即所述目标图像，然后利用抠图模型对该目标图像进行预测，并基于预测结果判断该目标图像是否有利于抠图模型的训练，从而以此生成可有效提升抠图模型训练效果的抠图数据。
36.在一实施例中，所述步骤s101包括：
37.将所述前景图像转换为灰度图像，并隔离所述灰度图像的边缘像素；
38.对隔离后的灰度图像进行反转，并创建掩码；
39.通过位运算提取所述灰度图像的边界信息，并基于所述边界信息对所述灰度图像进行叠加，以此提取得到所述原始掩膜图像。
40.本实施例中，通过图像掩膜运算将所述前景图像及其对应的原始掩膜图像进行分离，从而使所述原始掩膜图像与所述背景图融合为所述目标图像。在数字图像处理中，图像掩模主要用于：
①
提取感兴趣区，用预先制作的感兴趣区掩模与待处理图像相乘，得到感兴趣区图像,感兴趣区内图像值保持不变，而区外图像值都为0。
②
屏蔽作用，用掩模对图像上某些区域作屏蔽，使其不参加处理或不参加处理参数的计算，或仅对屏蔽区作处理或统计。
③
结构特征提取，用相似性变量或图像匹配方法检测和提取图像中与掩模相似的结构特征。
④
特殊形状图像的制作。
41.在一实施例中，所述步骤s102包括：
42.按照下式对所述原始掩膜图像和背景图像进行融合：
43.m＝i*α b(1-α)
44.式中，m为所述目标图像，i为所述前景图，α为所述原始掩膜图像，b为所述背景图。
45.本实施例中，按照上述融合的公式将原始掩膜图像和背景图像融合为所述目标图像。在这里，原始掩膜图像α的数值范围为(0，1)其中，0表示背景为0，1表示前景为1。
46.在一实施例中，如图2所示，所述步骤s103包括：步骤s201～s204。
47.s201、按照下式，计算所述目标掩膜图像中的像素i的特征向量：
48.x(i)＝(cos(h)，sin(h),s,v,x,y)
49.式中，h、s、v分别是hsv颜色空间的坐标值，(x，y)是像素i的空间坐标；
50.s202、按照下式设置内核函数：
[0051][0052]
式中，c为权值调节系数，以保证内核函数k(i，j)∈[0,1]，||
·
||为1范数；
[0053]
s203、基于所述内核函数计算拉普拉斯矩阵l：
[0054]
l＝d-a
[0055]
式中，相似矩阵a
ij
＝k(i，j)，对角矩阵d
ii
＝∑
jaij
；
[0056]
s204、按照下式构建一封闭形式解的方程，并将所述封闭形式解作为所述目标掩膜图像：
[0057][0058]
式中，λ为约束系数。
[0059]
本实施例中，在利用抠图模型对所述目标图像进行预测输出，首先对目标图像进行特征向量计算，然后根据特征向量的计算结果设置或者定义相应的内核函数，进一步根据内核函数计算拉普拉斯矩阵，并以此构建一个封闭形式解(即给出任意的自变量就可以求出其因变量)的方程，由此解方程得到所述目标掩膜图像。这里需要说明的是，本实施例的抠图模型并不限于上述预测步骤，对于其他抠图模型来说，同样可以将所述目标图像输入至其他抠图模型中，并由其他抠图模型输出相应的预测结果。
[0060]
在一实施例中，所述步骤s104包括：
[0061]
按照下式计算所述原始掩膜图像和目标掩膜图像的交并比，并将计算结果作为所述重叠程度：
[0062][0063]
式中，a为所述原始掩膜图像，b为所述目标掩膜图像。
[0064]
目标检测iou(intersection over union)相当于两个区域重叠的部分除以两个区域的集合部分得出的结果，因此本实施例将目标检测iou(intersection over union)的计算结果作为所述原始掩膜图像和目标掩膜图像的重叠程度。例如，iou＝0.5，即说明所述原始掩膜图像和目标掩膜图像存在一半的重叠程度；iou＝0，即说明所述原始掩膜图像和目标掩膜图像完全不重叠；iou＝1，即说明所述原始掩膜图像和目标掩膜图像完全重叠。
[0065]
进一步的，在一实施例中，所述步骤s105包括：
[0066]
当所述重叠程度在所述预设重叠范围内时，则判定所述目标掩膜图像与所述原始掩膜图像的重叠程度低；
[0067]
当所述重叠程度未在所述预设重叠范围内时，则判定所述目标掩膜图像与所述原始掩膜图像的重叠程度高；
[0068]
将重叠程度低的目标掩膜图像对应的目标图像设置为所述抠图数据。
[0069]
本实施例中，如果所述目标掩膜图像与所述原始掩膜图像的重叠程度低，那么便表示抠图模型预测的结果和原始掩膜图像的差异较大，从而说明该目标图像对应抠图模型
来说，是预测效果较差的数据，因此需要这种预测效果较差的数据来训练并改善模型，即该目标图像可以作为提升抠图模型精度的训练图像数据。相反的，如果所述目标掩膜图像与所述原始掩膜图像的重叠程度高，那么便表示抠图模型预测的结果和原始掩膜图像的差异较小，从而说明该目标图像对应抠图模型来说，是预测效果较好的数据，因此便不需要这种预测效果较好的数据来训练并改善模型，即该目标图像无需作为提升抠图模型精度的训练图像数据。
[0070]
在一实施例中，所述步骤s102之前，包括：
[0071]
基于预设数据生成策略对所述前景图像和原始掩膜图像进行预处理，并采用预处理后的原始掩膜图像与所述背景图像进行融合；其中，所述预设数据生成策略由随机前景模糊、随机前景旋转角度和颜色转换任意组合得到。
[0072]
本实施例中，通过一些数据生成策略对前景图像和原始掩膜图像进行预处理，例如对前景图像进行随机前景模糊处理或者随机前景旋转角度处理等等，可以达到增加生成数据多样性的目的。当然，在其他实施例中，也可以对所述背景图像进行相应的预处理，例如背景模糊、角度旋转等等。同样的，还可以采用其他图像预处理的方式对所述前景图像、原始掩膜图像和背景图像进行相应的处理，例如颜色转换等等，以此达到数据多样性的效果。
[0073]
进一步的，在对所述前景图像和原始掩膜图像进行预处理后，前景图像和原始掩膜图像相应的发生变化。例如未处理之前，前景图像为i，原始掩膜图像为α，利用图像随机旋转函数fr和图像随机模糊函数fb对所述前景图像i和原始掩膜图像α进行预处理，那么所述前景图像i和原始掩膜图像α对应变为：
[0074]i″
＝fr(fr(i)),α
″
＝fr(fr(α))
[0075]
故在将预处理后的原始掩膜图像α"与所述背景图像b融合时，需按照下式进行对应融合：
[0076]
m＝i
″
*α
″
b(1-α
″
)。
[0077]
图3为本发明实施例提供的一种抠图数据生成装置300的示意性框图，该装置300包括：
[0078]
图像获取单元301，用于分别获取前景图像和背景图像，并提取所述前景图像中的原始掩膜图像；
[0079]
第一融合单元302，用于将所述原始掩膜图像和背景图像融合为一目标图像；
[0080]
模型输出单元303，用于将所述目标图像输入至抠图模型中，并由所述抠图模型输出所述目标图像的目标掩膜图像；
[0081]
第一计算单元304，用于基于交并比计算所述原始掩膜图像和目标掩膜图像的重叠程度；
[0082]
数据生成单元305，用于将重叠程度在预设重叠范围内的目标掩膜图像所对应的目标图像作为用于训练抠图模型的抠图数据。
[0083]
在一实施例中，所述图像获取单元301包括：
[0084]
图像转换单元，用于将所述前景图像转换为灰度图像，并隔离所述灰度图像的边缘像素；
[0085]
图像反转单元，用于对隔离后的灰度图像进行反转，并创建掩码；
[0086]
信息叠加单元，用于通过位运算提取所述灰度图像的边界信息，并基于所述边界信息对所述灰度图像进行叠加，以此提取得到所述原始掩膜图像。
[0087]
在一实施例中，所述第一融合单元302包括：
[0088]
第二融合单元，用于按照下式对所述原始掩膜图像和背景图像进行融合：
[0089]
m＝i*α b(1-α)
[0090]
式中，m为所述目标图像，i为所述前景图，α为所述原始掩膜图像，b为所述背景图。
[0091]
在一实施例中，如图4所示，所述模型输出单元303包括：
[0092]
向量计算单元401，用于按照下式，计算所述目标掩膜图像中的像素i的特征向量：
[0093]
x(i)＝(cos(h)，sin(h),s,v,x,y)
[0094]
式中，h、s、v分别是hsv颜色空间的坐标值，(x，y)是像素i的空间坐标；
[0095]
函数设置单元402，用于按照下式设置内核函数：
[0096][0097]
式中，c为权值调节系数，以保证内核函数k(i，j)∈[0,1]，||
·
||为1范数；
[0098]
矩阵计算单元403，用于基于所述内核函数计算拉普拉斯矩阵l：
[0099]
l＝d-a
[0100]
式中，相似矩阵a
ij
＝k(i，j)，对角矩阵d
ii
＝∑
jaij
；
[0101]
方程构建单元404，用于按照下式构建一封闭形式解的方程，并将所述封闭形式解作为所述目标掩膜图像：
[0102][0103]
式中，λ为约束系数。
[0104]
在一实施例中，所述第一计算单元304包括：
[0105]
第二计算单元，用于按照下式计算所述原始掩膜图像和目标掩膜图像的交并比，并将计算结果作为所述重叠程度：
[0106][0107]
式中，a为所述原始掩膜图像，b为所述目标掩膜图像。
[0108]
在一实施例中，所述数据生成单元305包括：
[0109]
第一判定单元，用于当所述重叠程度在所述预设重叠范围内时，则判定所述目标掩膜图像与所述原始掩膜图像的重叠程度低；
[0110]
第二判定单元，用于当所述重叠程度未在所述预设重叠范围内时，则判定所述目标掩膜图像与所述原始掩膜图像的重叠程度高；
[0111]
数据设置单元，用于将重叠程度低的目标掩膜图像对应的目标图像设置为所述抠图数据。
[0112]
在一实施例中，所述第一融合单元302之前，包括：
[0113]
图像预处理单元，用于基于预设数据生成策略对所述前景图像和原始掩膜图像进行预处理，并采用预处理后的原始掩膜图像与所述背景图像进行融合；其中，所述预设数据
生成策略由随机前景模糊、随机前景旋转角度和颜色转换任意组合得到。
[0114]
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
[0115]
本发明实施例还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0116]
本发明实施例还提供了一种计算机设备，可以包括存储器和处理器，存储器中存有计算机程序，处理器调用存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然计算机设备还可以包括各种网络接口，电源等组件。
[0117]
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以对本技术进行若干改进和修饰，这些改进和修饰也落入本技术权利要求的保护范围内。
[0118]
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。