自动生成显著性检测任务标注数据的方法、装置及系统与流程

1.本发明实施例涉及深度学习技术领域，具体涉及一种自动生成显著性检测任务标注数据的方法、装置及系统。


背景技术：

2.显著性检测是指利用算法提取图像中的显著区域。基于深度学习的显著性检测任务通常需要大量的标注数据，而获取数据有时候并不容易。目前一般的显著性检测任务获取训练数据的方法主要还是人工标注，费时费力且昂贵。数据的数量和质量成了限制深度学习显著性检测模型能力的瓶颈。


技术实现要素：

3.为此，本发明实施例提供一种自动生成显著性检测任务标注数据的方法、装置及系统，以解决现有的显著性检测任务获取训练数据的方法主是人工标注，费时费力且昂贵，数据的数量和质量成了限制深度学习显著性检测模型能力的瓶颈的问题。
4.为了实现上述目的，本发明实施例提供如下技术方案：
5.根据本发明实施例的第一方面，提出了一种自动生成显著性检测任务标注数据的方法，所述方法包括：
6.将i_t输入至决策网络模型中得到o_t，其中i_t＝[[0,1
…
n],[0,1
…
m],[0,1
…
x],[0,1
…
y]]表示具有n个用于显著性检测任务的三维模型、m个背景图片、x个三维模型在背景中的放置位置以及y个三维模型旋转角度的所有组合，o_t＝(i,j,k,l)表示取第i个三维模型m[i]、第j个背景b[j]、三维模型放在第k个位置l[k]以及三维模型旋转l角度r[l]；
[0007]
将获取的o_t输入至显著性检测模型，输出得到三维模型在背景中的预测框；
[0008]
根据获取的o_t确定的图片通过带有渲染引擎的三维图形图像软件根据三维模型尺寸和位置得到用于显著性检测任务的三维模型在背景中的标注框；
[0009]
根据获得的三维模型的预测框和标注框计算交并比iou，若iou＞0.5，则记录此时的o_t和i_t作为一组数据对；
[0010]
当获得有预设数量组数的o_t和i_t的数据对时，则使用所获得的多组数据对对决策网络模型进行训练，使得决策网络模型朝着产生更多有效数据的方向更新梯度；
[0011]
多次重复训练完后获得能够产生大量有效的用于显著性检测任务的标注数据的决策网络模型。
[0012]
进一步地，所述方法还包括：
[0013]
当决策网络模型输出一组o_t时，则根据o_t修改i_t，将i_t中各对应位置的值改为-1，表示该种组合已被使用，不再进行复用。
[0014]
进一步地，所述方法还包括：
[0015]
当一次训练完成后，将i_t恢复为初始值，只保留决策网络模型的权重，再进行重新取数和训练。
[0016]
进一步地，所述决策网络模型包括多层感知机、卷积神经网络等任何已知或未知的模型。
[0017]
进一步地，所述显著性检测模型包括u2net、banet等任何已知或未知的模型。
[0018]
进一步地，所述三维图形图像软件包括unreal、blender、unity、nuke等。
[0019]
进一步地，所述用于显著性检测任务的三维模型来源为人工建模、照片3d重建或者直接从第三方获取，背景为纯色或者实际业务场景的背景图片。
[0020]
根据本发明实施例的第二方面，提出了一种自动生成显著性检测任务标注数据的装置，所述装置包括：
[0021]
预测框获取模块，用于将i_t输入至决策网络模型中得到o_t，其中i_t＝[[0,1
…
n],[0,1
…
m],[0,1
…
x],[0,1
…
y]]表示具有n个用于显著性检测任务的三维模型、m个背景图片、x个三维模型在背景中的放置位置以及y个三维模型旋转角度的所有组合，o_t＝(i,j,k,l)表示取第i个三维模型m[i]、第j个背景b[j]、三维模型放在第k个位置l[k]以及三维模型旋转l角度r[l]；
[0022]
将获取的o_t输入至显著性检测模型，输出得到三维模型在背景中的预测框；
[0023]
标注框获取模块，用于根据获取的o_t确定的图片通过带有渲染引擎的三维图形图像软件根据三维模型尺寸和位置得到用于显著性检测任务的三维模型在背景中的标注框；
[0024]
决策网络模型训练模块，用于根据获得的三维模型的预测框和标注框计算交并比iou，若iou＞0.5，则记录此时的o_t和i_t作为一组数据对；
[0025]
当获得有预设数量组数的o_t和i_t的数据对时，则使用所获得的多组数据对对决策网络模型进行训练，使得决策网络模型朝着产生更多有效数据的方向更新梯度；
[0026]
多次重复训练完后获得能够产生大量有效的用于显著性检测任务的标注数据的决策网络模型。
[0027]
根据本发明实施例的第三方面，提出了一种自动生成显著性检测任务标注数据的系统，所述系统包括：处理器和存储器；
[0028]
所述存储器用于存储一个或多个程序指令；
[0029]
所述处理器，用于运行一个或多个程序指令，用以执行如上任一项所述的方法。
[0030]
根据本发明实施例的第四方面，提出了一种计算机存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被一种自动生成显著性检测任务标注数据的系统执行如上任一项所述的方法。
[0031]
本发明实施例具有如下优点：
[0032]
本发明实施例提出的一种自动生成显著性检测任务标注数据的方法、装置及系统，利用渲染引擎自动生成可用于显著性检测任务的标注数据，利用该方法生成的数据可以和人工标注的数据混合在一起达到数据增强的目的，从而提升显著性检测模型的准确率，在没有人工标注数据的情况下也可以使用该方法生成的数据直接训练显著性检测模型。
附图说明
[0033]
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方
式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
[0034]
图1为本发明实施例1提供的一种自动生成显著性检测任务标注数据的方法的流程示意图；
[0035]
图2为本发明实施例1提供的一种自动生成显著性检测任务标注数据的方法的实施流程图；
[0036]
图3为三维模型和纯色背景图像；
[0037]
图4为三维模型和实际业务场景的背景图像；
[0038]
图5为图3生成标注框后的图像；
[0039]
图6为图4生成标注框后的图像；
[0040]
图7为三维模型在背景中任意角度旋转的图像。
具体实施方式
[0041]
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0042]
实施例1
[0043]
如图1和图2所示，本实施例提出了一种自动生成显著性检测任务标注数据的方法，具体的，该方法包括：
[0044]
s100、将i_t输入至决策网络模型中得到o_t，其中i_t＝[[0,1
…
n],[0,1
…
m],[0,1
…
x],[0,1
…
y]]表示具有n个用于显著性检测任务的三维模型、m个背景图片、x个三维模型在背景中的放置位置以及y个三维模型旋转角度的所有组合，o_t＝(i,j,k,l)表示取第i个三维模型m[i]、第j个背景b[j]、三维模型放在第k个位置l[k]以及三维模型旋转l角度r[l]。
[0045]
本实施例中，用于显著性检测任务的三维模型来源为人工建模、照片3d重建或者直接从第三方获取，背景为纯色或者实际业务场景的背景图片。比如图3和图4(利用三维场景产生二维图片常被称为三渲二)：图3是三维模型和纯色背景，图4是三维模型和实际业务场景的背景，各种三维模型和背景图片可以在三维图形图像软件里随机组合。
[0046]
本实施例中，三维图形图像软件包括unreal、blender、unity、nuke等，商业或开源的皆可。在三维软件里可以直接根据模型尺寸和位置得到用于显著性检测任务的标注框，以上面图3和图4两张图片为例，可以直接根据模型尺寸和位置得到这样的标注数据，分别得到图5和图6。
[0047]
本实施例所要解决的难点是怎样有效地组合各种三维模型和背景图片，使得显著性检测模型的准确率得到提升。因为三维模型可以和任意背景组合，放在任意位置，并且可以任意角度旋转(比如图7中的三张图片)，所以如果是随机产生的数据，对最终的检测任务而言不一定是有用的。
[0048]
假设有n个模型m(1
…
n)，有m个背景b(1
…
m)，每个模型有x个位置可以放置(x的值
取决于背景图片的尺寸，比如背景是320*320的图片，则x最大可以取320*320)，位置表示为l(1
…
x)，每个模型有y个角度可以旋转(y的值取决于具体的检测任务场景，假如实际场景中物体可能是在某一方向上任意角度的，则y取360，如果实际的物体只会露出一半则y取180，如果物体可以沿着世界坐标系三个轴任意旋转则y取360*3，以此类推)，角度表示为r(1
…
y)。则总共可选择的变量空间大小t为t＝n*m*x*y，该变量空间代表所有数据组合方式。
[0049]
将i_t输入决策网络模型得到输出o_t。o_t＝(i,j,k,l)表示取第i个模型m[i],第j个背景b[j],模型放在第k个位置l[k]，模型旋转l角度r[l]，所以根据o_t一定会得到一张图片。
[0050]
本实施例中，决策网络模型包括多层感知机mlp、卷积神经网络cnn等任何已知或未知的模型。显著性检测模型包括u2net、banet等任何已知或未知的模型。
[0051]
进一步地，该方法还包括：当决策网络模型输出一组o_t时，则根据o_t修改i_t，将i_t中各对应位置的值改为-1，表示该种组合已被使用，不再进行复用。
[0052]
s200、将获取的o_t输入至显著性检测模型，输出得到三维模型在背景中的预测框。
[0053]
s300、根据获取的o_t确定的图片通过带有渲染引擎的三维图形图像软件根据三维模型尺寸和位置得到用于显著性检测任务的三维模型在背景中的标注框。
[0054]
s400、根据获得的三维模型的预测框和标注框计算交并比iou，若iou＞0.5，则记录此时的o_t和i_t作为一组数据对。
[0055]
在三维图形图像软件里可以直接根据模型尺寸和位置得到用于显著性检测任务的标注框，而显著性检测模型的输出是模型的预测框，用这两个框计算iou，iou是交并比，即两个框交集和并集的面积比。
[0056]
s500、当获得有预设数量组数的o_t和i_t的数据对时，则使用所获得的多组数据对对决策网络模型进行训练，使得决策网络模型朝着产生更多有效数据的方向更新梯度。
[0057]
如果iou》0.5，表示决策网络模型产生了有用的数据，记录此时的o_t和i_t作为一组数据对，当收集到100组这样的数据对时，用这100组数据训练决策网络模型，这样会使得决策网络模型朝着产生更多有效数据的方向更新梯度。
[0058]
进一步地，该方法还包括：当一次训练完成后，将i_t恢复为初始值，只保留决策网络模型的权重，再进行重新取数和训练。训练完后将i_t恢复成初始值，只保留决策网络模型的权重，重复之前的过程。
[0059]
s600、多次重复训练完后获得能够产生大量有效的用于显著性检测任务的标注数据的决策网络模型。
[0060]
本实施例提出的一种自动生成显著性检测任务标注数据的方法，利用渲染引擎自动生成可用于显著性检测任务的标注数据，利用该方法生成的数据可以和人工标注的数据混合在一起达到数据增强的目的，从而提升显著性检测模型的准确率，在没有人工标注数据的情况下也可以使用该方法生成的数据直接训练显著性检测模型。
[0061]
实施例2
[0062]
与上述实施例1相对应的，本实施例提出了一种自动生成显著性检测任务标注数据的装置，该装置包括：
[0063]
预测框获取模块，用于将i_t输入至决策网络模型中得到输出o_t，其中i_t＝[[0,1
…
n],[0,1
…
m],[0,1
…
x],[0,1
…
y]]表示具有n个用于显著性检测任务的三维模型、m个背景图片、x个三维模型在背景中的放置位置以及y个三维模型旋转角度的所有组合，o_t＝(i,j,k,l)表示取第i个三维模型m[i]、第j个背景b[j]、三维模型放在第k个位置l[k]以及三维模型旋转l角度r[l]；
[0064]
将获取的o_t输入至显著性检测模型，输出得到三维模型在背景中的预测框；
[0065]
标注框获取模块，用于根据获取的o_t确定的图片通过带有渲染引擎的三维图形图像软件根据三维模型尺寸和位置得到用于显著性检测任务的三维模型在背景中的标注框；
[0066]
决策网络模型训练模块，用于根据获得的三维模型的预测框和标注框计算交并比iou，若iou＞0.5，则记录此时的o_t和i_t作为一组数据对；
[0067]
当获得有预设数量组数的o_t和i_t的数据对时，则使用所获得的多组数据对对决策网络模型进行训练，使得决策网络模型朝着产生更多有效数据的方向更新梯度；
[0068]
多次重复训练完后获得能够产生大量有效的用于显著性检测任务的标注数据的决策网络模型。
[0069]
本发明实施例提供的一种自动生成显著性检测任务标注数据的装置中各部件所执行的功能均已在上述实施例1中做了详细介绍，因此这里不做过多赘述。
[0070]
实施例3
[0071]
与上述实施例相对应的，本实施例提出了一种自动生成显著性检测任务标注数据的系统，系统包括：处理器和存储器；
[0072]
存储器用于存储一个或多个程序指令；
[0073]
处理器，用于运行一个或多个程序指令，用以执行如上实施例1的方法。
[0074]
实施例4
[0075]
与上述实施例相对应的，本实施例提出了一种计算机存储介质，计算机存储介质中包含一个或多个程序指令，一个或多个程序指令用于被一种自动生成显著性检测任务标注数据的系统执行如实施例1的方法。
[0076]
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。