基于混合生成对抗网络合成真实手部图像的方法及装置与流程

技术特征：
1.一种使用混合生成对抗网络blendgan合成手部图像的方法，其特征在于，包括：获取合成3维3d手部姿势，所述合成3d手部姿势包括手部的3d模型；获取真实背景图像；将所述合成3d手部姿势与所述真实背景图像进行组合，创建合成手部图像；及，使用blendgan对所述合成手部图像进行混合，创建混合的合成手部图像。2.根据权利要求1所述的方法，其特征在于，所述混合的合成手部图像包括在多个混合的合成手部图像中，所述方法进一步包括：使用所述多个混合的合成手部图像，训练手部姿势估计算法。3.根据权利要求1所述的方法，其特征在于，所述合成3d手部图像包括3d手部关键点注释，所述真实背景图像是从照片中获得的。4.根据权利要求1所述的方法，其特征在于，所述blendgan包括生成器算法和鉴别器算法。5.根据权利要求4所述的方法，其特征在于，所述blendgan的目标l
tagan
定义为：l
tagan
(g,d)＝e
ys,yb,y
[logd(y
s
,y
b
,y)] e
xs,xb,z
[log(1-d(x
s
,x
b
,g(x
s
,x
b
,z))]其中，g表示所述生成器算法，d表示所述鉴别器算法，e表示期望函数，y表示真实手部图像，y
s
表示所述真实手部图像的形状图，y
b
表示所述真实手部图像的颜色图，x
s
表示所述合成手部图像的形状图，x
b
表示所述合成手部图像的颜色图，z表示随机向量。6.根据权利要求5所述的方法，其特征在于，通过对所述真实手部图像应用平均滤波器，创建所述真实手部图像的颜色图；通过对所述合成手部图像应用所述平均滤波器，创建所述合成手部图像的颜色图。7.根据权利要求5所述的方法，其特征在于，通过对所述真实手部图像执行整体嵌套边缘检测，创建所述真实手部图像的形状图；通过对所述合成手部图像执行所述整体嵌套边缘检测，创建所述合成手部图像的颜色图。8.根据权利要求5所述的方法，其特征在于，对所述生成器算法进行如下优化：其中，l
ta
表示损失函数。9.根据权利要求8所述的方法，其特征在于，所述损失函数定义如下：其中，dc表示颜色距离函数，ds表示形状距离函数，λ1表示第一权重，λ2表示第一权重。10.根据权利要求9所述的方法，其特征在于，所述颜色距离函数表示为：d
s
(x
b
,x
s
,z,y)＝‖y-g(x
b
,x
s
,z)‖所述形状距离函数表示为：其中，h
y
表示所述真实手部图像的颜色直方图，h
g
表示g(xb,xs,z)的颜色直方图。11.一种使用混合生成对抗网络blendgan合成手部图像的设备，其特征在于，包括：
至少一个存储器，用于存储计算机程序代码；至少一个处理器，用于读取所述计算机程序代码，根据所述计算机程序代码的指令进行操作，所述程计算机程序代码包括：第一获取代码，用于使得所述至少一个处理器，获取合成3维3d手部姿势，所述合成3d手部姿势包括手部的3d模型；第二获取代码，用于使得所述至少一个处理器，获取真实背景图像；组合代码，用于使得所述至少一个处理器，将所述合成3d手部姿势与所述真实背景图像进行组合，创建合成手部图像；及，混合代码，用于使得所述至少一个处理器，使用blendgan对所述合成手部图像进行混合，创建混合的合成手部图像。12.根据权利要求11所述的设备，其特征在于，所述混合的合成手部图像包括在多个混合的合成手部图像中，所述程序代码进一步包括：训练代码，用于使得所述至少一个处理器，使用所述多个混合的合成手部图像，训练手部姿势估计算法。13.根据权利要求11所述的设备，其特征在于，所述合成3d手部图像包括3d手部关键点注释，所述真实背景图像是从照片中获得的。14.根据权利要求11所述的设备，其特征在于，所述blendgan包括生成器算法和鉴别器算法。15.根据权利要求14所述的设备，其特征在于，所述blendgan的目标l
tagan
定义为：其中，g表示所述生成器算法，d表示所述鉴别器算法，e表示期望函数，y表示真实手部图像，y
s
表示所述真实手部图像的形状图，y
b
表示所述真实手部图像的颜色图，x
s
表示所述合成手部图像的形状图，x
b
表示所述合成手部图像的颜色图，z表示随机向量。16.根据权利要求15所述的设备，其特征在于，通过对所述真实手部图像应用平均滤波器，创建所述真实手部图像的颜色图；通过对所述合成手部图像应用所述平均滤波器，创建所述合成手部图像的颜色图；通过对所述真实手部图像执行整体嵌套边缘检测，创建所述真实手部图像的形状图；通过对所述合成手部图像执行所述整体嵌套边缘检测，创建所述合成手部图像的颜色图。17.根据权利要求15所述的设备，其特征在于，对所述生成器算法进行如下优化：其中，l
ta
表示损失函数。18.根据权利要求17所述的设备，其特征在于，所述损失函数定义如下：其中，dc表示颜色距离函数，ds表示形状距离函数，λ1表示第一权重，λ2表示第一权重。19.根据权利要求18所述的设备，其特征在于，所述颜色距离函数表示为：d
s
(x
b
,x
s
,z,y)＝‖y-g(x
b
,x
s
,z)‖
所述形状距离函数表示为：其中，h
y
表示所述真实手部图像的颜色直方图，h
g
表示g(xb,xs,z)的颜色直方图。20.一种非易失性计算机可读介质，其特征在于，其上存储有计算机代码，所述计算机代码由至少一个处理器执行时，使得所述至少一个处理器对使用混合生成对抗网络blendgan合成手部图像，包括：获取合成3维3d手部姿势，所述合成3d手部姿势包括手部的3d模型；获取真实背景图像；将所述合成3d手部姿势与所述真实背景图像进行组合，创建合成手部图像；及，使用blendgan对所述合成手部图像进行混合，创建混合的合成手部图像。

技术总结
一种使用混合生成对抗网络BlendGAN合成手部图像的方法，包括：获取合成3维3D手部姿势，所述合成3D手部姿势包括手部的3D模型；获取真实背景图像；将所述合成3D手部姿势与所述真实背景图像进行组合，创建合成手部图像；及，使用BlendGAN对所述合成手部图像进行混合，创建混合的合成手部图像。建混合的合成手部图像。建混合的合成手部图像。


技术研发人员：林斯姚 谢于晟 谭辉 韩连漪 范伟
受保护的技术使用者：腾讯美国有限责任公司
技术研发日：2020.08.14
技术公布日：2022/1/6