动作生成方法、装置、设备及存储介质与流程
本申请涉及计算机,特别涉及一种动作生成方法、装置、设备及存储介质。
背景技术:
1、随着人工智能(artificial intelligence,ai)技术的发展,存在一种动作预测技术。具体地,该动作预测技术以第一对象(如一个人,也称为主动方)的动作序列为条件,预测第二对象(如另一个人,也称为反应方)的动作序列。例如,第一对象作出了推的动作,第二对象会相对应地作出后退的动作,这里第二对象后退的动作,也就是需要预测的动作。
2、相关技术,一般直接对第一对象的动作序列进行编码,得到编码特征。接着,根据该编码特征,通过扩散模型执行针对随机噪声的去噪过程,以预测得到第二对象的动作序列。
3、然而,上述相关技术中,直接对第一对象的动作序列进行编码,以预测第二对象的动作序列的方式,容易导致动作生成的效果较差。
技术实现思路
1、本申请实施例提供了一种动作生成方法、装置、设备及存储介质,能够提高动作生成效果。本申请提出的技术方案如下:
2、根据本申请实施例的一个方面,提供了一种动作生成方法,所述方法包括:
3、获取第一对象的参考动作信息,所述参考动作信息包括第一参考动作信息和第二参考动作信息,所述第一参考动作信息用于指示所述第一对象的第一部件的动作,所述第二参考动作信息用于指示所述第一对象的第二部件的动作;
4、对所述第一参考动作信息编码,得到第一编码特征;以及,对所述第二参考动作信息编码,得到第二编码特征;
5、以所述第一编码特征和所述第二编码特征为条件,执行至少一次迭代,得到所述至少一次迭代分别对应的迭代结果,每次迭代包括针对随机噪声的至少两次去噪过程;
6、对所述至少一次迭代分别对应的迭代结果解码,得到第二对象的预测动作信息,所述预测动作信息用于指示所述第二对象的动作,所述第二对象的动作包括所述第二对象的所述第一部件的动作,以及所述第二对象的所述第二部件的动作。
7、根据本申请实施例的一个方面,提供了一种动作生成装置,所述装置包括:
8、获取模块,用于获取第一对象的参考动作信息,所述参考动作信息包括第一参考动作信息和第二参考动作信息,所述第一参考动作信息用于指示所述第一对象的第一部件的动作,所述第二参考动作信息用于指示所述第一对象的第二部件的动作;
9、编码模块,用于对所述第一参考动作信息编码,得到第一编码特征;以及,对所述第二参考动作信息编码,得到第二编码特征;
10、迭代模块,用于以所述第一编码特征和所述第二编码特征为条件,执行至少一次迭代,得到所述至少一次迭代分别对应的迭代结果,每次迭代包括针对随机噪声的至少两次去噪过程;
11、解码模块,用于对所述至少一次迭代分别对应的迭代结果解码,得到第二对象的预测动作信息,所述预测动作信息用于指示所述第二对象的动作,所述第二对象的动作包括所述第二对象的所述第一部件的动作,以及所述第二对象的所述第二部件的动作。
12、根据本申请实施例的一个方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有计算机程序,所述计算机程序由所述处理器加载并执行以实现上述动作生成方法。
13、根据本申请实施例的一个方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序由处理器加载并执行以实现上述动作生成方法。
14、根据本申请实施例的一个方面,提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序由处理器加载并执行以实现上述动作生成方法。
15、本申请实施例提供的技术方案可以带来如下有益效果:
16、相比于相关技术中直接对第一对象的动作序列进行编码,本申请基于身体构造的精细程度不同,引入了第一部件(如身体)和第二部件(如手部)。通过对第一参考动作信息(指示第一对象的第一部件的动作)以及第二参考动作信息(指示第一对象的第二部件的动作)分别编码,得到第一编码特征和第二编码特征。接着,以第一编码特征和第二编码特征为条件,执行至少一次迭代,得到至少一次迭代分别对应的迭代结果。最后,对迭代结果解码,来实现对于第二对象的第一部件的动作的预测以及第二对象的第二部件的动作的预测。本申请引入了第一部件和第二部件分别编码的方式,使得对于第一对象的动作信息的编码效果更好。再通过至少一次迭代的方式,尽可能地捕捉第一对象的第一部件的特征和第一对象的第二部件的特征,有利于提高动作生成效果。
1.一种动作生成方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述以所述第一编码特征和所述第二编码特征为条件,执行至少一次迭代,得到所述至少一次迭代分别对应的迭代结果,包括:
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一编码特征、所述第二编码特征以及第i-1次迭代对应的迭代结果,确定所述第i次迭代的条件,包括:
4.根据权利要求3所述的方法,其特征在于,所述根据所述第一编码特征、所述第二编码特征以及所述第i次迭代对应的掩码编码特征,确定所述第i次迭代的条件,包括:
5.根据权利要求4所述的方法,其特征在于,所述第i次迭代对应的掩码编码特征包括第一掩码特征和第二掩码特征,所述第一掩码特征是所述第i次迭代对应的掩码编码特征中与所述第一部件有关的特征,所述第二掩码特征是所述第i次迭代对应的掩码编码特征中与所述第二部件有关的特征;
6.根据权利要求4或5所述的方法,其特征在于,所述融合特征包括第一融合特征和第二融合特征,所述第一融合特征是与所述第一部件有关的特征,所述第二融合特征是与所述第二部件有关的特征,所述第i次迭代的条件包括所述第i次迭代的第一条件和所述第i次迭代的第二条件;
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
8.根据权利要求7所述的方法,其特征在于,所述对于所述第一融合特征,执行以所述第二融合特征为条件的特征调制,得到第一调制特征,包括:
9.根据权利要求5至8任一项所述的方法,其特征在于,所述对所述第一编码特征和所述第一掩码特征执行特征融合,得到第一融合特征,包括:
10.根据权利要求2至9任一项所述的方法,其特征在于,所述根据所述第i次迭代的条件,执行针对所述随机噪声的至少两次去噪过程,得到所述第i次迭代对应的迭代结果,包括:
11.根据权利要求1至10任一项所述的方法,其特征在于,所述预测动作信息用于指示所述第二对象在n个时间戳的动作,每次迭代用于预测所述n个时间戳中的至少一个时间戳的动作,n为大于1的整数,m为大于1且小于等于n的整数。
12.根据权利要求1至11任一项所述的方法,其特征在于,每次迭代对应的迭代结果包括第一迭代结果和第二迭代结果,所述第一迭代结果是与所述第一部件有关的结果,所述第二迭代结果是与所述第二部件有关的结果;
13.根据权利要求1至12任一项所述的方法,其特征在于,所述预测动作信息由动作生成模型得到,所述动作生成模型包括:
14.根据权利要求13所述的方法,其特征在于,每次迭代对应的迭代结果包括第一迭代结果和第二迭代结果,所述预测动作信息包括第一预测动作信息和第二预测动作信息,所述解码单元包括第一解码器和第二解码器;
15.一种动作生成装置,其特征在于,所述装置包括:
16.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有计算机程序,所述计算机程序由所述处理器加载并执行以实现如权利要求1至14任一项所述的动作生成方法。
17.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序由处理器加载并执行以实现如权利要求1至14任一项所述的动作生成方法。
18.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序存储在计算机可读存储介质中,处理器从所述计算机可读存储介质读取并执行所述计算机程序,以实现如权利要求1至14任一项所述的动作生成方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com