一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

虚拟形象生成方法、装置、电子设备以及存储介质与流程

2022-03-16 15:30:49 来源:中国专利 TAG:


1.本公开涉及人工智能技术领域,尤其涉及计算机视觉、语音交互、虚拟/增强现实等技术领域,具体涉及虚拟形象生成方法、装置、电子设备、存储介质以及程序产品。


背景技术:

2.随着互联网、三维(3-dimensional)、增强现实(augmented reality)、虚拟现实(virtual reality)和元宇宙等技术的飞速发展,虚拟形象在游戏、虚拟社交、互动营销等方面的应用越来越广泛。


技术实现要素:

3.本公开提供了一种虚拟形象生成方法、装置、电子设备、存储介质以及程序产品。
4.根据本公开的一方面,提供了一种虚拟形象生成方法,包括:响应于用于调整初始虚拟形象的第一语音指令,确定与所述第一语音指令对应的目标调整对象;确定与所述目标调整对象相关的多个形象素材;响应于用于确定目标形象素材的第二语音指令,从所述多个形象素材中确定所述目标形象素材;以及利用所述目标形象素材调整所述初始虚拟形象,生成目标虚拟形象。
5.根据本公开的另一方面,提供了一种虚拟形象生成装置,包括:第一确定模块,用于响应于用于调整初始虚拟形象的第一语音指令,确定与所述第一语音指令对应的目标调整对象;第二确定模块,用于确定与所述目标调整对象相关的多个形象素材;第三确定模块,用于响应于用于确定目标形象素材的第二语音指令,从所述多个形象素材中确定所述目标形象素材;以及生成模块,用于利用所述目标形象素材调整所述初始虚拟形象,生成目标虚拟形象。
6.根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上所述的方法。
7.根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行如上所述的方法。
8.根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如上所述的方法。
9.应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
10.附图用于更好地理解本方案,不构成对本公开的限定。其中:
11.图1示意性示出了根据本公开实施例的可以应用虚拟形象生成方法及装置的示例
性系统架构;
12.图2示意性示出了根据本公开实施例的虚拟形象生成方法的流程图;
13.图3示意性示出了根据本公开实施例的展示初始虚拟形象的显示界面示意图;
14.图4示意性示出了根据本公开另一实施例的展示初始虚拟形象的显示界面示意图;
15.图5示意性示出了根据本公开另一实施例的虚拟形象生成方法的流程图;
16.图6示意性示出了根据本公开实施例的虚拟形象生成装置的框图;以及
17.图7示意性示出了根据本公开实施例的适于实现虚拟形象生成方法的电子设备的框图。
具体实施方式
18.以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
19.本公开提供了一种虚拟形象生成方法、装置、电子设备、存储介质以及程序产品。
20.根据本公开的实施例,提供了一种虚拟形象生成方法,可以包括:响应于用于调整初始虚拟形象的第一语音指令,确定与第一语音指令对应的目标调整对象;确定与目标调整对象相关的多个形象素材;响应于用于确定目标形象素材的第二语音指令,从多个形象素材中确定目标形象素材;以及利用目标形象素材调整初始虚拟形象,生成目标虚拟形象。
21.本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
22.图1示意性示出了根据本公开实施例的可以应用虚拟形象生成方法及装置的示例性系统架构。
23.需要注意的是,图1所示仅为可以应用本公开实施例的系统架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。例如,在另一实施例中,可以应用虚拟形象生成方法及装置的示例性系统架构可以包括终端设备,但终端设备可以无需与服务器进行交互,即可实现本公开实施例提供的虚拟形象生成方法及装置。
24.如图1所示,根据该实施例的系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线和/或无线通信链路等等。
25.用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如知识阅读类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
26.终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
27.服务器105可以是提供各种服务的服务器,例如对用户利用终端设备101、102、103
所浏览的内容提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或形象素材等)反馈给终端设备。
28.需要说明的是,本公开实施例所提供的虚拟形象生成方法一般可以由终端设备101、102、或103执行。相应地,本公开实施例所提供的虚拟形象生成装置也可以设置于终端设备101、102、或103中。
29.或者,本公开实施例所提供的虚拟形象生成方法一般也可以由服务器105执行。相应地,本公开实施例所提供的虚拟形象生成装置一般可以设置于服务器105中。本公开实施例所提供的虚拟形象生成方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的虚拟形象生成装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
30.应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
31.图2示意性示出了根据本公开实施例的虚拟形象生成方法的流程图。
32.如图2所示,该方法包括操作s210~s240。
33.在操作s210,响应于用于调整初始虚拟形象的第一语音指令,确定与第一语音指令对应的目标调整对象。
34.在操作s220,确定与目标调整对象相关的多个形象素材。
35.在操作s230,响应于用于确定目标形象素材的第二语音指令,从多个形象素材中确定目标形象素材。
36.在操作s240,利用目标形象素材调整初始虚拟形象,生成目标虚拟形象。
37.根据本公开的实施例,虚拟形象(virtual character)可以是指合成的形像。从虚拟形象的结构来说,虚拟形象可以是三维模型的形象,也可以是平面图像的形象。从虚拟形象的类型来说,虚拟形象可以是模拟人物形象来形成的虚拟形象,也可以是模拟动物形象来形成的虚拟形象,还可以是基于卡通、漫画中的形象来形成的虚拟形象。
38.根据本公开的实施例,初始虚拟形象可以是指初始化的模板虚拟形象,也可以是指用户在模板虚拟形象上经过编辑后得到的形象。只要是还未经过用户确认的虚拟形象即可定义为初始虚拟形象。
39.根据本公开的实施例,第一语音指令可以指用于调整初始虚拟形象的指令,例如“请更新嘴巴”或者“请提供关于嘴巴的素材”等具有调整或者调用形象素材的语义的语音。本公开实施例对第一语音指令的话术不作限定,只要是通过语义识别技术能够识别到用于调用形象素材或者调整初始虚拟形象的意图即可。
40.根据本公开的实施例,可以对第一语音指令进行语义识别处理,确定与第一语音指令对应的目标调整对象。但是也有可能用户发出的语音指令中并未涉及相关对象的内容,在此情况下,可以利用语音交互功能,向用户发出询问语音,例如,“请问是关于哪个部位的调整呢?”。可以将用户在听到该询问语音后输出的用于指示目标调整对象的语音指令作为第一语音指令。
41.根据本公开的实施例,与目标调整对象相关的多个形象素材可以是从形象素材数
据库中获取的。与目标调整对象相关的形象素材的数量并不局限于多个,也可以是一个。可根据形象素材数据库中预先存储的形象素材的数量来确定。但是,形象素材提供的越多,可供用户选择的余地也越大,越有利于提高用户体验。
42.根据本公开的实施例,可以将确定与目标调整对象相关的多个形象素材按照列表的形式展示在预定显示界面上。可以按照顺序排列的方式展示,也可以按照滚动的方式展示,对展示的方式不作限定,只要是能够展示给用户,以便用户从多个形象素材中确定目标形象素材即可。
43.根据本公开的实施例,可以响应于用于确定目标形象素材的第二语音指令,执行确定目标形象素材的操作。该第二语音指令可以指用于确定目标形象素材的指令,例如“请选标签为022的素材”或者“请选标识

温柔’的女生妆”等具有目标形象素材指向的语义的语音。本公开实施例对第二语音指令的话术不作限定,只要是通过语义识别技术能够识别到用于确定目标形象素材的意图即可。
44.根据本公开的实施例,可以利用目标形象素材调整初始虚拟形象,生成目标虚拟形象。例如,利用目标形象素材更新初始虚拟形象,生成目标虚拟形象。也可以将目标形象素材添加至初始虚拟形象,生成目标虚拟形象。只要是利用目标形象素材来调整初始虚拟形象,得到用户满意的目标虚拟形象即可。
45.利用本公开实施例提供的虚拟形象生成方法,可以利用语音交互功能调用与目标调整对象相关的形象素材,并从多个形象素材中确定目标形象素材,利用目标形象素材与初始虚拟形象结合来生成目标虚拟形象,使得利用高效、简单的方式生成令人满意的目标虚拟形象。进而使得在车载屏、元宇宙等场景下,在用户不方便使用双手进行操作的情况下,也能有效地控制生成个性化的目标虚拟形象。
46.根据本公开的实施例,在执行操作s210之前,可以执行如下操作来生成初始虚拟形象。
47.例如,接收用于生成初始虚拟形象的生成语音指令,确定生成语音指令的语义信息;以及确定与语义信息相匹配的初始虚拟形象。
48.根据本公开的实施例,用户可以用自然语言例如生成语音指令来语音描述初始虚拟形象。可以利用语音识别模型来识别用户录入的生成语音指令,将语音转化为文字。例如,用户发出生成语音指令“我想要个温柔的女生形象”。可以利用语音识别模型将生成语音指令转换为与生成语音指令对应的文字。后续可以对文字进行分析处理,提取出生成语音指令中的语义信息例如关键信息,获知用于描述初始虚拟形象的关键词。例如,“温柔”、“女生”等关键词。可以依据语义解析提取出的关键词,在模型资源库中匹配符合描述的“脸型”、“五官”、“发型”、“服饰”等模型资源。
49.根据本公开的实施例,模型资源库中的例如五官、发型、服饰等模型资源,可以理解为是形象素材数据库中的关于五官的形象素材、关于发型的形象素材、关于服饰的形象素材等形象素材。但是并不局限与此。还可以是模型资源库中的模型资源与形象素材数据库中的形象素材完全不同,由此来避免响应于用户的第一语音指令,向用户展示的多个形象素材中含有用于生成初始虚拟形象的模型资源,占用展示多个形象素材的展示区域。
50.利用本公开实施例提供的虚拟形象生成方法,可以利用用户的生成语音指令,自动生成初始虚拟形象。避免在构建初始虚拟形象时,在五官、发型、服饰等部件数量较多的
情况下,用户需要花费大量时间和精力在各部件的选取上的问题。
51.利用本公开实施例提供的虚拟形象生成方法,可以降低专业的3d建模知识,并降低人力、及财力成本,进而使得非专业用户也能制作多风格、多人设的虚拟形象例如虚拟数字人。
52.图3示意性示出了根据本公开实施例的展示初始虚拟形象的显示界面示意图。
53.如图3所示,初始虚拟形象310可以是虚拟数字人的形象。初始虚拟形象可以是已经构建好人物外形例如发型、五官、服饰等的虚拟人物形象。
54.初始虚拟形象可以是利用虚拟形象模板生成的虚拟形象,但是并不局限与此,也可以是用户在虚拟形象模板的基础上,经过调整而生成的虚拟形象。初始虚拟形象可以是还未达到用户标准的虚拟形象。在此情况下,用户可以像日常对话一样用自然语言向终端设备例如电脑、车载屏等描述其他风格、其他人设的虚拟形象。例如发出第一语音指令,来表达调整初始虚拟形象的意图。第一语音指令中的目标调整对象可以是五官、发型、服饰等。可以基于第一语音指令中的目标调整对象,来确定与目标调整对象相关的多个形象素材,多个形象素材可以是一个类型,例如与五官相关的形象素材,更为具体地,与眉毛相关的形象素材320。但是并不局限与此,还可以是多个类型,例如与服饰相关的素材和与发型相关的素材。
55.如图3所示,可以将确定后的多个形象素材,显示于显示界面的形象素材展示区域。例如平铺的方式全部显示。在每个形象素材的图像上,可以标识有形象素材标识标签330。以便用户在发出用于确定目标形象素材的第二语音指令时,能够利用形象素材标识标签来明确、清楚地指示目标形象素材,也能方便终端设备从第二语音指令中语义识别到目标形象素材,进而提高用户与终端设备之间的语音交互能力。
56.如图3所示,在用户确定目标形象素材的情况下,可以利用目标形象素材来调整初始虚拟形象310,生成目标虚拟形象340。
57.在形象素材数量较多时,因形象素材展示区域的面积一定,可以利用滚动的方式来进行展示,以便用户在无需手动的情况下,即可完成全部素材的浏览;并利用语音交互功能,只需发出例如第一语音指令、第二语音指令即可完成请求的触发。提高虚拟形象生成的智能性和便捷性。
58.根据本公开的实施例,针对操作s240,利用目标形象素材调整初始虚拟形象,生成目标虚拟形象,可以包括如下操作。
59.例如,基于目标调整对象,确定初始虚拟形象的初始子虚拟形象。以及利用目标形象素材更新初始子虚拟形象,生成目标虚拟形象。
60.根据本公开的实施例,目标调整对象可以是指初始虚拟形象的待调整部位,例如,以头发作为目标调整对象,或者以嘴巴作为调整对象。初始子虚拟形象可以是与目标调整对象对应的资源模型或者形象素材。在基于目标调整对象确定初始子虚拟形象的情况下,可以快速利用目标形象素材更新初始子虚拟形象,得到目标虚拟形象。
61.根据本公开的实施例,利用目标形象素材更新初始子虚拟形象,可以理解为利用目标形象素材替换初始子虚拟形象。例如,目标调整对象为眼睛,可以将用户指定的目标形象素材例如单眼皮的眼睛来替换初始子虚拟形象例如双眼皮的眼睛,生成具有单眼皮的眼睛的目标虚拟形象。但是并不局限与此。还可以是指,将目标形象素材添加至初始虚拟形象
上。例如,目标调整对象为发饰,初始虚拟形象上并未涉及任何发饰,则确定初始子虚拟形象为无。可以在确定初始子虚拟形象为无的情况下,将目标形象素材添加至初始虚拟形象上,来生成目标虚拟形象。
62.图4示意性示出了根据本公开实施例的展示初始虚拟形象的显示界面示意图。
63.如图4所示,在利用目标形象素材更新初始子虚拟形象后,可以生成待确认子虚拟形象410。可以在此情况下,向用户输出询问信息,例如语音询问信息,或者在显示界面上显示文字询问信息并结合语音询问信息。询问信息可以是包含是否确认待确认子虚拟形象410的语义的信息。例如,“请问该形象是否满意”。响应于用户发出满意的回复语音信息,可以将待确认子虚拟形象作为目标虚拟形象420。
64.响应于用户发出的用于调整待确认子虚拟形象410的第三语音指令,对待确认子虚拟形象410中的骨骼节点进行调整,生成目标虚拟形象420’。
65.根据本公开的实施例,第三语音指令可以指用于调整待确认子虚拟形象的指令,例如“请换成小脸”或者“请将嘴巴变小”等具有调整语义的语音。本公开实施例对第三语音指令的话术不作限定,只要是通过语义识别技术能够识别到用于调整待确认子虚拟形象的意图即可。
66.根据本公开的实施例,骨骼节点可以是指三维模型中骨骼树中的各个骨骼节点。三维模型可以是指人脸三维模型。可以针对人脸的几何结构来设计骨骼树,并在骨骼蒙皮的各个蒙皮网格节点与骨骼树中的各个骨骼节点之间建立权重影响关系。之后通过骨骼树中骨骼节点的旋转、平移、缩放等,将各个骨骼节点的变形传导到骨骼蒙皮的各蒙皮网格节点上,实现各蒙皮网格节点的变形。
67.根据本公开的实施例,可以通过语义识别技术提取到第三语义指令中关于调整待确认虚拟形象的关键词,例如“嘴巴”、“变小”等。然后确定针对该语义信息对应的骨骼节点的调整数据,利用调整数据对待确认虚拟形象的骨骼节点进行调整,得到目标虚拟形象。
68.图5示意性示出了根据本公开另一实施例的虚拟形象生成方法的流程图。
69.如图5所示,该方法可以包括如下操作s510~s550、s5611~s5614、s562、s570、s581~s582。
70.在操作s510,可以接收用户语音输入的用于生成初始虚拟形象的生成语音指令。
71.在操作s520,从生成语音指令中提取用于描述初始虚拟形象的语义信息。
72.在操作s530,与模型资源库中的模型资源进行匹配。
73.在操作s540,生成初始虚拟形象。
74.在操作s550,确定是否需要调整初始虚拟形象。
75.在操作s5611,基于第一语音指令,在确定需要调整的情况下,确定目标调整对象。
76.在操作s5612,确定与目标调整对象相关的多个形象素材。
77.在操作s5613,基于第二语音指令,从多个形象素材中确定目标形象素材。
78.在操作s5614,利用目标形象素材调整初始虚拟形象,生成待确认子虚拟形象。
79.在操作s562,在不需要修改的情况下,将初始虚拟形象作为目标虚拟形象。
80.在操作s570,确定是否需要对待确认子虚拟形象中的骨骼节点进行调整。
81.在操作s581,基于第三语音指令,在确定需要修改的情况下,对骨骼节点进行调整,生成目标虚拟形象。
82.在操作s582,在不需要修改的情况下,将待确认子虚拟形象作为目标虚拟形象。
83.利用本公开实施例提供的虚拟形象生成方法,可以对初始虚拟形象经过多轮编辑来生成目标虚拟形象,由此提高目标虚拟形象的满意度,且提高生成方式的灵活性、智能性。此外,多轮编辑中可以是利用不同方式例如骨骼节点调整或者形象素材更新的方式,能够弥补形象素材数量有限,或者形象素材是提前预制好而无法进行调整等的缺陷。
84.根据本公开的实施例,在执行操作s240,利用目标形象素材调整初始虚拟形象,生成目标虚拟形象之后,还可以执行如下目标虚拟形象的展示操作。
85.例如,响应于已生成目标虚拟形象,确定用于反馈的动作信息。确定用于反馈的语音信息。将目标虚拟形象、动作信息和语音信息融合,生成目标视频。
86.根据本公开的实施例,在生成目标虚拟形象的情况下,可以将目标虚拟形象配合动作信息、表情信息、以及语音信息进行动画效果的展示。
87.例如,性别为“男”的目标虚拟形象,配合“打招呼”的手势,以及转圆圈的动作,并结合“嗨,你好,我是你专属的虚拟形象!”,生成目标视频。
88.根据本公开的实施例,可以响应于已生成待确认子虚拟形象,可以确定用于询问的动作信息。确定语音询问信息。将待确认子虚拟形象、用于询问的动作信息以及语音询问信息融合,生成用于确认待确认子虚拟形象的询问视频。
89.根据本公开的实施例,还可以响应于用户发出的用于调整待确认子虚拟形象的第三语音指令,对待确认子虚拟形象中的骨骼节点进行调整,调整失败。在确定调整失败的情况下,将待确认子虚拟形象、用于反馈待确认子虚拟形象的动作信息、用于反馈待确认子虚拟形象的语音信息融合,生成用于表征调整失败的反馈视频。
90.例如,在对确认子虚拟形象中的骨骼节点进行调整,调整失败的情况下,可以将待确认子虚拟形象作为最终虚拟形象。将例如“很可惜,修改失败”作为用于反馈待确认子虚拟形象的语音信息。将“摊开双手”的手势动作作为用于反馈待确认子虚拟形象的动作信息。将三者进行融合,得到用于表征调整失败的反馈视频。
91.根据本公开的实施例,对用于反馈的动作信息的生成方式、用于反馈的语音信息的生成方式,以及将目标虚拟形象、动作信息和语音信息融合的方式,均不做限定。只要是本领域已知的生成方式或者融合方式均可。
92.根据本公开的实施例,确定用于反馈的语音信息可以包括如下操作。
93.例如,确定目标虚拟形象的形象属性特征信息;确定与目标虚拟形象的形象属性特征信息相匹配的声音属性特征信息;以及基于声音属性特征信息,确定用于反馈的语音信息。
94.根据本公开的实施例,形象属性特征信息可以包括以下至少一项,例如,性别、年龄、职业、个性、身高、外貌等。声音属性特征信息可以包括以下至少一项,例如,音量特征信息、声纹特征信息、音色特征信息、语气特征信息、情感特征信息、语音内容等。
95.根据本公开的实施例,确定用于反馈的动作信息可以包括如下操作。
96.例如,确定目标虚拟形象的形象属性特征信息;确定与目标虚拟形象的形象属性特征信息相匹配的动作属性特征信息;以及基于动作属性特征信息,确定用于反馈的动作信息。
97.根据本公开的实施例,形象属性特征信息可以包括以下至少一项,例如,性别、年
龄、职业、个性、身高、外貌等。动作属性特征信息可以包括以下至少一项,例如,动作幅度特征信息、动作部位特征信息、动作类型特征信息、情感特征信息等。
98.根据本公开的实施例,确定与目标虚拟形象的形象属性特征信息相匹配的声音属性特征信息,可以是通过语义相似度进行匹配。例如,形象属性特征信息与声音属性特征信息之间的语义相似度大于或等于预定相似度阈值。但是并不局限于此。还可以是根据预定匹配映射表,基于形象属性特征信息,从预定匹配映射表中识别到与形象属性特征信息相匹配的声音属性特征信息。
99.根据本公开的实施例,确定与目标虚拟形象的形象属性特征信息相匹配的动作属性特征信息,可以是通过语义相似度进行匹配。例如,形象属性特征信息与动作属性特征信息之间的语义相似度大于或等于预定相似度阈值。但是并不局限于此。还可以是根据预定匹配映射表,基于形象属性特征信息,从预定匹配映射表中识别到与形象属性特征信息相匹配的动作属性特征信息。
100.例如:生成男生形象时配合“优雅行礼”、“打招呼”、“微笑”等动作,同时配合语音反馈“嗨,你好,我是你专属的虚拟形象”,生成目标视频。生成女生形象时配合“公主行礼”、“微笑”、“眨眼”等动画,同时配合语音反馈“你好呢,我是你生成的虚拟形象”,生成目标视频。
101.利用本公开实施例提供的虚拟形象生成方法,可以提高趣味性,提高用户体验,满足用户的个性化需求。
102.图6示意性示出了根据本公开实施例的虚拟形象生成装置的框图。
103.如图6所示,虚拟形象生成装置600可以包括第一确定模块610、第二确定模块620、第三确定模块630、生成模块640。
104.第一确定模块610,用于响应于用于调整初始虚拟形象的第一语音指令,确定与第一语音指令对应的目标调整对象。
105.第二确定模块620,用于确定与目标调整对象相关的多个形象素材。
106.第三确定模块630,用于响应于用于确定目标形象素材的第二语音指令,从多个形象素材中确定目标形象素材。
107.生成模块640,用于利用目标形象素材调整初始虚拟形象,生成目标虚拟形象。
108.根据本公开的实施例,生成模块可以包括第一确定子模块、生成子模块。
109.第一确定子模块,用于基于目标调整对象,确定初始虚拟形象的初始子虚拟形象。
110.生成子模块,用于利用目标形象素材更新初始子虚拟形象,生成目标虚拟形象。
111.根据本公开的实施例,生成子模块可以包括更新单元、调整单元。
112.更新单元,用于利用目标形象素材更新初始子虚拟形象,生成待确认子虚拟形象。
113.调整单元,用于响应于用于调整待确认子虚拟形象的第三语音指令,对待确认子虚拟形象中的骨骼节点进行调整,生成目标虚拟形象。
114.根据本公开的实施例,在生成模块之后,虚拟形象生成装置还可以包括第四确定模块、第五确定模块、融合模块。
115.第四确定模块,用于响应于已生成目标虚拟形象,确定用于反馈的动作信息。
116.第五确定模块,用于确定用于反馈的语音信息。
117.融合模块,用于将目标虚拟形象、动作信息和语音信息融合,生成目标视频。
118.根据本公开的实施例,第五确定模块可以包括第一确定单元、第二确定单元、第三确定单元。
119.第一确定单元,用于确定目标虚拟形象的形象属性特征信息。
120.第二确定单元,用于确定与目标虚拟形象的形象属性特征信息相匹配的声音属性特征信息。
121.第三确定单元,用于基于声音属性特征信息,确定用于反馈的语音信息。
122.根据本公开的实施例,虚拟形象生成装置还可以包括接收模块、初始形象确定模块。
123.接收模块,用于接收用于生成初始虚拟形象的生成语音指令,确定生成语音指令的语义信息。
124.初始形象确定模块,用于确定与语义信息相匹配的初始虚拟形象。
125.根据本公开的实施例,多个形象素材中的至少一个形象素材包括以下至少一项:与服饰相关的形象素材、与五官相关的形象素材、与发型相关的形象素材。
126.根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
127.根据本公开的实施例,一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如上所述的方法。
128.根据本公开的实施例,一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行如上所述的方法。
129.根据本公开的实施例,一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现如上所述的方法。
130.图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
131.如图7所示,设备700包括计算单元701,其可以根据存储在只读存储器(rom)702中的计算机程序或者从存储单元708加载到随机访问存储器(ram)703中的计算机程序,来执行各种适当的动作和处理。在ram 703中,还可存储设备700操作所需的各种程序和数据。计算单元701、rom 702以及ram 703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
132.设备700中的多个部件连接至i/o接口705,包括:输入单元706,例如键盘、鼠标等;输出单元707,例如各种类型的显示器、扬声器等;存储单元708,例如磁盘、光盘等;以及通信单元709,例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
133.计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工
智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理,例如虚拟形象生成方法。例如,在一些实施例中,虚拟形象生成方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元708。在一些实施例中,计算机程序的部分或者全部可以经由rom 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到ram 703并由计算单元701执行时,可以执行上文描述的虚拟形象生成方法的一个或多个步骤。备选地,在其他实施例中,计算单元701可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行虚拟形象生成方法。
134.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
135.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
136.在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
137.为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,crt(阴极射线管)或者lcd(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
138.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部
件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(lan)、广域网(wan)和互联网。
139.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以是分布式系统的服务器,或者是结合了区块链的服务器。
140.应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
141.上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献