肖像视频生成方法、装置、设备及介质与流程

本发明涉及人工智能技术、图像处理，可应用于金融科技及医疗科技领域，尤其涉及一种肖像视频生成方法、装置、设备及介质。

背景技术：

1、肖像视频生成用于对目标人物的固有身份特征与参考驱动视频中的头部姿态、面部表情动态信息进行融合处理，生成完整保留目标人物固有身份特征、同时精准复现参考动态效果的连续肖像视频，以匹配多场景下定制化数字人视频的生产需求，避免传统真人拍摄剪辑模式存在的制作成本高、生产周期长、定制化灵活性不足的问题。以金融领域的零售客户专属权益告知、合规风险提醒，以及医疗领域的执业医师健康科普宣教、医患沟通专属视频为例，通过高保真的肖像视频生成技术，可快速批量生成以目标客户或执业医师本人肖像为主体的定制化视频，大幅提高服务触达的专属感、可信度与合规性，显著降低专业合规内容的生产门槛与运营成本。

2、目前，肖像视频生成过程中，相关的人脸特征提取与视频生成方法通常采用整体编码与端到端直接生成的模式，比较依赖单一编码网络对人脸信息进行整体化提取，不仅导致生成的肖像视频极易出现身份漂移、姿态与表情特征相互纠缠、局部表情控制精度不足的问题，还存在生成内容自然度差、连续帧时序一致性弱、定制化调整灵活性不足的缺陷。因此，如何提高所生成的肖像视频的自然度，成为了亟待解决的技术问题。

技术实现思路

1、本发明提供一种人工智能的肖像视频生成方法、装置、计算机设备及介质，以实现提高所生成的肖像视频的自然度。

2、第一方面，提供了一种肖像视频生成方法，包括：

3、获取预训练的肖像视频生成模型，其中，所述肖像视频生成模型包括身份编码网络及驱动编码网络、自适应特征融合网络及可控图像生成网络，所述驱动编码网络包括区域感知注意力网络；

4、基于所述身份编码网络，对预获取的用户源身份图像进行身份特征编码，得到纯净身份编码；

5、基于所述驱动编码网络，对预获取的参考驱动视频进行分层解耦编码，得到全局姿态编码及分层表情编码；

6、基于所述区域感知注意力网络，对所述分层表情编码进行局部精细化建模，得到局部表情编码；

7、基于所述自适应特征融合网络，对所述纯净身份编码、所述全局姿态编码及所述局部表情编码进行多源特征自适应重组，得到融合生成特征；

8、基于所述可控图像生成网络及所述融合生成特征，进行肖像视频生成，得到目标肖像视频。

9、第二方面，提供了一种肖像视频生成装置，包括：

10、预训练模型调取模块，用于获取预训练的肖像视频生成模型，其中，所述肖像视频生成模型包括身份编码网络及驱动编码网络、自适应特征融合网络及可控图像生成网络，所述驱动编码网络包括区域感知注意力网络；

11、身份特征编码模块，用于基于所述身份编码网络，对预获取的用户源身份图像进行身份特征编码，得到纯净身份编码；

12、驱动视频解耦模块，用于基于所述驱动编码网络，对预获取的参考驱动视频进行分层解耦编码，得到全局姿态编码及分层表情编码；

13、解耦表情细化模块，用于基于所述区域感知注意力网络，对所述分层表情编码进行局部精细化建模，得到局部表情编码；

14、自适应特征融合模块，用于基于所述自适应特征融合网络，对所述纯净身份编码、所述全局姿态编码及所述局部表情编码进行多源特征自适应重组，得到融合生成特征；

15、肖像视频生成模块，用于基于所述可控图像生成网络及所述融合生成特征，进行肖像视频生成，得到目标肖像视频。

16、第三方面，提供了一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述肖像视频生成方法的步骤。

17、第四方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述肖像视频生成方法的步骤。

18、上述肖像视频生成方法、装置、计算机设备及存储介质所实现的方案中，可以通过身份编码网络对预获取的用户源身份图像进行身份特征编码得到纯净身份编码，稳定提取并保留待生成肖像的人物固有身份信息，为视频生成提供可靠的内容基础，随后通过驱动编码网络对预获取的参考驱动视频进行分层解耦编码，得到全局姿态编码及分层表情编码，实现头部姿态信息与面部表情信息的分离提取，为动态信息的精准控制提供分类清晰的特征基础，接着通过驱动编码网络所包含的区域感知注意力网络，对分层表情编码进行局部精细化建模得到局部表情编码，实现面部表情特征的精细化处理，有效提升表情信息的控制精度与独立性，再通过自适应特征融合网络对纯净身份编码、全局姿态编码及局部表情编码进行多源特征自适应重组，得到融合生成特征，实现多类特征的精准适配与有序融合，保证各类信息的完整传递与协同适配，最终通过可控图像生成网络及融合生成特征进行肖像视频生成，得到目标肖像视频，输出保留目标人物固有身份信息、同时完整复现参考驱动视频对应动态信息的肖像视频，大幅提升生成内容的保真度与场景适配性，具备突出的实用价值。

1.一种肖像视频生成方法，其特征在于，包括：

2.如权利要求1所述的肖像视频生成方法，其特征在于，所述肖像视频生成模型根据以下步骤训练得到：

3.如权利要求1所述的肖像视频生成方法，其特征在于，所述基于所述身份编码网络，对预获取的用户源身份图像进行身份特征编码，得到纯净身份编码，包括：

4.如权利要求1所述的肖像视频生成方法，其特征在于，所述基于所述驱动编码网络，对预获取的参考驱动视频进行分层解耦编码，得到全局姿态编码及分层表情编码，包括：

5.如权利要求4所述的肖像视频生成方法，其特征在于，所述基于所述驱动编码网络，对所述标准化人脸驱动图像进行表情特征分解，得到所述分层表情编码，包括：

6.如权利要求1-5任一项所述的肖像视频生成方法，其特征在于，所述基于所述区域感知注意力网络，对所述分层表情编码进行局部精细化建模，得到局部表情编码，包括：

7.如权利要求1-5任一项所述的肖像视频生成方法，其特征在于，所述基于所述自适应特征融合网络，对所述纯净身份编码、所述全局姿态编码及所述局部表情编码进行多源特征自适应重组，得到融合生成特征，包括：

8.一种肖像视频生成装置，其特征在于，包括：

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述肖像视频生成方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述肖像视频生成方法的步骤。