一种不同软件的数字人实现多人连线多人同画面的方法及系统与流程

本发明涉及数据处理，特别是指一种不同软件的数字人实现多人连线多人同画面的方法及系统。

背景技术：

1、在现有技术中，若要将来自不同公司或使用不同软件开发的数字人进行多人同台演出（例如虚拟偶像联合直播、异地多人虚拟发布会等），通常采用的方案是：各方需将各自的数字人资产（包括三维模型、骨骼绑定信息、纹理材质、动画蓝图、驱动逻辑等核心数据）打包提交给一方，然后由该方将所有资产统一导入到同一个三维渲染引擎（如unity、unreal engine等）中。导入后，由于不同软件的数字人骨骼架构、坐标系、驱动接口和材质定义各不相同，往往无法直接兼容，技术人员必须对每个数字人逐一进行骨骼重定向、动画状态机重建、表情驱动重新映射、渲染管线适配等一系列复杂的重新绑定和适配工作。

2、这一过程存在以下缺陷：首先，整个流程耗时极长，从资产收集、环境搭建到逐一适配测试，通常需要数天甚至数周的时间，难以满足线上实时协作的快速响应需求；其次，更为关键的是，该方案要求各参与方直接交出自身的核心数字资产，这就造成了资产泄露的知识产权风险，极大地降低了不同公司，尤其是商业竞争或注重资产保密性的公司，参与数字人同台合作的意愿。

技术实现思路

1、本发明要解决的技术问题是提供一种不同软件的数字人实现多人连线多人同画面的方法及系统，使所有参与者均能实时获得低延迟的多人连线同台画面，满足互动演出和直播需求。

2、为解决上述技术问题，本发明的技术方案如下：

3、第一方面，一种不同软件的数字人实现多人连线多人同画面的方法，所述方法包括：

4、在房主端的第一数字人软件中安装镜头同步插件，并在至少一个房客端的第二数字人软件中安装镜头同步插件，第一数字人软件与第二数字人软件为不同开发商提供的数字人驱动软件；

5、由房主端的镜头同步插件获取虚拟镜头参数，并通过网络将虚拟镜头参数实时发送至各房客端的镜头同步插件，得到在各端同步一致的虚拟镜头数据；

6、在房主端，根据同步一致的虚拟镜头数据，调整第一数字人软件中的虚拟摄像机，并将第一数字人模型移动至虚拟摄像机的拍摄范围内，渲染生成底图画面，并将底图画面实时上传至服务器；

7、在每一房客端，根据同步一致的虚拟镜头数据，将第二数字人软件中的虚拟摄像机调整至与房主端相同的视角，并将第二数字人模型移动至该虚拟摄像机的拍摄范围内，渲染生成具有可抠除背景的房客演出画面，并将房客演出画面实时上传至服务器；

8、在服务器，根据接收到的房客演出画面，提取第二数字人前景图像；

9、根据第二数字人前景图像和底图画面，将第二数字人前景图像叠加合成到底图画面中，生成多人同台合成画面；

10、将多人同台合成画面实时发送至房主端和各房客端。

11、第二方面，一种不同软件的数字人实现多人连线多人同画面的系统，包括：

12、房主端，部署有第一数字人软件及镜头同步插件；

13、至少一个房客端，部署有第二数字人软件及镜头同步插件，第一数字人软件与第二数字人软件为不同开发商提供的数字人驱动软件；

14、服务器，通过网络与房主端和各房客端通信连接；

15、房主端的镜头同步插件，用于获取虚拟镜头参数，并向各房客端的镜头同步插件实时发送虚拟镜头参数，以使各端获得同步一致的虚拟镜头数据；

16、房主端，用于根据同步一致的虚拟镜头数据，调整第一数字人软件中的虚拟摄像机，将第一数字人模型移动至拍摄范围内，渲染生成底图画面，并将底图画面实时上传至服务器；

17、每一房客端，用于根据同步一致的虚拟镜头数据，将第二数字人软件中的虚拟摄像机调整至与房主端相同的视角，将第二数字人模型移动至拍摄范围内，渲染生成具有可抠除背景的房客演出画面，并将房客演出画面实时上传至服务器；

18、服务器，用于从房客演出画面中提取第二数字人前景图像，根据第二数字人前景图像与底图画面合成生成多人同台合成画面，并将多人同台合成画面实时分发至房主端和各房客端。

19、本发明的上述方案至少包括以下有益效果：

20、大幅提升同台效率，省去资产迁移、引擎切换和重新绑定的繁琐步骤，快速完成多数字人同台准备；可以避免数字人资产的直接交换，有效保护各开发商的数字资产，提升了不同公司参与同台合作的意愿；借助统一的虚拟镜头数据，确保不同软件中的数字人透视关系和画面视角合理一致，呈现自然、协调的同台画面；服务器端实时抠像与合成，并将合成画面回传各端或直接推流直播，使所有参与者均能实时获得低延迟的多人连线同台画面，满足互动演出和直播需求。

1.一种不同软件的数字人实现多人连线多人同画面的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述可抠除背景为预定颜色的纯色背景；所述提取第二数字人前景图像，包括：

3.根据权利要求2所述的方法，其特征在于，所述渲染生成具有可抠除背景的房客演出画面，包括：

4.根据权利要求3所述的方法，其特征在于，所述虚拟镜头参数包括虚拟摄像机在三维空间中的位置坐标、旋转四元数以及视场角；

5.根据权利要求4所述的方法，其特征在于，所述渲染生成底图画面，包括：

6.根据权利要求5所述的方法，其特征在于，所述将所述第二数字人前景图像叠加合成到所述底图画面中，包括：

7.根据权利要求6所述的方法，其特征在于，还包括：

8.根据权利要求7所述的方法，其特征在于，将所述多人同台合成画面实时发送至所述房主端和各所述房客端，包括：

9.根据权利要求8所述的方法，其特征在于，在实现同台过程中，所述房主端与各所述房客端之间通过网络交换的数据包括虚拟镜头参数和合成画面数据；

10.一种不同软件的数字人实现多人连线多人同画面的系统，该系统实现如权利要求1至9中任一项所述的方法，其特征在于，包括：