基于动作捕捉和三维重建的视频会议方法、终端及系统与流程

技术特征：
1.基于动作捕捉和三维重建的视频会议终端，其特征在于，包括：编码模块、解码模块、动作捕捉模块、三维重建模块、网络传输模块；其中，动作捕捉模块用于从本端获取的本地会议视频图像中分割出会议场地背景图像和人物图像，再从人物图像中提取骨骼关键节点，形成肢体网格点云，最后根据肢体网格点云将人物图像分割为局部肢体图像；编码模块用于对本端待传输的会议场地背景图像、局部肢体图像和肢体网格点云进行压缩编码；解码模块用于对接收到来自其他终端的压缩数据进行解码；三维重建模块用于根据解码后的会议场地背景图像、局部肢体图像和肢体网格点云进行视频会议场景图像重建；网络传输模块用于实现本终端与其他终端之间的数据传输。2.根据权利要求1所述的基于动作捕捉和三维重建的视频会议终端，其特征在于，所述终端还包括摄像头，所述摄像头用于采集本地会议视频图像。3.根据权利要求1所述的基于动作捕捉和三维重建的视频会议终端，其特征在于，所述终端还包括显示模块，所述显示模块用于显示重建后的视频会议场景图像。4.根据权利要求1所述的基于动作捕捉和三维重建的视频会议终端，其特征在于，所述编码模块还用于对摄像头采集的原始视频流进行压缩编码。5.一种基于动作捕捉和三维重建的视频会议系统，其特征在于，所述系统包括至少两个如权利要求1至4任意一项所述的视频会议终端。6.一种基于动作捕捉和三维重建的视频会议方法，其特征在于，所述方法基于权利要求5所述的视频会议系统实现，包括以下步骤：(1)发送端获取本地会议视频图像；(2)发送端从本地会议视频图像中提取出会议场地背景图像和人物图像；(3)发送端随机选取一张人物图像进行骨骼关节点检测，得到人物的肢体网格点云；(4)发送端随机选取至少一张人物图像，按照根据肢体网格点云将人物图像分割为局部肢体图像；(5)发送端将会议场地背景图像和局部肢体图像进行压缩编码后发送给接收端；然后实时发送肢体网格点云(6)接收端接收发送端发送来的压缩数据并进行解码；(7)接收端在解码后的会议场地背景图像中，按照肢体网格点云中各关节点的位置关系将局部肢体图像进行贴图，逐帧重建视频会议场景图像。7.根据权利要求6所述的视频会议方法，其特征在于，所述会议场地背景图像和所述局部肢体图像仅传输一次。8.根据权利要求6所述的视频会议方法，其特征在于，所述步骤(2)中，发送端通过预先训练好的基于神经网络的人物检测模型对每一帧本地会议视频图像进行会议场地背景图像和人物图像分割。9.根据权利要求6所述的视频会议方法，其特征在于，所述步骤(3)中，发送端采用cpn网络模型从人物图像中提取骨骼关节点。
10.根据权利要求6所述的视频会议方法，其特征在于，还包括以下步骤：在视频会议开始时，发送端先将获取的本地会议视频图像直接进行压缩编码后传输给接收端，同时执行所述步骤(2)至(5)，待步骤(5)完成后，发送端停止对本地会议视频图像直接进行压缩编码后传输的步骤，返回步骤(1)；接收端初始时，对接收到的压缩后的本地会议视频图像进行解码并播放，当第一次接收到会议场地背景图像、肢体网格点云和局部肢体图像后，开始执行步骤(6)至(7)。

技术总结
本发明提出基于动作捕捉和三维重建的视频会议方法、终端及系统，本发明利用动作捕捉的数据量要远远低于完整视频画面数据量的特点，对原始视频流进行基于人工智能的图像数据分析处理，从原始视频流当中提取出会议场地背景图像、参会人物的局部肢体图像和肢体网格点云，由于会议过程中，会议场地背景图像和参会人物通常是不变的，所以会议场地背景图像、参会人物的局部肢体图像可以只传输一次，之后只要持续传输肢体网格点云，即可在接收端顺利实现逐帧重建视频会议场景图像。相较于直接传输原始视频流，本发明能够大大降低需要传输的数据量，进而可以在极低带宽下实现高品质的视频会议效果。会议效果。会议效果。


技术研发人员：鲁彬彬
受保护的技术使用者：江苏三步科技股份有限公司
技术研发日：2021.08.03
技术公布日：2021/11/4