基于模块异步并行的多视角实时3D姿态重建方法及系统与流程

摘要: 本发明涉及3d重建,尤其涉及基于模块异步并行的多视角实时3d姿态重建方法及系统。背景技术:1、动作捕捉与姿态分析作为量化评估运动技术的核心手段,其精度、实时性和...
基于模块异步并行的多视角实时3D姿态重建方法及系统与流程

本发明涉及3d重建,尤其涉及基于模块异步并行的多视角实时3d姿态重建方法及系统。

背景技术:

1、动作捕捉与姿态分析作为量化评估运动技术的核心手段,其精度、实时性和可及性直接影响训练效果。近年来,随着深度学习与计算机视觉技术的快速迭代,基于普通摄像头的无标记人体姿态估计技术取得了突破性进展。该技术路线的核心思路是:通过多台普通rgb摄像头从不同视角同步采集视频,利用深度学习模型检测视频帧中的2d人体关节点,再通过多视角几何约束将2d关节点提升为3d空间姿态,从而在无需穿戴任何设备或粘贴标记点的条件下实现动作捕捉。然而,如何在低成本硬件条件下同时满足"高实时性+高精度+高稳定性"的体育竞技运动场景需求,仍是该领域尚未解决的核心技术挑战。主要涉及3个技术难点:(a)多视角视频流处理的计算实时性瓶颈;(b)受体育运动中频繁出现的肢体遮挡和快速移动导致的关节点和体育竞技道具检测偏差的影响,导致3d重建精度差;(c)系统在体育运动场地的本地可部署性和长时间运行稳定性难以保障。目前已有的技术方案均不能完整解决上述三个技术难点的组合。

技术实现思路

1、本发明的目的在于解决现有技术中的问题。

2、本发明解决其技术问题所采用的技术方案是:提供一种基于模块异步并行的多视角实时3d姿态重建方法,包括以下步骤:

3、同步采集篮球运动场景的多个视角的视频;

4、异步并行多视角视频的解码,对多个视角的视频中的同一时间帧进行绑定,得到按时间对齐的同步帧组并进入下一阶段的检测;检测的同时进行下一时间帧的绑定;所述下一阶段的检测指对所述同步帧组进行关键点检测,包括人体关节点检测、人脸特征检测与篮球检测;

5、基于所述关键点检测的检测结果,利用kruskal约束最小生成树,分别对人体与篮球进行3d重建,实现篮球运动场景的3d姿态重建。

6、优选的,所述对所述同步帧组进行关键点检测,包括以下步骤:

7、对视频帧进行人体检测与初步关节点定位,输出人体边界框以及关节点坐标;

8、对视频帧进行篮球位置检测,输出篮球检测边界框、边界框中心点以及置信度

9、定位出图片中所有人脸的位置及人脸关键点坐标,包括左眼、右眼和鼻尖;

10、对每个检测到的人脸,在同一相机下寻找距离最近的人体并进行关联;

11、将检测结果进行融合,构建统一的多视角2d数据帧,包含运动员2d数据和篮球2d数据。

12、优选的,所述基于所述关键点检测与人脸特征检测的检测结果,利用kruskal约束最小生成树,分别对人体与篮球进行3d重建,实现篮球运动场景的3d姿态重建,具体分别以人体或篮球为3d目标,执行以下步骤:

13、构建每个视角下检测框和3d目标的代价矩阵,使用匈牙利算法计算每个3d目标在各视角下匹配的唯一的2d检测框;得到包含k个视角的同一个3d目标的候选匹配集合,k≧2;

14、对于未能匹配的2d检测框,采用kruskal约束最小生成树算法进行多视角聚类,自动发现新的候选3d目标;

15、对每个3d目标,基于其关联的候选匹配集合执行3d重建流程。

16、优选的,当3d目标为人体时,代价矩阵中的值由以下四项加权融合得到:

17、极线/射线一致性代价,将当前检测框中的各2d关节点通过相机内外参反投影成世界坐标系下、从相机中心出发的射线;然后计算上一帧3d轨迹中对应关节点到该射线的最短距离,并归一化到[0,1],最后对所有关节点取平均;

18、地面投影代价,通过计算当前帧2d检测框底部中心点通过单应矩阵h投影至地面的点与双脚踝中心点经单应矩阵投影至地面的2d坐标之间的欧式距离得到;

19、外观特征代价,通过计算跟踪目标长期外观特征向量与当前检测外观特征向量之间的余弦相似度sim_cosin,取1-sim_cosin作为外观特征代价;

20、边界框iou代价,通过计算跟踪目标在每个视角中上一帧的检测边界框和当前帧检测边界框的交并比得到。

21、优选的,当3d目标为篮球时,代价矩阵中的值由以下六项加权融合得到:

22、极线/射线一致性代价,通过相机内参和外参把篮球的2d中心像素点反投影成世界坐标系下的射线,然后计算3d空间中两条射线之间的最短距离并归一化至[0,1]区间得到;若极线距离超过阈值则强制拒绝匹配;

23、深度推断代价,利用篮球像素直径和相机焦距推断篮球到相机的深度,再通过相机射线反推3d位置,随后计算该推断位置与上一帧3d球位置的欧式距离并归一化;

24、边界框距离代价,将当前帧和上一帧的2d检测框中心点求欧式距离得到;

25、像素尺度一致性代价,比较不同视角下篮球像素直径的一致性;

26、检测置信度代价,直接使用置信度代价=1-置信度的公式计算得到;

27、iou代价,计算跟踪目标在每个视角中上一帧的检测边界框和当前帧检测边界框的交并比。

28、优选的,所述对于未能匹配的2d检测框,采用kruskal约束最小生成树算法进行多视角聚类,自动发现新的候选3d目标,包括以下步骤:

29、遍历所有相机对,对两个相机中未匹配的检测框两两之间计算关联权重,构建加权关联图;

30、对加权关联图的所有边按权重升序排序,使用并查集数据结构执行kruskal最小生成树算法,依次检查每条边,若连接的两个检测框属于不同连通分量且合并后不会导致同一相机出现两个检测框,则合并这两个连通分量;最终,每个连通分量对应一组来自不同视角的、互相关联的2d检测框集合。

31、优选的,所述对每个3d目标,基于其关联的候选匹配集合执行3d重建流程,当目标为人体时,包括以下步骤:

32、基于svd的dlt线性三角化,对人体关节点逐一进行3d重建,得到3d骨架;

33、过滤掉2d关节点检测因肢体遮挡或运动模糊而产生较大误差的视角;

34、对前一帧已确认的每个3d人体跟踪目标,利用6维卡尔曼滤波器预测其在当前帧中的3d位置;

35、引入基于标准骨骼长度模板的人形验证机制,对重建得到的3d骨架计算实际骨骼段长度,并与标准模板进行逐段对比,若某一骨骼段的实际长度超出标准长度的容差范围则判定该骨架为无效重建;同时检查相邻帧间骨架位移量,若位移超出合理运动范围则标记为异常;

36、仅通过全部验证的重建结果才被接受为有效3d人体姿态。

37、优选的,所述过滤掉2d关节点检测因肢体遮挡或运动模糊而产生较大误差的视角,采用以下自适应视图过滤策略的任一一种或任意组合:

38、几何一致性过滤,对每个候选匹配集合中的所有视图,计算两两视图之间全部关节点的line-to-line距离均值,得到视图间几何一致性矩阵;对每个视图,计算其与其他所有视图的一致性均值,若均值超过自适应阈值则将该视图标记为不可靠并从三角化中排除;

39、点到射线距离过滤,先用全部可用视图执行一次初始三角化得到3d骨架,然后计算每个视图下各关节点3d位置到该视图观测射线的垂直距离;对每个视图统计各关节点的平均点到射线距离;若距离超过自适应阈值则将该视图标记为不可靠并从三角化中排除

40、射线间距离过滤,对每个关节点计算所有视图对之间的观测射线之间的最短距离,按行求和对每个视图得到一个综合距离评分;若评分超过自适应阈值则将该视图标记为不可靠并从三角化中排除;

41、置信度分数过滤,直接使用2d关键点检测模块输出的置信度分数作为视图可靠性的度量标准;对每个关节点仅选取置信度高于阈值的视图参与三角化。

42、优选的,所述对每个3d目标,基于其关联的候选匹配集合执行3d重建流程,当目标为篮球体时,包括以下步骤:

43、基于svd的dlt线性三角化,对篮球进行3d重建,得到3d位置;

44、对所述3d位置进行形状、像素尺度及运动合理性的验证;

45、当当前帧能够通过多视角三角化并验证得到可靠的3d位置时,使用该3d观测值更新6维卡尔曼滤波器的位置和速度状态;当目标丢失或当前帧无法得到有效3d重建时,卡尔曼滤波器根据历史状态预测目标在当前帧的位置。

46、本发明还通过一种基于模块异步并行的多视角实时3d姿态重建系统,用于实现如上任一所述的基于模块异步并行的多视角实时3d姿态重建方法,包括:

47、边缘终端层,采用部署于篮球场地周边的n个摄像头组成,用于采集视频数据;

48、边缘处理层,部署于篮球场地的边缘计算节点,负责视频流实时解码、2d关键点篮球检测以及多视角时间戳对齐;

49、服务层,部署于篮球场地的边缘计算节点或云端服务器,负责3d姿态重建、姿态优化以及篮球和运动员轨迹追踪;

50、交互层,采用web端可视化界面,支持3d骨骼模型360°旋转、缩放、逐帧回放的交互操作。

51、本发明具有如下有益效果:

52、(1)实时性问题:针对现有串行流水线架构帧率受限的问题,通过模块异步并行架构,将视频解码、2d关键点检测、3d重建三个计算密集型模块拆分为独立异步任务,经apache kafka消息队列解耦通信,消除模块间互相等待,从根本上突破串行架构的帧率瓶颈,实现稳定≥20fps的实时重建。

53、(2)成本与精度平衡问题:针对现有方案依赖rgbd深度相机或工业相机导致成本高的问题,采用普通消费级rgb摄像头作为唯一采集设备,通过多视角(≥4路)部署覆盖360°捕捉范围,利用多视角2d关键点三角化实现空间定位,结合姿态优化模型在无需深度传感器条件下达到关节点定位误差≤5cm的精度水平。

54、(3)篮球高速运动场景适配问题:针对篮球运动中肢体遮挡严重、快速移动导致篮球和关节点检测偏差的问题,采用多模型协同检测与时空一致性增强方案,包括基于4种过滤策略(置信度、单应投影、视差一致性、运动连续性)动态排除不可靠视图观测,确保三角化输入数据质量;在高空单视角可见场景下,引入重力加速度修正的抛物线运动模型,维持篮球轨迹连续性。

55、(4)本地化实时部署问题:针对传统方案依赖云端处理导致延迟高、带宽压力大、数据安全风险等问题,设计"边缘计算+本地处理"四层混合架构(边缘终端层—边缘处理层—本地服务层—交互层),在篮球场馆本地完成从视频采集到3d重建的全链路处理,无需云端依赖,同时设计单摄像头故障自动降级机制和服务自愈机制,保障系统在长时间运行下的稳定性和可用性。

56、以下结合附图及实施例对本发明作进一步详细说明,但本发明不局限于实施例。