一种多模态视觉数据处理的人体姿态智能测量方法与流程

本发明属于人体姿态测量，具体涉及一种多模态视觉数据处理的人体姿态智能测量方法。

背景技术：

1、姿态测量特别是人体的姿态测量已经有越来越广泛的应用，对姿态测量的方法有广泛的使用需求。现有的人体姿态测量方法无法准确测量关节角度、脊柱曲度、身体对称性等多种姿态参数；在复杂环境和部分遮挡条件下无法保持稳定性能。

技术实现思路

1、本发明的目的主要解决现有技术所存在的技术问题，从而提供一种多模态视觉数据处理的人体姿态智能测量方法；本发明的技术方案为：一种多模态视觉数据处理的人体姿态智能测量方法，包括以下步骤：

2、1）布置两个以上的rgb摄像头、一个以上的深度摄像头和四个以上imu传感器，进行多摄像头内参和外参标定，标定深度摄像头与rgb摄像头的空间变换关系，建立统一的测量坐标系；

3、2）启动 rgb-d 摄像头，通过硬件同步器同时触发所有传感器开始多模态数据同步采集，同步采集 rgb 彩色图像与深度图像，启动imu传感器，同步采集加速度、角速度数据；

4、3）提取多模态特征，从rgb图像中检测人体33个关键点的2d坐标，将2d关键点映射到深度图像获取对应的深度值，从深度值计算关键点的3d坐标；

5、4）多源数据融合，建立扩展卡尔曼滤波器ekf，状态向量包含所有关节的3d位置和速度，以rgb的2d关键点观测、深度的3d观测、imu的姿态约束观测作为ekf的观测输入，执行ekf预测和更新步骤，输出融合后的关节3d坐标，采用多视角三角测量进一步优化关节位置；

6、5）姿态参数计算，基于融合后的3d关键点计算各关节角度，计算脊柱在矢状面、冠状面和水平面的曲度，计算肢体长度比例和对称性参数，对动态动作，计算运动学参数包括速度、加速度、步态特征；

7、6）结果输出与可视化生成包含三维骨架的实时可视化界面，输出关节角度、对称性指数的数值结果，标记异常姿态并提供改善建议，存储测量数据用于历史对比和趋势分析。

8、一种多模态视觉数据处理的人体姿态智能测量系统，包括多模态数据采集模块、多传感器标定模块、多模态特征提取模块、多源数据融合模块、姿态参数计算模块、实时处理系统。

9、进一步的，所述多模态数据采集模块包括两个以上的rgb摄像头、一个以上的深度摄像头和四个以上的惯性测量单元imu，所述rgb摄像头和深度摄像头通过硬件同步器实现时间同步，所述imu分别布置于人体躯干、大腿和小腿。

10、进一步的，所述多传感器标定模块，配置为执行以下操作：采用棋盘格标定板对每个rgb摄像头进行内参标定，获取内参矩阵k和畸变系数d；通过多视角同步采集棋盘格图像，计算rgb摄像头之间的外参矩阵[r|t]；采用红外点云配准方法将深度摄像头与rgb摄像头进行空间对齐；建立包含所有传感器参数的统一标定文件。

11、进一步的，所述多模态特征提取模块包括：rgb关键点提取单元，基于mediapipe框架检测人体33个关键点的2d坐标和置信度；深度信息对齐单元，将2d关键点映射到深度图像获取对应的深度值；imu姿态解算单元，通过卡尔曼滤波融合加速度计和陀螺仪数据，输出关节四元数姿态。

12、进一步的，所述多源数据融合模块采用扩展卡尔曼滤波器ekf进行多传感器数据融合，包括：状态向量包含人体33个关节的3d位置和速度；预测模型采用匀速运动模型；观测模型包括：rgb的2d投影观测、深度相机的3d观测、imu的姿态约束观测；通过多视角三角测量优化关节位置估计。

13、进一步的，所述姿态参数计算模块配置为计算：关节角度，基于三点法计算关节弯曲角度；脊柱曲度，通过颈椎、胸椎、腰椎关键点计算曲度参数；身体对称性，对比左右侧肢体长度和角度差异；运动学参数，包括速度、加速度、步态周期。

14、进一步的，所述实时处理系统包括：多线程数据采集框架，分别处理rgb、深度和imu数据流。

15、本发明的有益效果是：通过融合rgb图像、深度图像和imu数据，采用扩展卡尔曼滤波器进行多源数据融合，实现了高精度、实时的人体姿态测量。本发明能够准确测量关节角度、脊柱曲度、身体对称性等多种姿态参数，适用于康复评估、运动分析、体态矫正等多个领域。与单一模态系统相比，本发明提高了测量精度和鲁棒性，特别是在复杂环境和部分遮挡条件下仍能保持稳定性能。

1.一种多模态视觉数据处理的人体姿态智能测量方法，其特征在于：包括以下步骤：

2.一种多模态视觉数据处理的人体姿态智能测量系统，其特征在于，包括多模态数据采集模块、多传感器标定模块、多模态特征提取模块、多源数据融合模块、姿态参数计算模块、实时处理系统。

3.根据权利要求2所述的多模态视觉数据处理的人体姿态智能测量系统，其特征在于，所述多模态数据采集模块包括两个以上的rgb摄像头、一个以上的深度摄像头和四个以上的惯性测量单元imu，所述rgb摄像头和深度摄像头通过硬件同步器实现时间同步，所述imu分别布置于人体躯干、大腿和小腿。

4.根据权利要求2所述的多模态视觉数据处理的人体姿态智能测量系统，其特征在于，所述多传感器标定模块，配置为执行以下操作：采用棋盘格标定板对每个rgb摄像头进行内参标定，获取内参矩阵k和畸变系数d；通过多视角同步采集棋盘格图像，计算rgb摄像头之间的外参矩阵[r|t]；采用红外点云配准方法将深度摄像头与rgb摄像头进行空间对齐；建立包含所有传感器参数的统一标定文件。

5.根据权利要求2所述的多模态视觉数据处理的人体姿态智能测量系统，其特征在于，所述多模态特征提取模块包括：rgb关键点提取单元，基于mediapipe框架检测人体33个关键点的2d坐标和置信度；深度信息对齐单元，将2d关键点映射到深度图像获取对应的深度值；imu姿态解算单元，通过卡尔曼滤波融合加速度计和陀螺仪数据，输出关节四元数姿态。

6.根据权利要求2所述的多模态视觉数据处理的人体姿态智能测量系统，其特征在于，所述多源数据融合模块采用扩展卡尔曼滤波器ekf进行多传感器数据融合，包括：状态向量包含人体33个关节的3d位置和速度；预测模型采用匀速运动模型；观测模型包括：rgb的2d投影观测、深度相机的3d观测、imu的姿态约束观测；通过多视角三角测量优化关节位置估计。

7.根据权利要求2所述的多模态视觉数据处理的人体姿态智能测量系统，其特征在于，所述姿态参数计算模块配置为计算：关节角度，基于三点法计算关节弯曲角度；脊柱曲度，通过颈椎、胸椎、腰椎关键点计算曲度参数；身体对称性，对比左右侧肢体长度和角度差异；运动学参数，包括速度、加速度、步态周期。

8.根据权利要求2所述的多模态视觉数据处理的人体姿态智能测量系统，其特征在于，所述实时处理系统包括：多线程数据采集框架，分别处理rgb、深度和imu数据流。