基于ZED立体相机的行人空间信息感知方法及装置与流程

技术特征：
1.一种基于立体相机的行人空间信息感知方法，其特征在于包括如下步骤：步骤s1：获取立体相机实时图像数据，包括rgb图像数据和点云数据；步骤s2：通过rgb图像检测人体关键点，得到行人的二维关键点信息，根据行人动态特性确定行人上半身主干区域，结合行人上半身主干区域的二维关键点信息，生成行人包围框，将行人包围框作为行人检测框；步骤s3：根据二维关键点相似度特征和行人检测框，对连续多帧图像下的行人进行多目标跟踪；步骤s4：对于持续跟踪到的行人，根据其二维关键点信息结合点云数据，获取行人三维关键点信息，计算当前帧下，行人相对于立体相机坐标系的空间位置坐标，并结合帧间隔计算行人移动速度，生成行人相对于立体相机的实时空间信息。2.根据权利要求1所述的基于立体相机的行人空间信息感知方法，其特征在于：所述步骤s2中，获取rgb图像数据，采用人体关键点检测网络进行前向推理，输出关键点热力图和部分关联域，根据关键点热力图和部分关联域提取二维关键点并进行分组，将属于同一行人的二维关键点匹配到当前行人上，得到当前图像中每个行人的二维关键点坐标。3.根据权利要求1所述的基于立体相机的行人空间信息感知方法，其特征在于：所述步骤s3包括如下步骤：步骤s3.1：根据行人检测框，获取行人运动特征；根据二维关键点相似度特征，获取行人的外观特征；步骤s3.2：根据行人运动特征和行人的外观特征，得到当前t时刻下的行人实测状态信息；步骤s3.3：将历史轨迹与t时刻下的行人实测状态信息进行数据关联，得到t时刻下每个行人的id；步骤s3.4：通过t时刻下每个行人的id，更新历史轨迹。4.根据权利要求3所述的基于立体相机的行人空间信息感知方法，其特征在于：所述步骤s3.1中的二维关键点相似度特征，采用目标关键点相似性评价指标oks进行相似度计算，并通过预设阈值判断二维关键点是否关联。5.根据权利要求3所述的基于立体相机的行人空间信息感知方法，其特征在于：所述步骤s3.3中的数据关联，是对各帧进行运动特征和外观特征两种关联，进行线性加权，得到最终的关联矩阵，根据此关联矩阵采用匈牙利匹配算法得到各帧间行人匹配结果。6.根据权利要求1所述的基于立体相机的行人空间信息感知方法，其特征在于：所述步骤s4包括如下步骤：步骤s4.1：根据所述行人上半身主干区域，结合二维关键点置信度进行筛选，根据筛选后的二维关键点，获取点云数据，得到行人关键点的三维坐标集合；步骤s4.2：对于每一个行人目标，根据其关键点的三维坐标集合，计算三维坐标均值作为行人目标的空间位置坐标；并根据欧式距离计算行人相对于立体相机的实际距离，根据当前时刻的行人空间位置坐标及上一时刻的行人空间位置坐标，计算在当前时刻与上一时刻的时间间隔下，行人相对于立体相机的移动距离，再结合所用时间，得到当前时刻下的行人移动速度。7.根据权利要求6所述的基于立体相机的行人空间信息感知方法，其特征在于：所述步
骤s4.2中行人移动速度公式如下：其中，x、y、z分别为行人的三维空间位置坐标，i表示当前跟踪到的行人id，t表示当前帧的时间，、、表示行人在当前帧下相对于立体相机的空间位置坐标，、、分别表示在时刻下相对立体相机的空间位置坐标，， m表示帧间隔数，f为立体相机帧率。8.一种基于立体相机的行人空间信息感知装置，用于实现权利要求1-7中任一项所述的基于立体相机的行人空间信息感知方法，包括实时图像数据获取模块、行人检测框获取模块、多目标跟踪模块、实时空间信息生成模块，其特征在于：所述实时图像数据获取模块，通过立体相机获取rgb图像数据和点云数据；所述行人检测框获取模块，通过rgb图像检测人体关键点，得到行人的二维关键点信息，根据行人动态特性确定行人上半身主干区域，结合行人上半身主干区域的二维关键点信息，生成行人包围框，将行人包围框作为行人检测框；所述多目标跟踪模块，根据二维关键点相似度特征和行人检测框，对连续多帧图像下的行人进行多目标跟踪；所述实时空间信息生成模块，对于持续跟踪到的行人，根据其二维关键点信息结合点云数据，获取行人三维关键点信息，计算当前帧下，行人相对于立体相机坐标系的空间位置坐标，并结合帧间隔计算行人移动速度，生成行人相对于立体相机的实时空间信息。9.一种基于zed相机的行人空间信息感知方法，其特征在于根据权利要求1-7中任一项所述的基于立体相机的行人空间信息感知方法，采用设置在导览机器人上的zed双目视觉相机采集实时图像数据，并传输至云端服务器进行行人检测框获取、多目标跟踪和生成实时空间信息，其中，zed双目视觉相机的视域范围与行人上半身主干区域配合设置，根据行人动态特性以及与导览机器人上zed双目视觉相机的视域范围，确定行人上半身主干区域，云端服务器将行人相对于zed双目视觉相机的实时空间信息传输至导览机器人，导览机器人根据所述实时空间信息进行本体的移动控制，完成导览任务。10.一种基于zed相机的行人空间信息感知装置，用于实现权利要求9所述的基于zed相机的行人空间信息感知方法，包括云端服务器和设置在导览机器人上的zed双目视觉相机，其特征在于：所述云端服务器包括行人检测框获取模块、多目标跟踪模块、实时空间信息生成模块；所述zed双目视觉相机实时获取rgb图像数据和点云数据，并传输至云端服务器；所述行人检测框获取模块，通过rgb图像检测人体关键点，得到行人的二维关键点信息，根据行人动态特性确定行人上半身主干区域，结合行人上半身主干区域的二维关键点信息，生成行人包围框，将行人包围框作为行人检测框；其中zed双目视觉相机的视域范围与行人上半身主干区域配合设置，根据行人动态特性以及与导览机器人上zed双目视觉相机的视域范围，确定行人上半身主干区域；所述多目标跟踪模块，根据二维关键点相似度特征和行人检测框，对连续多帧图像下的行人进行多目标跟踪；
所述实时空间信息生成模块，对于持续跟踪到的行人，根据其二维关键点信息结合点云数据，获取行人三维关键点信息，计算当前帧下，行人相对于立体相机坐标系的空间位置坐标，并结合帧间隔计算行人移动速度，生成行人相对于立体相机的实时空间信息；所述导览机器人，从云端服务器获取行人相对于zed双目视觉相机的实时空间信息，进行本体的移动控制，完成导览任务。

技术总结
本发明公开了基于ZED立体相机的行人空间信息感知方法及装置，主要用于展厅等公共场景下导览机器人对行人的空间位置及移动速度的智能感知。利用ZED双目视觉相机采集场景下的实时数据并上传至云端服务器；将预处理后RGB数据输入到部署好的人体关键点检测网络获取人体关键点二维信息，根据行人上半身主干区域的人体二维关键点信息生成行人包围框；对连续多帧下的多目标行人进行持续跟踪；结合点云数据获取相应区域的人体关键点三维空间坐标，并计算行人空间位置及移动速度；最后导览机器人根据获取到的行人空间信息进行本体移动控制，完成自主跟随及避障等智能导览任务，从而增加导览机器人的灵活性，提升参观者的交互体验。提升参观者的交互体验。提升参观者的交互体验。


技术研发人员：寄珊珊 李特 朱世强 孟启炜 王文 宛敏红
受保护的技术使用者：之江实验室
技术研发日：2022.09.28
技术公布日：2022/12/30