基于视觉感知的人体四肢角度检测方法及系统与流程

技术特征：
1.基于视觉感知的人体四肢角度检测方法，其特征在于，包括：获取人体的图像信息；依据获取的图像信息，以及预设的姿态检测模型，得到肢体特征点；采用自低向顶的检测方式，检测各个关键点然后拼接为人体整体关键点，同时通过关键点回归的范围进行加权，只得到最靠近中心的人体关键点；根据得到的肢体特征点，在考虑关键点的置信度情况下，计算得到上臂抬起的欧拉角度、腿抬起的欧拉角度，以及手相对于身体中心的偏移欧拉角度，同时计算人体相对于图像一侧的相对位置。2.如权利要求1所述的基于视觉感知的人体四肢角度检测方法，其特征在于，通过图像采集设备获取图像信息，在c 层面直接加载接入所述图像采集设备。3.如权利要求1所述的基于视觉感知的人体四肢角度检测方法，其特征在于，获取图像的最大边尺寸，将最大边归一化到预设值像素点；根据归一化比例，计算归一化后图像的宽度和高度；根据计算的尺寸，对图像短边进行填充。4.如权利要求3所述的基于视觉感知的人体四肢角度检测方法，其特征在于，输入神经网络的数据按照均值方差进行归一化，将图像像素值减均值然后除方差；提取中心热力图特征、关键点回归坐标、关键点热力图特征和偏移量回归坐标；中心热力图乘以一个位置权重矩阵，求出最大值点的坐标作为中心点；从关键点回归坐标的多个通道对应坐标位置取出多个值，然后加上中心点坐标，得到粗略的关键点位置；对于每一个粗略的关键点坐标，再生成一个以粗略的关键点坐标为中心的权重矩阵，构造好一个粗略关键点坐标最小、周边递增的权重矩阵后，再加上一个常数，然后把热力图回归结果除以权重矩阵，得到精细化的关键点坐标。5.如权利要求1所述的基于视觉感知的人体四肢角度检测方法，其特征在于，当满足肩关节置信度与肘关节置信度的和小于第一预设值时，上臂抬起的欧拉角度为0；否则：当肩关节置所在纵坐标位置高于或等于肘关节所在纵坐标位置时，计算肩关节与肘关节在横坐标上位置差和肩关节与肘关节在纵坐标上位置差的比值，对比值求反正切得到上臂抬起的欧拉角度；否则，计算肩关节与肘关节在横坐标上位置差和肩关节与肘关节在纵坐标上位置差的比值，对比值求反正切后再加上90度得到上臂抬起的欧拉角度。6.如权利要求1所述的基于视觉感知的人体四肢角度检测方法，其特征在于，当满足胯关节置信度与膝关节置信度的和小于第二预设值时，腿抬起的欧拉角度为0；否则：当胯关节置所在纵坐标位置高于或等于膝关节所在纵坐标位置时，计算胯关节与膝关节在横坐标上位置差和胯关节与膝关节在纵坐标上位置差的比值，对比值求反正切得到腿抬起的欧拉角度；否则，计算胯关节与膝关节在横坐标上位置差和胯关节与膝关节在纵坐标上位置差的比值，对比值求反正切后再加上90度得到腿抬起的欧拉角度。7.如权利要求1所述的基于视觉感知的人体四肢角度检测方法，其特征在于，当满足两个腕关节置信度的和小于第三预设值时，手相对于身体中心的偏移欧拉角度为0，否则：当双手腕中心点横坐标小于双肩中心点横坐标时，计算双手腕中心点与双肩中心点在横坐标上位置差和双手腕中心点与双肩中心点在纵坐标上位置差的比值，对比值求反正切后的负值为双手相对于身体中心的偏移欧拉角度；否则，计算双手腕中心点与双肩中心点在横坐标上位置差和双手腕中心点与双肩中心点在纵坐标上位置差的比值，对比值求反正
切得到双手相对于身体中心的偏移欧拉角度；人体相对于图像一侧的相对位置等于双肩中心点横坐标和图像宽度的比值。8.基于视觉感知的人体四肢角度检测系统，其特征在于，包括：数据采集模块，被配置为：获取人体的图像信息；特征点获取模块，被配置为：依据获取的图像信息，以及预设的姿态检测模型，得到肢体特征点；采用自低向顶的检测方式，检测各个关键点然后拼接为人体整体关键点，同时通过关键点回归的范围进行加权，只得到最靠近中心的人体关键点；欧拉角计算模块，被配置为：根据得到的肢体特征点，在考虑关键点的置信度情况下，计算得到上臂抬起的欧拉角度、腿抬起的欧拉角度，以及手相对于身体中心的偏移欧拉角度，同时计算人体相对于图像一侧的相对位置。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现了如权利要求1-7任一项所述的基于视觉感知的人体四肢角度检测方法的步骤。10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现了如权利要求1-7任一项所述的基于视觉感知的人体四肢角度检测方法的步骤。

技术总结
本发明属于计算机视觉技术领域，提供了一种基于视觉感知的人体四肢角度检测方法及系统，本发明基于光学图像通过姿态检测模型以自低向顶的检测方式进行肢体关键点检测，并通过关键点实现四肢角度识别的实时检测，能够直接计算得到上臂抬起的欧拉角度、腿抬起的欧拉角度，以及手相对于身体中心的偏移欧拉角度，同时包含人体在光学图像画面中的相对位置以及人体双手抓握物品时双手位置与人体头部以及头部与地面垂直直线的欧拉角；最后，将四肢角度检测的方法应用于两个体感交互场景，并验证了本发明中方法的准确性与实时性。了本发明中方法的准确性与实时性。了本发明中方法的准确性与实时性。


技术研发人员：王琳 李宜兵 蒋鑫龙 冯理钊 王成成
受保护的技术使用者：中科乐听智能技术（济南）有限公司
技术研发日：2022.10.28
技术公布日：2023/2/3