一种基于双视角协同的人体骨架姿态行为识别方法

本发明具体涉及一种基于双视角协同的人体骨架姿态行为识别方法。

背景技术：

1、随着工业智能化与安全生产信息化的不断推进，人体动作识别已经成为智能监控与工业安全监管领域的关键技术。在冶金、矿山、铜厂底吹炉这类高危作业场景当中，工人的不安全行为极易引发熔融金属喷溅等重大安全事故，因此对人员行为开展实时监测预警，对于提升生产安全管控水平有着十分重要的现实意义。传统的工业安全监管模式主要依靠人工巡检以及普通视频分析手段，人工巡检不仅劳动强度大，实时性也较差，容易出现漏检、误报的情况，很难实现车间环境下不间断的连续监管。目前主流的动作识别技术主要分为两类，一类是基于rgb视频图像的行为识别，依靠画面外观特征完成识别任务，不过该方法容易受到光照、背景干扰、物体遮挡以及摄像机视角的影响，在复杂工业环境下识别精度与运行稳定性难以得到保障。另一类是基于人体骨架序列的行为识别，依托人体关键点表征人体运动状态，相较于rgb图像识别方法，具备抗背景干扰、计算开销小、对光照条件不敏感等优势，是当前该方向的研究热点，不过即便如此，骨架识别方案在真实复杂工业环境落地过程中依旧面临诸多现实难题。

2、单目摄像头本身存在视角固有的局限性，会产生监测盲区。在铜厂底吹炉车间现场，设备、工件、作业人员之间的相互遮挡，以及肢体自遮挡现象时常发生，会造成人体关键点丢失、骨架数据残缺。同时工业现场光照分布不均、镜头抖动、目标尺度发生变化等情况，还会引发关键点漂移与抖动问题，直接降低动作识别的准确率。虽然已有不少研究引入多摄像头方案来弥补单视角的缺陷，但现有的多相机融合算法依旧难以适配复杂工业作业场景。现有方案大多采用统一的融合策略处理各个视角的采集信息，没有针对不同程度的遮挡建立差异化处理机制，轻微遮挡与重度遮挡下的数据质量差异较大，却使用相同的计算逻辑，遮挡情况严重的视角数据会对最终识别结果造成干扰。同时现有算法缺少递进式的兜底决策机制，当全部视角都出现严重遮挡、有效信息大量缺失的时候，算法要么输出可信度很低的识别结果，甚至会出现系统运行异常，无法在信息不足的条件下输出合理的安全判断，此外现有方案也没有建立视角优先级与状态驱动相结合的动态决策机制，大多将各个视角的数据同等对待，或是简单依靠置信度做筛选，没有结合现场业务特点区分不同视角的信息价值，也不能根据各视角实时遮挡状态动态调整融合决策逻辑，静态固定的融合规则难以适配现场多变的工况。

3、出现上述技术问题，表层直接原因来自工业现场恶劣的作业环境，遮挡、光照波动、镜头抖动、目标尺度变化会造成人体关键点检测漂移、丢失，造成骨架序列残缺，而单视角硬件本身存在物理视野盲区，各类物体和人员都会进一步加剧遮挡问题。更深层的算法层面根源在于，现有算法没有对遮挡等级进行量化建模，没有区分轻遮挡与重遮挡场景设计对应处理逻辑，低质量的遮挡数据参与融合运算，会拉低整体识别效果。多数现有研究都是在理想数据集条件下完成验证，缺少针对极端工况的容错设计，没有考虑全部视角严重遮挡的失效场景，也没有设计信息不足情况下的降级输出方案。同时算法没有结合工业场景的业务特性做动态调度，没有充分利用不同视角之间的信息价值差异，依旧沿用静态融合规则，场景适配能力不足。从业务场景角度来看，铜厂底吹炉属于高危复杂工业现场，并非实验室理想环境，作业人员姿态变化频繁，各类遮挡属于常态，系统不仅要保证正常工况下识别准确，还需要在信息缺失的恶劣工况下保障安全预警的可靠性，而传统算法大多面向普通安防场景开发，并未针对高危工业场景下遮挡变化、信息缺失的极端工况开展专门设计。基于人体骨架的动作识别技术十分适用于工业安全监管工作，但单视角感知存在物理遮挡盲区，现有的多视角融合算法又缺少遮挡分级处理、极端工况兜底机制以及视角状态动态决策机制。产生这一系列矛盾，一方面来源于工业现场复杂环境带来的感知干扰，另一方面是现有算法大多建立在理想条件之上，缺乏应对实际情况的措施，没有针对高危工业场景下遮挡变化、信息缺失的极端工况构建分层动态的处理逻辑。

4、总之，现有多视角动作识别方法缺乏基于遮挡等级的差异化处理、缺乏分层递进式兜底机制、缺乏视角优先级驱动决策、关键点补全精度不足以及计算效率低的问题，铜厂底吹炉场景中动作识别面临易受遮挡影响、跨视角人员匹配困难和骨架关键点抖动严重、时序特征提取能力有限以及实时性较差的情况未能有精准的兼顾彻底解决的处理方式。

技术实现思路

1、为克服现有技术所存在的缺陷，现提供一种基于双视角协同的人体骨架姿态行为识别方法，以解决上述问题。

2、一种基于双视角协同的人体骨架姿态行为识别方法，采集正面视角与侧面视角的原始视频图像作为目标数据，将目标数据经过时间同步单元时序校准计算得到时间戳相互对齐的双视角图像序列，将双视角图像序列分别送入对应视角的人体姿态估计模型中进行姿态特征提取处理后得到正面人体关键点数据和侧面人体关键点数据；将正面人体关键点数据和侧面人体关键点数据通过跨视角人员匹配对齐模块进行目标匹配与坐标融合处理后得到统一坐标系下同一人员的联合姿态数据；将联合姿态数据通过遮挡等级评估模块进行关键点缺失程度计算后得到人体目标的遮挡等级，基于遮挡等级通过五层递进式调度模块进行动态分配计算完成与按需驱动关键点补全模块与动作识别网络模块相结合的识别过程，将识别过程得到的动作类别作为判定条件完成人员行为安全的判别过程。

3、作为优选方案：正面视角与侧面视角的原始视频图像的采集过程为将摄像设备分别安装于实际工业作业区域的侧方位置和正后方位置形成侧面采集视角和正面采集视角，按预定视频分辨率、视频帧率、视频编码格式下采集正面视角与侧面视角的原始视频图像；

4、将采集正面视角与侧面视角的原始视频图像作为目标数据，将目标数据经过时间同步单元时序校准计算得到时间戳相互对齐的双视角图像序列的过程为通过摄像设备同步采集并获取工作人员动作视频序列，确保两个摄像设备采集的图像帧在时间上处于对齐状态，同步采集通过硬件触发信号或网络时间协议确保采集帧率一致形成对应的时间戳相互对齐的双视角图像序列。

5、作为优选方案：将双视角图像序列分别送入对应视角的人体姿态估计模型中进行姿态特征提取处理后得到正面人体关键点数据和侧面人体关键点数据的过程为：

6、分别对正面视角视频图像和侧面视角视频图像进行人体检测与姿态估计处理，分别提取正面视角视频图像和侧面视角视频图像的每一帧图像中每个人体的骨架数据，骨架数据包括各关节点的二维坐标及对应的关节点置信度分数，采用yolo-pose人体姿态估计算法对人体进行关键点检测后得到正面人体关键点数据和侧面人体关键点数据，通过正面人体关键点数据和侧面人体关键点数据的坐标信息构建骨骼数据集，骨骼数据集包括头部、肩部、肘部、手腕、髋部、膝部、踝部，得到各关节点的位置坐标和置信度分数，构建人体骨架序列为：

7、

8、上式中，c为坐标维度；t为时间帧长度；v为关节点数量；m表示人体目标数量。

9、作为优选方案：将正面人体关键点数据和侧面人体关键点数据通过跨视角人员匹配对齐模块进行目标匹配与坐标融合处理后得到统一坐标系下同一人员的联合姿态数据的过程为：

10、基于正面人体关键点数据和侧面人体关键点数据，对同一时刻下正面视角检测到的各个人体与侧面视角检测到的各个人体进行跨视角匹配处理，通过跨视角匹配处理建立人员对应关系，跨视角匹配处理过程为：

11、针对每个人体骨架，计算每个人体骨架的骨骼结构不变性特征向量，骨骼结构不变性特征向量包括各骨骼段长度与躯干长度的比值、各关节角度的余弦值，骨骼结构不变性特征向量基于骨架的几何比例关系得出，骨骼结构不变性特征向量为不受视角变化和图像坐标系变换的影响的跨视角匹配的鲁棒特征；

12、计算正面视角中每个人体与侧面视角中每个人体之间的特征相似度矩阵，特征相似度矩阵采用余弦相似度或欧氏距离度量计算得出；

13、将计算得到的特征相似度矩阵采用匈牙利算法进行最优匹配处理，在最优匹配处理中，当正面视角与侧面视角中属于同一物理人员的骨架对时，表明每个人体分配唯一的人员标识符对应匹配成功；

14、对已匹配的人员，利用卡尔曼滤波对已匹配的人员在连续帧中的位置进行追踪，当人员短暂离开视野后重新进入时，则对应保持其人员标识符不变；

15、当骨骼关节点严重缺失时，对应退化为仅基于安全帽位置的快速匹配处理即可；

16、当人员头部的关键点可见时，以鼻子或头部关键点近似计算安全帽中心位置；

17、从而完成通过目标匹配与坐标融合处理后的统一坐标系下同一人员的联合姿态数据。

18、作为优选方案：将联合姿态数据通过遮挡等级评估模块进行关键点缺失程度计算后得到人体目标的遮挡等级的过程为：

19、获取统一坐标系下同一人员的联合姿态数据后，依据侧面视角的关节点置信度分布评估遮挡等级，遮挡等级至少包括清晰、轻微遮挡和严重遮挡三个等级，当遮挡等级为严重遮挡时，直接采用正面视角骨架数据进行动作识别，同时在侧面视角图像上叠加显示该人员的动作信息；

20、计算各视角的遮挡等级，提取的关节点置信度分数，分别计算侧面视角和正面视角的遮挡等级；

21、计算各视角下可见关键点数量，对应计算公式为：

22、

23、上式中，是指示函数，为第个关节点的置信度分数，为预设的有效检测阈值，当时取值为1，否则为0；

24、当时，则对应判定为清晰等级；

25、当时，则对应判定为轻遮挡等级；

26、当判定为严重遮挡等级时，为第一预设阈值，为第二预设阈值；

27、平均关节置信度作为补充验证指标，平均关节置信度的计算公式为：

28、；

29、当时，则对应判定为清晰等级；

30、当时，则对应判定为轻微遮挡等级；

31、当时，则对应判定为严重遮挡等级；

32、当遮挡等级为清晰时，直接使用原始侧面视角骨架数据；

33、当遮挡等级为轻微遮挡时，执行关键点补全操作，执行关键点补全操作过程为利用同一人员的正面视角骨架数据经视角映射后作为先验，结合人体骨骼结构约束，对侧面视角骨架中被遮挡的关键点进行补全，得到补全后的侧面视角骨架数据；

34、遮挡等级评估模块首先获取同一人员正面视角的完整关键点或部分关键点，当摄像设备已标定时，利用基础矩阵将正面的被遮挡关节点映射至极线，结合躯干对齐得到初始值；当摄像设备未标定时，则通过躯干尺度归一化对齐获得初始值，随后构建优化目标函数，目标函数的表达式为：

35、；

36、上式中，为待求的侧面全关键点坐标，为数据项；为先验项；为骨骼约束项；为对称项；为角度约束项；，为先验项的权重系数；为骨骼约束项的权重系数；为对称项的权重系数；为角度约束项的权重系数；

37、；

38、上式中，为原始置信度，为高置信度可见点集，是一个待优化的变量，表示侧面视角下第i个关节点的估计坐标，为侧面视角实际检测到的关键点，也为侧面视角实际检测到的可见点；

39、；

40、上式中，为正面映射点的位置，为被遮挡点集；

41、；

42、上式中，为人体骨骼边集合，表示侧面视角下第j个关节点的待求坐标，也为侧面视角下第j个关节点的估计坐标，为骨长先验值；

43、；

44、上式中，为对称关节对；为关于躯干中轴线的镜像函数；

45、采用l-bfgs算法迭代求解，输出补全后坐标，置信度设为原遮挡点置信度取0.5或根据残差动态调整；

46、将处理后的侧面视角骨架数据与正面视角骨架数据分别输入第一动作识别网络和第二动作识别网络，并行或串行执行动作识别推理，分别输出侧面视角动作识别结果和正面视角动作识别结果；

47、建立人体骨骼图模型，包含关节点连接关系、骨骼长度先验值以及左右对称关节点索引，将正面视角的可见关键点通过已标定极线约束或未标定下的躯干对齐变换，映射到侧面视角，生成被遮挡点的初始推测位置，构建目标函数，目标函数包括侧面视角可见高置信度关键点的坐标保真项、被遮挡点与初始推测的偏差项、骨骼长度刚性约束项、左右对称性约束项以及关节角度范围惩罚项，目标函数以初始推测为起点，通过非线性最小二乘算法求解后得到补全后的侧面视角关键点坐标。

48、作为优选方案：基于遮挡等级通过五层递进式调度模块进行动态分配计算完成与按需驱动关键点补全模块与动作识别网络模块相结合的识别过程为：

49、五层递进式调度模块包括第一层侧面视角优先处理、第二层正面视角回退处理、第三层时序外推预测处理、第四层人体对称性补全处理和第五层输出识别失败信号处理；

50、第一层侧面视角优先处理，判断侧面视角的遮挡等级，当遮挡等级为清晰等级时，则直接将侧面视角的骨架数据输入动作识别网络中得到识别结果；当遮挡等级为轻微遮挡等级时，则启动关键点补全模块即可；

51、第二层正面视角回退处理，当侧面视角的遮挡等级为严重遮挡等级时，则对应判断正面视角的遮挡等级，当正面视角为清晰或轻微遮挡等级时，将正面视角的骨架数据输入动作识别网络，得到识别结果，当正面视角也为严重遮挡等级时，则对应进入下一层处理工序；

52、第三层时序外推预测处理，当双视角的遮挡等级均为严重遮挡等级时，判断是否存在当前时刻之前的有效骨架序列，即过去t_frame内至少有一帧的骨架数据可用，对应的判定过程为：

53、当存在当前时刻之前的有效骨架序列时，则基于有效骨架序列采用卡尔曼滤波进行时序外推，卡尔曼滤波预测包括以历史帧中各关节点的位置和速度为状态变量，建立线性运动模型，线性运动模型对应的计算公式为：

54、；

55、；

56、上式中，为t时刻的包含位置和速度的状态向量，为状态转移矩阵，为过程噪声协方差矩阵，为观测矩阵，为观测噪声协方差矩阵，通过预测、更新迭代处理，得到当前帧各关节点的最优估计位置数据，将预测得到的骨架数据输入动作识别网络中得到识别结果，当不存在有效骨架序列或时序外推的置信度低于预设阈值时则对应进入下一层处理工序；

57、第四层人体对称性补全，判断是否存在至少一个视角下的单侧肢体可见骨架，当存在至少一个视角下的单侧肢体可见骨架时，基于人体左右对称性对缺失侧肢体进行镜像补全处理，即以人体躯干中心线为对称轴，将可见侧肢体的关节点位置沿对称轴进行镜像映射，对应的公式为：

58、；

59、即缺失侧关节点的补全位置 = 可见侧对应关节点位置 + (躯干中心位置 - 可见侧对应关节点位置) × (-1)；

60、将补全后的骨架数据输入动作识别网络中得到识别结果，当单侧肢体可见骨架不存在时，则对应进入下一层处理工序；

61、第五层输出识别失败信号，输出动作识别失败信号，识别失败信号包括动作类别标签为unknown、置信度为0、失败原因为双视角严重遮挡、调整摄像头角度或清除遮挡物。

62、作为优选方案：将识别过程得到的动作类别作为判定条件完成人员行为安全的判别过程为：

63、当动作类别为规范吹扫冷却时，对应表明人员安全处于受控状态，对应采取保持现状，继续监控燃烧物冷却情况的处理方式；

64、当动作类别为违规吹扫冷却时，对应表明人员行为安全处于高度危险状态，对应采取立即关闭气源阀门，停止吹扫的处理方式；

65、当动作类别为规范观察燃烧物情况，对应表明人员安全处于受控状态，对应采取保持现状，持续监控燃烧物反应及周边环境变化的处理方式；

66、当动作类别为违规观察，对应表明人员行为安全处于高度危险状态，对应采取立即叫停作业并纠正人员站位的处理方式；

67、当动作类别为规范协同锤击，对应表明人员安全处于受控状态，对应采取保持现状，保持当前作业节奏的处理方式；

68、当动作类别为违规锤击，对应表明人员行为安全处于高度危险状态，对应采取立即叫停作业，撤出危险区的处理方式；

69、当动作类别为规范操作面罩，对应表明人员安全处于受控状态，对应采取保持良好操作习惯，确认面罩镜片清洁、视野清晰的处理方式；

70、当动作类别为违规操作面罩，对应表明人员行为安全处于高度危险状态，对应采取立即叫停作业，责令人员退至安全区域，重新规范佩戴面罩的处理方式；

71、当动作类别为规范操作内门，对应表明人员安全处于受控状态，对应采取保持现状，缓慢开启或关闭内门，注意观察内部状况的处理方式；

72、当动作类别为违规操作内门，对应表明人员行为安全处于高度危险状态，对应采取立即叫停作业，退至安全距离的处理方式。

73、本发明的有益效果在于：

74、本发明为多层递进的精准适配式识别方法，本发明将目标数据进行计算得到时间戳相互对齐的双视角图像序列后，将双视角图像序列分别送入对应视角的人体姿态估计模型中得到正面人体关键点数据和侧面人体关键点数据，再通过跨视角人员匹配对齐模块进行目标匹配与坐标融合处理后得到统一坐标系下同一人员的联合姿态数据；将联合姿态数据通过遮挡等级评估模块进行关键点缺失程度计算后得到人体目标的遮挡等级后，基于遮挡等级通过五层递进式调度模块进行动态分配计算完成与按需驱动关键点补全模块与动作识别网络模块相结合的识别过程，从而形成人员行为安全的分类判别过程，本发明能够兼备解决铜厂底吹炉场景中动作识别面临易受遮挡影响、跨视角人员匹配困难和骨架关键点抖动严重、时序特征提取能力有限以及实时性较差的问题。

75、本发明主要是构建五层递进式处理机制，实现从最佳状态到最差状态的全覆盖鲁棒识别，通过建立五层递进式处理机制，实现从最佳状态到最差状态的全覆盖鲁棒识别过程，通过关键点补全模块形成在铜厂底吹炉场景中出现轻微遮挡时，能够根据人体结构进行关键点补全的处理过程，本发明能够提高复杂工业场景下危险行为识别的准确性与稳定性，实现工业危险行为的实时智能监测与预警。