一种人体动作识别方法及装置

本发明涉及计算机视觉与模式识别领域，具体地，涉及一种人体动作识别方法及装置。

背景技术：

1、人体动作识别是计算机视觉领域的重要研究方向，旨在从视频或图像序列中自动识别和理解人体的行为动作。随着深度学习技术的发展，基于卷积神经网络的目标检测和动作识别方法在受控环境下已取得较高准确率。

2、然而，在真实环境（如商场、医院、养老院等公共空间）中，人体动作识别仍面临以下挑战：其一，拍摄距离和角度多变导致画面中人体目标尺度差异大，远距离小目标人体特征难以有效提取；其二，复杂背景和人群遮挡造成特征干扰，传统特征融合方式难以充分整合多尺度信息；其三，现有模型通常采用统一的检测和识别策略，无法结合具体应用场景（如医疗康复）的先验信息进行针对性优化，导致识别结果缺乏场景语义层级，实用性受限。

3、因此，亟需一种能够在真实复杂环境下高效、准确地进行人体动作识别，并能与场景先验信息结合的技术方案。

技术实现思路

1、为实现在真实复杂环境下准确的完成人体动作识别，本发明提供了一种人体动作识别方法，所述人体动作识别方法包括以下步骤：

2、获得包含一个或多个识别目标的视频数据，对所述视频数据进行预处理，得到输入图像序列；

3、将所述输入图像序列输入特征提取网络，获得第一特征图；其中，所述特征提取网络包括浅层特征层和中层特征层；

4、将所述第一特征图中的特征层进行融合，获得第二特征图；

5、将所述第二特征图输入检测头，所述检测头用于对所述第二特征图中的每一幅特征图进行重标定，并根据重标定结果对所述第二特征图进行加权处理，获得第三特征图；

6、对所述第三特征图进行处理，获得第一行为数据。

7、本发明所提供的人体动作识别方法，在特征提取网络上舍弃了用于大目标检测的最深层，保留浅层和中层特征并进行融合能够使计算资源集中于中小尺度，提高对于小目标检测的准确性；同时，通过检测头对第二特征图中的每幅特征图进行重标定，通过注意力机制在通道和/或空间维度对特征图进行加权，实现了对背景噪声的抑制，进一步提升被遮挡和小尺度人体的识别准确率。

8、进一步的，传统多尺度特征融合通常采用直接拼接的方式，将不同分辨率的特征图在通道维度简单叠加，这容易导致不同层特征在同一空间位置上产生信息冲突——例如浅层特征判断某区域为背景而深层特征判断为目标，直接拼接会使冲突信息同时保留，影响后续分类精度。为了解决这一问题，所述人体动作识别方法中，对所述第三特征图进行处理的具体方法为：

9、通过空间特征融合模块对所述第三特征图进行融合，获得融合特征图；

10、根据所述融合特征图对所述识别目标进行分类，获得第一行为数据。

11、进一步的，传统检测头通常采用固定的卷积权重、规则的采样位置和统一的通道分配，难以自适应处理画面中大小不一、位置各异、姿态多变的人体目标——尤其是在密集人群场景中，固定采样位置容易引入大量背景噪声，固定通道分配难以同时优化检测和分类两个任务。为了提升检测头对多变目标的自适应能力，所述检测头为动态检测头，所述动态检测头根据所述第二特征图调整尺度权重、采样位置和任务通道中的一项或多项。

12、进一步的，目标检测网络通常需要预设一组固定尺寸的锚框作为检测参考，为了使所述锚框与人体动作识别的特定场景（如监控视角、无人机视角等）下的真实人体目标尺寸分布统一，进而提高锚框与真实目标框的初始匹配度，解决真实识别场景中目标定位回归困难、模型收敛慢的问题，所述方法还包括：

13、获得人体目标的尺寸分布数据，对所述尺寸分布数据进行聚类分析，获得第一数据，所述第一数据用于描述人体目标的锚框尺寸和宽高比；

14、将所述第一数据配置于所述检测头。

15、进一步的，在真实环境中，需要识别的目标人体常被物体或他人遮挡、被画面边缘截断，导致后续用于动作识别的人体关键点检测结果（即人体骨架序列）缺失部分关节点。这会直接影响后续动作分类的可靠性和连续性。为了解决这一问题，所述人体动作识别方法中，所述输入图像序列包括人体姿态数据，对所述视频数据进行预处理的具体方法为：

16、识别所述视频数据中的人体关键点，生成第一人体姿态数据；

17、对所述人体姿态数据进行补全和/或筛选，获得第二人体姿态数据；

18、获得所述第三特征图后，根据所述第二人体姿态数据对所述第三特征图进行处理，获得第一行为数据。

19、进一步的，在深层卷积神经网络中，特征信息在逐层卷积和池化的过程中会逐渐退化，低层的细节信息（如边缘、纹理、精确位置）难以有效传递到后续的特征融合层，导致小目标和精细动作特征丢失。为了减少特征信息在深层网络传输过程中的退化和丢失，所述特征提取网络与特征融合网络之间设置有跨层连接，通过所述跨层连接将所述特征提取网络中指定层的特征图直接旁路传输至所述特征融合网络的对应层，以减少特征信息在传输过程中的丢失。

20、进一步的，yolo（you only look once）是一种单阶段目标检测网络架构，将目标边界框回归和类别分类统一在一个端到端的网络中完成，无需先生成候选区域再进行分类，因此具有推理速度快、适合实时处理的优势。为了兼顾检测速度和准确率，所述特征提取网络和/或所述检测头基于yolo网络架构实现。

21、进一步的，在医院、养老院等场景中，基于计算机视觉的人体动作识别能够有效的辅助工作人员完成对识别目标的观察或护理，在此类场景下，根据应用中的先验信息对识别结果进行优化能够赋予人体动作识别结果真实语义特征，进一步提高人体动作识别的实用性。为此，所述人体动作识别方法还包括：

22、获得与所述识别目标对应的诊疗数据；

23、将所述诊疗数据与所述第一行为数据进行匹配，根据所述诊疗数据对所述第一行为数据进行分级，获得第二行为数据。

24、进一步的，在医院、养老院等场景中，为了进一步提高识别精度，需要根据诊疗数据引导模型关注识别目标与诊疗数据所匹配的身体部位，提高该些部位的识别精度（例如，膝关节术后人体的下肢、脑卒中患者的上肢），实现针对性的精准识别，进一步提高了人体动作识别结果的实用性。由此，所述人体动作识别方法还包括：

25、根据所述诊疗数据对所述第三特征图进行加权处理，获得第四特征图；

26、对所述第四特征图进行处理，获得第三行为数据。

27、进一步的，医疗康复场景中的诊疗评估（如康复阶段、病情状态）通常依赖医护工作人员人工更新，滞后于患者实际行为变化，难以及时发现异常行为波动，且评估缺乏客观量化数据支撑，诊疗信息与识别结果之间是单向关系，未形成闭环。为了及时发现患者行为异常变化并自动更新诊疗评估状态，形成识别结果与诊疗信息的闭环反馈，所述人体动作识别方法还包括：

28、获得所述第二行为数据对应的行为特征数据，所述行为特征数据包括行为类型、行为频次、行为时长和行为幅度特征；

29、根据所述诊疗数据判断所述行为特征数据是否偏离预设阈值，获得判断结果；

30、根据所述判断结果更新所述诊疗数据。

31、为实现上述目的，本发明还提供了人体动作识别装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一个所述人体动作识别方法的步骤。

32、本发明提供的一个或多个技术方案，至少具有以下技术效果或优点：

33、（1）通过引入注意力机制模块，使特征识别网络聚焦关键区域和重要通道，有效抑制真实识别场景中的复杂背景噪声，提升被遮挡和小尺度人体目标的特征提取能力；

34、（2）通过移除大目标深层特征层并融合中小尺度特征层，在减少模型参数量和计算量的同时，进一步强化对小目标的检测灵敏度；

35、（3）使用自适应空间特征融合替代直接拼接，自适应平衡各尺度特征贡献，解决了不同层间的信息冲突，提升了复杂场景下的识别鲁棒性；

36、（4）使用动态检测头统一尺度、空间和任务三维注意力，自适应处理不同大小、位置和姿态的人体目标，提升密集人群场景下的识别性能；

37、（5）结合诊疗信息实现对识别目标的不同区域进行针对性关注并对识别结果进行重要性分级，使识别结果在医疗康复场景中具有良好的实用性；通过识别结果继续更新诊疗信息，实现诊疗评估的动态迭代更新，进一步提升了本发明所提供的方法在医疗康复场景中的实用价值。