人体动作识别方法及装置、可读存储介质、电子设备与流程

技术特征：
1.一种人体动作识别方法，其特征在于，包括：提取待识别图像中包括的目标对象的人体骨骼点数据，并根据所述人体骨骼点数据计算人体骨骼数据；将人体骨骼点数据以及人体骨骼数据输入至骨骼点分类模型中，得到第一动作分类结果；将所述待识别图像输入至图像分类模型中，得到第二动作分类结果；对第一动作分类结果以及第二动作分类结果进行融合，得到目标对象的人体动作类别。2.根据权利要求1所述的人体动作识别方法，其特征在于，所述骨骼点分类模型包括第一归一化层、第二归一化层、深度图网络模块、第一池化层、第二池化层、第一拼接层、第一全连接层以及支持向量机分类模型；其中，将人体骨骼点数据以及人体骨骼数据输入至骨骼点分类模型中，得到第一动作分类结果，包括：利用所述第一归一化层以及第二归一化层分别对所述人体骨骼点数据以及人体骨骼数据进行归一化处理，得到归一化的骨骼点数据以及归一化的骨骼数据；利用所述深度图网络模块对所述归一化的骨骼点数据以及归一化的骨骼数据进行处理，到骨骼点与骨骼之间的第一关联特征以及骨骼与骨骼点之间的第二关联特征；利用所述第一池化层以及第二池化层对第一关联特征以及第二关联特征进行降维处理，并通过所述第一拼接层对降维处理后的第一关联特征以及第二关联特征进行拼接得到第一拼接特征；通过所述第一全连接层将第一拼接特征映射至预设的动作类别上，并通过所述支持向量机分类模型确定每一个动作类别的概率，根据动作类别的概率，得到所述第一动作分类结果。3.根据权利要求2所述的人体动作识别方法，其特征在于，利用所述深度图网络模块对所述归一化的骨骼点数据以及归一化的骨骼数据进行处理，到骨骼点与骨骼之间的第一关联特征以及骨骼与骨骼点之间的第二关联特征，包括：利用所述深度图网络模块中包括第一爱因斯坦求和模块以及第二爱因斯坦求和模块对归一化的骨骼点数据以及归一化的骨骼数据进行求和运算，得到第一和运算结果以及第二和运算结果；利用所述深度图网络模块中包括的第二拼接层对所述第一和运算结果以及第二和运算结果进行拼接得到第二拼接特征，并对所述第二拼接特征进行重构维度处理以及维度换位处理，得到骨骼点以及骨骼的关联特征；对所述骨骼点以及骨骼的关联特征进行全连接处理以及维度换位处理，并对处理后的骨骼点以及骨骼的关联特征进行归一化处理以及激活处理，得到骨骼点与骨骼之间的第一关联特征以及骨骼与骨骼点之间的第二关联特征。4.根据权利要求1所述的人体动作识别方法，其特征在于，所述动作分类模块包括主干网络、颈部网络以及检测网络；其中，将所述待识别图像输入至图像分类模型中，得到第二动作分类结果，包括：利用所述主干网络中包括的聚集层对所述待识别图像进行下采样，并利用所述主干网
络中包括的第一卷积层对下采样结果进行卷积处理，得到所述待识别图像的局部特征；利用所述颈部网络对所述局部特征进行卷积处理、上采样处理以及拼接处理，得到所述待识别图像的全局特征；利用所述检测网络对所述全局特征进行卷积处理以及激活处理，得到所述第二动作分类结果。5.根据权利要求1所述的人体动作识别方法，其特征在于，所述人体动作识别方法还包括：获取历史人体姿态图像，并根据所述历史人体姿态图像以及所述历史人体姿态图像的实际姿态标签，构建数据集；其中，所述人体姿态图像包括跌倒姿态以及除跌倒姿态以外的其他姿态；提取所述数据集中的历史人体姿态图像的姿态骨骼点，并将所述姿态骨骼点输入至图卷积神经网络模型中，得到第一预测姿态标签；根据所述第一预测姿态标签以及实际姿态标签构建交叉熵损失函数，并利用所述交叉熵损失函数对所述图卷积神经网络模型进行训练，得到所述骨骼点分类模型。6.根据权利要求5所述的人体动作识别方法，其特征在于，所述人体动作识别方法还包括：对所述数据集中的历史人体姿态图像的实际姿态标签进行格式转换，并将所述数据集中的历史人体姿态图像输入至目标检测模型中，得到第二预测姿态标签；根据所述第二预测姿态标签以及格式转换后的实际姿态标签构建边框回归损失函数以及类别和置信度损失函数；利用所述边框回归损失函数以及类别和置信度损失函数对所述目标检测模型进行训练，得到所述图像分类模型。7.根据权利要求1所述的人体动作识别方法，其特征在于，对第一动作分类结果以及第二动作分类结果进行融合，得到目标对象的人体动作类别，包括：为所述第一动作分类结果以及第二动作分类结果配置第一权重以及第二权重；对所述第一动作分类结果、第一权重、第二动作分类结果以及第二权重进行加权求和，得到所述目标对象的人体动作分类结果。8.一种人体动作识别装置，其特征在于，包括：骨骼点数据提取模块，用于提取待识别图像中包括的目标对象的人体骨骼点数据，并根据所述人体骨骼点数据计算人体骨骼数据；第一分类结果计算模块，用于将人体骨骼点数据以及人体骨骼数据输入至骨骼点分类模型中，得到第一动作分类结果；第二分类结果计算模块，用于将所述待识别图像输入至图像分类模型中，得到第二动作分类结果；动作类别确定模块，用于对第一动作分类结果以及第二动作分类结果进行融合，得到目标对象的人体动作类别。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1
‑
7任一项所述的人体动作识别方法。10.一种电子设备，其特征在于，包括：
处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1
‑
7任一项所述的人体动作识别方法。

技术总结
本公开是关于一种人体动作识别方法及装置、可读存储介质、电子设备，涉及图像识别技术领域，该方法包括：提取待识别图像中包括的目标对象的人体骨骼点数据，并根据所述人体骨骼点数据计算人体骨骼数据；将人体骨骼点数据以及人体骨骼数据输入至骨骼点分类模型中，得到第一动作分类结果；将所述待识别图像输入至图像分类模型中，得到第二动作分类结果；对第一动作分类结果以及第二动作分类结果进行融合，得到目标对象的人体动作类别。本公开提高了人体动作类别的识别结果的准确率。体动作类别的识别结果的准确率。体动作类别的识别结果的准确率。


技术研发人员：杨颜如 刘岩 李驰 邓玥琳 贾晨
受保护的技术使用者：泰康保险集团股份有限公司
技术研发日：2021.08.11
技术公布日：2021/10/23