行为识别方法、装置、存储介质及电子设备与流程

技术特征：
1.一种行为识别方法，其特征在于，包括：获取目标对象的多项骨骼数据特征；使用分支位移卷积子网络对所述多项骨骼数据特征进行分支处理得到多项特征映射；通过融合位移卷积子网络将所述多项特征映射进行主流融合得到特征向量；利用全连接层根据所述特征向量进行识别得到所述目标对象的行为信息。2.根据权利要求1所述的行为识别方法，其特征在于，所述获取目标对象的多项骨骼数据特征，包括：获取摄像头按照预设帧率集采集的预设时间内的图像数据；检测每一帧所述图像数据中所述目标对象的骨骼关键点以得到所述骨骼关键点序列；对所述骨骼关键点序列进行特征处理得到所述多项骨骼数据特征；其中，所述多项骨骼数据特征包括第一坐标系的骨骼关键点序列特征、第二坐标系的骨骼关键点特征、速度特征和骨架特征中的至少两项。3.根据权利要求1所述的行为识别方法，其特征在于，所述使用分支位移卷积子网络对所述多项骨骼数据特征进行分支处理得到多项特征映射，包括：将各项骨骼数据特征并行输入至与所述骨骼数据特征对应的预先训练好的所述分支位移卷积子网络，得到各项骨骼数据特征分别对应的特征映射；其中，所述分支位移卷积子网络利用批归一化层、位移图卷积初始块以及至少一个位移图卷积块依次串联构建而成。4.根据权利要求1所述的行为识别方法，其特征在于，所述通过融合位移卷积子网络将所述多项特征映射进行主流融合得到特征向量，包括：将所述多项特征映射统一输入至预先训练好的所述融合位移卷积子网络，得到所述特征向量；其中，所述融合位移卷积子网络利用至少一个位移图卷积块依次串联构建而成。5.根据权利要求3或4任一项所述的行为识别方法，其特征在于，所述位移图卷积块包括空间位移运算模块、空间逐点卷积模块、时间位移运算模块和时间逐点卷积模块。6.根据权利要求1所述的行为识别方法，其特征在于，所述方法还包括对所述分支位移卷积子网络、所述融合位移卷积子网络以及所述全连接层进行模型训练，所述模型训练包括：获取骨骼数据训练集以及所述骨骼数据训练集的行为标签；根据所述骨骼数据训练集构建原始输入图，并对所述原始输入图进行边删除得到目标输入图；基于所述目标输入图利用所述分支位移卷积子网络、所述融合位移卷积子网络以及所述全连接层进行识别得到识别行为信息；将所述识别行为信息与所述行为标签进行比对，以修改所述分支位移卷积子网络、所述融合位移卷积子网络以及所述全连接层的模型参数。7.根据权利要求6所述的行为识别方法，其特征在于，所述对所述原始输入图进行边删除得到目标输入图，包括：根据所述原始输入图中的位移关系构建原始邻接矩阵；基于所述原始邻接矩阵和预设的随机边保留率计算所述目标输入图对应的目标邻接矩阵；或者根据所述原始输入图中的位移关系构建注意力模板邻接矩阵；
基于所述注意力模板邻接矩阵以及预设的自适应边删除参数计算所述原始输入图各边的边保留概率；根据所述边保留概率获取所述目标输入图对应的目标邻接矩阵。8.一种行为识别装置，其特征在于，包括：获取模块，用于获取目标对象在预设时间内的多项骨骼数据特征；分支模块，用于使用分支位移卷积子网络对所述多项骨骼数据特征进行分支处理得到多项特征映射；融合模块，用于通过融合位移卷积子网络将所述多项特征映射进行主流融合得到特征向量；识别模块，用于利用全连接层根据所述特征向量进行识别得到所述目标对象的行为信息。9.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1至7任一项所述的行为识别方法。10.一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7任一项所述的行为识别方法。

技术总结
本公开涉及计算机技术领域，具体涉及行为识别方法、行为识别装置、存储介质及电子设备。该行为识别方法包括：获取目标对象的多项骨骼数据特征；使用分支位移卷积子网络对所述多项骨骼数据特征进行分支处理得到多项特征映射；通过融合位移卷积子网络将所述多项特征映射进行主流融合得到特征向量；利用全连接层根据所述特征向量进行识别得到所述目标对象的行为信息。本公开提供的行为识别方法能够解决现有技术中基于骨骼进行行为识别时计算量大的问题。问题。问题。


技术研发人员：邓玥琳 苏锦萍 刘岩 李驰 杨颜如
受保护的技术使用者：泰康保险集团股份有限公司
技术研发日：2021.10.21
技术公布日：2022/1/4