一种多模态人体行为识别方法及相关设备与流程

技术特征：
1.一种多模态行为识别方法，其特征在于，所述方法包括：获取视频数据中待处理对象的骨架序列信息和光流图像；对所述骨架序列信息进行静态特征和动态特征提取，得到骨架模态特征；所述骨架模态特征能够表征所述待处理对象的不同骨骼与不同关节之间的依赖关系；对所述光流图像进行特征提取，得到光流模态特征；所述光流模态特征能够表征所述待处理对象在相邻视频帧之间的动态信息；基于耦合机制，对所述骨架模态特征和所述光流模态特征进行编码融合处理，得到多模态融合特征向量；依据所述多模态融合特征向量，获得所述视频数据中所述待处理对象的行为识别结果。2.根据权利要求1所述的方法，其特征在于，所述对所述骨架序列信息进行静态特征和动态特征提取，得到骨架模态特征，包括：将所述骨架序列信息输入骨架模态特征提取模型，输出骨架模态特征；其中，所述骨架模态特征提取模型基于多视角多流图卷积神经网络训练得到，以学习样本对象的不同骨骼与不同关节之间的依赖关系；所述多视角包括骨骼视角和关节视角；所述多流包括不同视角下的静态信息和动态信息。3.根据权利要求2所述的方法，其特征在于，所述多视角多流图卷积神经网络包括不同视角图卷积神经网络，以及相应视角下的多流图卷积神经网络，所述将所述骨架序列信息输入骨架模态特征提取模型，输出骨架模态特征，包括：将所述骨架序列信息输入图卷积神经网络，得到所述视频数据中不同视频帧包含的所述待处理对象的关节图信息和骨骼图信息；获取所述关节图信息中相邻关节的关节静态位置信息，以及所述骨骼图像信息中相邻骨骼的骨骼静态位置信息；利用所述关节静态位置信息，获得所述相邻关节各自的关节速度和关节加速度；利用所述骨骼静态位置信息，获得所述相邻骨骼各自的骨骼速度和骨骼加速度；对同一视频帧包含的所述关节静态位置信息、所述关节速度、所述关节加速度、所述骨骼静态位置信息、所述骨骼速度以及所述骨骼加速度进行融合处理，得到所述待处理对象的骨架模态特征。4.根据权利要求1所述的方法，其特征在于，所述对所述光流图像进行特征提取，得到光流模态特征，包括：将所述光流图像输入光流模态特征提取模型，输出光流模态特征；其中，所述光流模态特征提取模型基于二维残差卷积神经网络训练得到。5.根据权利要求1所述的方法，其特征在于，所述基于耦合机制，对所述骨架模态特征和所述光流模态特征进行编码融合处理，得到多模态融合特征向量，包括：将所述骨架模态特征和所述光流模态特征输入深度耦合自动编码器模型进行多模态融合处理，输出多模态融合特征向量；其中，在所述深度耦合自动编码器模型的训练过程中，基于骨架模态损失、光流模态损失以及平方差损失的总损失，实现网络参数调整；所述平方差损失是指基于耦合机制得到的骨架模态编码向量与光流模态编码向量之间的差异损失。
6.根据权利要求1所述的方法，其特征在于，所述依据所述多模态融合特征向量，获得所述视频数据中所述待处理对象的行为识别结果，包括：利用极限学习机对所述多模态融合特征向量进行分类识别，得到所述视频数据中所述待处理对象的行为识别结果。7.根据权利要求1-6任一项所述的方法，其特征在于，所述获取视频数据中待处理对象的骨架序列信息和光流图像，包括：获取第一多模态传感器采集的各视频帧中待处理对象的不同关节的三维坐标数据；由所述各视频帧中不同关节的所述三维坐标数据，构建所述待处理对象的骨架序列信息；对相邻视频帧进行光流运算，得到所述待处理对象的光流图像。8.一种多模态行为识别装置，其特征在于，所述装置包括：多模态信息获取模块，用于获取视频数据中待处理对象的骨架序列信息和光流图像；骨架模态特征提取模块，用于对所述骨架序列信息进行静态特征和动态特征提取，得到骨架模态特征；所述骨架模态特征能够表征所述待处理对象的不同骨骼与不同关节之间的依赖关系；光流模态特征提取模块，用于对所述光流图像进行特征提取，得到光流模态特征；所述光流模态特征能够表征所述待处理对象在相邻视频帧之间的动态信息；多模态融合处理模块，用于基于耦合机制，对所述骨架模态特征和所述光流模态特征进行编码融合处理，得到多模态融合特征向量；行为识别模块，用于依据所述多模态融合特征向量，获得所述视频数据中所述待处理对象的行为识别结果。9.一种计算机设备，其特征在于，所述计算机设备包括：通信模块；存储器，用于存储实现如权利要求1-7任一项所述的多模态行为识别方法的程序；处理器，用于加载执行所述存储器存储的程序，以实现如权利要求1-7任一项所述的多模态行为识别方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征碍于，所述计算机程序被处理器加载执行，实现如权利要求1-7任一项所述的多模态行为识别方法。

技术总结
本申请提出了一种多模态人体行为识别方法及相关设备，为了避免通过图像泄露待处理对象的隐私，以及RGB图像展示的待处理对象特征受外界环境干扰，如待处理对象被遮挡，导致被遮挡区域特征无法获取等，本申请在采集到的视频数据后，将从中获取待处理对象的骨架序列信息和光流图像，之后，对骨架序列信息进行静态特征和动态特征提取，得到表征待处理对象的不同骨骼与不同关节之间的依赖关系，且提取光流图像中的光流模态特征，基于耦合机制融合得到多模态融合特征向量后，据此进行行为识别，可以得到高准确率和可靠性的行为识别结果。以得到高准确率和可靠性的行为识别结果。以得到高准确率和可靠性的行为识别结果。


技术研发人员：张信明 郑辉
受保护的技术使用者：中国科学技术大学
技术研发日：2021.11.10
技术公布日：2022/1/6