人体运动动作识别方法、系统及存储介质

技术特征：
1.一种人体运动动作识别方法，其特征在于，包括以下步骤：构建局部与非局部时空图卷积单元；其中，所述局部与非局部时空卷积单元包括局部路径和非局部路径，所述局部路径和所述非局部路径的输入端均与所述局部与非局部时空图卷积单元输入端连接，将所述局部路径的输出和所述非局部路径的输出进行聚合作为所述局部与非局部时空图卷积单元的输出；将骨架图序列输入所述局部与非局部时空图卷积单元提取得到第一时空特征；将所述第一时空特征输入全局平均池化层，得到第二时空特征；将所述第二时空特征依次输入全连接层和分类器预测得到识别结果。2.根据权利要求1所述的人体运动动作识别方法，其特征在于，所述构建局部与非局部时空图卷积单元，包括：构建局部时空域；根据所述局部时空域构建跨时空跳跃连接边；对所述跨时空跳跃连接边进行时空卷积构建得到局部卷积模块；根据所述局部卷积模块构建所述局部路径。3.根据权利要求2所述的人体运动动作识别方法，其特征在于，所述构建局部与非局部时空图卷积单元，还包括：构建非局部时空图卷积模块；构建多尺度时间图卷积模块；根据所述非局部时空图卷积模块和所述多尺度时间图卷积模块构建所述非局部路径；其中，所述非局部时空图卷积模块的输入端与所述局部与非局部时空图卷积单元的输入端连接，所述非局部时空图卷积模块的输出端与所述多尺度时间图卷积模块的输入端连接，将所述多尺度时间图卷积模块的输出作为所述非局部路径的输出。4.根据权利要求3所述的人体运动动作识别方法，其特征在于，所述构建非局部时空图卷积模块，包括：根据所述骨架图序列构建非局部空间图特征；构建掩码矩阵；通过第一激活函数处理所述掩码矩阵，得到第一掩码数据；根据所述第一掩码数据和所述非局部空间图特征构建得到所述非局部时空图卷积模块。5.根据权利要求3所述的人体运动动作识别方法，其特征在于，所述多尺度时间图卷积模块包括扩张卷积子模块、卷积子模块以及池化卷积子模块，所述扩张卷积子模块、所述卷积子模块以及所述池化卷积子模块的输入端均与所述非局部时空图卷积模块的输出端连接，所述扩张卷积子模块、所述卷积子模块以所述池化卷积子模块的输出端连接。6.根据权利要求5所述的人体运动动作识别方法，其特征在于，所述扩张卷积子模块包括卷积操作层、第一移位操作层、逐点卷积层以及第二移位操作层，所述卷积操作层、所述第一移位操作层、所述逐点卷积层以及所述第二移位操作层依次连接；其中，所述扩张卷积子模块设置有4个，包括第一扩张卷积子模块、第二扩张卷积子模块、第三扩张卷积子模块以及第四扩张卷积子模块，所述第一扩张卷积子模块的逐点卷积层扩张率为1，所述第二扩张卷积子模块的逐点卷积层扩张率为2，所述第三扩张卷积子模块的逐点卷积层扩张率为
3，所述第四扩张卷积子模块逐点卷积层的扩张率为4。7.根据权利要求6所述的人体运动动作识别方法，其特征在于，所述局部与非局部时空图卷积单元包括第一局部与非局部时空图卷积单元、第二局部与非局部时空图卷积单元以及第三局部与非局部时空图卷积单元，所述第一局部与非局部时空图卷积单元的特征通道为96，所述第一局部与非局部时空图卷积单元的时间卷积与时空窗口步长为1，所述第一局部与非局部时空卷积单元输出端依次连接有第一批处理规范化模块和第二激活函数，所述第二激活函数输出端与所述第二局部与非局部时空图卷积单元输入端连接，所述第二局部与非局部时空图卷积单元的特征通道为192，所述第二局部与非局部时空图卷积单元的时间卷积与时空窗口步长为2，所述第二局部与非局部时空卷积单元输出端依次连接有第二批处理规范化模块和第三激活函数，所述第三激活函数输出端与所述第三局部与非局部时空图卷积单元输入端连接，所述第三局部与非局部时空图卷积单元的特征通道为384，所述第三局部与非局部时空图卷积单元的时间卷积与时空窗口步长为2，所述第三局部与非局部时空图卷积单元的输出端与所述全局平均池化层的输入端连接。8.一种人体运动动作识别系统，其特征在于，包括：时空图卷积单元构建模块，用于构建局部与非局部时空图卷积单元；其中，所述局部与非局部时空卷积单元包括局部路径和非局部路径，所述局部路径和所述非局部路径的输入端均与所述局部与非局部时空图卷积单元输入端连接，将所述局部路径的输出和所述非局部路径的输出进行聚合作为所述局部与非局部时空图卷积单元的输出；特征提取模块，用于将骨架图序列输入所述局部与非局部时空图卷积单元提取得到第一时空特征；池化模块，用于将所述第一时空特征输入全局平均池化层，得到第二时空特征；预测输出模块，将所述第二时空特征依次输入全连接层和分类器预测得到识别结果。9.一种人体运动动作识别系统，其特征在于，包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得至少一个所述处理器实现如权利要求1至7任一项所述的人体运动动作识别方法。10.一种计算机存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由所述处理器执行时用于实现如权利要求1至7任一项所述的人体运动动作识别方法。

技术总结
本发明公开了一种人体运动动作识别方法、系统及存储介质，应用于人体运动动作识别技术领域，能够有效提高人体动作的识别性能及准确率。该方法包括：构建局部与非局部时空图卷积单元；其中，局部与非局部时空卷积单元包括局部路径和非局部路径，局部路径和非局部路径的输入端均与局部与非局部时空图卷积单元输入端连接，将局部路径的输出和非局部路径的输出进行聚合作为局部与非局部时空图卷积单元的输出；将骨架图序列输入局部与非局部时空图卷积单元提取得到第一时空特征；将第一时空特征输入全局平均池化层，得到第二时空特征；将第二时空特征依次输入全连接层和分类器预测得到识别结果。到识别结果。到识别结果。


技术研发人员：黄晋 邢玉玲 肖菁 朱佳
受保护的技术使用者：华南师范大学
技术研发日：2022.05.26
技术公布日：2022/8/12