一种基于深度学习的运动员行为质量评估方法与流程

技术特征：
1.一种基于深度学习的运动员行为质量评估方法，其特征在于，其所基于的评估系统包括人体跟踪单元、人体姿势估计单元、动作序列特征提取与增强单元，得分预测单元和显示单元，具体的，每个单元内的流程如下：视频输入至人体跟踪单元，人体跟踪单元对视频的各帧进行目标检测，得到各帧的检测框作为跟踪结果，在显示单元对跟踪结果进行可视化；人体姿势估计单元获取跟踪结果，对各帧中运动员的姿势进行估计，得到关键点信息作为姿势估计结果，在显示单元对姿势估计结果进行可视化；动作序列特征提取与增强单元以视频、跟踪结果和姿势估计结果作为输入，进行特征提取、特征增强和特征融合后得到视频特征；得分预测单元以视频特征为输入，进行全动作流程质量评估和阶段性行为质量评估。2.根据权利要求1所述的一种基于深度学习的运动员行为质量评估方法，其特征在于，所述人体跟踪单元使用yolo检测器和siammask框架进行目标检测：在视频的初始帧使用yolo检测器进行目标检测，得到初始帧的检测框，使用siammask框架作为单目标跟踪器在初始帧之后的连续帧进行目标检测，得到初始帧之后各帧的检测框。3.根据权利要求2所述的一种基于深度学习的运动员行为质量评估方法，其特征在于，所述人体姿势估计单元使用alphapose框架对各帧中运动员的姿势进行估计：获取视频中各帧的检测框后，采用alphapose框架对各帧中运动员的姿势进行估计，alphapose框架生成各帧的关键点信息，使用卡尔曼滤波器算法对各帧的关键点信息进行处理，得到姿势估计结果。4.根据权利要求3所述的一种基于深度学习的运动员行为质量评估方法，其特征在于，所述动作序列特征提取与增强单元对视频进行特征提取，得到第一特征，将第一特征结合跟踪结果使用管道自注意力机制进行特征增强，得到增强后的第一特征，动作序列特征提取与增强单元对姿势估计结果进行特征提取，得到第二特征，将第二特征与增强后的第一特征通过全连接层进行融合得到视频特征。5.根据权利要求4所述的一种基于深度学习的运动员行为质量评估方法，其特征在于，所述动作序列特征提取与增强单元使用i3d神经网络对视频进行特征提取，得到第一特征，使用图卷积神经网络对姿势估计结果进行特征提取，得到第二特征。6.根据权利要求5所述的一种基于深度学习的运动员行为质量评估方法，其特征在于，进行全动作流程质量评估时，将所有的视频特征进行时序全局平均池化后送入全连接层完成质量评估，进行阶段性行为质量评估时，将一段视频的视频特征送入全连接层完成质量评估。7.根据权利要求6所述的一种基于深度学习的运动员行为质量评估方法，其特征在于，得分预测单元使用i3d神经网络，进行全动作流程质量评估时，将所有的视频特征进行时序全局平均池化后送入i3d神经网络的全连接层完成质量评估，进行阶段性行为质量评估时，将一段视频的视频特征送入i3d神经网络的全连接层完成质量评估。8.根据权利要求4所述的一种基于深度学习的运动员行为质量评估方法，其特征在于，将第一特征结合跟踪结果使用管道自注意力机制进行特征增强具体为：将第一特征与检测框进行量化和对齐生成特征图掩膜，按照视频的帧数和第一特征的数量的比例进行掩膜的融合以生成时空管道，在时空管道内部采用管道自注意力机制完成第一特征的稀疏增强操
作，通过残差连接将第一特征与完成稀疏增强后的第一特征进行融合，得到增强后的第一特征。9.根据权利要求8所述的一种基于深度学习的运动员行为质量评估方法，其特征在于，获取跟踪结果和第一特征后，按照视频的帧数和第一特征的数量的比例确定检测框的数量与第一特征的时序维度数量的比值n：1，n>1，确定每一个检测框所对应的掩膜，获取检测框覆盖第一特征的特征网络的比例，如果比例大于预设置的阈值，则该第一特征被选中，否则，该第一特征被剔除，完成n个检测框的掩膜计算后，通过位与操作完成掩膜的融合，生成时空管道。10.根据权利要求8所述的一种基于深度学习的运动员行为质量评估方法，其特征在于，时空管道内部管道自注意力机制表示为：其中，p表示需要计算的输出位置，(c,t,i,j)对时空管道中所有的第一特征位置进行了遍历，输出特征y和输入特征x具有相同的尺寸，f函数为距离度量函数，g函数为特征映射函数，响应值会通过归一化因子c(x)＝∑
c
∑
t
ω
c,t
进行归一化。

技术总结
本发明涉及一种基于深度学习的运动员行为质量评估方法，基于的评估系统包括人体跟踪单元、人体姿势估计单元、动作序列特征提取与增强单元，得分预测单元和显示单元；视频输入至人体跟踪单元，对视频的各帧进行目标检测，得到各帧的检测框作为跟踪结果，在显示单元对跟踪结果进行可视化；人体姿势估计单元获取跟踪结果，对各帧中运动员的姿势进行估计，得到关键点信息作为姿势估计结果，在显示单元对姿势估计结果进行可视化；动作序列特征提取与增强单元以视频、跟踪结果和姿势估计结果作为输入，进行特征提取、特征增强和特征融合后得到视频特征；得分预测单元以视频特征为输入，进行全动作流程质量评估和阶段性行为质量评估。行全动作流程质量评估和阶段性行为质量评估。行全动作流程质量评估和阶段性行为质量评估。


技术研发人员：张立华 王顺利 杨鼎康 邝昊鹏
受保护的技术使用者：复旦大学
技术研发日：2021.10.13
技术公布日：2022/1/28