一种基于深度学习的投篮动作参数估计方法

1.本发明涉及图像识别技术领域，具体涉及一种基于深度学习的篮球运动员投篮动作参数估计方法。


背景技术：

2.投篮是篮球比赛中的一项关键性技术和常规得分手段，运动员的投篮动作和身体姿态的调整是提高运动员投篮命中率的有效手段。目前由教练组人员通过人眼观察和录像查看的方式不仅费时费力，其获取的信息更具有主观性，依赖经验判断且受训练师生理和心理因素的影响。
3.为了解决人工估计投篮动作存在的低精确和主观性问题，国内外学术界、工业界提出了很多方案。其中比较有代表性的技术方案包括：发明专利(申请号：201510472691.x，名称：一种检测投篮时手臂的semg与动作轨迹的方法)阐述了一种基于肌电传感器(semg)的投篮姿势估计方法，该方法通过semg传感器检测手臂肌肉的表面肌电信号，通过运动位置传感器检测手臂的运动轨迹，与本发明不同的地方在于，其主要通过肌肉的发力、发力顺序数据，结合采集的手臂的运动轨迹，得出一个完整的投篮动作估计。该方法重点分析了手臂姿态的变化，并给出手臂动作轨迹，对于投篮出手判断、投篮出手高度、投篮轨迹估计等问题并未给出解决的技术方案，且传感器的穿戴会对运动员的投篮动作有所影响。发明专利(申请号：201610246418.x，名称：基于手腕姿态检测的篮球动作识别方法和系统)阐述了一种基于手腕角度传感器的投篮动作识别方法，该方法通过在球员手腕上的角度传感器获取手腕角度和角速度信息，并根据这些信息来识别球员的投篮动作。该方法根据手腕姿态变化，重点分析了投篮出手判断，对于投篮出手高度、投篮轨迹估计、手臂姿态变化等问题并未给出解决的技术方案，对球员间投篮动作存在差异的问题并未给出解决的技术方案。罗森(基于注意力模型的篮球视频事件和关键角色检测方法[j].计算机应用与软件,2021)提出了基于注意力模型的运动员检测和篮球事件识别方法，该方法将注意力机制引入到模型中，对视频中的运动员进行跟踪，对事件进行检测和分类，与本发明不同的地方在于，其采用的是一种端到端的模型，即输入视频输出球员检测和事件识别结果，该方法分析重点分析了运动员检测和投篮等篮球事件的识别，对进一步的投篮参数估计并未给出解决方案。
[0004]
综上所述，现有的基于传感器和基于视觉的技术方案中，存在着如下不足：1)在基于传感器设计的运动检测中，传感器的佩戴会对运动员投篮的肌肉记忆造成影响，激烈运动中可能会损坏的情况难以避免，且要同时实现球员检测、投篮事件分析、投篮参数估计需要使用多种传感器；2)在基于视觉的运动检测中，端到端模型的规模较大，而上述功能的差异较大，迁移学习难以应用同一模型中，从而需要较大规模的网络实现目标。因此，需要一种无接触式、实时性强的投篮动作参数获取及分析方法，为教练决策或者运动员训练提供科学智能的指导。


技术实现要素：

[0005]
为克服现有技术上的不足，本发明提供了设计合理的一种基于深度学习的投篮动作参数估计方法。
[0006]
本发明的技术方案如下：
[0007]
一种基于深度学习的投篮动作参数估计方法，包括如下步骤：
[0008]
步骤1：对篮球运动员的训练视频的每一帧的篮球、篮筐与球员进行手动标注，并以此为训练集采用深度卷积神经网络进行训练，得到篮球、篮筐和球员的检测模型ybas；
[0009]
步骤2：针对拟检测的视频，用人体骨架检测模型检测得到人体骨架的关节点坐标集合其中，表示第k帧中的第i个运动员的第j个关节点坐标，表示第k帧中的第i个运动员的第j个关节点坐标的属性，k表示视频帧的数量，nk表示第k帧中的运动员数量，m表示每个运动员的关节点数量；
[0010]
步骤3：针对拟检测的视频，用ybas模型进行检测，得到篮球矩形框集合rb＝{bk|k＝1,2,
…
,k}和篮筐矩形框集合rc＝{ck|k＝1,2,
…
,k}及篮球运动员矩形框集合其中，bk表示第k帧中的篮球矩形框，ck表示第k帧中的篮筐矩形框，表示第k帧中的第i个篮球运动员的矩形框；
[0011]
步骤4：使用hough圆检测法提取每一帧中bk对应的篮球的轮廓，并计算篮球像素直径dk，最终的篮球像素直径为
[0012]
步骤5：对运动员的投篮动作参数进行估计，具体为：根据式(1)和(2)计算第k帧中篮球和最接近篮球的运动员的颈部关节点的高度差由式(3)和(4)计算篮球的垂直位移和将首次满足的视频帧的帧号记为t，t表示投篮起始关键帧；
[0013][0014][0015][0016][0017]
其中，r表示第k帧中最接近篮球的运动员的标号，s表示第k帧中第r个运动员的颈部坐标点的标号，表示第k帧中第s个运动员的颈部坐标点的纵坐标，表示第k帧中的篮球矩形框bk的中心点坐标；
[0018]
步骤6：以投篮起始关键帧t为起点，根据式(5)计算后续m
t
帧中腕部关节点和篮球中心点的距离并得到集合da＝{da|i＝t,t 1,
…
,t m
t
}其中，da根据式(5)计算且满足式(6)，则t m
t
表示投篮出手帧的帧号，记为α＝t m
t
；根据式(7)计算投篮出手的数值角度θ；根据式(8)计算出球员的出手高度h；
[0019][0020][0021][0022][0023]
其中，表示腕部关节点的坐标,为投篮起始关键帧t时刻足部关节点的高度；d表示篮球的物理直径，单位mm；db表示根据步骤4计算得到的篮球像素直径；
[0024]
步骤7：计算篮球与球筐的高度差其中是第k帧篮筐上沿的高度；当篮球处于下落状态且时，标记为命中关键帧β；选取满足的连续帧序列并记为sp＝{i|i＝β 1,β 2,
…
,k}；计算sp中篮球到篮筐中心轴的横向距离,k}；计算sp中篮球到篮筐中心轴的横向距离表示篮筐的横坐标；若存在帧号ρ∈sp满足条件：则判断此次投篮命中，其中，表示第ρ帧的篮筐宽度，表示第ρ帧的篮球像素直径。
[0025]
通过采用上述技术，与现有技术相比，本发明的有益效果为：本发明实时定位运动员的骨架关键点信息、篮球和篮筐的位置，通过逐帧分析篮球的位置移动和运动员的姿态变化，准确判断运动员的投篮时机并估计运动员投篮动作的参数，从而为运动员训练和投篮姿势的调整提供了数据支持。
附图说明
[0026]
图1为发明实施例选取的某一帧图像经过openpose模型识别的图像；
[0027]
图2为发明篮球运动视频中识别篮球和篮筐的图像；
[0028]
图3为发明篮球轮廓圆提取结果的图像；
[0029]
图4为发明运动员投篮高度和角度检测的示意图像；
[0030]
图5为发明投篮命中判断的图像。
具体实施方式
[0031]
下面结合实施例来详细阐述本发明的基于深度学习的篮球运动员投篮动作参数估计方法的具体实施方式。
[0032]
本发明的基于深度学习的篮球运动员投篮动作参数估计方法，具体包括如下步骤：
[0033]
步骤1：对篮球运动员的训练视频的每一帧的篮球、篮筐与球员进行手动标注，并以此为训练集采用深度卷积神经网络进行训练，得到篮球、篮筐和球员的检测模型ybas；
[0034]
步骤2：针对拟检测的视频，用人体骨架检测模型检测得到人体骨架的关节点坐标集合其中，表示第k帧中
的第i个运动员的第j个关节点坐标，表示第k帧中的第i个运动员的第j个关节点坐标的属性，k表示视频帧的数量，nk表示第k帧中的运动员数量，m表示每个运动员的关节点数量；在本实施例中，经过模型检测的结果如图1所示；
[0035]
步骤3：针对拟检测的视频，用ybas模型进行检测，得到篮球矩形框集合rb＝{bk|k＝1,2,
…
,k}和篮筐矩形框集合rc＝{ck|k＝1,2,
…
,k}及篮球运动员矩形框集合其中，bk表示第k帧中的篮球矩形框，ck表示第k帧中的篮筐矩形框，表示第k帧中的第i个篮球运动员的矩形框；在本实施例中，篮球轮廓提取的结果如图3所示，db＝48；
[0036]
步骤4：使用hough圆检测法提取每一帧中bk对应的篮球的轮廓，并计算篮球像素直径dk，最终的篮球像素直径为
[0037]
步骤5：对运动员的投篮动作参数进行估计，具体为：根据式(1)和(2)计算第k帧中篮球和最接近篮球的运动员的颈部关节点的高度差由式(3)和(4)计算篮球的垂直位移和将首次满足的视频帧的帧号记为t，t表示投篮起始关键帧；
[0038][0039][0040][0041][0042]
其中，r表示第k帧中最接近篮球的运动员的标号，s表示第k帧中第r个运动员的颈部坐标点的标号，表示第k帧中第s个运动员的颈部坐标点的纵坐标，表示第k帧中的篮球矩形框bk的中心点坐标；
[0043]
步骤6：以投篮起始关键帧t为起点，根据式(5)计算后续m
t
帧中腕部关节点和篮球中心点的距离并得到集合da＝{da|i＝t,t 1,
…
,t m
t
}其中，da根据式(5)计算且满足式(6)，则t m
t
表示投篮出手帧的帧号，记为α＝t m
t
；根据式(7)计算投篮出手的数值角度θ；根据式(8)计算出球员的出手高度h；在本实施例中，运动员投篮高度和角度检测结果如图4所示，其中运动员的投篮出手高度为223cm，投篮角度为37度；
[0044][0045][0046]
[0047][0048]
其中，表示腕部关节点的坐标,为投篮起始关键帧t时刻足部关节点的高度；d表示篮球的物理直径，单位mm；db表示根据步骤4计算得到的篮球像素直径；
[0049]
步骤7：计算篮球与球筐的高度差其中是第k帧篮筐上沿的高度；当篮球处于下落状态且时，标记为命中关键帧β；选取满足的连续帧序列并记为sp＝{i|i＝β 1,β 2,
…
,k}；计算sp中篮球到篮筐中心轴的横向距离,k}；计算sp中篮球到篮筐中心轴的横向距离表示篮筐的横坐标；若存在帧号ρ∈sp满足条件：则判断此次投篮命中，其中，表示第ρ帧的篮筐宽度，表示第ρ帧的篮球像素直径，投篮命中判断结果如图5所示。