一种基于群体运动信息的体育视频中流畅回合定位方法与流程

1.本发明涉及计算机视觉的视频处理技术领域，尤其涉及一种基于群体运动信息的体育视频中流畅回合定位方法。


背景技术：

2.在隔网类体育项目中，例如排球、网球、羽毛球等，对抗双方在连续的攻防交互行为中产生的持续态势转换过程，称这样的一个过程为一个“流畅回合”。分割出体育视频中的流畅回合，不仅能够过滤流畅回合外无关部分，缩短视频时长，而且分割后的视频能够高效支持后续任务，例如精彩片段回放、团体战术分析或进行技术统计等。对流畅回合的分割方法是时序动作定位方法。
3.然而，现有的时序动作定位方法通常为深度学习方法，能够较准确地定位视频中单人动作发生所在区间，但需要在数据采集阶段花费大量人力进行标注，并且训练模型阶段也较为耗时。并且本发明所关注的定位体育视频中的流畅回合通常包含多人同时发生且连续变化的动作，时序动作定位方法往往不能够适用这样的场景。在一段视频中无法将流畅回合和非流畅回合表示为易于区分的特征，并且流畅回合的定位方法不当，直接影响了定位效果。


技术实现要素：

4.有鉴于此，本发明实施例提供了一种基于群体运动信息的体育视频中流畅回合定位方法，以解决现有技术中在一段视频中无法将流畅回合和非流畅回合表示为易于区分的特征，流畅回合的定位方法不当的技术问题。
5.本发明提供了一种基于群体运动信息的体育视频中流畅回合定位方法，包括：
6.s1获得当前视频的运动变化指标，并将所述运动变化指标作为群体运动信息，衡量体育视频中运动员的运动剧烈程度；
7.所述s1，包括：
8.s11基于预训练多目标跟踪网络模型transtrack，在rally数据库的测试集中获得跟踪结果；
9.s12基于所述跟踪结果，将每个样本视频的运动员所述跟踪结果表示为一个矩阵；
10.s13基于所述矩阵，获得视频某帧中单个目标的运动剧烈程度；
11.s14基于所述视频某帧中单个目标的运动剧烈程度，并合并每帧中所有目标的运动剧烈程度，获得所述当前视频的运动变化指标；
12.s2根据所述运动变化指标定位出视频中的流畅回合，以达到分割体育视频的目的。
13.进一步地，所述s11，包括：
14.在多目标跟踪数据库中预训练多目标跟踪网络模型transtrack；
15.通过rally数据库的训练集标注多目标跟踪真值，并采用所述多目标跟踪真值以
微调所述多目标跟踪网络模型，使所述多目标跟踪网络模型跟踪体育视频中所有目标，在所述rally数据库的测试集中获得跟踪结果。
16.进一步地，所述s13，包括：
17.设为所述矩阵第n行数据，帧序号为c，若存在且和属于同一目标，则将间隔j帧的数据归一化至间隔1帧，再取总共k个间隔帧均值，可获得对应的所述单个目标的运动剧烈程度，其中，表示矩阵第n i行数据，帧序号为c j。
18.进一步地，所述单个目标的运动剧烈程度的表达式如下：
[0019][0020]
其中，为单个目标的运动剧烈程度，为矩阵第n行数据，为矩阵第n i行，帧序号为c i数据，|
·
|表示取绝对值，∑表示求和。
[0021]
进一步地，所述s14中当前视频的运动变化指标的表达式如下：
[0022][0023][0024]
其中，mvic表示第c帧的运动变化指标，∪表示合并所有项，sort(
·
)表示对其中元素排序，mvi表示当前视频的运动变化指标。
[0025]
进一步地，所述s2，包括：
[0026]
根据分水岭算法，设置水位线阈值和最短流畅回合时长，获得流畅回合定位结果；
[0027]
基于所述流畅回合定位结果，获得分割体育视频。
[0028]
进一步地，所述水位线和待定位区间的设置表达式如下：
[0029]
wl＝max(mvi)*threshold
[0030]
segment》duration
[0031]
其中，wl表示水位线，max(
·
)表示最大值，*表示乘法，segment表示待定位区间，duration表示最短流畅回合时长。
[0032]
进一步地，所述最短流畅回合时长，采用时序动作定位任务中的区间交并比准确率作为衡量指标。
[0033]
进一步地，所述交并比表达式如下：
[0034][0035]
其中，∩表示取交集，∪表示取并集，rally
gt
表示流畅回合区间真值。
[0036]
进一步地，所述步骤s11中多目标跟踪网络模型transtrack经过微调，采用深度学习的方式，通过训练来微调多目标跟踪网络模型transtrack模型中参数，参数具体包括编码器encoder、解码器decoder、多层感知机mlp(multilayer perceptron)。
[0037]
本发明实施例与现有技术相比存在的有益效果是：
[0038]
1.本发明通过预训练现有跟踪方法所使用的多目标跟踪网络模型，获得较准确的运动员跟踪结果，提升了模型的复用率，减少了计算资源的开销；
[0039]
2.本发明通过将视频中运动员跟踪结果采用矩阵形式表示，获得将流畅回合和非流畅回合表示为易于区分的特征；
[0040]
3.本发明提出了某帧中单个目标的运动剧烈程度，更为直观且利于流畅回合定位；
[0041]
4.本发明直接根据合并每帧中所有目标的运动剧烈程度进行流畅回合定位，提高了计算效率。
附图说明
[0042]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0043]
图1是本发明提供的一种基于群体运动信息的体育视频中流畅回合定位方法的流程图；
[0044]
图2是本发明提供的定位范围包含于流畅回合中的示意图；
[0045]
图3是本发明提供的当前视频的mvi可视化的示意图；
[0046]
图4是本发明提供的流畅回合定位的示意图；
[0047]
图5是本发明提供的可视化了分割效果示意图。
具体实施方式
[0048]
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
[0049]
下面将结合附图详细说明根据本发明实施例的一种基于群体运动信息的体育视频中流畅回合定位方法。
[0050]
图1是本发明提供的一种基于群体运动信息的体育视频中流畅回合定位方法的流程图。如图1所示，该体育视频中流畅回合定位方法包括：
[0051]
s1，获得当前视频的运动变化指标，并将运动变化指标作为群体运动信息，衡量体育视频中运动员的运动剧烈程度。
[0052]
图2是本发明提供的定位范围包含于流畅回合中的示意图；
[0053]
s1，包括：
[0054]
s11，基于预训练多目标跟踪网络模型transtrack，在rally数据库的测试集中获得跟踪结果；
[0055]
其中，transtrack是一个通用的多目标跟踪方法，用在本方法中是为了获得运动员每个时刻的位置信息，用其他多目标跟踪方法同样可以。
[0056]
在多目标跟踪数据库中预训练多目标跟踪网络模型transtrack；
[0057]
通过rally数据库的训练集标注多目标跟踪真值，并采用多目标跟踪真值以微调多目标跟踪网络模型，使多目标跟踪网络模型跟踪体育视频中所有目标，在rally数据库的测试集中获得跟踪结果。
[0058]
在某些实施例当中，所述多目标跟踪网络模型transtrack经过微调，具体采用深度学习的方式，通过训练来微调现有跟踪方法所使用的transtrack模型中大量可学习参数，参数具体包括编码器encoder、解码器decoder、多层感知机mlp(multilayer perceptron)等。例如对mlp的微调方式如下：假设输出y与输入x的关系为y＝w
mlp
(x)，w
mlp
为可学习参数，利用反向传播(backpropagation)机制将输出y与真值的偏差传递给w
mlp
，使得w
mlp
不断被训练，最终使输出y逼近真值，其他参数的微调方式与此一致。
[0059]
所述步骤s11中多目标跟踪网络模型transtrack经过微调，采用深度学习的方式，通过训练来微调多目标跟踪网络模型transtrack模型中参数，参数具体包括编码器encoder、解码器decoder、多层感知机mlp(multilayer perceptron)。
[0060]
s12，基于跟踪结果，将每个样本视频的运动员跟踪结果表示为一个矩阵；
[0061]
s13基于矩阵，获得视频某帧中单个目标的运动剧烈程度；
[0062]
s13，包括：
[0063]
设为矩阵第n行数据，帧序号为c，若存在且和属于同一目标，则将间隔j帧的数据归一化至间隔1帧，再取总共k个间隔帧均值，可获得对应的单个目标的运动剧烈程度，其中，表示矩阵第n i行数据，帧序号为c j。
[0064]
单个目标的运动剧烈程度的表达式如下：
[0065][0066]
其中，为单个目标的运动剧烈程度，为矩阵第n行数据，为矩阵第n i行，帧序号为c i数据，|
·
|表示取绝对值，∑表示求和。
[0067]
本发明通过将视频中运动员跟踪结果采用矩阵形式表示，获得将流畅回合和非流畅回合表示为易于区分的特征。
[0068]
图2是本发明提供的定位范围包含于流畅回合中的示意图。
[0069]
图3是本发明提供的当前视频的mvi可视化的示意图。
[0070]
s14基于视频某帧中单个目标的运动剧烈程度，并合并每帧中所有目标的运动剧烈程度，获得当前视频的运动变化指标。
[0071]
s14中当前视频的运动变化指标的表达式如下：
[0072][0073]
[0074]
其中，mvic表示第c帧的运动变化指标，∪表示合并所有项，sort(
·
)表示对其中元素排序，mvi表示当前视频的运动变化指标。
[0075]
图4是本发明提供的流畅回合定位的示意图；
[0076]
图5是本发明提供的可视化了分割效果示意图；
[0077]
s2，根据运动变化指标定位出视频中的流畅回合，以达到分割体育视频的目的。
[0078]
根据分水岭算法，设置不同的阈值模拟算法中的浸没；
[0079]
基于设置水位线阈值和最短流畅回合时长获得设定的定位结果。
[0080]
水位线和待定位区间的设置表达式如下：
[0081]
wl＝max(mvi)*threshold
[0082]
segment》duration
[0083]
其中，wl表示水位线，max(
·
)表示最大值，*表示乘法，segment表示待定位区间，duration表示最短流畅回合时长。
[0084]
最短流畅回合时长，采用时序动作定位任务中的区间交并比准确率作为衡量指标。
[0085]
交并比表达式如下：
[0086][0087]
其中，∩表示取交集，∪表示取并集，rally
gt
表示流畅回合区间真值。
[0088]
本发明采用的流畅回合的定位方法，获得了分割体育视频理想的定位效果。
[0089]
实施例1
[0090]
标注视频为2段rally训练集视频数据，取测试集372段视频测试。间隔帧数k取4，阈值(threshold)取[0.1,0.15,0.2,0.25,0.3]，最短流畅回合时长(duration)取90帧。采用时序动作定位任务中的区间交并比(intersection over union，iou)准确率作为衡量指标，交并比公式如下
[0091][0092]
式中：∩表示取交集，∪表示取并集，rally
gt
表示流畅回合区间真值。
[0093]
则定位结果如表1所示。
[0094][0095]
表中map(mean average precision)表示当前iou(intersection over union时序动作定位任务中的区间交并比)中，由0.5至0.95，间隔0.05的平均准确率。
[0096]
图5可视化了分割结果，图5中第一行表示某视频，时长14.7秒；第二行是流畅回合的真值区间；第三行是根据本发明所定位出的流畅回合。
[0097]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。