一种用于冰球运动的新型冰球追踪方法与流程

1.本发明涉及实时体育运动视频分析系统技术领域，特别是涉及一种用于冰球运动的新型冰球追踪方法。


背景技术：

2.在过去的几十年中，随着目标检测和跟踪算法的快速发展，实时体育运动视频分析系统成为图像处理领域的热点，有广阔的应用场景。对于球类运动，因为场上的球员、体育场内的观众以及电视转播的摄影师都将注意力集中在球上，因此球的位置是视频分析中最重要的一环。之前有很多工作研究了对于球的检测和跟踪，但是大多关注于足球、篮球、网球等含有简单可分的前景与背景信息的球类运动，仅有少量文献资料对追踪冰球任务进行研究。
3.最早的冰球追踪任务可以追溯到1997年，人们在冰球中嵌入了红外传感器，并配备红外接收器进行冰球的跟踪，但是这项技术因为会造成冰球的击打感发生变化，影响球员的技术动作而后逐渐被弃用。2016年，首次提出仅使用图像处理技术进行场景内冰球的检测与跟踪，但是该技术将被击打后的高速运动冰球视为不可见，仅处理在通常受控状态下冰球的检测与跟踪，并且该技术仅能针对在放大状态下，视场中相对像素占比为150-200像素点的较大冰球目标，在短时间内对冰球进行追踪。2019年，在一项针对冰球运动中球队战术分析的技术中提到了对于冰球的检测与追踪问题，采用了基于深度学习的回归模型对冰球在场景中的位置进行回归，该方法基于自建数据集进行训练，采用的数据不包含场景内观众等干扰信息，该方法误差较大，运行速度慢无法实时，且在场景情况复杂化后性能降低明显。
4.同时，对于冰球的追踪还存在以下难点：(1)冰球本身颜色单一，对于图像处理任务其特征信息十分匮乏，在通常受控运动状态下，冰球呈现出的黑色椭圆状目标容易被场地中出现的其他物体干扰，而在被击打后的自由运动状态下，冰球又会在图像中呈现出形变以及颜色变化，导致难以与背景分离；(2)冰球在视场中移动速度通常较快；(3)在转播视频信号中，冰球在视频中的像素分辨率过小。同时，在冰球场地和视场中，存在许多与冰球目标具有相近特征的干扰目标。在转播摄像机的视场中，冰球会因为相机的移动而引发形状和尺度的变化。冰球在视场中会因场内球员以及冰面上的标志导致经常性的遮挡。在视场中会存在光照变化。这些因素都会影响对冰球的追踪效果。


技术实现要素：

5.针对现有技术中冰球追踪方法存在的问题以及冰球追踪存在的技术难点，本发明提供一种用于冰球运动的新型冰球追踪方法，包括以下步骤：
6.步骤一：获取由若干幅连续的包含冰球场地场景的图像组成的连续图像序列，且所述连续图像序列中部分或者全部的图像的冰球场地场景包含冰球球体；
7.步骤二：对所述连续图像序列中的全部图像进行初始化处理，得到处理后的图像
序列，并对处理后的图像序列中包含冰球球体的首帧图像进行冰球目标检测，得到冰球跟踪模板；
8.步骤三：以所述首帧图像的后续图像作为当前的待跟踪图像，在当前的待跟踪图像中截取包括冰球目标所在位置在内的图像块作为搜索区域，并利用eco相关滤波器对所述搜索区域进行首次目标定位，得到定位结果；
9.步骤四：判断所述定位结果是否为常态跟踪状态，若是，则完成当前的待跟踪图像的目标跟踪过程，否则，所述定位结果为暂时丢失状态，执行步骤五至步骤七，进行二次目标定位，重新识别得到冰球目标；在完成目标跟踪过程或者完成二次目标定位过程后，生成并存储相应的冰球目标轨迹，同时以相邻的下一帧图像更新当前的待跟踪图像，重复步骤三，直至遍历处理后的图像序列中的全部图像；
10.步骤五：判断步骤三中的当前的待跟踪图像中冰球目标的运动状态为受控运动状态还是自由运动状态，若是受控运动状态，则执行步骤六；若是自由运动状态，则执行步骤七；
11.步骤六：采用椭圆检测与形状相似性相结合的方式对当前的待跟踪图像进行丢失冰球目标的二次目标定位，得到最佳候选目标，所述最佳候选目标为进行二次目标定位后重新识别得到的冰球目标；
12.步骤七：采用结构相似性与角度相似性相结合的方式对当前的待跟踪图像进行丢失冰球目标的二次目标定位，得到最佳候选目标，所述最佳候选目标为进行二次目标定位后重新识别得到的冰球目标。
13.与现有技术相比，本发明具有以下有益效果：
14.(1)本发明所提出的用于冰球运动的新型冰球追踪方法通过常态跟踪和重识别两部分，能够对在连续图像序列中存在的多种运动状态下的冰球目标进行跟踪以及实现冰球目标遮挡丢失后的再找回任务，跟踪效果更优；
15.(2)在本发明针对冰球目标的二次目标定位过程中，将冰球目标的运动状态分为受控运动状态和自由运动状态，并针对不同的运动状态，分别提供了相应的冰球目标再找回方式，重新识别得到冰球目标，能够有效解决冰球目标的丢失、遮挡、被击打后形变等常见跟踪问题，从而进一步提高了冰球目标的追踪效率和追踪效果。
附图说明
16.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为本发明所述的用于冰球运动的新型冰球追踪方法的流程图；
18.图2为受控运动状态下的二次目标定位过程示意图；
19.图3为自由运动状态下的二次目标定位过程示意图。
具体实施方式
20.下面将结合附图及较佳实施例对本发明的技术方案进行详细描述。
21.如图1所示，本发明所提出的一种用于冰球运动的新型冰球追踪方法包括以下步：
22.步骤一：获取由若干幅连续的包含冰球场地场景的图像组成的连续图像序列，并且连续图像序列中部分或者全部的图像的冰球场地场景包含冰球球体。
23.本发明的冰球跟踪方法的输入为通过对冰球比赛等进行拍摄获得的一段由n幅连续的图像构成的连续图像序列，即视频序列。通常情况该视频序列为电视转播信号获取的视频信息，组成视频序列的图像包含冰球场地场景，冰球球体在视频序列中的某些图像中能够被摄影设备捕获，因此冰球场地场景可以包含或者不包含冰球球体，亦即连续图像序列中仅有部分图像的冰球场地场景包含冰球球体，或者全部的图像的冰球场地场景均包含冰球球体。同时，摄影设备在摄制过程中可能存在视场的放大或缩小，以及为了方便观众观看产生的移动等操作。这些均在本发明的考虑范围之内。
24.本发明所提出的新型冰球追踪方法分为首次目标定位过程(也可称为常态跟踪过程)和二次目标定位过程(也可称为冰球目标重识别过程或者冰球目标找回过程)，下面对两个过程分别进行详细介绍。
25.步骤二：对连续图像序列中的全部图像进行初始化处理，得到处理后的图像序列，并对处理后的图像序列中包含冰球球体的首帧图像进行冰球目标检测，得到冰球跟踪模板。
26.本步骤为初始化步骤，该步骤为后续跟踪过程中跟踪器的训练提供冰球跟踪模板(冰球跟踪模板是指在图像中截取的带有待跟踪目标的图像块)，同时该步骤的方法也可作为冰球检测方法在后续步骤中再次出现。步骤二中对连续图像序列中的全部图像进行初始化处理的过程具体包括以下步骤：
27.(1)对连续图像序列中的全部图像进行灰度化操作并根据预设的归一化二值化阈值进行二值化，其中预设的归一化二值化阈值的具体取值由特定视频输入即连续图像序列决定，例如预设的归一化二值化阈值可以为由统计实验得出的归一化灰度阈值0.55；
28.(2)对二值化后的图像进行开运算，去掉二值化后的图像中孤立的点、毛刺和小桥等。
29.同时，步骤二中对处理后的图像序列中包含冰球球体的首帧图像进行冰球目标检测的过程具体包括以下步骤：
30.(3)对处理后的图像序列中包含冰球球体的首帧图像进行边缘检测和椭圆检测，提取冰球候选目标，其中首帧图像是指处理后的图像序列中首个包含冰球球体的图像帧，其可以是处理后的图像序列的第一帧图像，也可以不是第一帧图像；
31.(4)冰球比赛开始时，通常冰球所在位置为图像中心，因此选取首帧图像的中心区域作为冰球候选区域，并在冰球候选区域内截取置信度较高的冰球候选目标所在的图像块作为冰球跟踪模板，完成冰球检测过程。后续跟踪过程中如需采用冰球检测技术，则候选区域为冰球目标待跟踪图像中所在位置的2.5倍区域，即基于待跟踪图像中的冰球目标位置扩大2.5倍后获取的区域。
32.步骤三：首次目标定位过程。
33.在本步骤中，以首帧图像的后续图像作为当前的待跟踪图像，在当前的待跟踪图像中截取包括冰球目标所在位置在内的图像块作为搜索区域，并利用eco相关滤波器对搜索区域进行首次目标定位，得到定位结果。
34.首次目标定位过程适用于冰球目标在相对慢速并且并未受到周围环境严重干扰的情况下(即冰球目标在图像中可见程度较高)。该过程的主体部分将被视作单目标跟踪算法进行处理，并采用eco相关滤波器作为单目标跟踪的基础方法。在处理后的图像序列中的首帧图像的后续图像中，由待跟踪图像中冰球目标所在位置的2.5倍大小的图像块将被截取并作为搜索区域进行目标定位，该目标定位过程由一个由eco相关滤波器构成的跟踪器和形状相似性判定方法联合计算的丢失置信度来决定定位结果，该定位结果将决定冰球目标的跟踪状态是正常或是需要进行二次目标定位过程处理。
35.进一步地，在截取搜索区域后，利用eco相关滤波器对搜索区域进行首次目标定位，得到定位结果的过程包括以下步骤：
36.步骤三一：eco相关滤波器提取搜索区域的cn(color names)特征和hog(histogram of oriented gradient，方向梯度直方图)特征，并将cn特征和hog特征合并为特征图，其中搜索区域的大小为在当前的待跟踪图像中冰球目标所在位置的2.5倍。
37.步骤三二：将已获得的特征图通过傅里叶变换映射到频域，并计算搜索区域各位置与冰球跟踪模板之间的相关性，获得冰球目标在搜索区域内不同位置的相关性置信度，并以相关性置信度作为eco相关滤波器分数。同时该部分在eco相关滤波器中也作为滤波器在线训练和更新的过程。
38.eco相关滤波器作为单目标跟踪的算法，通常用于区分与背景差别明显的前景目标，而冰球目标在比赛过程中，场地内干扰较多且冰球目标的特征不明显。因此在步骤三三中，需额外计算搜索区域各位置与冰球跟踪模板之间的形状相似性，形状相似性通过计算两者之间的hu矩实现，最终获得形状相似性分数。
39.在步骤三四中，本发明提出一种通过加权统计eco相关滤波器分数与形状相似性分数来计算丢失置信度进而判定冰球目标的定位结果的方法，该融合形状相似性的定位结果判定标准能够提高跟踪精度。具体地，对获得eco相关滤波器分数和形状相似性分数进行加权计算，计算得到丢失置信度fs，丢失置信度fs的具体计算公式如下：
[0040][0041]
其中，s
cf
为eco相关滤波器分数，s
ss
为形状相似性分数，γ
cf
为相关滤波器权重系数，γ
ss
为形状相似性权重系数，δ
cf
＝0.2为相关滤波器相似性阈值δ
ss
＝0.4为形状相似性判定阈值。
[0042]
当丢失置信度fs小于等于预设的置信度阈值例如0.8时，对应的定位结果为常态跟踪状态；当丢失置信度fs超过0.8时，冰球目标将被视为被遮挡或者丢失，此时对应的定位结果为暂时丢失状。
[0043]
接下来，在步骤四中，判断步骤三得到的定位结果是否为常态跟踪状态，若是，则完成当前的待跟踪图像的目标跟踪过程；否则，定位结果为暂时丢失状态，此时执行步骤五至步骤七的二次目标定位过程，通过二次目标定位过程重新识别得到冰球目标。并且，无论是在完成目标跟踪过程之后还是在完成二次目标定位过程之后，都与相邻的上一帧图像中的冰球目标位置链接生成目标轨迹并存储于样本空间(用于存储冰球目标的历史样本)中，同时以当前的待跟踪图像相邻的下一帧图像更新当前的待跟踪图像，重复步骤三的首次目
标定位过程，直至遍历处理后的图像序列中的全部图像。
[0044]
步骤五至步骤七为二次目标定位过程，该过程作为冰球目标丢失找回的重要步骤，也可被称为冰球重识别过程，该过程旨在解决冰球目标的丢失、遮挡和形变等常见跟踪问题。
[0045]
步骤五：判断步骤三中的当前的待跟踪图像中冰球目标的运动状态为受控运动状态还是自由运动状态，若是受控运动状态，则执行步骤六；若是自由运动状态，则执行步骤七。
[0046]
本步骤首先判断冰球目标为受控运动状态或自由运动状态。当冰球在运动员的控制下，冰球目标处于受控运动状态，该状态下冰球目标通常与控制该冰球的运动员具有相似的运动模式，较容易被运动员所持冰球球棍(球棍头部通常带有与冰球相似的颜色和形状)所遮挡；而当冰球被运动员击出时，冰球在被另一位运动员控制前处于自由运动状态，该状态下冰球可以被视为处于速度变化较小的匀速运动状态，并且较少受环境和运动员干扰，但是由于此时运动速度较快且受困于摄影设备，在图像中冰球呈现出运动模糊现象，颜色变淡且外观发生形变。受控运动状态和自由运动状态可以通过以下方式进行判定：当冰球目标首次需要通过二次目标定位过程处理时(即当前的待跟踪图像相邻的上一帧图像通过首次目标定位过程得到的定位结果为常态跟踪状态，而当前的待跟踪图像对应的定位结果为暂时丢失状态，时)，优先视同目标处于受控运动状态，并且如果经过步骤六后在受控运动状态下无法找到目标，则将目标视为自由运动状态进行后续处理，即将当前的待跟踪图像中冰球目标的运动状态修改为自由运动状态后再继续执行步骤七；如果冰球目标在当前的待跟踪图像中的运动状态为自由运动状态，则直接进入自由运动状态进行处理。
[0047]
步骤六：在受控运动状态下，采用椭圆检测与形状相似性相结合的方式对当前的待跟踪图像进行丢失冰球目标的二次目标定位，得到最佳候选目标，该最佳候选目标即为进行二次目标定位后重新识别得到的冰球目标。
[0048]
受控运动状态下冰球目标形状变化不大，速度较慢，该状态下对于冰球目标的找回由椭圆检测方法和形状对比方法组成，如图2所示，步骤六具体包括以下步骤：
[0049]
步骤六一：对当前的待跟踪图像中冰球目标所在位置的附近区域(例如1/4图像大小区域)进行连通性分析，选定形状轮廓与冰球跟踪模板相近的区域作为候选区域；
[0050]
步骤六二：对候选区域进行椭圆检测，筛选出候选目标；
[0051]
步骤六三：采用射线法排除候选目标中在运动员身体范围内的相似候选目标；
[0052]
步骤六四：计算排除相似候选目标后剩余的候选目标与冰球跟踪模板之间的形状相似性分数，这里形状相似性分数的计算方法与前述首次目标定位过程中计算形状相似性的方法相同，然后根据形状相似性分数对各个候选目标进行打分，根据打分的最大分数值确定最佳候选目标，该最佳候选目标即为进行二次目标定位后重新识别得到的冰球目标，其中根据形状相似性分数对各个候选目标进行打分的公式如下：
[0053][0054]
其中，s
ss
为形状相似性分数，γ
ss
为形状相似性权重系数，δ
ss
为形状相似性判定阈值。
[0055]
步骤七：在自由运动状态下，采用结构相似性与角度相似性相结合的方式对当前的待跟踪图像进行丢失冰球目标的二次目标定位，得到最佳候选目标，该最佳候选目标即为进行二次目标定位后重新识别得到的冰球目标。
[0056]
自由运动状态下冰球目标运动速度较快，由于运动模糊导致的冰球颜色变化和形状变化，因此自由运动状态下的二次目标定位过程与受控运动状态下有所不同，如图3所示，步骤七具体包括以下步骤：
[0057]
步骤七一：采用卡尔曼(kalman)滤波对当前的待跟踪图像中冰球目标的运动进行估计，获得候选区域；
[0058]
步骤七二：由于自由运动状态下冰球运动速度较快，导致冰球目标颜色变淡，因此本步骤利用较高的归一化灰度阈值(例如0.85)对候选区域进行二值化，得到灰度图像块，再对灰度图像块进行连通性分析，确定初步候选目标；
[0059]
步骤七三：对候选区域进行椭圆检测，筛选出最终候选目标；
[0060]
步骤七四：由于冰球目标颜色变淡，容易受运动员阴影影响，形状相似性不可靠，因此本步骤计算候选区域与对应预先截取的长条状图像块之间的结构相似性；
[0061]
步骤七五：计算最终候选目标的运动方向与形变后的长条状冰球目标的朝向之间的角度相似性；
[0062]
步骤七六：联合步骤七四计算得到的结构相似性与步骤七五计算得到的角度相似性对最终候选目标进行打分，并根据打分的最大分数值确定最佳候选目标，该最佳候选目标即为进行二次目标定位后重新识别得到的冰球目标，其中联合结构相似性与角度相似性对最终候选目标进行打分的公式如下：
[0063][0064][0065][0066]
其中，s
ssim
为结构相似性分数，其中c1＝(k1*l)2，c2＝(k2*l)2为稳定计算的微小变量，其中k1＝0.01，k2＝0.03为默认值，l为图像的灰度范围(一般取值为255)，δ
ssim
为结构相似性判定阈值，γ
ssim
为结构相似性权重系数，δ
angle
为角度相似性判定阈值，γ
angle
为角度相似性权重系数，d
angle
为角度相似性，a
candidate
为最终候选目标的运动方向，a
direction
为形变后的长条状冰球目标的朝向。
[0067]
进一步地，当执行完步骤六或者步骤七之后，没有获得最佳候选目标且在候选区域内存在运动员图像时，在运动员图像附近利用在常态跟踪状态下训练好的eco相关滤波器进行冰球目标查找。由于运动员阴影对此时的冰球目标影响较大，因此当无法找寻目标且在候选区域内存在运动员时，此时的冰球目标可能被另一位运动员接收并进入受控运动
状态，因此在运动员图像附近利用在常态跟踪状态下训练好的eco相关滤波器进行冰球目标查找或者目标找回。
[0068]
上述用于冰球运动的新型冰球追踪方法通过常态跟踪和重识别两部分，能够对在连续图像序列中存在的多种运动状态下的冰球目标进行跟踪以及实现冰球目标遮挡丢失后的再找回任务，跟踪效果更优；同时，在针对冰球目标的二次目标定位过程中，将冰球目标的运动状态分为受控运动状态和自由运动状态，并针对不同的运动状态，分别提供了相应的冰球目标再找回方式，重新识别得到冰球目标，能够有效解决冰球目标的丢失、遮挡和形变等常见跟踪问题，从而进一步提高了冰球目标的追踪效率和追踪效果。
[0069]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0070]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。