跑道冲刺计时方法、装置、电子设备和存储介质与流程

1.本技术涉及图像处理领域，具体地，涉及一种跑道冲刺计时方法、装置、电子设备和存储介质。


背景技术：

2.径赛是田径运动的一类，是在田径场的跑道或规定道路上进行的跑和走的竞赛项目的统称。径赛规则中，撞线的身体有效部位是头部以下腰部以上的主要躯干部位。运动员的头部或脚部先撞线是不计算成绩的，只有躯干部位撞到终点线的垂直面才是有效的。
3.目前通常采用射频识别(radio frequency identification，rfid)技术对运动员进行计时。rfid系统由电子标签、阅读器及信息处理器组成，电子标签包括ic芯片与通信天线，电子标签由运动员佩戴，阅读器包括阅读器天线，阅读器天线设在终点线，当电子标签经过阅读器的上方时，信息处理器接收到信号，完成计时。
4.受现有的电子标签和阅读器之间的通信距离的限制，电子标签通常佩戴在运动员的鞋面或鞋带上，阅读器通常铺设在地面上，减少电子标签和阅读器之间的距离，有利于电子标签和阅读器进行通信。但由于径赛的比赛规则是计算运动员的躯干部位的撞线时间，而电子标签反馈的是脚的撞线时间，二者之间存在时间差。此外，现有的阅读器天线的射频信号向其四周辐射，存在运动员还没有达到阅读器天线上方时，阅读器天线已经与电子标签通信的情况，从而导致计时时间不准确，测量精度差。另外，这种方式还需要提前安装电子标签阅读器，过程较为繁琐复杂。


技术实现要素：

5.本技术实施例中提供了一种跑道冲刺计时方法、装置、电子设备和存储介质，用于解决目前通过射频识别技术进行跑道冲刺计时的精度较低的问题。
6.根据本技术实施例的第一个方面，提供了一种跑道冲刺计时方法，所述方法包括：
7.获取图像采集设备采集到的图像，并识别出所述图像中的跑道冲刺面的位置信息；
8.通过人体检测算法检测出所述图像中的各个人体并标号；
9.通过跟踪算法对各个已标号的人体进行跟踪；
10.通过3d姿态估计算法检测各个人体的骨骼关键点；
11.根据各个骨骼关键点的位置信息及所述跑道冲刺面的位置信息判断各个人体是否到达终点；
12.记录各个人体到达终点的时刻。
13.根据本技术实施例的第二个方面，提供了一种跑道冲刺计时装置，所述装置包括：
14.跑道冲刺面识别模块，用于获取图像采集设备采集到的图像，并识别出所述图像中的跑道冲刺面的位置信息；
15.人体检测模块，用于通过人体检测算法检测出所述图像中的各个人体并标号；
16.跟踪模块，用于通过跟踪算法对各个已标号的人体进行跟踪；
17.关键点检测模块，用于通过3d姿态估计算法检测各个人体的骨骼关键点；
18.判断模块，用于根据各个骨骼关键点的位置信息及所述跑道冲刺面的位置信息判断各个人体是否到达终点；
19.计时模块，用于记录各个人体到达终点的时刻。
20.根据本技术实施例的第三个方面，提供了一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储器之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行第一方面提供的跑道冲刺计时方法。
21.根据本技术实施例的第四个方面，提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行第一方面提供的跑道冲刺计时方法。
22.本技术实施例提供了一种跑道冲刺计时方法、装置、电子设备和存储介质，所述方法包括：获取图像采集设备采集到的图像，并识别出图像中的跑道冲刺面的位置信息，其中，图像采集设备设置在跑道冲刺线前方；通过人体检测算法检测出图像中的各个人体并为检测出的每个人体标号；通过跟踪算法对各个已标号的人体进行跟踪；通过3d姿态估计算法检测各个人体的骨骼关键点并根据各个骨骼关键点的位置信息及跑道冲刺面的位置信息判断人体是否到达终点，最后记录各个人体到达终点的时刻。本技术在检测出各个人体的骨骼关键点的位置信息后，通过骨骼关键点的位置信息以及跑道冲刺面的位置信息来判断人体是否越过终点，能够真实的反馈出人体的躯干的撞线时间，因此，运动员实际撞线时间与检测撞线时间的误差较小，检测精度高。
附图说明
23.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
24.图1为本技术实施例提供的跑道冲刺计时系统的示意图；
25.图2为本技术实施例提供跑道冲刺计时方法的流程图；
26.图3为本技术实施例提供的步骤s11的子步骤流程图；
27.图4为本技术实施例提供的步骤s14的子步骤流程图；
28.图5为本技术实施例提供的跑道冲刺计时装置的功能模块图；
29.图6为本技术实施例提供的电子设备的示意图。
具体实施方式
30.在实现本技术的过程中，发明人发现，目前的径赛比赛中，在获取运动员到达终点的时间时，通常是采用射频识别技术对运动员进行计时。rfid系统由电子标签、阅读器及信息处理器组成，电子标签包括ic芯片与通信天线，电子标签由运动员佩戴，阅读器包括阅读器天线，阅读器天线设在终点线，当电子标签经过阅读器的上方时，信息处理器接收到信号，完成计时。
31.受现有的电子标签和阅读器之间的通信距离的限制，电子标签通常佩戴在运动员的鞋面或鞋带上，阅读器通常铺设在地面上，以减少电子标签和阅读器之间的距离，有利于
电子标签和阅读器进行通信。
32.但由于径赛的比赛规则是以运动员的躯干部位的撞线时间作为运动员通过终点的时间，而电子标签检测的是脚的撞线时间，二者之间存在时间差，导致测量精度较低。除此之外，在撞线时，若运动员的步幅较大，存在直接跨越阅读器的情况，将导致阅读器无法记录该运动员的成绩。同时，若阅读器天线铺设在地面上，会遭到众多运动员的踩踏，使得阅读器天线使用寿命较短，为了避免阅读器天线受到破坏，通常需要在阅读器天线上覆盖保护垫，但保护垫的存在降低了电子标签的通信距离，使得理论上通信距离为1米的电子标签，实际上通讯距离只能达到几十厘米。
33.此外，现有的阅读器天线的射频信号向其四周辐射，存在运动员还没有达到阅读器天线上方时，阅读器天线已经与电子标签通信的情况，从而导致计时时间不准确。并且这种方式还需要提前安装电子标签阅读器，且需要在终点线上安装多个电子标签阅读器，过程较为繁琐复杂。
34.针对上述问题，本技术实施例中提供了一种跑道冲刺计时方法、装置、电子设备和存储介质，所述方法包括：获取图像采集设备采集到的图像，并识别出图像中的跑道冲刺面的位置信息，其中，图像采集设备设置在跑道冲刺线前方；通过人体检测算法检测出图像中的各个人体并为检测出的每个人体标号；通过跟踪算法对各个人体进行跟踪，以获取各个人体的位置信息；通过3d姿态估计算法检测各个人体的骨骼关键点并根据各个骨骼关键点的位置信息及跑道冲刺面的位置信息判断人体是否到达终点，最后记录各个人体到达终点的时刻。本技术在检测出各个人体的骨骼关键点的位置信息后，通过骨骼关键点的位置信息以及跑道冲刺面的位置信息来判断人体是否越过终点，能够真实的反馈出人体的躯干的撞线时间，因此，运动员实际撞线时间与检测撞线时间的误差较小，检测精度高。
35.为了使本技术实施例中的技术方案及优点更加清楚明白，以下结合附图对本技术的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本技术的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
36.首先，请参照图1，图1为本技术实施例提供的跑道冲刺计时系统的示意图。在本实施例中，跑道冲刺计时系统10包括电子设备11和图像采集设备12。
37.电子设备11能够接收图像采集设备12采集到的图像并对接收到的图像进行处理，以根据图像信息获得各个运动员到达终点的时间。
38.值得说明的是，若要实现本技术实施例提供的跑道冲刺方法，则需要将图像采集设备12设置在跑道冲刺线(即终点线)斜前方，以使图像采集设备12的视角所在平面与跑道冲刺线所在的直线成45度角左右，并且该图像采集设备12能够完整地拍摄到整个跑道冲刺线。
39.可选地，在本实施例中，图像采集设备12也可以集成在电子设备11上，使电子设备11既有运算能力，又能够采集图像，例如智能终端等。
40.当电子设备11为智能终端时，可以在该智能终端内置入能够对采集到的图像进行运算处理的应用程序。当用户打开应用程序时，可以调用智能终端的摄像头，通过摄像头采集图像，并通过图像计算各个运动员到达终点的时间，使用起来更加方便快捷。
41.下面结合附图对本技术实施例提供的跑道冲刺方法进行说明。
42.请参照图2，图2为本技术实施例提供跑道冲刺计时方法的流程图。在本实施例中，跑道冲刺计时方法应用于电子设备11，所述方法包括：
43.步骤s11，获取图像采集设备采集到的图像，并识别出图像中的跑道冲刺面的位置信息。
44.步骤s12，通过人体检测算法检测出图像中的各个人体并标号。
45.步骤s13，通过跟踪算法对各个已标号的人体进行跟踪。
46.步骤s14，通过3d姿态估计算法检测各个人体的骨骼关键点。
47.步骤s15，根据各个骨骼关键点的位置信息及跑道冲刺面的位置信息判断各个人体是否到达终点。
48.步骤s16，记录各个人体到达终点的时刻。
49.在上述步骤中，首先通过图像采集设备12采集跑道冲刺线的图像，并根据采集到的图像识别出图像中的跑道冲刺面所在的位置信息，然后对运动场上的各个人体进行检测，并对检测出来的人体进行标号，再通过跟踪算法对每一个已经标号的人体进行跟踪，以持续为各个人体分配最初标号的id，最后通过3d姿态估计算法检测各个人体的骨骼关键点，基于骨骼关键点的位置信息和跑道冲刺面的位置信息判断各个人体是否到达终点，并记录各个人体到达终点的时刻。
50.人体的骨骼关键点包括肩膀关键点或腰部关键点，在检测出各个人体的骨骼关键点的位置信息后，本技术实施例可以通过人体的肩膀关键点或腰部关键点的位置信息以及跑道冲刺面的位置信息来判断人体是否越过终点，从而能够真实的反馈出人体的躯干的撞线时间，而不是运动员的脚的撞线时间，因此，运动员实际撞线时间与检测撞线时间的误差较小，检测精度高。
51.本技术实施例先通过人体检测算法检测出各个人体，然后通过跟踪算法对各个人体进行跟踪，从而为各个人体分配一个跟踪id，与单独使用一种算法对人体进行检测和追踪相比，能够提高人体检测结果和追踪结果的准确性。
52.可选地，在本实施例中，通过人体检测算法检测出来的人体中，除了参加径赛比赛的人体，可能还存在其他的工作人员或裁判等人的人体，为了减少跟踪算法的运算量，在检测出所有的人体后，还可以通过筛选算法对检测出来的人体进行筛选，以去除不相关的人员对应的人体信息，只保留参加径赛比赛的运动员对应的人体信息，并对每个保留的人体分配一个id。然后通过跟踪算法对已标号的人体进行追踪，减少了无关人员的人体信息的干扰，从而降低了追踪算法的运算量。
53.可选地，请参照图3，图3为本技术实施例提供的步骤s11的子步骤流程图。在本实施例中，步骤s11包括以下子步骤：
54.步骤s111，根据图像采集设备采集到的图像识别出跑道冲刺线的位置信息。
55.步骤s112，获取图像中的地平面信息，并通过地平面信息和跑道冲刺线的位置信息确定跑道冲刺面的位置信息。
56.其中，所述跑道冲刺面垂直于所述地平面。
57.首先通过算法识别出该图像中的跑道冲刺线(即比赛终点线)的位置信息，然后识别出图像中的地平面信息，并通过与地平面信息和跑道冲刺线的位置信息确认出垂直于地平面的跑道冲刺面的位置信息。
58.具体地，在本实施例中，步骤s112具体包括：
59.通过3d姿态估计算法获取各个人体的脚尖关键点的位置信息；针对每个人体，根据多帧图像中所述人体的脚尖关键点的位置信息计算获得地平面的位置信息，并根据所述地平面的位置信息获取地平面的法向量；根据地平面的法向量及跑道冲刺线的位置信息计算跑道冲刺面的位置信息。
60.在上述步骤中，获取地平面信息时，可以通过3d姿态估计算法获取多帧图像中的各个人体的脚尖关键点的位置信息，然后基于多帧图像中的人体的脚尖关键点的位置信息构建出地平面信息，即利用多个点的位置信息构成平面。
61.在构建出地平面信息后，获得该地平面的法向量，并基于法向量和跑道冲刺线的位置信息获得跑道冲刺面的信息，其中，跑道冲刺面垂直于地平面。
62.可选地，在本实施例中，在计算获得跑道冲刺面之后，即可根据各个人体的骨骼关键点是否越过该跑道冲刺面来判断该人体是否到达终点。例如，若某个运动员的骨骼关键点(例如腰部关键点)越过了跑道冲刺面，则认为该运动员到达终点，同时电子设备11记录该运动员到达终点的时刻。
63.可选地，在本实施例中，步骤s13包括以下子步骤：
64.获取各个已标号的人体在当前帧的检测框的位置信息；通过卡尔曼滤波算法根据上一帧的跟踪框的位置信息预测各个人体在当前帧的跟踪框的位置信息；通过匈牙利算法将预测获得的各个人体在当前帧的跟踪框的位置信息与各个人体在当前帧的检测框的位置信息进行匹配；根据匹配结果对各个人体在当前帧的跟踪框的位置信息进行更新，将更新后的所述跟踪框的位置信息作为对应的人体在当前帧的位置信息。
65.在上述步骤中，每个人体对应一个检测框和一个跟踪框，每一帧图像中的检测框的位置信息是由跟踪算法中的检测器检测到的，每一帧图像中的跟踪框的位置信息是由上一帧图像预测获得的，将当前帧图像的检测框的位置信息与跟踪框的位置信息进行匹配，根据匹配结果更新跟踪框的位置信息。
66.例如，若在第一帧图像中，检测器检测到3个人体对应的检测框的位置信息a1、a2及a3，由于当前是第一帧图像，因此当前帧图像没有跟踪框的位置信息，此时可以将3个检测框的位置信息初始化为3个跟踪框的位置信息，因此，第一帧图像的跟踪框的位置信息也为a1、a2及a3。在第二帧图像中，检测器又检测到了3个人体对应的最新的检测框的位置信息分别为b1、b2及b3，然后根据第一帧图像的跟踪框的位置信息a1、a2及a3预测获得新的跟踪框的位置信息，分别为c1、c2及c3，然后通过匈牙利算法将b1、b2、b3与c1、c2、c3进行匹配(例如级联匹配或iou匹配)，根据运算得到的匹配度的大小获得跟踪框和检测框的匹配结果，如(b1、c1)、(b2、c2)及(b3、c3)三个匹配对，然后将匹配对中的检测框的位置信息更新跟踪框的位置信息，即在第二帧图像运算完成后，需要根据匹配结果将预测获得的跟踪框的位置信息(c1、c2及c3)替换为与其匹配的检测框的位置信息(b1、b2、b3)。
67.在本实施例中，跟踪算法用于联系相邻两帧图像中的同一人体，即，为当前帧图像中的每一个人体匹配上一帧图像中的人体信息，从而持续为各个人体分配id，当有人体到达终点时，才能快速获取该人体对应的运动员信息。
68.请参照图4，图4为本技术实施例提供的步骤s14的子步骤流程图。在本实施例中，所述3d姿态估计算法包括边界框检测网络、根节点定位网络及3d姿态检测网络，步骤s14包
括以下子步骤：
69.步骤s141，通过边界框检测网络获得各个人体对应的边界框。
70.步骤s142，通过根节点定位网络对各个边界框内的人体区域进行处理，获得各个人体的根节点的位置信息。其中，人体的根节点为人体的臀部的中心点。
71.步骤s143，针对每个人体，通过3d姿态检测网络对人体的根节点的位置信息进行运算，获得人体的各个骨骼关键点的位置信息。
72.本实施例在获取人体的骨骼关键点时，首先通过3d姿态估计算法的边界框检测网络从图像采集设备12采集到的2d图像中获取到每个人体对应的一个边界框，该边界框能够将一个人体完整框住。然后通过根节点定位网络对每个边界框内的人体区域进行处理，获得各个人体的根节点的位置信息(x
r
，y
r
，z
r
)，其中x
r
、y
r
为根节点r的像素坐标，z
r
为根节点r的绝对深度坐标，其中，根节点可以是人体的臀部的中心点。
73.在获得各个人体的根节点的位置信息之后，即可通过3d姿态检测网络先检测出人体的其他骨骼关键点的相对位置信息(x
j
，y
j
，z
relj
)，其中，x
j
和y
j
为骨骼关键点j的像素坐标，z
relj
是骨骼关键点j与根节点r之间的相对深度坐标，最后将骨骼关键点的相对位置信息转换为绝对位置信息。可选地，其他骨骼关键点可以为脚尖关键点、手腕关键点、头部关键点、肩膀关键点及腰部关键点等。
74.在本实施例中，可以采集大量的人体的图像以计算人体的各个骨骼长度的平均值，例如，人体的大腿对应的骨骼的平均长度、小腿对应的骨骼的平均长度等。从而可以根据各个骨骼的平均长度构建3d姿态检测网络，并通过大量的训练集和检测集对该网络进行训练和验证。
75.在计算出各个人体的骨骼关键点之后，即可根据骨骼关键点和跑道冲刺面的位置关系判断各个人体是否到达终点，具体地，在本实施例中，步骤s15包括以下子步骤：
76.针对每个人体，判断所述肩膀关键点或所述腰部关键点是否越过所述跑道冲刺面；若是，则判定所述人体到达终点。
77.在本步骤中，可以根据目前国际比赛通用的肩膀撞线法或者腰部撞线法来判定人体是否到达终点，即判断各个人体的肩膀关键点或者腰部关键点是否越过跑道冲刺面，若肩膀关键点和腰部关键点中的任意一个关键点越过跑道冲刺面，则认为该人体已经到达终点。
78.综上所述，本技术实施例提供了一种跑道冲刺计时方法，所述方法包括：获取图像采集设备采集到的图像，并识别出图像中的跑道冲刺面的位置信息，其中，图像采集设备设置在跑道冲刺线前方；通过人体检测算法检测出图像中的各个人体并为检测出的每个人体标号；通过跟踪算法对各个已标号的人体进行跟踪；通过3d姿态估计算法检测各个人体的骨骼关键点并根据各个骨骼关键点的位置信息及跑道冲刺面的位置信息判断人体是否到达终点，最后记录各个人体到达终点的时刻。本技术在检测出各个人体的骨骼关键点的位置信息后，通过肩膀关键点或腰部关键点的位置信息以及跑道冲刺面的位置信息来判断人体是否越过终点，能够真实的反馈出人体的躯干的撞线时间，而不是运动员的脚的撞线时间，因此，运动员实际撞线时间与检测撞线时间的误差较小，检测精度高。
79.本技术实施例还提供了一种跑道冲刺计时装置，如图5所示，图5为本技术实施例提供的跑道冲刺计时装置110的功能模块图。在本实施例中，所述装置包括：
80.跑道冲刺面识别模块1101，用于获取图像采集设备采集到的图像，并识别出所述图像中的跑道冲刺面的位置信息；
81.人体检测模块1102，用于通过人体检测算法检测出所述图像中的各个人体并标号；
82.跟踪模块1103，用于通过跟踪算法对各个已标号的人体进行跟踪；
83.关键点检测模块1104，用于通过3d姿态估计算法检测各个人体的骨骼关键点；
84.判断模块1105，用于根据各个骨骼关键点的位置信息及所述跑道冲刺面的位置信息判断各个人体是否到达终点；
85.计时模块1106，用于记录各个人体到达终点的时刻。
86.本技术实施例还提供了一种电子设备，请参照图6，图6为本技术实施例提供的电子设备11的示意图。在本实施例中，电子设备11包括：处理器111、存储器112和总线113，存储器112存储有处理器111可执行的机器可读指令，当电子设备11运行时，处理器111与存储器112之间通过总线113通信，机器可读指令被处理器111执行时执行本技术实施例提供的跑道冲刺计时方法。
87.本技术实施例还提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述实施例提供的跑道冲刺计时方法。
88.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
89.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
90.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
91.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
92.尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
93.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精
神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。