一种网球比赛专用定位捡球系统及其方法

1.本发明涉及竞技体育服务技术领域，具体涉及一种网球比赛专用定位捡球系统及其方法。


背景技术：

2.网球是一种优雅而激烈的运动，在世界范围内有着非常高的关注度，每年的四大满贯赛事吸引了全球数亿人次的观看，因此网球被称为仅次于足球的世界上第二大球类运动。在大型公开的网球比赛中可以看到，为了不耽误比赛节奏，会专门邀请身体素质符合条件的志愿者做球童为比赛提供捡球服务，这些球童都必须通过选拔和测试的，因为需要在四个半小时内捡400多个球，除了健身和耐力外，集中注意力和保持警觉的能力也是必不可少的，这对球童的要求是很高的，且捡球的过程球童需要从静止状态立刻加速到很高的速度完成捡球作业，从体育健身上讲是非常不利于健康的运动方式。
3.现有技术中的网球捡球机及其捡球方法多适用于训练场地使用，能够识别地面散落的网球，对网球的收集是不特定的，按照算法随机捡球，而不是特定先捡哪个球，再捡哪个球，但是对于严肃紧张的比赛现场而言，没办法做到针对特定的球进行及时的捡取，不能够特别好的帮助赛事的进行。
4.有鉴于此，提出本技术。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种网球比赛专用定位捡球系统及其方法，能够有效解决现有技术的捡球方案无法做到在比赛过程中针对特定的球进行及时的捡取，从而影响赛事进行的问题。
6.本发明公开了一种网球比赛专用定位捡球方法,包括：
7.获取设置在比赛场地内的多个摄像机采集的现场图像；其中，每个摄像机具有一个与其所在区域对应的编号，且所述多个摄像机的拍摄视野能够覆盖整个比赛场地；
8.调用训练好的数据集库训练卷积神经网络，其中，所述数据集库包含各种光线下球场各种位置有网球和没有网球的图像集；
9.调用训练好的卷积神经网络对每一所述现场图像进行检测，以识别出含有网球的预处理图像；
10.调用训练好的转换矩阵对每一所述预处理图像进行逆透视变换处理，以生成对应的网球位置参数，以实现比赛中对网球的定位；
11.调用yolo算法和卡尔曼滤波对识别含有网球的图像视频进行网球跟踪，识别出网球的瞬时图像坐标，通过坐标转换以及计算得出网球特征数据，其中，所述网球特征数据包括网球瞬时位置坐标、速度、加速度、运动方向以及对应摄像机的编号；
12.检测网球状态，并根据所述网球特征数据确定离网球最近的捡球机器人，其中，所述网球状态包括网球静止在球场或者网球在球场地面滚动；
13.利用三边定位算法计算得到捡球机器人运动时候的瞬时位置；
14.利用a*算法和动态窗口算法对所述网球特征数据以及所述捡球机器人的当前位置进行处理，以生成捡球机器人的路径规划；
15.将所述路径规划发送给捡球机器人，以使得捡球机器人无限靠近网球，从而完成捡球，并回到原位置继续待命。
16.优选地，所述转换矩阵包括世界坐标系，相机坐标系，图像坐标系，像素坐标系；
17.其中，所述世界坐标系，用于描述相机位置，有一中心点ow和xw、yw、zw三轴；所述相机坐标系，原点oc为相机光心,有xc、yc、zc三轴，zc轴与相机光轴平行；所述图像坐标系，原点o在图像的中心，有x、y两轴；所述像素坐标系，原点o在图像左上角，有u、v两轴。
18.优选地，通过平移变换和旋转变换将所述预处理图像从所述世界坐标系转换到所述相机坐标；其中，所述转换公式为r、t矩阵为相机的外参矩阵，r为旋转矩阵，t为平移矩阵。
19.优选地，通过小孔成像理论将所述预处理图像从所述相机坐标系转换到所述图像坐标；其中，转换公式为
20.优选地，通过转换公式将所述预处理图像从所述图像坐标系转换到所述像素坐标系；其中，uo、vo分别为所述图像坐标系的原点在所述像素坐标系下的横、纵坐标值。
21.优选地，将所述预处理图像通过公式进行逆透视变换处理；其中，k3×3为相机内参矩阵，包含5个内参数，f
x
＝f/d
x
，fy＝f/dy。
22.优选地，利用a*算法和动态窗口算法对所述网球特征数据以及所述捡球机器人的当前位置进行处理，以生成捡球机器人的路径规划，具体为：
23.将所述网球特征数据以及所述捡球机器人的当前位置通过公式f(n)＝g(n) h(n)进行计算，以生成多条不同的行动路径；其中，f(n)为从初始状态经由状态n到目标状态的
代价估计，g(n)为在状态空间中从初始状态到状态n的实际代价，h(n)为从状态n到目标状态的最佳路径的估计代价；
24.将所述网球特征数据以及所述捡球机器人的当前位置通过公式g(v,w)＝α
·
heading(v,w) β
·
dist(v,w) γ
·
v(v,w)进行计算，以生成对应的行动路径的轨迹评价值；其中，g(v,w)为机器人在速度(v,w)下的轨迹评价值，heading(v,w)为机器人运动方向与目标点之间的夹角，dist(v,w)为机器人与障碍物最小的距离，v(v,w)为机器人当前的速度值，α为机器人指向权值参数，β为安全距离权值参数，γ为速度权值参数；
25.根据所述行动路径的轨迹评价值选取出多条行动路径中的最短路径，以生成捡球机器人的路径规划。
26.本发明还提供了一种网球比赛专用定位捡球系统，包括设置在比赛场地内的多个摄像头、三个超声波测距模块、多个捡球机器人以及如上所述的网球比赛专用定位捡球方法，所述三个超声波测距模块分别放置在球场四周不同方位，每一所述捡球机器人具有一个与其所在区域的摄像机对应的编号。
27.综上所述，本实施例提供的一种网球比赛专用定位捡球系统及其方法，通过检测配置在比赛场地内的每一所述摄像机采集到的现场图像，筛选出图像内含有网球的图像，将所述含有网球的图像进行逆透视变换处理，得到对应的网球特征参数，并利用三边定位算法计算得到捡球机器人的当前位置，将所述网球特征参数和所述当前位置代入a*算法和动态窗口算法中进行计算，得到针对当前赛场上网球的捡球机器人的路径规划，所述捡球机器人会按照对应路径实时避障，捡取网球，从而解决现有技术的捡球方案无法做到在比赛过程中针对特定的球进行及时的捡取，从而影响赛事进行的问题。
附图说明
28.图1是本发明实施例提供的网球比赛专用定位捡球方法的流程示意图。
29.图2是本发明实施例提供的网球比赛专用定位捡球方法的转换矩阵的坐标示意图。
具体实施方式
30.为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
31.以下结合附图对本发明的具体实施例做详细说明。
32.请参阅图1，本发明的第一实施例提供了一种网球比赛专用定位捡球方法，包括：
33.s101，获取设置在比赛场地内的多个摄像机采集的现场图像；其中，每个摄像机具有一个与其所在区域对应的编号，且所述多个摄像机的拍摄视野能够覆盖整个比赛场地。
34.具体地，在本实施例中，使用所述摄像头进行网球比赛的现场图像采集，与现有技术中的捡球方案不同，每一所述摄像头不是配置在捡球设备上，而是配置在体育场馆四周墙上或四周摆放的支架上，并且有一定的高度，保证多个摄像头的拍摄视野可以将网球场以及网球场四周全部覆盖。其中，相邻两个摄像头覆盖区域有所重叠，且重叠区域的最小宽度大于一个网球的直径，保证网球在一个摄像头的图像中一定有完整的形态。采用张正友教授提出的棋盘格标定法对摄像头进行标定，以求出摄像头的内外参数。
35.s102，调用训练好的数据集库训练卷积神经网络，其中，所述数据集库包含各种光线下球场各种位置有网球和没有网球的图像集；
36.s103，调用训练好的卷积神经网络对每一所述现场图像进行检测，以识别出含有网球的预处理图像。
37.具体地，在本实施例中，利用收集好的网球在网球场以及网球场四周上不同位置，不同光线下拍摄的照片建立数据集库，利用数据集库对卷积神经网络进行训练，将每一所述摄像头采集到的现场图像一一通过训练过的卷积神经网络进行识别，然后用yolo算法对网球进行目标检测并成功框选出，然后利用卡尔曼滤波(kalman filtering)算法实现跟踪，即可筛选出含有网球的现场图像。
38.s104，调用训练好的转换矩阵对每一所述预处理图像进行逆透视变换处理，以生成对应的网球位置参数，以实现比赛中对网球的定位。
39.请参阅图2，具体地，在本实施例中，所述转换矩阵包括世界坐标系，相机坐标系，图像坐标系，像素坐标系；其中，所述世界坐标系，用于描述相机位置，有一中心点ow和xw、yw、zw三轴；所述相机坐标系，原点oc为相机光心,有xc、yc、zc三轴，zc轴与相机光轴平行；所述图像坐标系，原点o在图像的中心，有x、y两轴；所述像素坐标系，原点o在图像左上角，有u、v两轴。
40.其中，所述世界坐标系的坐标单位为米，所述相机坐标系的zc轴与相机光轴平行，且其坐标单位为米，所述图像坐标系的坐标单位为毫米，所述像素坐标系的坐标单位为像素，在所述转换矩阵中，p是所述世界坐标系中的一点，即真实世界中的一点，p是点p映射到所述图像坐标系中的点，f为相机焦距，等于o与oc的距离，即f＝|o-oc|。
41.具体地，在本实施例中，通过平移变换和旋转变换将所述预处理图像从所述世界坐标系转换到所述相机坐标；其中，所述转换公式为r、t矩阵为相机的外参矩阵，r为旋转矩阵，t为平移矩阵。
42.在本实施例中，通过小孔成像理论将所述预处理图像从所述相机坐标系转换到所述图像坐标；其中，转换公式为
43.其中，从所述相机坐标系到所述图像坐标系涉及到小孔成像理论，所述图像坐标
系和所述相机坐标系处在光心两边，属于倒立成像，为方便计算，可以假设其投影至同侧。
44.在本实施例中，通过转换公式将所述预处理图像从所述图像坐标系转换到所述像素坐标系；其中，uo、vo分别为所述图像坐标系的原点在所述像素坐标系下的横、纵坐标值。
45.其中，从所述图像坐标系转换到所述像素坐标系时，两坐标系需要处于同一平面且坐标轴相互平行。
46.具体地，在本实施例中，将所述预处理图像通过公式进行逆透视变换处理；其中，k3×3为相机内参矩阵，包含5个内参数，f
x
＝f/d
x
，fy＝f/dy。
47.其中，通过逆透视变换，将像素坐标转变回世界坐标，世界坐标的原点可以以网球场上一点作为原点；以网球场的中心点作为世界坐标的原点ow为例：网球场上画的和中心点相交的两条线分别设置为xw轴和yw轴，并设置xw轴和yw轴的正负方向，垂直网球场的指向天空的方向为zw轴正方向，将每一所述摄像机拍摄到的图片进行逆透视变换得到网球对应的网球特征数据。
48.s105，调用yolo算法和卡尔曼滤波对识别含有网球的图像视频进行网球跟踪，识别出网球的瞬时图像坐标，通过坐标转换以及计算得出网球特征数据，其中，所述网球特征数据包括网球瞬时位置坐标、速度、加速度、运动方向以及对应摄像机的编号；
49.s106，检测网球状态，并根据所述网球特征数据确定离网球最近的捡球机器人，其中，所述网球状态包括网球静止在球场或者网球在球场地面滚动；
50.s107，利用三边定位算法计算得到捡球机器人运动时候的瞬时位置
51.s108，利用a*算法和动态窗口算法对所述网球特征数据以及所述捡球机器人的当前位置进行处理，以生成捡球机器人的路径规划；
52.在本实施例中，对所有的捡球机器人进行编号，对于相邻摄像头重叠覆盖的区域如果识别到网球，需要捡球，由编号在前的摄像头覆盖区域的负责捡球的机器人执行捡球任务。当检测到网球在球场上已经静止，将网球目前的位置坐标告知负责该区域的所述捡球机器人，所述捡球机器人从待命的初始位置启动，捡到球，然后回到初始位置，等待下次捡球命令。当检测到网球以低于预设阀值的速度在球场上滚动时，先计算网球当前的位置，速度，加速度，并告知给所在区域的所述捡球机器人，所述捡球机器人开始从初始位置出发，每隔预设间隔时间向所述捡球机器人发送更新的网球当前的位置坐标，速度，加速度等信息，所述捡球机器人结合自身位置和待捡网球位置利用a*算法和动态窗口算法确保在安全的路径基础下，实现实时避障，实现全局和局部的避障。
53.其中，a*(a-star)算法是一种静态路网中求解最短路径最有效的直接搜索方法，也是许多其他问题的常用启发式算法，对于路径搜索问题，状态就是图中的节点，代价就是距离，h(n)的选取保证找到最短路径条件，即最优解的条件，关键在于估价函数f(n)的选取，或者说h(n)的选取。以d(n)表达状态n到目标状态的距离为例，h(n)的选取大致有如下三种情况：第一种，如果h(n)《d(n)到目标状态的实际距离，这种情况下，搜索的点数多，搜索范围大，效率低，但能得到最优解；第二种，如果h(n)＝d(n)，即距离估计h(n)等于最短距离，那么搜索将严格沿着最短路径进行，此时的搜索效率是最高的；第三种，如果h(n)》d(n)，搜索的点数少，搜索范围小，效率高，但不能保证得到最优解。因此通过所述动态窗口算法计算得到的轨迹评价值从得到的多条行动路径选择出最优路径作为所述捡球机器人的路径规划。
54.s109，将所述路径规划发送给捡球机器人，以使得捡球机器人无限靠近网球，从而完成捡球，并回到原位置继续待命。
55.具体地，在本实施例中，当所述捡球机器人有视觉传感器，也可以通过近距离的图像通过卷积神经网识别出网球，通过视觉反馈控制所述捡球机器人完成捡球，也可以直接利用网球坐标和所述捡球机器人位置坐标，结合自身的惯性传感器，无限靠近网球，从而完成捡球。当完成捡球任务后，所述捡球机器人通过当前位置和已知的等待命令的初始位置，可计算出返回工位的方向和速度，回到原来的初始位置所述捡球机器人开始等待下次捡球命令。
56.其中，负责中心网线附近的捡球机器人的捡球机构可适合采用口吸式，类似一个大漏斗，有效防止和球网的粘连；负责其他地区的捡球机器人的捡球机构形状任意，可以是口吸式，也可以是导向机构结合两个柔性摩擦轮，还可以是机械手抓取式，这里不做具体限定。
57.本发明的第二实施例提供了一种网球比赛专用定位捡球系统，包括设置在比赛场地内的多个摄像头、三个超声波测距模块、多个捡球机器人以及如上所述的网球比赛专用定位捡球方法，所述三个超声波测距模块分别放置在球场四周不同方位，每一所述捡球机器人具有一个与其所在区域的摄像机对应的编号。
58.以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。