一种移动式冰壶比赛观测小车

1.本发明涉及机器人技术领域，具体为一种移动式冰壶比赛观测小车。


背景技术：

2.冰壶被称为冰上国际象棋，冰壶机器人对冰壶运动员训练以及冰壶机器人比赛展示具有重要意义，市场上的冰壶机器人由轮式移动机器人、冰壶夹臂以及观测相机等组成，冰壶机器人能够检测冰壶位置，确定投壶角速度和线速度，采用自适应深度强化学习训练冰壶机器人。
3.但是，传统的冰壶机器人存在以下缺点：
4.市场上现有的冰壶机器人只是单一的对冰壶场所上的冰壶位置进行检测，应用于观测冰壶场地的机器人尚且少见，减小了冰壶机器人的使用范围。


技术实现要素：

5.本发明的目的在于提供一种移动式冰壶比赛观测小车，以解决上述背景技术中提出的市场上现有的冰壶机器人只是单一的对冰壶场所上的冰壶位置进行检测，应用于观测冰壶场地的机器人尚且少见，减小了冰壶机器人的使用范围的问题。
6.为实现上述目的，本发明提供如下技术方案：一种移动式冰壶比赛观测小车，包括观测小车本体，所述观测小车本体的底端安装有移动轮，所述观测小车本体的一侧固定安装有ros系统主控机，所述观测小车本体上固定安装有位于ros系统主控机下方的冰壶场地观测系统，所述观测小车本体的顶端转动连接有若干个机械臂，每两个相邻所述机械臂之间均安装有舵机，位于上方的机械臂的顶端固定安装有视觉传感器，所述移动机构包括双头电机、两个安装轴、四个移动轮、两个旋转轴、速度传感器、两个主动伞状斜齿和两个从动伞状斜齿，所述冰壶场地观测系统包括电路板、目标检测模块和坐标解算模块，视觉传感器分为长焦视觉传感器及短焦视觉传感器，通过不同传感器获得的不同冰壶赛道场地图片，用于不同精度场地观测。
7.作为本发明的一种优选技术方案，所述电路板的表面固定安装有目标检测模块和坐标解算模块，目标检测模块,用于检测冰壶场地中的冰壶，坐标解算模块用于计算出冰壶场地中的冰壶在二维平面中的坐标。
8.作为本发明的一种优选技术方案，所述双头电机的两个输出端均固定安装有旋转轴，两个所述旋转轴远离双头电机的一端均固定安装有主动伞状斜齿，两个所述安装轴的两端均固定安装有移动轮，两个所述安装轴的中部均固定安装有从动伞状斜齿，两个所述主动伞状斜齿的外侧分别与两个从动伞状斜齿的外侧啮合连接，所述双头电机的表面固定安装有速度传感器，双头电机通电后启动，双头电机通过旋转轴带动主动伞状斜齿转动，主动伞状斜齿与从动伞状斜齿接触，从动伞状斜齿转动，从动伞状斜齿带动安装轴转动，安装轴带动移动轮转动。
9.作为本发明的一种优选技术方案，两个所述安装轴的表面分别与观测小车本体底
端的两侧转动连接，所述双头电机的顶端与观测小车本体底端的中部固定连接，移动机构通过安装轴和双头电机安装在观测小车本体上。
10.作为本发明的一种优选技术方案，所述速度传感器的一侧、视觉传感器的一侧、目标检测模块的一侧和坐标解算模块的一侧均通过导线与ros系统主控机的一侧连接，ros系统主控机配有ros系统，与冰壶比赛观测小车上视觉传感器、速度传感器、目标检测模块、和坐标解算模块相连。
11.本发明一种移动式冰壶比赛观测小车目标检测模块的检测过程，包括以下步骤：
12.步骤一、通过带有冰壶标注的大量冰壶场地图片，使用神经网络进行模型训练：通过带有冰壶标注的大量冰壶场地图片，使用神经网络进行模型训练，该神经网络主要分为输入端、主干特征提取网络、特征融合部分、输出端；
13.步骤二、获取真实冰壶赛道场景图片，通过模型计算出冰壶赛道场地中的冰壶：获取真实冰壶赛道场景图片，进行数据采集、数据集标注，通过模型计算出冰壶赛道场地中的冰壶并评价指标。
14.作为本发明的一种优选技术方案，所述步骤一种输入端为本神经网络采用了mosaic数据增强，对数据进行随机缩放裁剪拼接，其针对检测框回归采用了自适应锚框的算法，对于不同的数据集预先会设置一些初始的锚框大小，在网络训练过程中锚框进行迭代并与真实框的groundtruth进行比较，通过不断迭代更新使之更加接近真实锚框大小，有效提高了检测框的精度，在基于图像的神经网络进行推理的时候，如果要对不同大小的图片进行网络的输入，经常会采用的一个方式是将图片缩放成相同的大小，由于很多图片长宽比不一样，缩放填充后可能会存在信息冗余，影响模型的推理速度，本神经网络采用取模填充的方式进行缩减黑边，提高模型推理速度，所述主干特征提取网络为本神经网络将高分辨率图像进行隔离采样拼接，有效减小了下采样带来的损失并加入跨级局部结构csp来让模型学习到更多的特征，网络中涉及的csp结构分为csp1_x结构与csp2_x结构，在主干特征提取网络中主要用到了csp1_x结构，csp2_x结构在特征融合部分进行了应用，csp1_x结构由卷积层、残差结构botttleneck、批归一化batch normalization、bn以及leaky relu激活函数构成，csp2_x中相较于csp1_x缺少了残差结构，同时，为了融合不同尺度特征图的信息来扩大感受野，其在主干网络最后添加了空间金字塔池化模块spp，所述特征融合为部分采用fpn pan的结构进行融合，经过下采样后，分别生成三个大小为76*76、38*38、19*19的特征图在后续融合形成特征金字塔，特征金字塔顶层特征图向下融合形成了fpn层，向下传达强语义特征，向上融合形成了pan结构，表达强定位特征。这二者相融合，提高了网络特征提取能力，所述输出端为针对预测框的损失函数进行优化，采用ciou_loss作为损失函数，解决了预测框与真实框完全不重合时预测框与真实框交并比iou为0，无法得知预测框与真实框的距离，导致损失函数不可导无法反向迭代优化的问题，相对于iou_loss，ciou_loss考虑了重叠面积，长宽比以及中心点距离，其计算公式为其中c代表真实框与预测框最小外界矩阵的面积，distance_c表示真实框与预测框最小外界矩阵对角线长度，distance2表示真实框中心点与预测框中心的欧式距离，v表示长宽比影响因子，影响因子
的计算公式为的计算公式为其中w、h分别表示宽高，gt表示真实框，p表示预测框。
15.作为本发明的一种优选技术方案，所述步骤二中数据采集为样本数据主要来源于之前冰场与实验室拍摄的数据，数据采集主要基于观测机器人的视觉系统，在冰面采集时，将观测机器人移动到大本营后方，调整观测视角，寻找一个合适的视角让相机视场可以覆盖大本营，观测到冰壶完整碰撞的过程，然后课题组成员进行冰壶投掷，视觉系统进行高速拍摄，这样采集的样本背景接近于使用场景，基本处于大本营附近，噪声相对较少，但是由于在冰面采集的数据一共只有2000多张，对于冰壶检测任务来说样本数量较少，因此课题组在实验室场地进行冰壶数据模拟采集，在实验室采集时主要有两种方式，一种是定点拍摄，课题组模仿冰场环境进行冰壶投掷，观测机器人进行拍摄，另一种方式是冰壶静止的拍摄方式，课题组将冰壶摆好，调整相机视角进行拍摄，每拍摄一部分图像进行冰壶的移动和冰壶机器人机械臂的升降以及机器人视角变化，拍摄不同视角的冰壶数据保证样本的多样化，提高检测的鲁棒性，本课题的图像采集系统采用的相机分辨率为2048*1536，图像分辨率较高。采集时冰壶观测机器人身上搭载的nuc运行服务器程序，程序采用多线程并发的形式，一个线程负责图像获取，另外一个线程负责保存图片，格式统一为jpg格式，由于相机分辨率较高，保存的图像较大，加上相机帧率高达50多帧，保持高速拍摄很容易拍摄到一样的无用数据，造成磁盘空间的浪费以及消耗大量的人力物力，首先对图像进行灰度化，然后两张图像进行做差，如果像素点差值小于设定的阈值，那么将将该点设为黑色，如果大于阈值将其设为白色，若是变化差值在阈值之内则不进行保存，所述数据集标注为采用开源的标注软件darklabel进行数据的标注，标签格式有.xml格式、.txt格式、.csv格式，灵活多变，标签类型支持pascal voc类型、darknet yolo类型、mot类型等，采用.txt格式进行图像的统一标注，标签格式为[cname,x1,y1,w,h]格式，对于每张标注的图像，其自动生成一个.txt的同名文件，该文件每一行对应一个标注对象，每一行数据用逗号隔开，分别为样本类别、样本标注框左上角在图像中x轴坐标、样本标注框左上角在图像中y轴坐标、样本标注框在图像中宽度、样本标注框在图像高度，所述神经网络需要的标签文件也是一行对应一个对象，但是其需要用空格隔开，并且该行数据分别为样本类别、样本标注框中心在图像中x轴坐标、样本标注框中心在图像中y轴坐标、样本标注框在图像中宽度以及样本标注框在图像高度，并且，坐标与宽高需要进行归一化处理。
[0016]
作为本发明的一种优选技术方案，所述评价指标为采用iou作为冰壶检测中对其定位的评价指标，iou即预测框与真实框之间的交并比。假设a为预测框，b为真实标注的框，那么iou的计算公式：在iou大小为1时，定位效果达到最佳，即预测框与真实框完全重合，对于每个检测框设定阈值为0.5，若iou》0.5那么该样本为正样本，否则是负样本，还采用类别平均精度(map)来作为冰壶分类任务的评价指标，对于图像中每一个冰壶，如果其iou》0.45，那么该样本为真阳性(tp)；反之则为假阳性(fp)，对于没有检测出来的冰壶本文称其为假阴性(fn)，对于冰壶样本，检测精度可以用准确率(percision)和召
回率(recall)来表述，其计算公式：根据设置不同的置信度，可以得到多个准确率与召回率曲线中的点，以准确率为纵坐标召回率为横坐标即可绘制p-r曲线。通过p-r曲线，可以求得平均精度(ap)，参考pascal voc challenge中计算方法，对于每一个正例都会有一个召回值，对于每个召回值r，取大于等于它最大的precision，最后计算p-r曲线面积作为ap值。计算公式：得到ap值之后,设样本类别为n，因为本课题应用场景中只需检测冰壶，所以设n＝1，则map计算公式：(6)，map作为目标检测常用评价指标，map的值越大，那么网络检测平均精度越高，越小则越差。
[0017]
与现有技术相比，本发明的有益效果是：通过冰壶场地观测系统使得轮式机器人在冰壶赛道中移动获取冰壶赛道场景图片，并数字化出当前冰壶赛道场景中冰壶分布状况，可广泛应用于冰壶竞技中，可为冰壶运动提供相应的训练设施，也可以应用于相关的娱乐比赛，可以完成冰壶赛场冰壶分布情况计算，为教练员指定战术提供参考。
附图说明
[0018]
图1为本发明的侧视图；
[0019]
图2为本发明的主视图；
[0020]
图3为本发明移动机构的俯视图；
[0021]
图4为本发明冰壶场地观测系统的结构示意图；
[0022]
图5为本发明目标检测模块的流程图；
[0023]
图6为本发明的冰壶检测训练平台参数图；
[0024]
图7为本发明的训练参数图；
[0025]
图8为本发明的神经网络结构示意图；
[0026]
图9为本发明中神经网络结构图。
[0027]
图中：1、观测小车本体；2、移动机构；21、双头电机；22、安装轴；23、移动轮；24、旋转轴；25、速度传感器；26、主动伞状斜齿；27、从动伞状斜齿；3、视觉传感器；4、机械臂；5、ros系统主控机；6、冰壶场地观测系统；61、电路板；62、目标检测模块；63、坐标解算模块；7、舵机。
具体实施方式
[0028]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
[0029]
请参阅图1-9，本发明提供了一种移动式冰壶比赛观测小车，包括观测小车本体1，
观测小车本体1的底端安装有移动轮2，观测小车本体1的一侧固定安装有ros系统主控机5，观测小车本体1上固定安装有位于ros系统主控机5下方的冰壶场地观测系统6，观测小车本体1的顶端转动连接有若干个机械臂4，每两个相邻机械臂4之间均安装有舵机7，位于上方的机械臂4的顶端固定安装有视觉传感器3，移动机构2包括双头电机21、两个安装轴22、四个移动轮23、两个旋转轴24、速度传感器25、两个主动伞状斜齿26和两个从动伞状斜齿27，冰壶场地观测系统6包括电路板61、目标检测模块62和坐标解算模块63，视觉传感器3分为长焦视觉传感器及短焦视觉传感器，通过不同传感器获得的不同冰壶赛道场地图片，用于不同精度场地观测。
[0030]
电路板61的表面固定安装有目标检测模块62和坐标解算模块63，目标检测模块62,用于检测冰壶场地中的冰壶，坐标解算模块63用于计算出冰壶场地中的冰壶在二维平面中的坐标。
[0031]
双头电机21的两个输出端均固定安装有旋转轴24，两个旋转轴24远离双头电机21的一端均固定安装有主动伞状斜齿26，两个安装轴22的两端均固定安装有移动轮23，两个安装轴22的中部均固定安装有从动伞状斜齿27，两个主动伞状斜齿26的外侧分别与两个从动伞状斜齿27的外侧啮合连接，双头电机21的表面固定安装有速度传感器25，双头电机21通电后启动，双头电机21通过旋转轴24带动主动伞状斜齿26转动，主动伞状斜齿26与从动伞状斜齿27接触，从动伞状斜齿27转动，从动伞状斜齿27带动安装轴22转动，安装轴22带动移动轮23转动。
[0032]
两个安装轴22的表面分别与观测小车本体1底端的两侧转动连接，双头电机21的顶端与观测小车本体1底端的中部固定连接，移动机构2通过安装轴22和双头电机21安装在观测小车本体1上。
[0033]
速度传感器25的一侧、视觉传感器3的一侧、目标检测模块62的一侧和坐标解算模块63的一侧均通过导线与ros系统主控机5的一侧连接，ros系统主控机5配有ros系统，与冰壶比赛观测小车上视觉传感器3、速度传感器25、目标检测模块62、和坐标解算模块63相连。
[0034]
本发明一种移动式冰壶比赛观测小车目标检测模块的检测过程，包括以下步骤：
[0035]
步骤一、通过带有冰壶标注的大量冰壶场地图片，使用神经网络进行模型训练：通过带有冰壶标注的大量冰壶场地图片，使用神经网络进行模型训练，该神经网络主要分为输入端、主干特征提取网络、特征融合部分、输出端
[0036]
步骤二、获取真实冰壶赛道场景图片，通过模型计算出冰壶赛道场地中的冰壶：获取真实冰壶赛道场景图片，进行数据采集、数据集标注，通过模型计算出冰壶赛道场地中的冰壶并评价指标。
[0037]
步骤一种输入端为本神经网络采用了mosaic数据增强，对数据进行随机缩放裁剪拼接，其针对检测框回归采用了自适应锚框的算法，对于不同的数据集预先会设置一些初始的锚框大小，在网络训练过程中锚框进行迭代并与真实框的groundtruth进行比较，通过不断迭代更新使之更加接近真实锚框大小，有效提高了检测框的精度，在基于图像的神经网络进行推理的时候，如果要对不同大小的图片进行网络的输入，经常会采用的一个方式是将图片缩放成相同的大小，由于很多图片长宽比不一样，缩放填充后可能会存在信息冗余，影响模型的推理速度，本神经网络采用取模填充的方式进行缩减黑边，提高模型推理速度，主干特征提取网络为本神经网络将高分辨率图像进行隔离采样拼接，有效减小了下采
样带来的损失并加入跨级局部结构csp来让模型学习到更多的特征，网络中涉及的csp结构分为csp1_x结构与csp2_x结构，在主干特征提取网络中主要用到了csp1_x结构，csp2_x结构在特征融合部分进行了应用，csp1_x结构由卷积层、残差结构botttleneck、批归一化batch normalization、bn以及leaky relu激活函数构成，csp2_x中相较于csp1_x缺少了残差结构，同时，为了融合不同尺度特征图的信息来扩大感受野，其在主干网络最后添加了空间金字塔池化模块spp，特征融合为部分采用fpn pan的结构进行融合，经过下采样后，分别生成三个大小为76*76、38*38、19*19的特征图在后续融合形成特征金字塔，特征金字塔顶层特征图向下融合形成了fpn层，向下传达强语义特征，向上融合形成了pan结构，表达强定位特征。这二者相融合，提高了网络特征提取能力，输出端为针对预测框的损失函数进行优化，采用ciou_loss作为损失函数，解决了预测框与真实框完全不重合时预测框与真实框交并比iou为0，无法得知预测框与真实框的距离，导致损失函数不可导无法反向迭代优化的问题，相对于iou_loss，ciou_loss考虑了重叠面积，长宽比以及中心点距离，其计算公式为其中c代表真实框与预测框最小外界矩阵的面积，distance_c表示真实框与预测框最小外界矩阵对角线长度，distance2表示真实框中心点与预测框中心的欧式距离，v表示长宽比影响因子，影响因子的计算公式为其中w、h分别表示宽高，gt表示真实框，p表示预测框。
[0038]
步骤二中数据采集为样本数据主要来源于之前冰场与实验室拍摄的数据，数据采集主要基于观测机器人的视觉系统，在冰面采集时，将观测机器人移动到大本营后方，调整观测视角，寻找一个合适的视角让相机视场可以覆盖大本营，观测到冰壶完整碰撞的过程，然后课题组成员进行冰壶投掷，视觉系统进行高速拍摄，这样采集的样本背景接近于使用场景，基本处于大本营附近，噪声相对较少，但是由于在冰面采集的数据一共只有2000多张，对于冰壶检测任务来说样本数量较少，因此课题组在实验室场地进行冰壶数据模拟采集，在实验室采集时主要有两种方式，一种是定点拍摄，课题组模仿冰场环境进行冰壶投掷，观测机器人进行拍摄，另一种方式是冰壶静止的拍摄方式，课题组将冰壶摆好，调整相机视角进行拍摄，每拍摄一部分图像进行冰壶的移动和冰壶机器人机械臂的升降以及机器人视角变化，拍摄不同视角的冰壶数据保证样本的多样化，提高检测的鲁棒性，本课题的图像采集系统采用的相机分辨率为2048*1536，图像分辨率较高。采集时冰壶观测机器人身上搭载的nuc运行服务器程序，程序采用多线程并发的形式，一个线程负责图像获取，另外一个线程负责保存图片，格式统一为jpg格式，由于相机分辨率较高，保存的图像较大，加上相机帧率高达50多帧，保持高速拍摄很容易拍摄到一样的无用数据，造成磁盘空间的浪费以及消耗大量的人力物力，首先对图像进行灰度化，然后两张图像进行做差，如果像素点差值小于设定的阈值，那么将将该点设为黑色，如果大于阈值将其设为白色，若是变化差值在阈值之内则不进行保存，数据集标注为采用开源的标注软件darklabel进行数据的标注，标签格式有.xml格式、.txt格式、.csv格式，灵活多变，标签类型支持pascal voc类型、darknet yolo类型、mot类型等，采用.txt格式进行图像的统一标注，标签格式为[cname,x1,y1,w,h]
格式，对于每张标注的图像，其自动生成一个.txt的同名文件，该文件每一行对应一个标注对象，每一行数据用逗号隔开，分别为样本类别、样本标注框左上角在图像中x轴坐标、样本标注框左上角在图像中y轴坐标、样本标注框在图像中宽度、样本标注框在图像高度，神经网络需要的标签文件也是一行对应一个对象，但是其需要用空格隔开，并且该行数据分别为样本类别、样本标注框中心在图像中x轴坐标、样本标注框中心在图像中y轴坐标、样本标注框在图像中宽度以及样本标注框在图像高度，并且，坐标与宽高需要进行归一化处理。
[0039]
评价指标为采用iou作为冰壶检测中对其定位的评价指标，iou即预测框与真实框之间的交并比。假设a为预测框，b为真实标注的框，那么iou的计算公式：在iou大小为1时，定位效果达到最佳，即预测框与真实框完全重合，对于每个检测框设定阈值为0.5，若iou》0.5那么该样本为正样本，否则是负样本，还采用类别平均精度(map)来作为冰壶分类任务的评价指标，对于图像中每一个冰壶，如果其iou》0.45，那么该样本为真阳性(tp)；反之则为假阳性(fp)，对于没有检测出来的冰壶本文称其为假阴性(fn)，对于冰壶样本，检测精度可以用准确率(percision)和召回率(recall)来表述，其计算公式：根据设置不同的置信度，可以得到多个准确率与召回率曲线中的点，以准确率为纵坐标召回率为横坐标即可绘制p-r曲线。通过p-r曲线，可以求得平均精度(ap)，参考pascal voc challenge中计算方法，对于每一个正例都会有一个召回值，对于每个召回值r，取大于等于它最大的precision，最后计算p-r曲线面积作为ap值。计算公式：得到ap值之后,设样本类别为n，因为本课题应用场景中只需检测冰壶，所以设n＝1，则map计算公式：map作为目标检测常用评价指标，map的值越大，那么网络检测平均精度越高，越小则越差。
[0040]
本技术实施例在使用时：使用者通过带有冰壶标注的大量冰壶场地图片，使用神经网络进行模型训练，图片输入进网络之前本专利采用的大小是640*640*8，网络中下采样了五次，最后得到的特征图大小是19*19、38*38以及76*76，其中76*76负责小目标检测，对应到640*640的图像上，那么特征图中每个格子对应的感受野大小为8*8，将640*640的图像对应到原图中，取最长边2048，那么2048/640*8＝26，图像中如果物体小于26像素，网络将很难学习到其特征，冰壶大小像素一般在60以上，因此其在训练过程中完全是可以学习到冰壶特征的，冰壶检测模型训练过程的本质就是在迭代过程中寻找最优的网络参数使得损失函数达到极小值，其中需要采用梯度下降的方法进行极小值点的选取，课题采用adam作为迭代过程的优化器，收敛速度相对较快。在网络进行迭代时，如果一次处理所有数据不仅占用内存大同时要求设备计算能力强，因此采用小批量梯度下降的方法，每次只抽出一小
部分样本进行迭代，抽出的样本个数称之为batch size，batch size的设置也有一定的选取标准，如果设置的太大，那么对算力要求高并且容易导致无法得到最优解，如果设置的过小，那么收敛速度较慢，batch size大小一般将其设置为2的指数，采用16作为batch size，在模型训练的过程中，学习率的大小也十分重要，学习率表示每次参数更新的幅度大小，也称之为步长。学习率需要设置一个合适的值，如果学习率过大，那么会导致待优化的网络参数在最优范围内波动，如果过小会导致收敛速度过慢，学习率设定初值为0.01，并且在迭代中进行学习率的调整，对学习率的更新首先采用warmp-up的方法来进行预热学习率，通俗来说就是采用一堆线性插值的方法来进行迭代过程中学习率的更新，warmp-up阶段结束后采用余弦退火算法来对学习率进行调整，由于数据在一次完全的迭代过程中不一定可以收敛，因此在训练过程中需要进行多次迭代才有可能拟合收敛，这时需要对epoch进行设置，一个epoch表示所有数据都在网络中完成了前向计算和反向传播的过程，本文采用官方推荐的300作为epoch的大小，但是由于本课题检测任务简单，在训练过程中发现其很快就收敛了，为了防止过拟合将epoch大小调整为80，在使用训练好的模型进行测试时，设定置信度为0.45，最终网络收敛后在测试集上map@0.5为0.9961，map@0.5:0.95为0.8303，在测试过程中基本所有冰壶在图像中能被检测出来，并且检测精度较高，使用者获取真实冰壶赛道场景图片，通过模型计算出冰壶赛道场地中的冰壶，位置解算算法可以将2d模型中的冰壶位置映射到真实的冰壶场地上，考虑到冰壶场地规格是固定的，那么如果将冰面看作一个二维平面，其与观测机器人拍摄的图像是有一个映射关系的，因此考虑射影变换的方式进行场地坐标解算，在此之前需要引入两个坐标系，分别为观测机器人拍摄的图片像素坐标系和世界场景中的冰面坐标系，像素坐标系f1:o-xyz：以图像左上角为原点o，水平向右为x轴，垂直向下为y轴，单位为像素(pix)，冰面坐标系f2:o-xyz：以得分区大本营中心点为原点o，冰场中线在水平面投影为x轴，正方向指向后卫线，平行于栏线为y轴，z轴垂直于冰面向上，构成右手坐标系，单位为米(m)，不共线的四点唯一确定一个射影变换，其是一种简单的线性变换，不改变点的共线性和共线四点的交比以及不会改变重合关系，但是其会改变直线之间的平行性，射影变换中射影平面中的点与映射平面中的点是一一对应的。将世界场景中冰壶场地视为一个固定的图像平面，那么其可以看作由观测机器人采集的冰壶场地图像经过射影变换得到的，反过来将冰壶场第看作射影面，那么也可以通过射影变换来求得图像平面，图像面与冰壶场地之间存在一个转换关系，称之为射影变换矩阵，只需对这个变换矩阵进行求解，那么就可以通过射影变换矩阵求得到图像中像素点在真实场景中的位置假设左边的面为观测机器人拍摄到的像素平面，图像中有一点记作x1，其坐标为(u1，v1)，右边的棕色平面为像素平面经过射影变换产生的冰壶场地平面，x1经过射影变换后在冰壶场地平面中记为x1′
，设冰面中z轴坐标为0，则x1′
坐标为(u2，v2)，将x1和x1′
转换为齐次坐标的表现形式，那么x1坐标为(u1，v1，1)，x1′
坐标为(u2，v2，1)，假设射影变换矩阵为h，其大小为3*3，那么x1和x1′
之间的转换关系表示为：x1′
＝hx1(7)，其中设h矩阵中从左向右分别为h1～h9，那么式2.1可以表示为：将式
(8)进行展开得到式(9)，：将式(9)中第三个式子带入前面两个式子可得式(10)，对式(10)中右式进行移项得到式(11)：h是齐次矩阵，存在八个自由度，将h最后一个元素归一化为1，得到h＝(h1，h2，h3，h4，h5，h6，h7，h8，1)
t
，设a1＝(-u1，-v1，1，0，0，u2u1，u2v1，u2)
t
，b1＝(0，0，0，-u1，-v1，-1，v2u1，v2v1，v2)
t
，等式(11)可表述为：h有八个未知量，其需要八个方程进行求解，已知一对点对即可得到两个方程，那么只需要知道两个平面中互相对应的四组以上的点对便能对h进行求解，得到h之后就相当于得到了射影变换矩阵h，即可通过对图像中的像素点求解其在真实场景中位置，在得到冰壶像素坐标后就可以解算其在冰壶场中的位置。实际求解当中，可以通过四对以上匹配的点对，采用最小二乘法或者ransac配对算法进行计算，采用射影变换进行冰壶坐标解算，相对于传统视觉测量方法更加便捷，符合课题中观测机器人的使用条件。视角固定时，只需标定四对以上点对就可以进行两个平面映射，相对于传统方法并不需要进行相机标定工作。采用传统方法，冰壶观测机器人如果移动或者相机位姿发生变化，那么就需要进行重新标定的工作，费时费力。而采用射影变换的方法，机器人出现移动或者相机位姿发生变化，我们只需根据冰场特征选取固定的四个点进行射影矩阵求解即可，由于冰壶场地规格是一定的，按照前文建立冰面坐标系，其栏线、后卫线、tee线等这些特征线段的交点在冰面中坐标固定，属于冰场的特征点，只需在观测机器人采集的照片中检测出这些直线求出交点或者人工选取便可得到四对以上相互匹配的点对，即可对解算矩阵h进行求解，要想检测场地的直线，首先需要对场地轮廓边缘进行提取。边缘提取流程如下：对图像进行灰度化操作，采用高斯滤波进行图像去噪，这样像素噪声在高斯滤波的处理下变得几乎没有影响，计算图像梯度，寻找图像中灰度变化的梯度方向。梯度方向的计算一般采用sobel算子计算水平和垂直方向的导数，在本场景中梯度方向与边界垂直，一共有水平、垂直和对角线四个方向，获得梯度方向和大小后，采用非极大值抑制的方法去除非边界上的点。首先对图像进行扫描，查看每个像素梯度是不是周围梯度方向相同的点中最大的，如果是则保留，否则去除，采用滞后阈值的方法确定真正的边界，通过设定两个阈值minval和maxval，当灰度图梯度高于maxval确认为正真边界，低于minval的边界舍弃，若梯度处于两者之间，这个点若与边界点相连则保留，否则舍弃，在得到图像边缘后，图像被进行了二值化操作，即是边缘或者非边缘，最后通过霍夫变换来得到冰场中的栏线、后卫线、tee线这些线段，最后对它们求交点即可得到图像中冰场的特征点，其与真实冰面中点都是一一对应的，得到这些点对之后即可进行射影变换矩阵求解。
[0041]
尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等
同替换，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。