一种相机外参标定方法、系统和非易失性计算机可读存储介质与流程

1.本发明实施方式涉及无人驾驶领域，特别是涉及一种相机外参标定方法。


背景技术：

2.现有技术中，无人驾驶可以极大的降低人力成本，而相关定位技术则需要依赖包括相机在内的各种传感器。不同于常用车，码头场景的无人驾驶所采用的车辆有体型巨大，电器环境复杂等特点。此类形状巨大的车辆，很难知晓他们的传感器到车体中心的外参，所以外参标定任务较为困难。
3.一般来说，大型i gv受限于体型巨大，各个传感器之间没有共视范围，或共视范围较少，导致很难知晓相机车体中心的外参。特别是，采用手眼标定又会受限于定位精度不够，从而导致外参标定误差过大。不精确的相机外参在大型车体定位中，会极大的扩大定位误差。
4.本发明通过匹配对地面标志物第一中心坐标和相机图像的第二中心坐标来确定相机在标定场地的位置坐标，并且计算出相机到车辆的中心外参，提高了标定精度。


技术实现要素：

5.本发明通过匹配对地面标志物第一中心坐标和相机图像的第二中心坐标来确定相机在标定场地的位置坐标，并且计算出相机到车辆的中心外参，提高了标定精度。
6.为了实现上述目的，本发明实施方式提供了以下技术方案：
7.第一方面，本发明实施例提供一种相机外参标定方法，应用于无人驾驶，其特征在于，包括：
8.确定在标定场地中，若干组地面标志物和车辆的中心坐标；获取标定场地的相机图像；匹配同一个地面标志物的第一中心坐标和第二中心坐标；所述第一中心坐标为地面标志物在标定场地中的坐标；所述第二中心坐标为地面标志物在相机图像中的坐标；通过pnp算法计算用于拍摄所述相机图像的相机在所述标定场地的位置坐标；计算所述相机到所述车辆的中心外参。
9.可选地，所述地面标志物不少于三组。
10.可选地，所述通过pnp算法计算相机在标定场地的位置坐标，包括：基于所述第一中心坐标和第二中心坐标，通过icp算法解算出相机的位置坐标。
11.可选地，所述车辆包括车体以及车轮；所述方法还包括：获取车轮在标定场地的坐标；基于所述车轮在所述标定场地的坐标，根据预设公式计算出车体朝向；对所述车轮在所述标定场地的坐标进行归一化处理，获得车头朝向。
12.可选地，所述计算相机到车体的中心外参，包括：获取相机内参矩阵,并基于所述相机在所述标定场地的位置坐标和所述标定场地中车体的中心坐标，求解所述相机到车体的中心外参。
13.第二方面，本发明实施例还提供了一种车辆位置检测方法，其特征在于，包括：通过上述的相机外参标定方法，确定中心外参；基于所述相机内参矩阵、所述中心外参和相机图像，确定车辆位置。
14.第三方面，本发明实施例还提供一种相机外参标定装置，其特征在于，包括：图像采集模块,用于采集标定场地图像；图像计算模块，用于将所述标定场地中地面标志物的中心坐标与所述相机图像中标志物的中心坐标进行匹配；用于计算相机在标定场地的位置坐标；用于计算相机到车体的中心外参。
15.第四方面，本发明实施例还提供一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；和与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的相机外参标定方法和/或上述的车辆位置检测方法。
16.第五方面，本发明实施例还提供一种相机外参标定系统，其特征在于，包括：测绘工具；所述测绘工具用于测绘确定在标定场地中，若干组地面标志物和车辆的中心坐标；以及上述的电子设备。
17.第六方面，本发明实施例还提供一种非易失性计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被执行时，能够执行上述的相机外参标定方法和/或上述的车辆位置检测方法。
18.本发明实施方式的有益效果是：区别于现有技术的情况，本发明涉及无人驾驶领域，公开了一种相机外参标定方法，本发明通过匹配对地面标志物第一中心坐标和相机图像的第二中心坐标来确定相机在标定场地的位置坐标，并且计算出相机到车辆的中心外参，提高了标定精度。
附图说明
19.一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
20.图1是本发明实施例提供的一种相机外参标定方法流程图；
21.图2是本发明实施例提供的标定场地俯瞰示意图；
22.图3是本发明实施例提供的标定场地的相机图像；
23.图4是本发明实施例提供的图像坐标系和像素坐标系的转化关系图；
24.图5是本发明实施例提供的的pnp算法原理图；
25.图6是本发明实施例提供的一种车辆位置标定方法流程图；
26.图7是本发明实施例提供的图6中步骤s203的方法流程图；
27.图8是本发明实施例提供的一种相机外参标定装置图；
28.图9是本发明实施例提供的一种电子设备结构示意图。
具体实施方式
29.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不
用于限定本发明。需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互组合，均在本发明的保护范围之内。另外，虽然在装置示意图中进行了功能模块的划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置示意图中的模块划分，或流程图中的顺序执行所示出或描述的步骤。
30.除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
31.请参阅图1，图1是本发明实施例提供的一种相机外参标定方法流程图，该方法包括如下步骤：
32.s101、确定若干组地面标志物和车辆的中心坐标
33.相机外参标定的核心在于如何确定相机在标定场地的位置，以及车体中心在标定场地的位置坐标，在一些实施例中，首先需要构建标定场地，并且确定标定场地中的标志物的位置坐标，地面标志物不少于三组。
34.在一些实施例中，如图2所示，图2是本发明实施例提供的标定场地俯瞰示意图，在标定场地放置九个标志物，分别用编号1-9表示，构建坐标系并且通过测绘工具来确定九个标志物的坐标，标志物1-9对应坐标为(x1，y1)、(x2，y2)、(x3，y3)、(x4，y4)、(x5，y5)、(x6，y6)、(x7，y7)、(x8，y8)、(x9，y9)，设置相机坐标为(x0，y0)。
35.s102、获取标定场地的相机图像
36.s103、匹配同一个地面标志物的第一中心坐标和第二中心坐标
37.第一中心坐标为地面标志物在标定场地中的坐标，第二中心坐标为地面标志物在相机图像中的坐标，分别用编号1-9表示，在一些实施例中，如图3所示，图3是本发明实施例提供的标定场地的相机图像，在标定图像中，对放置的九个标志物进行坐标标注，构建坐标系并且通过测绘工具来确定九个标志物的坐标，标志物1-9对应坐标为(x'1，y'1)、(x'2，y'2)、(x'3，y'3)、(x'4，y'4)、(x'5，y'5)、(x'6，y'6)、(x'7，y'7)、(x'8，y'8)、(x'9，y'9)，需要说明的是，图3与图2虽然是同一标志物的图像，由于相机视野的不同，所以图2和图3具有明显差异。将图2标志物的坐标和图3相机图像中的坐标一一对应匹配。
38.s104、通过pnp算法计算用于拍摄所述相机图像的相机在所述标定场地的位置坐标。
39.利用pnp算法可求解出相机在标定场地的位置坐标，在s102步骤中，已获取地面标志物的第一中心坐标和第二中心坐标，此时需要将相机图像坐标系转化为像素坐标系，具体的，请参考图4，图4是本发明实施例提供的图像坐标系和像素坐标系的转化关系图，在一些实施例中，像素坐标系u-v图像坐标系的原点为o0，横坐标u和纵坐标v分别是图像所在的行和列，在视觉处理库opencv中，u对应x，v对应y，图像坐标系x-y的原点是o1，为像素坐标系的中点。设(u0，v0)代表o1在u-v坐标系下的坐标，dx和dy分别表示每个像素在横轴x和纵轴y的物理尺寸；图像坐标系和像素坐标系的关系如下：
40.[0041][0042]
在一些实施例中，坐标系中的单位为毫米，那么dx的单位为毫米/像素，那么x/dx的单位就是像素了，即和u的单位一样。常将上式写成矩阵形式：
[0043][0044]
其逆关系可表示为：
[0045][0046]
通过图像坐标系和像素坐标系的转化关系，将第二中心坐标转化为第三中心坐标，其中，第三中心坐标为地面标志物的像素坐标，此时我们已完成pnp算法所需的输入数据。
[0047]
请参阅图5，图5本发明实施例提供的pnp算法原理图，在三角形abc上任取一点p，根据余弦定理，可得：
[0048]
pa2 pb
2-2*pa*pb*cos《pa,pb》＝ab2[0049]
pa2 pc
2-2*pa*pc*cos《pa,pc》＝ac2[0050]
pc2 pb
1-2*c*pb*os《pb,pc》＝bc2[0051]
令y＝pb/pc,x＝pa/pc，可得：
[0052]
x2 y
2-2*x*y*cos《pa,pb≥ab2/pc2[0053]
x2 1-2*x*cos《pa,pc≥cc2/pc2[0054]
y2 1-2*y*cos《pb,pc≥bc2/pc2[0055]
令u＝ab2/pc2，v＝bc2/ab2,w＝ac2/ab2，可得：
[0056]
x2 y
2-2*x*y*cos《pa,pb≥u
[0057]
x2 1
2-2*x*cos《pa,pc≥wu
[0058]
y2 1-2*y*cos《pb,pc≥vu
[0059]
在一些实施例中，ab，bc，ac的距离都是可以根据标志物的第一中心坐标点求得，输入的第二中心坐标还可以求解三个余弦值，具体的，第三中心坐标根据相机内参矩阵和畸变参数可以求得在归一化图像平面上的相机的在图像坐标系上的坐标，此时z＝1，故余弦值可求。此时未知数仅x，y两个，所以理论上两个未知数两个方程，是可求的。(从x，y求pa，pb，pc也可求)。然后通过icp算法可以解算出相机的位置坐标。
[0060]
s105、计算所述相机到所述车辆的中心外参
[0061]
在一些实施例中，相机外参分为旋转矩阵和平移矩阵，旋转矩阵和平移矩阵共同描述了如何把点从世界坐标系转换到图像坐标系。旋转矩阵：描述了世界坐标系的坐标轴相对图像坐标轴的方向。平移矩阵：描述了在相机坐标系下，空间原点的位置。
[0062]
请参考图6，图6是本发明实施例提供的一种车辆位置标定方法流程图，该方法包
括如下步骤：
[0063]
s201、获取车轮在标定场地的坐标
[0064]
在一些实施例中，通过一些测绘工具，例如全站仪测绘出车体在标定场地的中心坐标，可以选择通过测得4个轮子的中心才计算出，设立地面坐标系，测得车轮坐标分别为p0(m1，n1)、p1(m2，n2)、p2(m3，n3)、p3(m4，n4)。
[0065]
s202、基于所述车轮在标定场地的坐标，根据预设公式计算出车体朝向；
[0066]
基于步骤s201测绘得的车轮坐标，设车体中心坐标为p(m0，n0)，根据公式m0＝(m1 m2 m3 m4)/4,n0＝n1 n2 n3 n4，可以求出车体中心坐标。
[0067]
设q(jo，k0)，根据公式j0＝(m1-m3 m2-m4),q0＝(n1 n2-n3-n4)，可知道车体的朝向。
[0068]
s203、对所述车轮在标定场地的坐标进行归一化处理，获得车头朝向。
[0069]
基于步骤s203测绘得的q(jo，k0)，对坐标点q进行归一化处理，可以得到车头朝向。
[0070]
具体的，请参阅图7，图7是本发明实施例提供的一种车头朝向确定方法的流程图，包括：
[0071]
s2031、建立车辆检测模型
[0072]
在一些实施例中，电子设备中保存预先训练完成的车辆检测模型，该电子设备可以是pc、平板电脑、手机等，也可以为图像采集设备。首先获取车辆图像，将其输入至预先训练完成的车辆检测模型中。在一些实施例中，车辆检测模型可以为yolo2神经网络模型，也可以是卷积神经网络模型cnn等等。
[0073]
s2032、将目标车辆输入预先训练完成的车头角度模型
[0074]
在一些实施例中，电子设备中保存预先训练完成的车头角度模型，当电子设备确定目标车辆后，将目标车辆输入预先训练完成的车头角度模型，具体的，基于目标车辆角度模型，确定车辆的归一化角度值；根据归一化角度值和车头朝向角度的对应关系式，确定车辆的车头朝向角度。
[0075]
在一些实施例中，电子设备将车辆输入预先训练完成的角度回归模型中，基于车头角度模型，确定目标车辆的归一化角度值。另外，为了确定车头朝向角度，电子设备中还保存有归一化角度值和车头朝向角度的对应关系式，确定目标车辆的归一化角度值后，根据归一化角度值和对应关系式，可以确定目标车辆的车头朝向角度。
[0076]
由于在本发明实施例中，基于预先训练完成的车辆检测模型，可以确定目标车辆，基于预先训练完成的车辆角度模型，可以确定目标车辆的归一化角度值，根据归一化角度值和车头朝向角度的对应关系式，确定目标车辆的车头朝向角度。
[0077]
在一些实施例中，所述计算相机到车体的中心外参，包括：获取相机内参矩阵,并基于所述相机在所述标定场地的位置坐标和所述标定场地中车体的中心坐标，求解所述相机到车体的中心外参。
[0078]
本发明实施例还提供一种车辆位置检测方法，包括：通过上述的相机外参标定方法，确定所述中心外参；基于所述相机内参矩阵、所述中心外参和相机图像，确定车辆位置。
[0079]
相应的，本发明实施例还提供一种相机外参标定装置装置，如图8所示，在一些实施例中，一种相机外参标定装置装置80包括：
[0080]
图像采集模块801，用于采集标定场地图像；
[0081]
图像计算模块802，用于将所述标定场地中地面标志物的中心坐标与所述相机图像中标志物的中心坐标进行匹配；用于计算相机在标定场地的位置坐标；用于计算相机到车体的中心外参。
[0082]
作为本发明实施例的另一方面，本发明实施例提供一种电子设备，如图8所示，为该电子设备90的硬件结构示意图，请参阅图9，该电子设备包括：一个或多个处理器901以及存储器902，图9中以一个处理器901为例。
[0083]
处理器901和存储器902可以通过总线或者其他方式连接，图9中以通过总线连接为例。
[0084]
存储器902作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本技术实施例中的一种相机外参标定装置对应的程序指令/模块(例如，附图7所示的图像采集模块801、图像计算模块802)。处理器801通过运行存储在存储器902中的非易失性软件程序、指令以及模块，从而执行该电子设备的各种功能应用以及数据处理，即实现上述方法实施例的相机外参标定方法和\或车辆位置检测方法。
[0085]
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据控制器的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器802可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至该电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0086]
所述一个或者多个模块存储在所述存储器902中，当被所述一个或者多个处理器901执行时，执行上述任意方法实施例中的相机外参标定方法和/或车辆位置检测方法。
[0087]
上述产品可执行本技术实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本技术实施例所提供的方法。
[0088]
本发明实施例还提供一种相机外参标定系统，包括：测绘工具；测绘工具用于测绘确定在标定场地中，若干组地面标志物和车辆的中心坐标；以及如上述的电子设备。
[0089]
本发明实施例还提供了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被电子设备执行上述任意方法实施例中的相机外参标定方法和/或车辆位置检测方法。
[0090]
本发明实施例还提供了一种计算机程序产品，包括存储在非易失性计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时时，使所述计算机执行上述任意方法实施例中的相机外参标定方法和/或车辆位置检测方法。
[0091]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0092]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术
方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用至少一台计算机(可以是个人计算机，服务器，或者网络等)执行各个实施例或者实施例的某些部分所述的方法。
[0093]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行个合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。