3D定位来自真实世界图像中地标的系统和方法与流程

localization and mapping,slam)技术执行，其中，通过设置slam技术为基于几何的具有环路闭合的单目orb-slam，可以实现最佳结果。
12.当在图像序列中跟踪摄像机姿态成功时，优选地，基于自标定摄像机参数、计算并缩放的摄像机自运动轨迹以及图像中的地标，应用三角定位法计算地标的位置。
13.当在图像序列中跟踪摄像机姿态不成功时，优选地，基于自标定摄像机参数、计算并缩放的深度地图，以及图像中的地标，应用逆向投影法计算地标的位置。
14.为了提高地图的覆盖范围，需要将深度比例因子应用于深度地图，其中所述深度比例因子采用gps信息推导。
15.有益地，执行深度估计和各图像的深度地图的生成，同时估计摄像机的自运动。
16.适合地，深度估计应用单目深度2(monodepth 2)和野外视频自监督深度两种方法之一，并使用深度学习来生成深度地图。
17.进一步需要注意的是，生成深度地图涉及计算图像序列中的各图像对的摄像机自运动(ego-motion)。
附图说明
18.参考附图以及本发明所述方法的示例性实施例的讨论，将在下文中进一步阐述本发明。
19.在附图中：
20.图1描述了本发明的单程3d交通标志定位架构(single journey 3d traffic sign positioning framework)；
21.图2描述了本发明的估计3d交通标志位置的两种方法。
22.图3描述了使用相似三角形以缩放深度(俯视)；以及
23.图4描述了根据本发明的3d交通标志定位架构的压缩流程图。
具体实施方式
24.在下文中，将会描述用于3d交通标志定位的两种方法。输入是宽w和高h的n幅彩色图像序列i＝fi0；
…
；in-1g，和相应的gps位置g＝gf0；
…
；gn-1g。输出是m个检测到的交通标志的列表，具有相应的等级标识ci、绝对位置p
absi
以及关于在其中检测到标志的相应的帧j的相对位置p
reli；j
。提出的3d交通标志定位方法的概述在图1中描述。对于这两种方法，本发明的系统包括下列关键模块。
25.1.交通标志检测和帧间(inter-frame)标志关联
26.交通标志3d位置估计的第一个要求是检测其在图像序列中的坐标并识别其等级。这一步骤的输出是包括了检测到的标志及其相应的踪迹和帧数的2d边界框的列表。利用边界框的中心，提取图像中交通标志的坐标。但是，考虑到可能的遮挡，忽略那些在图像的边缘检测到的边界框。
27.2.摄像机自标定
28.为了利用众包图像序列以估计交通标志的3d位置，考虑到摄像机固有特性是事先未知的，需要进行摄像机的自标定。为此，利用带有零偏差的针孔摄像机模型，以确定用x和y来代表焦距的fx和fy，并确定主点。
29.从这套基于几何的方法出发，使用基于运动结构的方法colmap[见文献9]。注意到对于具有平行光轴的前向运动，自标定存在模糊不定的困扰[见文献6]。因此仅汽车正在转向的那部分序列被利用。为了提取汽车在正在转向的子序列，优选地利用ramer-douglas-peucker(rdp)算法[见文献9]清理轨迹以得到相似的具有较少点的曲线，其中每个点代表一次转向。从基于深度学习的方法可知，采用野外视频自监督深度(self-supervised depth from videos in the wild,vitw)[见文献1]是有利的，其能够估计序列中的连续图像对的焦距和主点。因此，计算各参数的中位数(m)作为最终的估计值。注释训练数据(annotating training data)[见文献7、8]的负荷使得监督方法无法应用于使用众包的情形。
[0030]
3.摄像机自运动和深度估计
[0031]
考虑摄像机自标定，如图1和图2所示，3d交通标志定位需要摄像机自运动或深度的计算。
[0032]
图1描述了单程3d交通标志定位架构。组成部分101和102代表对架构的输入。组成部分201～203代表3d交通标志定位的三个初级步骤的输出，众包地图构建引擎300描述了来自不同车辆的交通标志定位数据。
[0033]
图2描述了估计3d交通标志位置的两种方法。
[0034]
方法a利用摄像机的固有特性来进行自运动估计并生成摄像机姿态。方法b利用摄像机的固有特性来进行深度估计并生成各图像的深度地图。方法a和b使用摄像机姿态和深度地图以及交通标志的图像坐标计算交通标志的3d位置。模块201～203描述了在图1中的主要步骤。
[0035]
方法a
[0036]
自运动(ego-motion)。为了将图2描述的方法a应用于3d交通标志定位，必须从图像序列中计算摄像机的自运动。优选地，应用现有技术的基于几何的具有环路闭合的(loop closure，lc)单目方法orb-slam[见文献2-6]。进行视觉自运动估计之后，可以利用gps位置以缩放所估计的轨迹。使用umeyama算法[见文献9]，计算相似变换(旋转re，平移te，和缩放se)以缩放所估计的摄像机位置并使其平行于gps位置。下文中，如下文第4节中所描述的，该摄像机轨迹被用于3d交通标志位置的计算。
[0037]
方法b
[0038]
单目深度(monocular depth)。为了将图2中描述的方法b应用于3d交通标志定位，需要密集的单目深度地图(dense monocular depth maps)。为了生成深度地图，优选使用根据单目深度2的自监督方法[见文献4]和vitw。这些方法同时预测了单目深度和摄像机的自运动。
[0039]
深度缩放
[0040]
虽然所估计的密集深度地图保留所观察物体的相对深度，但度量深度通过保持前向和后向缩放的一致性来获取。考虑摄像机的标定矩阵k，像素坐标上由于相邻的帧j和j 1之间的旋转r
j 1,j
和平移t
j 1,j
引起的偏移由下式给出：
[0041]
d(c
j 1
)c
j 1
＝kr
j 1,j
k-1
d(c
j
)c
j
kt
j 1,j
。
[0042]
其中d(c
j
)和d(c
j 1
)代表对应于像素点c
j
和c
j 1
的齐次坐标的未缩放深度。通过将以上公式和前向缩放估计s
′
dj 1,j
，相乘可知，缩放相对平移同样缩放了深度d(c
j
)和d
(c
j 1
)。
[0043]
考虑相对gps平移，缩放后的相对平移记为s
′
dj 1，j
·
t
j 1
，j＝g
j 1，j
。
[0044]
因此，前向缩放估计记为
[0045][0046]
类似地，计算出后向缩放估计s
′
dj,j-1
。据此，对于帧j＝1...n-2，比例因子s
dj
由前向和后向缩放估计s
′
dj 1,j
和s
′
dj,j-1
的平均给出。在下文中，该缩放的密集深度地图被用于3d交通标志位置的计算。
[0047]
图3示出了利用相似三角形的深度的缩放(俯视)。对于场景中的任意物体s(例如交通标志)，自连续摄像机位置p1和p2的深度d1和d2能够用共同的因子sd缩放。比例因子sd是由t
scaled
与t
unscaled
之比给出的，其中t表示帧之间的相对平移。
[0048]
4.3d定位和优化
[0049]
估计并优化检测的交通标志3d位置的最后步骤，采用如图2所示的两种方法。
[0050]
方法a。在该方法中，用估计的摄像机参数、计算并缩放的自运动轨迹，以及图像中的2d标志观测画面，通过三角定位法计算标志位置。对于在k帧中观察到的标志si，用中点算法(midpoint algorithm)[见文献10]计算初始标志位置估计p
init
i。在该方法中，利用摄像机的固有特性，帧j中的标志i的坐标(ci；j)变形为方向向量。然后，利用线性最小二乘法，计算该初始标志位置以最小化至所有方向向量的距离。在下文中，应用非线性的光束法平差(bundle adjustment,ba)通过最小化重投影误差以精细化初始估计。
[0051]
方法b。在方法b中，利用估计的摄像机参数和缩放的密集深度地图，以及图像中的2d标志观测画面，通过逆向投影法计算3d交通标志位置。
[0052]
在方法b中，利用估计的摄像机参数和缩放的密集深度地图，以及图像中的2d标志观测画面，通过逆向投影法计算3d交通标志位置。对于在k帧中观测到的标志si，各相应的深度地图生成一个标志位置假设，由下式给出：
[0053][0054]
其中，c
i,j
表示帧j中标志i的像素坐标，s
dj
为相应的深度比例因子。因为在超出一定距离时标志深度估计可能不可靠，所以舍去估计的相对深度超过20m的标志位置假设。为了计算各标志的绝对坐标，各相对标志位置被投影至世界坐标，且其面心(centroid)被计算为绝对标志位置。
[0055]
概述
[0056]
如图4所描述，利用上述的组成部分，使用结合多视图几何和深度学习方法的架构。这种方法是基于colmap和vitw(m)对于自标定是较佳选择的结论。虽然colmap比vitw(m)更精确，但是如果在序列中没有转向存在，则前者无法估计摄像机参数。在这种情形下，使用vitw(m)。为了估计标志位置，方法a通常是比方法b更优的选择。因此，考虑到估计的摄像机参数，使用具有lc的orb-slam来计算摄像机的自运动。如果序列中帧的跟踪是成功的(即，在跟踪时如果至少80％的输入帧被考虑)且轨迹被计算，应用方法a来计算3d交通标志位置。否则，使用monodepth 2或vitw计算序列的深度地图，并且作为方法b的一部分计算标志位置。
3d maps for autonomous vehicles:the mapping component.in2017ieee/rsj international conference on intelligent robots and systems(iros),pages 634
–
641.ieee,2017.
[0068]
(一种用于自动驾驶汽车的众包立体地图的端对端系统：地图构建单元。2017年ieee《ieee/rsj国际会议-智能机器人和系统(iros)》第634
–
641页中。)
[0069]
[4]cl
é
ment godard,oisin mac aodha,michael firman,and gabriel j brostow.digging into self-supervised monocular depth estimation.in proceedings of the ieee international conference on computer vision,pages 3828
–
3838,2019.
[0070]
(自监督单目深度估计的探究。2019年《ieee国际会议纪要-计算机视觉》第3828
–
3838页中。)
[0071]
[5]andr
éꢀ
welzel,andreas auerswald,and gerd wanielik.accurate camera-based traffic sign localization.in 17
th international ieee conference on intelligent transportation systems(itsc),pages 445
–
450.ieee,2014.
[0072]
(基于摄像机的交通标志精确定位。2014年ieee《第17届国际ieee会议-智能交通系统(itsc)》第445
–
450页中。)
[0073]
[6]bocquillon,adrien bartoli,pierre gurdjos,and alain crouzil.on constant focal length self-calibration from multiple views.in 2007ieee conference on computer vision and pattern recognition,pages 1
–
8.ieee,2007.
[0074]
(关于多视图的固定焦距自标定。2007年ieee《ieee会议-计算机视觉和模式识别》第1
–
8页中。)
[0075]
[7]manuel lopez,roger mari,pau gargallo,yubin kuang,javier gonzalez-jimenez,and gloria haro.deep single image camera calibration with radial distortion.in proceedings of the ieee conference on computer vision and pattern recognition,pages 11817
–
11825,2019.
[0076]
(利用径向畸变的深度单图摄像机标定。2019年《ieee会议纪要-计算机视觉和模式识别》第11817
–
11825页中。)
[0077]
[8]bingbing zhuang,quoc-huy tran,pan ji,gim hee lee,loong fah cheong,and manmohan krishna chandraker.degeneracy in self-calibration revisited and a deep learning solution for uncalibrated slam.2019ieee/rsj international conference on intelligent robots and systems(iros),pages 3766
–
3773,2019.
[0078]
(自标定简并性再探和用于未标定slam的深度学习方案。2019年《2019ieee/rsj国际会议-智能机器人和系统(iros)》第3766
–
3773页中。)
[0079]
[9]david h douglas and thomas k peucker.algorithms for the reduction of the number of points required to represent a digitized line or its caricature.cartographica:the international journal for geographic information and geovisualization,10(2):112
–
122,1973.
[0080]
(用于减少表示数字化线条或者其漫画所需的点的数量的算法。1973年《制图学：
地理信息和地理可视化国际期刊》10(2):112
–
122。)
[0081]
[10]shinji umeyama.least-squares estimation of transformation parameters between two point patterns.ieee transactions on pattern analysis&machine intelligence,pages 376
–
380,1991.
[0082]
(两个点模式之间的变形参数的最小二乘估计。1991年《ieee会刊-模式分析和机器智能》第376
–
380页。)
[0083]
[11]richard szeliski.computer vision:algorithms and applications.springer science&business media,2010.
[0084]
(计算机视觉：算法和应用。2010年《斯普林格科学和商业媒体》。)