一种单目相机成像半稠密建图方法、存储介质及装置与流程

1.本发明属于视觉slam技术领域，特别涉及一种基于单目相机成像的视觉slam技术。


背景技术：

2.slam(simultaneous localization andmapping)技术，即定位与地图构建技术，它是指搭载特定传感器的主体，在没有环境先验信息的情况下，于运动过程中建立环境的模型，同时估计自己的运动。其中，以相机作为主要传感器而实现的定位与地图构建技术，称为视觉slam技术。相比于其他slam技术，视觉slam技术信息量大、适用范围广，近年来被越来越多地应用在机器人导盲、增强现实、无人驾驶等具体场景中。
3.以无人驾驶场景为例，应用到无人驾驶场景中的视觉slam技术，其具体采用的相机往往有单目相机、双目相机以及深度相机三种，其中以双目相机与深度相机应用居多。双目相机是利用两个镜头从不同视点观察同一目标，计算图像像素间位置偏差，对视场范围内的目标进行立体成像。而深度相机则往往自带红外结构光测距单元，通过主动向目标发射逛并接受返回的光，在获得目标侧成像的同时测出目标物体与相机之间的距离，直接获得深度信息。
4.应该指出，采用双目相机或深度相机的无人驾驶场景往往需要面对成本高、计算量大以及建图效率低的问题：首先，应用到无人驾驶场景中的双目相机与深度相机往往为工业级的，其体积较大，价格也较高；其次，对于采用双目相机的无人驾驶小车而言，其配置的双目相机配置与标定均较为复杂，其深度量程和精度受双目的基线与分辨率限制，而且视差的计算非常消耗计算资源，往往需要使用gpu和fpga设备加速后，才能实时输出整张图像的距离信息，其计算量非常庞大，深度相机虽从其感应原理上解决了深度问题，以物理手段直接获得深度信息，但其图像信息量仍然非常大，且通过双目相机与深度相机采集环境图像、应用slam技术进行定位与同步建图时，往往由相机采集到的图像结合深度信息，进一步处理之后就可以得到三维点云数据，采用稠密建图形式实现二维到三维的重构，其稠密建图过程不仅需求庞大的存储空间，还需求巨量的计算力，其建图过程计算量巨大，建图效率也非常低下。
5.而采用单目相机的无人驾驶场景，其使用的单目相机体积小，造价低，能在一定程度上解决上述采用双目相机与深度相机而衍生的成本高、应用受限的问题；但不可避免的是，单目相机成像具有深度与尺度不确定性，因此搭载单目相机的无人驾驶小车/无人驾驶平台必须更换角度为多个位置观测同一目标，即多角度成像，其对图像的处理同样非常复杂，上述建图过程中的计算量巨大与建图效率低的问题都存在。
6.综上，现有的视觉slam技术应用到具体场景中无论采用单目相机、双目相机还是深度相机，均无法同时解决成本高、计算量大以及建图效率低的问题，亟需本领域技术人员就此问题提出行之有效的解决方案。


技术实现要素：

7.为解决上述问题，本发明的目的在于提供一种单目相机成像半稠密建图方法、存储介质及装置，相较于传统的稠密建图方法，该方法能以更轻量化的计算，取得更快更高效的建图效果。
8.为实现上述目的，本发明的技术方案如下：
9.一种单目相机成像半稠密建图方法，该方法为：
10.s1：筛选关键帧：从单目相机的成像中逐步筛选出关键帧，得到关键帧集合；
11.s2：信息处理：处理关键帧集合中的图像信息，得到像素逆深度信息；
12.s3：半稠密建图：结合逆深度分布的相关信息与关键帧集合，处理得到半稠密的点云地图。
13.进一步的，s1具体为：设置单帧图像中被检测到的特征点数目、相邻关键帧地图点的共视比例范围以及关键帧总数目为约束条件，从单目相机的成像中逐步筛选出关键帧，得到关键帧集合。
14.单帧图像中被检测到的特征点的数目反映外部环境中特征信息的多寡，如遇特征信息较多、较复杂的环境，可对应调整该值，放宽该项约束条件。而相邻关键帧的共视比例则受单目相机的移动速度以及环境特征复杂程度影响较大，应需要根据实际环境调整。单目相机移动速度较大时，周围环境变化明显，相邻关键帧的共视比例较小，此时应设置中位数较小的共视比例范围以适配当前较快的移动速度，反之设置中位数较大的共视比例范围以适配其对应较慢的移动速度；而同等地，如遇特征较复杂的环境，则相邻关键帧之间共视比例往往较大，此时应对应设置中位数较小的共视比例范围以适配当前的环境特征复杂程度，反之设置中位数较大的共视比例范围以适配其对应的普通的环境特征复杂程度。
15.进一步的，s2具体为：
16.s21：设置像素梯度阈值：并计算每一关键帧中每一像素点的像素梯度；
17.s22：按序将像素点与像素梯度阈值比较，如存在某一像素点的像素梯度大于像素梯度阈值，则跳转s23；
18.s23：标记该像素点为目标像素点，标记包含该目标像素点的关键帧为目标关键帧；
19.s24：围绕目标关键帧设置搜索范围，标记进入搜索范围的其他关键帧为匹配关键帧；
20.s25：在匹配关键帧内为目标像素点搜索其对应的匹配点，由搜索到的匹配点为目标像素点作出对应匹配的逆深度估计；
21.s26：按序校验先后两个估计的相容性，如通过校验，则将两个估计融合为一个估计；如不通过校验，则舍弃后一个估计；
22.s27：循环s25-s26，直至得到该目标像素点的逆深度估计信息；
23.s28：返回s22直至得到所有目标像素点的逆深度信息。
24.其中，s24具体为：确定环境中逆深度的期望值范围，设置该期望值范围为搜索范围；由于逆深度期望值服从高斯分布，其值上限与下限可依据概率模型计算得到，由此可知环境中逆深度期望值范围，设置该期望值范围为搜索范围。而与目标关键帧具有共视关系的关键帧往往观测到同一地图点，因此对每一目标关键帧，可将与其具有共视关系的其他
关键帧设置为搜索对象，对搜索过程建立立体搜索约束条件。
25.进一步的，s25具体为：
26.s251：由相机内参和已匹配的点对计算得出目标关键帧与匹配关键帧的基础矩阵；
27.s252：由基础矩阵确定极线；
28.s253：沿极线从亮度值、梯度模与方向上搜索与目标像素点具有匹配关系的像素点为匹配点；
29.s254：由搜索到的匹配点为目标像素点作出对应匹配的逆深度估计。
30.而由于像素之间存在一定的相似性以及可能存在的遮挡情况，在进行搜索时，关键帧之间的可能出现因间距过大而导致极线搜索范围增大，进而错误匹配的现象。为避免这一出现上述情况，本技术提供的方法中还涉及点对匹配情况校验，具体为：s26包括有以下子步骤：
31.s261：设置相容性阈值；
32.s262：计算先后两个逆深度估计的相容性参数；
33.s263：由上述两个逆深度估计的相容性参数以及相容性阈值，校验两个估计的相容性，如通过校验，则将融合两个逆深度估计融合成为一个估计，否则舍弃后一个估计。
34.随着匹配点搜索过程不断推进，匹配点被逐一找出，每出现一个匹配点，则根据该匹配点对应目标像素点作出与之匹配的逆深度估计，当出现两个匹配点时，需对以上两个匹配点分别作出的逆深度估计作出校验，如通过校验，则证明以上两个匹配点均与目标像素点正常匹配，融合两个估计为一个估计；在校验匹配点的逆深度估计的相容性的同时，匹配点的搜索过程也在同步继续推进，新的匹配点被持续不断地搜索出来，新的匹配点对应目标像素点作出的新的逆深度估计也不断得出，将前次两个估计融合形成的一个估计与后来出现的新的逆深度估计再次校验融合或校验舍弃，以这样按序顺次递增式融合的形式，跟随匹配点的搜索进程，出现一个新匹配点即校验融合或校验舍弃一次，将针对同一目标像素点的逆深度估计最终融合为一个估计，最终得到该目标像素点的逆深度估计信息。
35.进一步的，s3具体为：
36.s31：由像素逆深度信息形成半稠密深度图；
37.s32：结合半稠密深度图与关键帧集合，生成半稠密点云地图。
38.在本技术中还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上文所载方法的步骤。
39.在本技术中还提供一种装置，该装置包括有：
40.单目相机：用于摄录单目图像；
41.移动装置：用于搭载单目相机，在指定环境中移动；
42.存储器，其上存储有计算机程序；
43.以及处理器，用于执行所述存储器中的所述计算机程序，以实现上文所载方法的步骤。
44.本发明的优势在于：相比于现有技术，在本发明当中提供的单目相机成像半稠密建图方法以单目相机为前端图像采集器，对采集到的图像以设定手段筛选出关键帧后，依据关键帧集合中的图像的像素逆深度相关信息半稠密建图，相比传统视觉slam系统中常见
的稠密建图，可方便取得更快、更高效、更轻量化的建图效果。
附图说明
45.图1是具体实施方式中提供的单目相机成像半稠密建图方法应用在orb-slam 3系统中时，改进后的orb-slam 3系统的系统框架图。
46.图2是图1中半稠密点云建图框中，具体执行的方法的步骤流程图。
具体实施方式
47.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
48.为实现上述目的，本发明的技术方案如下：
49.请参阅图1-2。
50.在本具体实施方式中提供一种装置，该装置包括有：
51.单目相机：用于摄录单目图像；
52.无人车：用于搭载单目相机，在指定环境中移动；
53.存储器，其上存储有计算机程序；
54.以及处理器，用于执行所述存储器中的所述计算机程序。
55.基于上述装置，在本具体实施方式中还提供一种单目相机成像半稠密建图方法，并具体地将该方法应用在orb-slam 3系统中。
56.orb-slam3是一个支持视觉、视觉加惯导、混合地图的slam系统，可以在单目相机，双目相机或深度相机(rgb-d相机)上利用针孔或者鱼眼模型运行。在本具体实施方式中提供的单目相机成像半稠密建图方法将以整体模块的形式插入orb-slam3系统中，作为该系统中的单目视觉部分额外增加的一个具有半稠密性质的建图模块，以实现slam建图功能的扩展。
57.具体的，在本具体实施方式中，该单目相机成像半稠密建图方法为：
58.s1：筛选关键帧：按照orb-slam3系统中原系统默认策略，单目相机成像后，其图像帧输入系统，系统经跟踪线程及局部建图后，系统中的单目视觉部分将从单目相机输入的图像帧中初步筛选出原关键帧，标记原关键帧集合为{k
r-a
,...,kr,...,k
r b
}，在原关键帧集合中进一步筛选，得到的关键帧集合是原关键帧集合的子集，记为{k
s-c
,...,ks,...,k
s d
}；
59.s2：信息处理：处理关键帧集合中的图像信息，得到像素逆深度相关信息；
60.s3：半稠密建图：结合逆深度分布的相关信息与关键帧集合，处理得到半稠密的点云地图。
61.而在本具体实施方式中，进一步的，s1具体为：
62.一方面，设置单帧图像中被检测到的特征点数目n
feature point
为约束条件，对关键帧集合中每一关键帧图像做出搜索，搜索出单帧图像中被检测到的特征点数目不低于n
feature point
的单帧图像。对于一般的环境，设置n
feature points
≥80，对于特征信息复杂的环境，设置n
feature points
≥100。
63.另一方面，设置相邻关键帧地图点的共视比例范围另一方面，设置相邻关键帧地图点的共视比例范围与的值需要根据实际环境调整。具体地，可以从无人车的车速考虑，当无人车处于车速小于10km/h的低速运动状态时，周围环境变化不会过于明显，这时帧与帧之间相似度较高，将共视比例范围设定为(70％，80％)；当无人车车速较大，快速运动将导致相机检测到的环境信息变化较快，此时设定共视比例范围为(70％，90％)。或者，还可以从环境特征信息复杂度考虑，当环境中特征信息复杂程度较高时，设定共视比例范围为(70％，80％)，当环境中特征信息复杂程度较一般时，设定共视比例范围为(70％，90％)。
64.再一方面，设置关键帧总数目上限为约束条件，该关键帧总数目上限采用比例值σ表示，在本具体实施方式中，σ满足：在该式中，n表示数量，即分子表示关键帧集合中包含的关键帧的总数目，分母即表示原关键帧集合中关键帧的总数目，取二者相比，得到的关键帧总数目上限比例值σ。随着无人车不断移动，单目相机将摄录得到越来越多的图像帧，原关键帧集合将不断更新，其中关键帧的数量将不断增加，关键帧集合对应地也将不断更新，其中的关键帧数量也将不断增加，通过比例值σ的形式控制关键帧数目上限，可实时跟随原关键帧集合与关键帧集合的动态变化。当总数达到阈值时，筛选过程结束并且集合停止更新。该值越小，表明限制越高，关键帧的总数越少，使得后期的计算量减小。在本具体实施方式中，设置比例值σ在75％～90％之间。
65.由此，系统中的单目视觉部分先将单目相机的成像输入筛选出原关键帧集合：本具体实施方式提供的方法再从原关键帧集合{k
r-a
,...,kr,...,k
r b
}中依从上述约束条件筛选得到关键帧集合{k
s-c
,...,ks,...,k
s d
}，完成s1。
66.进一步的，在本具体实施方式中，s2具体为：
67.s21：设置像素梯度阈值λg：并计算每一关键帧中每一像素点的像素梯度；
68.s22：按序将像素点与像素梯度阈值比较，如存在某一像素点的像素梯度大于像素梯度阈值λg，则跳转s23；
69.s23：标记该像素点为目标像素点pi，标记包含该目标像素点pi的关键帧为目标关键帧ki；
70.s24：围绕目标关键帧ki设置搜索范围，标记进入搜索范围的其他关键帧为匹配关键帧kj；
71.s25：在匹配关键帧kj内为目标像素点pi搜索其对应的匹配点pj，由搜索到的匹配点pj为目标像素点pi作出对应匹配的逆深度估计；
72.s26：按序校验先后两个估计的相容性，如通过校验，则将两个估计融合为一个估计；如不通过校验，则舍弃后一个估计；
73.s27：循环s25-s26，直至得到该目标像素点pi的逆深度估计信息；
74.s28：返回s22直至得到所有目标像素点的逆深度信息。
75.其中，s24具体为：确定环境中逆深度的期望值范围，设置该期望值范围为搜索范围；
76.进一步的，s25具体为：
77.s251：由相机内参和已匹配的点对计算得出目标关键帧ki与匹配关键帧kj的基础矩阵；
78.s252：由基础矩阵确定极线lj；
79.s253：沿极线lj从亮度值、梯度模与方向上搜索与目标像素点pi具有匹配关系的像素点为匹配点pj；
80.s254：由搜索到的匹配点pj为目标像素点pi作出对应匹配的逆深度估计。
81.具体地：s26包括有以下子步骤：
82.s261：设置相容性阈值ξ，设置该阈值范围为5.5＜ξ＜6；等待出现两个逆深度估计e1和e2；
83.s262：计算先后两个逆深度估计e1和e2的相容性参数η1和η2，其中，η1＝(ρ
1-ρ2)/σ1，η2＝(ρ
1-ρ2)/σ2；
84.s263：取ξ＝5.99，由上述两个逆深度估计的相容性参数η1和η2以及相容性阈值ξ，校验两个估计的相容性：当存在ξ
12
＜ξ，即时,则两个逆深度估计e1和e2能通过校验，将e1和e2融合成为一个估计(其对应的相容性参数为)，否则舍弃e2。
85.具体地，在本具体实施方式中还包括有s27：循环s25-s26，则每搜索出一个匹配点p3、p4、p5···
，由p3为目标像素点pi作出对应匹配的逆深度估计e3，根据e3计算其相容性参数η3，将η3于前次e1和e2融合成为的相校验：当存在ξ
23
＜ξ，即时，则两个逆深度估计和e3能通过校验，将和e3合成一个估计否则舍弃e3。以此类推，直至得到该目标像素点的逆深度估计信息；
86.s28：返回s22直至得到所有目标像素点的逆深度信息。
87.在本具体实施方式中还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
88.以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。