基于先验地图约束的煤矿井下单目视觉定位方法及装置与流程

1.本公开涉及图像处理技术领域，尤其涉及一种基于先验地图约束的煤矿井下单目视觉定位方法及装置。


背景技术：

2.目前，地面上很多无人系统，如：地面交通无人驾驶、露天矿无人作业系统、agv、服务机器人等，已经进行了大量应用测试，正在逐步完善和成熟，但是煤矿井下无人系统技术进展还非常缓慢，一个关键的因素是煤矿井下定位问题还没有得到有效解决。相关技术中，基于单目视觉的同步定位与沟通（slam）技术在地面相对成熟，但在煤矿井下场景中面临着较大的挑战：（1）巷道狭长的特殊几何结构给单目定位带来了严重的退化估计问题；（2）煤矿井下光线偏暗带来了严重的匹配不稳定问题。


技术实现要素：

3.本技术提出了一种基于先验地图约束的煤矿井下单目视觉定位方法及装置，旨在至少在一定程度上解决相关技术中的技术问题之一。
4.本技术第一方面实施例提出了一种基于先验地图约束的煤矿井下单目视觉定位方法，包括：获取单目相机在煤矿井下连续采集的第一图像和第二图像，其中，第一图像对应有绝对位姿；确定第一图像和第二图像的多个匹配点对；根据多个匹配点对的对极约束关系和绝对位姿，计算第二图像的旋转矩阵初值；根据多个匹配点对、绝对位姿以及煤矿井下的先验地图，计算第二图像的平移向量初值；以及根据旋转矩阵初值和平移向量初值，确定第二图像的目标位姿。
5.本技术第二方面实施例提出了一种基于先验地图约束的煤矿井下单目视觉定位装置，包括：获取模块，用于获取单目相机在煤矿井下连续采集的第一图像和第二图像，其中，第一图像对应有绝对位姿；第一确定模块，用于确定第一图像和第二图像的多个匹配点对；第一计算模块，用于根据多个匹配点对的对极约束关系和绝对位姿，计算第二图像的旋转矩阵初值；第二计算模块，用于根据多个匹配点对、绝对位姿以及煤矿井下的先验地图，计算第二图像的平移向量初值；以及第二确定模块，用于根据旋转矩阵初值和平移向量初值，确定第二图像的目标位姿。
6.本技术第三方面实施例提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本技术实施例的基于先验地图约束的煤矿井下单目视觉定位方法。
7.本技术第四方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本技术实施例公开的基于先验地图约束的煤矿井下单目视觉定位方法。
8.本实施例中，通过获取单目相机在煤矿井下连续采集的第一图像和第二图像，其
中，第一图像对应有绝对位姿，并确定第一图像和第二图像的多个匹配点对，并根据多个匹配点对的对极约束关系和绝对位姿，计算第二图像的旋转矩阵初值，并根据多个匹配点对、绝对位姿以及煤矿井下的先验地图，计算第二图像的平移向量初值，以及根据旋转矩阵初值和平移向量初值，确定第二图像的目标位姿，能够将旋转矩阵初值和平移向量初值的估计进行解耦，分步估计旋转矩阵和平移向量初值，有效避免煤矿井下巷道特殊几何结构带来的姿态退化估计问题，此外在计算过程中利用井下平面的先验地图，增强了位姿估计中的约束，提高了单目视觉定位的精度和鲁棒性。
9.本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
10.本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1是本公开一实施例提出的基于先验地图约束的煤矿井下单目视觉定位方法的流程示意图；图2是本公开一实施例提出的基于先验地图约束的煤矿井下单目视觉定位方法的流程示意图；图3是本公开实施例提出的基于先验地图约束的煤矿井下单目视觉定位方法的流程示意图；图4是本公开另一实施例提出的基于先验地图约束的煤矿井下单目视觉定位装置的示意图；图5示出了适于用来实现本技术实施方式的示例性计算机设备的框图。
具体实施方式
11.下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本公开，而不能理解为对本公开的限制。相反，本公开的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
12.其中，需要说明的是，本实施例的基于先验地图约束的煤矿井下单目视觉定位方法的执行主体可以为基于先验地图约束的煤矿井下单目视觉定位装置，该装置可以由软件和/或硬件的方式实现，该装置可以配置在电子设备中，电子设备可以包括但不限于终端、服务器端等。
13.图1是根据本公开一实施例提供的基于先验地图约束的煤矿井下单目视觉定位方法的流程示意图。参考图1所示，该方法包括：s101：获取单目相机在煤矿井下连续采集的第一图像和第二图像。
14.本公开实施例中，可以利用单目相机沿煤矿井下的巷道移动以采集煤矿井下的图像，而连续采集的相邻两帧图像可以被称为第一图像和第二图像，其中，第一图像可以对应上一帧图像，第二图像对应当前帧图像，而本实施例的基于先验地图约束的煤矿井下单目
视觉定位方法用于对当前帧第二图像进行定位。
15.其中，本实施例的第一图像可以有对应的绝对位姿（或者称为全局姿态），其可以用表示，其中，表示第一图像的绝对旋转矩阵，表示第一图像的绝对平移向量。
16.s102：确定第一图像和第二图像的多个匹配点对。
17.上述获取第一图像和第二图像后，进一步地，本实施例可以确定第一图像和第二图像的多个匹配点对。
18.其中，第一图像和第二图像中对应的匹配点构成的匹配对可以被称为匹配点对，而第一图像和第二图像多个匹配点可以得到多个匹配点对，其可以表示为，其中，i=1、2、3...n，表示匹配点对的数量。
19.一些实施例，例如可以利用光流跟踪方法，在当前帧的第二图像中找到第一图像中特征点（例如harris角点）的匹配点，将匹配的角点作为一个匹配点对，从而可以得到多个匹配点对。
20.s103：根据多个匹配点对的对极约束关系和绝对位姿，计算第二图像的旋转矩阵初值。
21.上述确定多个匹配点对后，进一步地，本实施例可以根据多个匹配点对的对极约束关系和绝对位姿，初步估计第二图像的旋转矩阵初值，该旋转矩阵初值对应于第二图像的绝对旋转矩阵，其可以用表示。
22.具体地，首先基于单目相机的内参数矩阵k，将多个匹配点对转化为多个对极支撑向量对，对极支撑向量对表示一个对极平面上的对极支撑向量，其可以表示为，其中，和分别表示经过对应相机光心和图像点或反投影射线方向向量，其中，对极支撑向量计算过程如下：（1）（2）进一步地，根据多个对极支撑向量对，确定对极平面的法向量矩阵。
23.其中，可以首先确定每个对极支撑向量对对应的法向量，其可以用表示，在纯平移情况下极平面的法向量，如果存在旋转，则法向量变为，而本实施例中，第一图像和第二图像之间可以存在旋转；进一步地，将每个对极支撑向量对的法向量以矩阵的形式进行表示，可以得到对极平面的法向量矩阵，其可以用n表示，。
24.进一步地，根据法向量矩阵n，计算第一图像和第二图像之间的相对旋转矩阵，该相对旋转矩阵用于描述第一图像和第二图像之间的相对旋转关系，其可以用表示。其中，可以首先计算法向量矩阵n和法向量矩阵的转置矩阵的乘积，计算过程如下：中，可以首先计算法向量矩阵n和法向量矩阵的转置矩阵的乘积，计算过程如下：（3）设表示m的最小特征值，则计算相对旋转矩阵的过程可以变为优化问
题，即：计算使m最小情况下的r值作为相对旋转矩阵，计算过程如下：（4）通过求解公式（4）所示的优化问题，可以得到相邻的第一图像和第二图像之间的相对旋转矩阵。
25.进一步地，根据相对旋转矩阵和绝对位姿的绝对旋转矩阵，确定第二图像的旋转矩阵初值，旋转矩阵初值计算如下：（5）s104：根据多个匹配点对、绝对位姿以及煤矿井下的先验地图，计算第二图像的平移向量初值。
26.上述确定第二图像的旋转矩阵初值后，进一步地，本实施例根据多个匹配点对、绝对位姿以及煤矿井下的先验地图，计算第二图像的平移向量初值，平移向量初值对应第二图像的绝对平移向量，其可以用表示。
27.其中，本实施例可以根据前一帧的绝对位姿获取先验地图，先验地图例如可以是煤矿井下的点云数据集，其可以表征煤矿井下巷道狭长的结构，而本实施例在计算平移向量初值的过程中，可以引入先验地图约束，提高单目视觉定位的精度和鲁棒性。
28.具体地，在计算平移向量初值的过程中，本实施例首先根据先验地图估计煤矿井下几何平面的平面方程：（6）其中，表示平面方程法向量，p表示世界坐标系下对应平面的三维点，d表示几何平面到世界坐标系原点的距离。
29.进一步地，基于平面方程、内参数矩阵k、绝对位姿，计算每个匹配点对对应的空间三维点的深度。
30.具体地，设第一图像和第二图像匹配点对的坐标表示形式为，该匹配点对对应的世界坐标系下的三维点为p，该三维点p在第一图像中表示为，在第二图像中表示为，相机内参数矩阵为k，第一图像绝对位姿为，的深度对应三维点p的深度，其可以用表示，则有：（7）若点p在上述几何平面上，将上述平面方程的公式代入式（7），可得：（8）设三维点，该三维点p的齐次坐标，其可以表示为，则三维点p的三维坐标可以表示为：（9）进一步地，根据内参数矩阵k和每个匹配点对中第一匹配点和第二匹配点的二维
坐标，分别计算空间三维点的第一齐次坐标和第二齐次坐标。
31.其中，第一匹配点为匹配点对中第一图像的图像点，第二匹配点为第二图像的图像点，也即是说，第一匹配点的二维坐标可以表示为，第二匹配点的二维坐标可以表示为。
32.而第一图像的空间三维点的齐次坐标可以被称为第一齐次坐标，其可以用表示，同理，第二图像的空间三维点的的齐次坐标可以被称为第二齐次坐标，其可以用，其中，可以根据公式计算该第一齐次坐标和第二齐次坐标，例如第二齐次坐标的形式可以表示为。
33.当图像点属于上述巷道特殊几何结构平面时，可以根据公式（8）估计出对应的深度，并计算出第一齐次坐标，进一步根据第一齐次坐标和深度计算空间三维点的第一三维坐标，同理，根据第二齐次坐标和深度计算空间三维点的第二三维坐标。
34.进一步地，根据公式（9），可以推导第一三维坐标、第二三维坐标、相对旋转矩阵、相对位移（可以用表示）的关系如下：（10）一些实施例，多个匹配点对中的第一匹配点存在属于井下几何平面和不属于几何平面的情况。在第一匹配点属于煤矿井下几何平面的情况下，可以根据第一三维坐标、第二三维坐标以及相对旋转矩阵，确定第一约束关系，即：针对每一匹配点对，根据公式（10）推导第一约束关系，第一约束关系可以表示为：（11）（12）其中，相邻的第一图像和第二图像的相对位姿可以表示为，表示相对旋转矩阵第n行，表示相对位移第n行。
35.另一些实施例，在第一匹配点不属于煤矿井下几何平面的情况下，根据，本实施例可以确定第一三维坐标、第二三维坐标以及相对旋转矩阵的第二约束关系，第二约束关系可以表示为：阵的第二约束关系，第二约束关系可以表示为：阵的第二约束关系，第二约束关系可以表示为：（13）进一步地，根据第一约束关系和第二约束关系，求解相对位移。具体地，由方程（11）-（13）构成的约束优化问题例如可以通过lm（levenberg
‑ꢀ
marquardt）方法求解，以得到相对位移。
36.进一步地，根据相对位移和前一帧第一图像绝对位姿的绝对平移向量，可以确定第二图像的平移向量初值。
37.s105：根据旋转矩阵初值和平移向量初值，确定第二图像的目标位姿。
38.也即是说，将旋转矩阵初值和平移向量初值作为第二图像的目标位姿，也可以称为第二图像的绝对位姿，从而可以根据目标位姿进行单目图像定位。
39.本实施例中，通过获取单目相机在煤矿井下连续采集的第一图像和第二图像，其中，第一图像对应有绝对位姿，并确定第一图像和第二图像的多个匹配点对，并根据多个匹配点对的对极约束关系和绝对位姿，计算第二图像的旋转矩阵初值，并根据多个匹配点对、绝对位姿以及煤矿井下的先验地图，计算第二图像的平移向量初值，以及根据旋转矩阵初值和平移向量初值，确定第二图像的目标位姿，能够将旋转矩阵初值和平移向量初值的估计进行解耦，分步估计旋转矩阵和平移向量初值，有效避免煤矿井下巷道特殊几何结构带来的姿态退化估计问题，此外在计算过程中利用井下平面的先验地图，增强了位姿估计中的约束，提高了单目视觉定位的精度和鲁棒性。
40.图2是根据本公开另一实施例提供的基于先验地图约束的煤矿井下单目视觉定位方法的流程示意图。参考图2所示，该方法包括：s201：获取单目相机在煤矿井下连续采集的第一图像和第二图像，其中，第一图像对应有绝对位姿。
41.s202：确定第一图像和第二图像的多个匹配点对。
42.s203：根据多个匹配点对的对极约束关系和绝对位姿，计算第二图像的旋转矩阵初值。
43.s204：根据多个匹配点对、绝对位姿以及煤矿井下的先验地图，计算第二图像的平移向量初值。
44.s205：根据旋转矩阵初值和平移向量初值，确定第二图像的目标位姿。
45.s201-205的说明具体参见上述实施例，此处不再赘述。
46.s206：对第二图像进行目标检测和分割，以确定第二图像中的第一矢量目标。
47.正如背景技术中所述的，煤矿井下光线偏暗带来了严重的匹配不稳定问题，鉴于此，本实施例在估计第二图像的旋转矩阵初值和平移向量初值后，还可以对旋转矩阵初值和平移向量初值进行优化，即：优化目标位姿。
48.具体地，本实施例可以对第二图像进行目标检测和分割，以确定第二图像中的矢量目标，其可以被称为第一矢量目标。一些实施例，例如可以采用yolov3网络对第二图像进行语义目标检测和分割，以得到第一矢量目标。
49.可以理解的是，本实施例对于步骤s206的执行顺序可以不作限定，例如可以与s202同步执行。
50.s207：确定第一矢量目标和先验地图中第二矢量目标的匹配关系。
51.其中，先验地图中的矢量目标可以被称为第二矢量目标，本实施例例如可以采用匈牙利算法对第一矢量目标和第二矢量目标进行匹配，得到矢量目标初始的匹配关系，即：目标匹配对。
52.s208：根据匹配关系，对旋转矩阵初值和平移向量初值进行优化。
53.也即是说，对初步计算的目标位姿进行优化，例如：根据矢量目标的匹配误差，对旋转矩阵初值和平移向量初值进行调整优化，从而优化后的目标位姿更加准确。
54.一些实施例，在优化过程中，可以获取矢量目标区域内各个匹配点对的三维点p，
进一步地，通过最小化优化以下代价函数，对第二图像的目标位姿进行优化，代价函数如下：（14）其中，t
t
表示目标位姿，表示当前帧（第二图像）的第一矢量目标元素（）投影到第二矢量目标元素（）的重投影误差函数，表示第二图像的图像投影到三维点的重投影误差函数。在最小化代价函数时，求取优化后的位姿。
55.一些实施例，在获取矢量目标区域内各个匹配点对的三维点p之前，还可以定义滑动窗口，其中，滑动窗口内包括连续的等多帧图像，多帧图像包括第二图像，之间的相对姿态和绝对姿态已经获取，与之间的相对姿态（相对位姿）及对应的绝对姿态初值（目标位姿）已经通过上述实施例计算得到，则本实施例在初步优化位姿后，还可以通过最小化代价函数的方式，对滑动窗口内多帧图像的位姿进行优化：（15）从而，本实施例可以利用连续特征跟踪与矢量语义关联匹配，解决了煤矿井下光线偏暗带来的匹配不稳定问题。
56.本实施例中，通过获取单目相机在煤矿井下连续采集的第一图像和第二图像，其中，第一图像对应有绝对位姿，并确定第一图像和第二图像的多个匹配点对，并根据多个匹配点对的对极约束关系和绝对位姿，计算第二图像的旋转矩阵初值，并根据多个匹配点对、绝对位姿以及煤矿井下的先验地图，计算第二图像的平移向量初值，以及根据旋转矩阵初值和平移向量初值，确定第二图像的目标位姿，能够将旋转矩阵初值和平移向量初值的估计进行解耦，分步估计旋转矩阵和平移向量初值，有效避免煤矿井下巷道特殊几何结构带来的姿态退化估计问题，此外在计算过程中利用井下平面的先验地图，增强了位姿估计中的约束，提高了单目视觉定位的精度和鲁棒性。此外，本实施例可以利用连续特征跟踪与矢量语义关联匹配，解决了煤矿井下光线偏暗带来的匹配不稳定问题。
57.在一个具体实例中，针对煤矿井下光线偏暗、大视角或大位移变化情况下特征匹配难度大的问题，提出了一种煤矿井下矢量地图约束的单目视觉定位方法。首先，进行单目视觉相邻帧间的特征点跟踪、提取与匹配，避免偏暗场景中大视角、大位移变化带来的点匹配问题，同时，针对当前图像帧中进行语义目标检测与分割，并与先验矢量语义地图进行关联匹配；然后，利用点匹配对，采用旋转、平移解耦与巷道特殊几何平面约束的方法估计相邻帧的相对姿态，并预测当前帧的全局位姿；最后，在先验矢量地图的约束下，进行局部区域的位姿优化，如图3所示，包括以下步骤：步骤1：对当前图像进行特征点提取、跟踪与匹配利用光流跟踪方法，在当前帧中找到上一帧图像特征点的匹配点，并从当前帧图像中提取harris角点，与上述匹配点一起，构成当前帧图像的特征点集。
58.步骤2：语义目标检测与分割基于yolov3网络进行语义目标检测和分割。
59.步骤3：利用点匹配对估计相邻帧相对姿态，预测当前帧的位姿初值（1）单目视觉相邻帧的相对旋转矩阵估计利用单目视觉的内参数矩阵k,将上述匹配点对（其中，i=1、2、3，表示匹配点对数量）转化为对极支撑向量对（其中，和分别表示经过对应相机光心和图像点或反投影射线方向向量）：（1）（2）是一个对极平面上的对极支撑向量，在纯平移情况下极平面的法向量为，如果存在旋转，则法向量变为：。
60.设，则：，则：（3）设表示m的最小特征值，优化问题变为：（4）通过求解公式（4）所示的优化问题得到相邻两帧之间的相对旋转矩阵。
61.根据前一帧图像所对应的绝对旋转矩阵和相对旋转矩阵，预测当前帧的旋转矩阵初值：（5）（2）巷道平面结构约束下的相对旋转矩阵估计根据前一帧的姿态，获取先验地图，估计巷道地平面（通过步骤2获得相应图像区域）等特殊几何结构的平面方程如下：（6）p是世界坐标系下对应平面的三维点。
62.设上一帧和当前帧的特征匹配对为，对应的世界坐标系下的三维点为p，相机内参数为k，上一帧图像对应的全局姿态为，表示点的深度，则有：（7）若点p在上述平面上，将上述平面公式代入上式，有：（8）设三维点，该点向量除以对应的深度，可得，则有：（9）根据公式（9），可以推导：（10）
当图像点属于上述巷道特殊几何结构平面时，则在前一帧获取姿态后，可以根据公式（8）,估计出对应的深度，进而计算前一帧图像点对应的三维点坐标。点在当前帧图像上的对应点为，则，这里，可表示为。所以，针对每一对匹配对应点，根据公式（10），可以推导得到两个约束方程如下：（11）（12）其中，表示相邻两帧的相对姿态，表示相对旋转矩阵第n行，表示相对位移第n行。
63.当图像点不属于上述巷道特殊几何结构平面时，则根据公式，可以得到以下约束方程：，可以得到以下约束方程：，可以得到以下约束方程：（13）由方程（11）-（13）构成的约束优化问题通过lm（levenberg
‑ꢀ
marquardt）方法求解以得到相对位移，进一步，结合前一帧图像所对应的姿态，预测当前帧对应的平移向量初值。
64.步骤4：根据步骤2所得的语义目标，与先验矢量地图进行匹配关联采用匈牙利算法获得矢量目标（当前帧矢量语义目标和先验地图矢量目标）的初始匹配关系。
65.步骤5：利用步骤1所得的点匹配对、步骤3所得的位姿初值、步骤4所得的语义目标匹配对，进行位姿优化假定滑动窗口，其中，之间的相对姿态和绝对姿态已经获取，与之间相对姿态及对应的绝对姿态初值已经通过步骤3获取。通过局部窗口优化窗口内各帧的绝对姿态步骤如下：步骤5.1：获取矢量语义目标区域内各个track（注：track指连续匹配的特征点序列）的三维坐标。对于track中对应于每帧矢量语义目标区域内的点，根据公式（8）计算对应深度，进一步地，获取其三维坐标，然后求平均，作为该track对应的三维点。
66.步骤5.2：获取对应的track及其三维点。
67.步骤5.3：通过最小化优化以下代价函数，得到对应的姿态：（14）其中，表示当前帧矢量元素重投影误差函数，表示当前帧三维点重投影误差函数。
68.步骤5.4：根据投影距离最小，重新匹配和矢量地图对应的矢量元素。
69.步骤5.5：通过最小化优化以下代价函数，优化滑动窗口内各帧的姿态：（15）
煤矿井下巷道呈狭长规则几何形状，由于视角问题，直接利用多视几何三角测距方法恢复三维点云会带来很大的误差。煤矿井下的这种几何特征也给视角变化下的特征匹配带来了极大的困难，而煤矿井下光线偏暗问题无疑进一步加剧了特征匹配的难度。上述问题都给煤矿井下的单目视觉定位带来了挑战。对此，本实施例提出的煤矿井下矢量地图约束的单目视觉定位方法，该方法具有如下有益效果：1、将旋转矩阵和平移向量初值的估计进行解耦，分步估计旋转矩阵和平移向量初值，有效避免煤矿井下巷道特殊几何结构带来的姿态退化估计问题；2、利用连续特征跟踪与矢量语义关联匹配，解决了煤矿井下光线偏暗带来的匹配不稳定问题；3、利用煤矿井下巷道中特殊的几何平面，增强了姿态估计中的约束，提高了单目视觉定位的精度和鲁棒性。
70.图4是根据本公开另一实施例提供的基于先验地图约束的煤矿井下单目视觉定位装置的示意图，如图4所示，该基于先验地图约束的煤矿井下单目视觉定位装置40包括：获取模块401，用于获取单目相机在煤矿井下连续采集的第一图像和第二图像，其中，第一图像对应有绝对位姿；第一确定模块402，用于确定第一图像和第二图像的多个匹配点对；第一计算模块403，用于根据多个匹配点对的对极约束关系和绝对位姿，计算第二图像的旋转矩阵初值；第二计算模块404，用于根据多个匹配点对、绝对位姿以及煤矿井下的先验地图，计算第二图像的平移向量初值；以及第二确定模块405，用于根据旋转矩阵初值和平移向量初值，确定第二图像的目标位姿。
71.一些实施例，第一计算模块402，具体用于：基于单目相机的内参数矩阵，将多个匹配点对转化为多个对极支撑向量对；根据多个对极支撑向量对，确定对极平面的法向量矩阵；根据法向量矩阵，计算第一图像和第二图像之间的相对旋转矩阵；以及根据相对旋转矩阵和绝对位姿的绝对旋转矩阵，确定旋转矩阵初值。
72.一些实施例，第二计算模块403，具体用于：根据先验地图估计煤矿井下几何平面的平面方程；基于平面方程、内参数矩阵、绝对位姿，计算每个匹配点对对应的空间三维点的深度；根据内参数矩阵和每个匹配点对中第一匹配点和第二匹配点的二维坐标，分别计算空间三维点的第一齐次坐标和第二齐次坐标，其中，第一匹配点为匹配点对中第一图像的图像点，第二匹配点为第二图像的图像点；根据第一齐次坐标和深度计算空间三维点的第一三维坐标，并根据第二齐次坐标和深度计算空间三维点的第二三维坐标；根据第一三维坐标、第二三维坐标以及相对旋转矩阵，求解相对位移；以及根据相对位移和绝对位姿的绝对平移向量，确定平移向量初值。
73.一些实施例，第二计算模块403，具体用于：在第一匹配点属于煤矿井下几何平面的情况下，根据第一三维坐标、第二三维坐标以及相对旋转矩阵的第一约束关系，求解相对位移；在第一匹配点不属于煤矿井下几何平面的情况下，根据第一三维坐标、第二三维坐标以及相对旋转矩阵的第二约束关系，求解相对位移。
74.一些实施例，装置40还包括：目标检测模块，用于对第二图像进行目标检测和分
割，以确定第二图像中的第一矢量目标；匹配模块，用于确定第一矢量目标和先验地图中第二矢量目标的匹配关系；以及第一优化模块，用于根据匹配关系，对旋转矩阵初值和平移向量初值进行优化。
75.一些实施例，装置40还包括：窗口定义模块，用于定义滑动窗口，其中，滑动窗口内包括连续的多帧图像，多帧图像包括第二图像；以及第二优化模块，用于通过最小化代价函数的方式，对滑动窗口内多帧图像的位姿进行优化。
76.本实施例中，通过获取单目相机在煤矿井下连续采集的第一图像和第二图像，其中，第一图像对应有绝对位姿，并确定第一图像和第二图像的多个匹配点对，并根据多个匹配点对的对极约束关系和绝对位姿，计算第二图像的旋转矩阵初值，并根据多个匹配点对、绝对位姿以及煤矿井下的先验地图，计算第二图像的平移向量初值，以及根据旋转矩阵初值和平移向量初值，确定第二图像的目标位姿，能够将旋转矩阵初值和平移向量初值的估计进行解耦，分步估计旋转矩阵和平移向量初值，有效避免煤矿井下巷道特殊几何结构带来的姿态退化估计问题，此外在计算过程中利用井下平面的先验地图，增强了位姿估计中的约束，提高了单目视觉定位的精度和鲁棒性。
77.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
78.为了实现上述实施例，本技术还提出一种计算机程序产品，当计算机程序产品中的指令处理器执行时，执行如本技术前述实施例提出的基于先验地图约束的煤矿井下单目视觉定位方法。
79.图5示出了适于用来实现本技术实施方式的示例性计算机设备的框图。图5显示的计算机设备12仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
80.如图5所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件（包括系统存储器28和处理单元16）的总线18。
81.总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构（industry standard architecture；以下简称：isa）总线，微通道体系结构（micro channel architecture；以下简称：mac）总线，增强型isa总线、视频电子标准协会（video electronics standards association；以下简称：vesa）局域总线以及外围组件互连（peripheral component interconnection；以下简称：pci）总线。
82.计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
83.存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器（random access memory；以下简称：ram）30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质（图5未显示，通常称为“硬盘驱动器”）。
84.尽管图5中未示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁
盘驱动器，以及对可移动非易失性光盘（例如：光盘只读存储器（compact disc read only memory；以下简称：cd-rom）、数字多功能只读光盘（digital video disc read only memory；以下简称：dvd-rom）或者其它光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本技术各实施例的功能。
85.具有一组（至少一个）程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本技术所描述的实施例中的功能和/或方法。
86.计算机设备12也可以与一个或多个外部设备14（例如键盘、指向设备、显示器24等）通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备（例如网卡，调制解调器等等）通信。这种通信可以通过输入/输出（i/o）接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络（例如局域网（local area network；以下简称：lan），广域网（wide area network；以下简称：wan）和/或公共网络，例如因特网）通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
87.处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的基于先验地图约束的煤矿井下单目视觉定位方法。
88.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由下面的权利要求指出。
89.应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。
90.需要说明的是，在本技术的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本技术的描述中，除非另有说明，“多个”的含义是两个或两个以上。
91.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
92.应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件
或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（pga），现场可编程门阵列（fpga）等。
93.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
94.此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
95.上述提到的存储介质可以是只读存储器，磁盘或光盘等。
96.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
97.尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。