煤矿井下环境建模方法及系统

1.本发明涉及环境建模领域，具体涉及一种煤矿井下环境建模方法及系统。


背景技术：

2.煤矿资源又被称作“乌金”，是非常重要的资源，到目前为止，煤矿依然是我国主要的能源供应之一。在煤矿开采过程中，各类矿难事故已屡见不鲜，因此，提升采矿安全尤为重要。随着安全技术的较快发展，对于煤矿安全方面，研发出了多款矿井安全巡检机器人，用于辅助人工进行煤矿安全检测，同时还可以对其中每一项检测过程留下详实的记录。
3.由于矿井内有很多不规则的非结构化地形，因此周围环境三维模型的建立，对巡检机器人进行矿井安全巡检起到了至关重要的作用，完整、准确的环境模型可以让巡检机器人正确地判断出巡检场景，准确地检测到不安全的因素，进行上报或者自行排除。
4.目前巡检机器人的环境重建算法大都存在建模精度不够，建模速度较低等缺点，使得实时性的三维重建出现困难，不能及时地发现安全隐患。现有的一种“巡检机器人”使用激光雷达进行环境建模的方法，可以建立周围环境模型，但是激光雷达建立的模型没有颜色信息，不利于分辨目标，而且容易受外界恶劣环境的干扰。


技术实现要素：

5.有鉴于此，本发明的目的是克服现有技术中的缺陷，提供煤矿井下环境建模方法及系统，能够快速、稳定地建立三维环境模型，得到更加致密的带有色彩的点云模型。
6.本发明的煤矿井下环境建模方法，包括如下步骤：
7.s1.采集煤矿井下的环境图像信息；
8.s2.提取环境图像信息中图像的若干匹配点对；
9.s3.对若干匹配点对进行处理，得到环境空间三维点云，具体包括：
10.s31.计算匹配点对的初始基础矩阵，并对初始基础矩阵进行优化处理，得到基础矩阵；
11.s32.对基础矩阵进行估计，得到本质矩阵，并对本质矩阵进行分解，得到旋转矩阵以及平移矩阵；
12.s33.基于旋转矩阵以及平移矩阵，计算得到投影矩阵；通过投影矩阵计算匹配点对对应的环境空间三维点坐标；
13.s34.将若干匹配点对分别对应的环境空间三维点坐标所组成的集合作为环境空间三维点云；
14.s4.分别将若干匹配点对的颜色赋予到对应的三维点上，得到着色后的三维点云。
15.进一步，提取环境图像信息中图像的若干匹配点对，具体包括：
16.s21.在多尺度拉普拉斯金字塔下提取harris角点，并将每个角点pc的邻域分为一个若干半径不同的同心圆；
17.s22.将每个圆区域均匀分为若干不重叠子区域，将pc点的方向设置为cch描述子
的0
°
方向，并以最小半径同心圆0
°
的子区域为r1；
18.s23.定义角点pc邻域内一点p的对比度值c(p)：
19.c(p)＝i(p)-i(pc)；
20.其中，i(pc)和i(p)分别为pc点和p点的灰度值；
21.s24.将所有子区域的对比度函数值组成的向量作为pc点的cch描述向量，并将向量归一化处理以获得线性光照不变性，得到点pc的描述子；
22.s25.遍历待匹配图像和匹配图像之间的特征点以进行匹配，并将与待匹配点pc的欧式距离最小的两个匹配点作为匹配点对。
23.进一步，计算匹配点对的初始基础矩阵，并对初始基础矩阵进行优化处理，得到基础矩阵，具体包括：
24.设定计数器i＝0和循环次数n，当i《n时，按照如下步骤进行操作：
25.a1.从若干匹配点对中取k组匹配点对，并将k组匹配点对进行归一化处理，得到归一化后的匹配点对；
26.a2.对归一化后的匹配点对通过设定公式进行计算，得到初始基础矩阵；所述设定公式为x
ctf′
xc′
＝0，其中，xc与xc′
为一组匹配点对，f
′
为初始基础矩阵；
27.a3.解除归一化，设定匹配距离d，将匹配距离d取得最小值时设置的初始基础矩阵作为基础矩阵；所述匹配距离d为：
[0028][0029]
其中，inliers表示内点，outliers表示外点，d为匹配点对依据设定公式的计算结果，t为设定阈值。
[0030]
进一步，根据如下公式确定本质矩阵e：
[0031]
e＝k
′
t
fk；
[0032]
其中，k为第一内参矩阵，k
′
为第二内参矩阵，f为基础矩阵。
[0033]
进一步，根据如下公式确定投影矩阵p：
[0034]
p＝k
×
[r t]；
[0035]
其中，[r t]为外参矩阵，t为平移矩阵，r为旋转矩阵。
[0036]
进一步，根据如下公式确定匹配点对xc和xc′
与对应的空间环境空间三维点xw的关系：
[0037][0038]
其中，p1、p2、p3为投影矩阵p对应的行向量，p1′
、p2′
、p3′
为投影矩阵p
′
对应的行向量，xc的像素点坐标为(u,v,1)，x
′c的像素点坐标为(u
′
,v
′
,1)。
[0039]
进一步，所述步骤s2，还包括：采用klt算法对若干匹配点对进行更新。
[0040]
进一步，所述步骤s34，还包括：使用光束平差法对环境空间三维点云进行优化。
[0041]
一种煤矿井下环境建模系统，包括采集单元以及与采集单元通信连接的计算单元；
[0042]
所述采集单元，用于采集煤矿井下的环境图像信息；
[0043]
所述计算单元，用于提取环境图像信息中图像的若干匹配点对，对若干匹配点对进行处理，得到环境空间三维点云，分别将若干匹配点对的颜色赋予到对应的三维点上，得到着色后的三维点云。
[0044]
进一步，所述采集单元包括巡检机器人以及设置于巡检机器人的图像采集设备；
[0045]
所述计算单元包括计算机。
[0046]
本发明的有益效果是：本发明公开的一种煤矿井下环境建模方法及系统，通过导入图像，计算cch描述子，得到匹配点对；计算基础矩阵，结合内参矩阵得到本质矩阵；通过对本质矩阵e的分解得旋转矩阵r和平移矩阵t，并结合相机内参恢复出相机的投影矩阵；采用klt算法，跟踪特征点，更新匹配数据；计算三维点，光束平差优化生成点云；将图像匹配点对的颜色赋予空间三维点，得到有色彩的点云。本发明使用cch算法寻找匹配点对以及基础矩阵，计算速度快，结果稳定，同时，计算的结果点云更致密，细节更丰富，有利于进行环境的检测与判断，尤其在不规则表面处，建模质量较其他方法有明显的优势。
附图说明
[0047]
下面结合附图和实施例对本发明作进一步描述：
[0048]
图1为本发明的方法流程示意图；
[0049]
图2为本发明的cch描述子区域划分示意图；
[0050]
图3为本发明的巡检机器人外形示意图；
[0051]
图4为本发明的环境建模实例效果图；
[0052]
其中，1-巡检机器人，2-相机。
具体实施方式
[0053]
以下结合说明书附图对本发明做出进一步的说明，如图所示：
[0054]
本发明的煤矿井下环境建模方法，包括如下步骤：
[0055]
s1.采集煤矿井下的环境图像信息；其中，通过图像采集设备来采集环境图像信息，所述图像采集设备可为相机；
[0056]
s2.提取环境图像信息中图像的若干匹配点对；其中，通过图像匹配得到若干匹配点对，一般地，所述图像匹配是指通过一定的匹配算法在两幅或多幅图像之间识别同名点，如二维图像匹配中通过比较目标区和搜索区中相同大小窗口的相关系数，取搜索区中相关系数最大所对应的窗口中心点作为同名点；
[0057]
s3.对若干匹配点对进行处理，得到环境空间三维点云，具体包括：
[0058]
s31.计算匹配点对的初始基础矩阵，并对初始基础矩阵进行优化处理，得到基础矩阵；
[0059]
s32.对基础矩阵进行估计，得到本质矩阵，并对本质矩阵进行分解，得到旋转矩阵以及平移矩阵；
[0060]
s33.基于旋转矩阵以及平移矩阵，计算得到投影矩阵；通过投影矩阵计算匹配点
对对应的环境空间三维点坐标；
[0061]
s34.将若干匹配点对分别对应的环境空间三维点坐标所组成的集合作为环境空间三维点云；
[0062]
s4.分别将若干匹配点对的颜色赋予到对应的三维点上，得到着色后的三维点云。
[0063]
本实施例中，提取环境图像信息中图像的若干匹配点对，具体包括：
[0064]
在多尺度拉普拉斯金字塔下提取harris角点，将每一个角点pc的邻域分为半径分别为ri(i＝1,2,3,4)的同心圆，每个圆区域均匀分为八个不重叠子区域，因此，存在32个子区域(r1,r2,
…
,r32)，将pc点的方向设置为cch描述子的0
°
方向，并以最小半径同心圆0
°
的子区域为r1，如图2所示。定义角点pc邻域内一点p的对比度值c(p)：
[0065]
c(p)＝i(p)-i(pc)
[0066]
其中，i(pc)和i(p)分别为pc点和p点的灰度值；对于每一个子区域，定义二维对比度函数：
[0067][0068]
其中，num(r
i
)、num(r
i-)分别为第i个子区域中对比度值为正、负的点数量。
[0069]
将所有子区域的对比度函数值组成向量得到pc点的cch描述向量，最后将向量归一化处理以获得线性光照不变性，得到点pc的描述子如下：
[0070][0071]
遍历待匹配图像和匹配图像之间的特征点以进行匹配，cch算法采用基于最近距离的匹配：
[0072]
dist(pc,p
′c)＜α
×
dist(pc,p
″c)
[0073]
其中，dist(
…
)为特征点描述子之间的欧式距离，p
′c和p
″c为与待匹配点pc欧式距离最小的两个匹配点，若两点满足上式，则认为两点匹配；一般地，α的值取0.6。
[0074]
本实施例中，msac算法和ransac类似，是一种随机抽样算法，msac算法通过修改ransac算法的代价函数，降低了对阈值的敏感程度，使计算结果收敛。
[0075]
计算匹配点对的初始基础矩阵，并对初始基础矩阵进行优化处理，得到基础矩阵，具体包括：
[0076]
采用基于msac算法，设定计数器i＝0和循环次数n，当i《n时，按照如下步骤进行操作：
[0077]
a1.从若干匹配点对中取8组匹配点对，并将8组匹配点对进行归一化处理，得到归一化后的匹配点对；其中，每组匹配点对为两个成对的匹配点；
[0078]
a2.对归一化后的匹配点对通过设定公式进行计算，得到初始基础矩阵；所述设定公式为x
ctf′
xc′
＝0，其中，xc与xc′
为一组匹配点对，f
′
为初始基础矩阵；可以把f
′
矩阵最小奇异值设置为0；
[0079]
a3.解除归一化，设定匹配距离d，将匹配距离d取得最小值时设置的初始基础矩阵
作为基础矩阵；由于误差，匹配点对依据设定公式的计算结果往往不为0，定义计算结果d小于阈值t的点为内点inliers，其余为外点outliers。
[0080]
所述匹配距离d为：
[0081][0082]
其中，inliers表示内点，outliers表示外点，d为匹配点对依据设定公式的计算结果，t为设定阈值。所述设置阈值t可根据实际情况进行设定。
[0083]
本实施例中，基础矩阵f是对极几何的一种数学表达，通过一幅图像上的一点可以确定另一副图像上的一条线。本质矩阵e是基础矩阵在归一化图像坐标下的一种特殊情况，二者可以通过内参矩阵互相转换，根据如下公式确定本质矩阵e：
[0084]
e＝k
′
t
fk；
[0085]
其中，k为第一内参矩阵，k
′
为第二内参矩阵，也即是，k和k
′
分别为进行重建的两幅图像对应的内参矩阵；f为基础矩阵。所述内参矩阵可以根据相机的具体配置进行获取；比如内参矩阵其中,α
x
、αy为u轴和v轴的尺度因子，u0和v0为光学中心，γ为u轴和v轴的不垂直因子。
[0086]
本实施例中，本质矩阵e只与相机外参有关，本质矩阵通过svd分解可以得到旋转矩阵与平移矩阵；
[0087]
一般采用世界坐标系描述空间物体，采用相机坐标系描述图像，要将空间三维点和图像像素点联系起来，需要在两坐标系间进行旋转和平移变换。假设空间中一点xw(x,y,z,1)到相机光心的距离为s，对应于图像上像素点xc(u,v,1)，则：
[0088]
其中，[r t]为3
×
4的外参矩阵，并根据如下公式确定投影矩阵p：
[0089]
p＝k
×
[r t]；所述p为内外参组合后3
×
4的投影矩阵，t为平移矩阵，r为旋转矩阵。
[0090]
本实施例中，在已知相机的内外参数和匹配数据的情况下，通过三角化原理计算空间点xw的坐标值，空间中点xw对应匹配点对xc和xc′
，对于xc有：
[0091][0092]
式中p1、p2、p3为投影矩阵p对应的行向量。消去常数因子s可以得到：
[0093][0094]
同理，对于xc′
(u
′
,v
′
,1)有：
[0095][0096]
式中p1′
、p2′
、p3′
为投影矩阵p
′
对应的行向量。将上两式(1)与(2)联立得到4个方程，空间点xw有三个未知数，在理想情况下，有唯一解，但由于数据存在误差，可以通过svd分解得到xw的最小二乘解。
[0097]
本实施例中，所述步骤s2，还包括：采用klt算法对若干匹配点对进行更新，从而得到更准确的匹配点对，提高了三维环境建模的可靠性。同时，采用klt算法有益于更快速地生成点云模型。
[0098]
其中，按照如下方法实现更新：
[0099]
通过hessian矩阵特征值提取图像上特征点，假定在t时刻图像中的一点p1(x,y)，对应灰度为i(x,y,t)，经过时间dt后运动到新的位置p2(x dx,y dy)，对应的灰度为i(x dx,y dy,t dt)，d＝[dx,dy]为位移量，dt为时间变化量。
[0100][0101]
式中g为二阶hessian矩阵，i
x
、iy为点p1在x、y方向上的导数。当矩阵g最小的特征值大于λ时，认为该点为特征点，建议λ取0.0001。
[0102]
对于一个特征点，在w局部窗口中，点的位移均相等，光流误差量为：
[0103][0104]
由于光照不变，ε趋近于0。当dt趋近0时，将i(x dx,y dy,t dt)一阶泰勒展开，截取线性项带入式(3)中，得到：
[0105][0106]
式中ir为两帧图像局部窗口内灰度之差，因而位移d＝g-1
e，从而得到该点对应的匹配点。
[0107]
本实施例中，所述步骤s34，还包括：使用光束平差法对环境空间三维点云进行优化。所述光束平差法减少了观测图像的点和参考图像(预测图像)的点之间位置投影变换(再投影)误差。这最小化误差算法使用的是最小二乘算法，目前使用最为成功是levenberg-marquardt,它具有易于实现，对大范围的初始估计能够快速收敛的优点。通过上述优化，能够获得准确的点云模型。
[0108]
通过上述的煤矿井下环境建模方法进行环境建模，可以得到一建模实例，如图4所示。
[0109]
本发明还涉及到一种煤矿井下环境建模系统，所述系统实际上是实现煤矿井下环境建模方法的系统。
[0110]
所述煤矿井下环境建模系统包括采集单元以及与采集单元通信连接的计算单元；
[0111]
所述采集单元，用于采集煤矿井下的环境图像信息；
[0112]
所述计算单元，用于提取环境图像信息中图像的若干匹配点对，对若干匹配点对进行处理，得到环境空间三维点云，分别将若干匹配点对的颜色赋予到对应的三维点上，得到着色后的三维点云。
[0113]
本实施例中，如图3所示，所述采集单元包括巡检机器人1以及设置于巡检机器人1的图像采集设备；所述图像采集设备为相机2，所述相机2位于巡检机器人1上方，且相机2可以只有单独的一个，也可以几个一起并行工作；
[0114]
所述计算单元包括计算机，所述计算机采用现有的矿用防爆计算机，需要说明的是，建模是一个逻辑计算过程，所述矿用防爆计算机必然内嵌有实现建模所需的程序或代码指令等，在此不再赘述。
[0115]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。