一种隧道巡检面阵相机图像的柱面全景拼接方法与流程

1.本发明属于图像处理领域，尤其涉及一种隧道巡检面阵相机图像的柱面全景拼接方法。


背景技术：

2.图像拼接技术就是将数张有重叠部分的图像(可能是不同时间、不同视角或者不同传感器获得的)拼成一幅无缝的全景图或高分辨率图像的技术。
3.图像配准(image alignment)和图像融合是图像拼接的两个关键技术。图像配准是图像融合的基础，而且图像配准算法的计算量一般非常大,因此图像拼接技术的发展很大程度上取决于图像配准技术的创新。早期的图像配准技术主要采用点匹配法，这类方法速度慢、精度低,而且常常需要人工选取初始匹配点，无法适应大数据量图像的融合。图像拼接的方法很多,不同的算法步骤会有一定差异,但大致的过程是相同的。一般来说,图像拼接主要包括以下五步，图像预处理，图像配准，建立变换模型，统一坐标变换以及融合重构。
4.而在现有技术中，图像拼接技术容易存在两图的拼接不自然的技术问题，原因在于拼接图的交界处，图像拼接算法欠佳，图像拼接不自然，所以需要特定的处理解决这种不自然的拼接。
5.另外，现有技术中隧道巡检机器人的图像视觉采集常使用线阵相机，会遇到光源效果不达标，图像灰度大的问题，另外检测范围小，相对因使用的光学方法采集的图像畸变过大的技术问题。


技术实现要素：

6.本发明的技术目的是提供一种隧道巡检面阵相机图像的柱面全景拼接方法，以解决背景技术所提到的问题。
7.为解决上述问题，本发明的技术方案为：
8.一种隧道巡检面阵相机图像的柱面全景拼接方法，包括如下步骤：
9.s1：搭建若干隧道巡检面阵相机于隧道巡检载体上，若干隧道巡检面阵相机环绕设置于隧道巡检载体的隧道巡检机械臂上。
10.s2：获取不同隧道巡检面阵相机拍摄得到的图像序列，并将图像序列中的原图像依次映射到标准坐标系下，得到相对应的柱面图像。
11.s3：对柱面图像基于orb算法和改进的brief算法进行展开并图像拼接，得到相对应的柱面展开图。
12.具体地，在步骤s1中，隧道巡检面阵相机为6台，每台隧道巡检面阵相机间隔45
°
设置，用于提供270
°
环向的图像序列。
13.其中，步骤s2具体包括如下步骤，将原图像的依次放入带圆柱的标准坐标系内，根据投影公式将柱面图像各坐标点的灰度值转换为投影映射得到的柱面图像各坐标点的灰
度值。
14.具体地，投影公式为
[0015][0016]
其中，x,y为原图像的坐标点，x
′
,y
′
为柱面图像的坐标点，w为原图像的宽，h为原图像的高，ω为摄像头的视场角，原图像的一点与标准坐标的原点连线经圆柱侧表面的存在交点，r为交点至标准坐标的原点的距离。
[0017]
其中，步骤s3具体包括如下步骤
[0018]
s31：对柱面图像选取特征点；
[0019]
s32：基于orb算法确定特征点的方向；
[0020]
s33：根据改进的brief算法计算得到二进制串的特征描述符；
[0021]
s34：根据特征点、特征点的方向找到不同的柱面展开图的重叠区域，根据特征描述符对重叠区域进行加权融合，得到柱面展开图。
[0022]
具体地，在步骤s31中，通过检测候选特征点邻域内的像素值，若候选特征点周围邻域的灰度值与候选特征点的灰度值存在较大差别，则候选特征点为特征点。
[0023]
具体地，在步骤s32中，通过矩计算特征点以r为半径范围内的质心，特征点的坐标到质心的向量为特征点的方向；
[0024]
矩的定义公式为
[0025][0026]
其中，i(x,y)为柱面图像的灰度值表达式，矩的质心为
[0027][0028]
假设特征点坐标为0，则特征点的方向为
[0029][0030]
具体地，在步骤s33中，对于特征点的邻域内，选择n对像素点，比较每对像素点的灰度值大小，生成长度为n的二进制串，以此作为特征点的特征描述符，像素点对数n取128、256或512。
[0031]
进一步优选地，还包括步骤s4，将多张柱面展开图进行拼接，可以得到隧道巡检载体运行过程中的完整拼接图像。
[0032]
本发明由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：
[0033]
使用高清面阵相机和光源，每个相机角度相隔45
°
，每个光源角度相隔45
°
，光源和相邻相机之间角度22.5
°
，最终可提供隧道环向270
°
真实环境照片，提高了检测范围。
[0034]
将机械臂上的各相机组成圆环，中心点正好位于隧道圆心位置，该技术方法使相机系统与隧道圆心统一，从而使图像质量均一，图像畸变度最小。
[0035]
采用图像映射到柱面后变换几何修正法，将待拼接的图像分别投影到一个标准的坐标系下，然后再基于orb算法和改进的brief算法进行图像的展开拼接，使得图像拼接效果更为自然。
附图说明
[0036]
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。
[0037]
图1为本发明的提供的一种隧道巡检面阵相机图像的柱面全景拼接方法的流程图；
[0038]
图2为本发明的提供的原图像投影示意图；
[0039]
图3为本发明的柱面投影变换几何关系图。
具体实施方式
[0040]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
[0041]
为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
[0042]
以下结合附图和具体实施例对本发明提出的一种图像的柱面全景拼接方法作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。
[0043]
实施例
[0044]
参看图1至图3，本实施例提供一种隧道巡检面阵相机图像的柱面全景拼接方法，包括如下步骤：
[0045]
首先在步骤s1中，使用跑行小车作为隧道巡检载体，提供后部安装位置、电源接口、灯光照明、编码器等。在本实施例中，将机械臂上的各相机组成圆环，中心点正好位于隧道圆心位置，使相机系统与隧道圆心统一。
[0046]
在本实施中，隧道巡检机械臂上设置6台500w隧道巡检面阵相机以及7台面阵led频闪光源，每台隧道巡检面阵相机间隔45
°
设置，每台面阵led频闪光源同样间隔45
°
设置，光源和相邻相机之间角度22.5
°
，可以提供270
°
隧道环向的图像序列。机械臂安装完毕后，将采集到的隧道图像会通过以太网通信接口传入到计算机中以进行后续的图像处理。
[0047]
参看图2，由于面阵相机的广角特性，在远距离拍摄时图像四个角部会有图形畸
变，对于这个图像畸变的修正，采用图像映射到柱面后变换几何修正法。具体如下：
[0048]
获取不同隧道巡检面阵相机拍摄得到的图像序列。其中，图像序列是实体景物在不同坐标系下的二维投影，直接对拍摄图像进行拼接无法满足视觉一致性，所以需要将待拼接的图像进行展平处理，分别投影到一个标准的坐标系下，然后再进行图像的拼接。
[0049]
因此，将图像序列中的多张原图像的依次放入带圆柱的标准坐标系内，根据投影公式将柱面图像各坐标点的灰度值转换为投影映射得到的柱面图像各坐标点的灰度值。在图2中，i为原图像，j为柱面图像，k为圆柱，标准坐标系是以圆柱的内部中心0为投影中心，将原图像i平摊在圆柱k侧表面。原图像i的每一个点与投影中心进行连线，连线与圆柱k侧表面的交点为该点的柱面投影点。投影后的图像为j，投影后原图像发生弯折，其最大高度与原图像i的高相同。
[0050]
参看图2和图3，现投影公式的推导进行说明，将图2沿着xoz面与xoy面剖开，可以得到柱面图像与原图像(平面图像)的几何关系，具体如图3所示。参看图3，其中，点a,b为原图像i上一点与投影中心o连线与圆柱的侧表面的交点，点p为原图像在x轴的位置，点d为原图像点，点f为对应的投影点，点c,e分别为原图像和投影后水平中心轴上的点。
[0051]
设置原图像的宽为w，原图像的高为h，摄像头的视场角为ω，根据图3左图可知，弧aq的长度即为变换为柱面图像后的横坐标x
′
。由于弧长等于半径乘以弧度，可得弧ab的长度为而∠pob的弧长为因此可得弧qb的长度为由此可得弧aq的长度。根据图3右图可知，因为三角形cod与三角形eof相似，因此ef/eo＝cd/co,可得到的表达方式进而得到y
′
。
[0052]
经上述分析，可以得到原图像投影到柱面的投影公式为：
[0053][0054]
其中，ω＝2arctan(w/2r)，x,y为原图像的坐标点，x
′
,y
′
为柱面图像的坐标点，r为点a至标准坐标的原点的距离。
[0055]
接着，进入步骤s31，进行fast角点检测，通过检测候选特征点邻域内的像素值，若候选特征点周围邻域的灰度值与候选特征点的灰度值存在足够大的差别，则认定该候选特征点为特征点。设定一个阈值，然后选取一个像素点，根据像素点的亮度等信息计算出一个值并与阈值相比较，若大于该阈值，则将该像素点当作候选特征点。
[0056]
然后，在步骤s32中，基于orb算法确定特征点的方向；
[0057]
具体地，在步骤s32中，orb算法提出使用矩(moment)法来确定特征点的方向。也就是说通过矩来计算特征点以r为半径范围内的质心，特征点坐标到质心坐标形成一个向量作为该特征点的方向,为特征点加入方向属性。
[0058]
矩定义如下
[0059][0060]
其中，i(x,y)为柱面图像的灰度值表达式，(x,y)为相对特征点的位置，m
pq
为特征点(p q)阶矩，p,q∈{0，1}。矩的质心为
[0061][0062]
假设特征点坐标为o，则向量的角度即为特征点的方向,计算公式如下
[0063][0064]
进而，进入步骤s33，采取改进的brief算法计算出来一个二进制串的特征描述符，用来描述特征点的属性。具体操作为是在一个特征点的邻域内，选择n对像素点，然后比较每个点对的灰度值的大小。对所有的点对进行比较，如果p比q大，取1，反之取0，重复选取n对随机的p、q点进行编码，最终生成长度为n的二进制串(一般n取128、256或512，opencv默认为256)，以此作为特征点的描述子。
[0065]
接着，在步骤s34中，根据特征点进行模板匹配，获得单应矩阵(转换模型)，标识出重叠区域。根据特征描述符对重叠区域进行加权融合，在重叠部分由前一幅图像慢慢过渡到第二幅图像。加权融合首先通过确定当前处理点距重合区域左右边界的距离，得到该处理点中两个图像的像素权重，再将图像的重叠区域的像素值按求出的权值相加合成新的图像，最后得到柱面展开图。
[0066]
较优地，还包括步骤s4，经步骤s2会形成多组扇形分布的图片，每一组都可以通过步骤s3中的方法拼接成一幅柱面展开图，在z方向上就会形成多个柱面展开图，因此，本步骤就是将相邻两个柱面展开图拼接在一起，从而将多张柱面展开图进行拼接，可以得到跑行小车运行过程中的完整的隧道图像。
[0067]
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式。即使对本发明作出各种变化，倘若这些变化属于本发明权利要求及其等同技术的范围之内，则仍落入在本发明的保护范围之中。