多源图像融合与三维渲染无人系统实时全景地图建模方法与流程

1.本发明属于图像融合与地图构建领域，尤其是涉及一种多源图像融合与三维渲染无人系统实时全景地图建模方法。


背景技术：

2.近年来，随着人工智能与计算机视觉的不断发展，3d全景技术逐渐成为研究热点，三维渲染引擎的相关研究逐渐增加，在地图构建、目标检测领域也得到了大量运用。利用三维渲染引擎进行纹理映射，构建3d全景地图，运算效率高，能极大程度提高用户交互体验感。
3.现有的单源全景地图是由多张普通图像进行处理得到的，制作全景地图所需采集的可见光素材图像，虽然细节特征丰富，但容易受到诸如天气或者光照之类的外部环境因素干扰。
4.另外，在构建城市全景地图的过程中，前期的多张图像常常由专门的工作人员将摄像车停在城市道路中，再进行专业拍摄，这在一定程度上影响道路的正常交通。此外，面对车辆无法行驶的道路，还需工作人员身负沉重的摄像设备进行图像采集工作。显然，摄像车的自主性差，容易造成不必要的人力与资源浪费。


技术实现要素：

5.有鉴于此，本发明旨在提出一种多源图像融合与三维渲染无人系统实时全景地图建模方法，克服现有技术的不足，提供一种多源图像融合与三维渲染的多源图像融合与三维渲染无人系统实时全景地图建模方法，该方法在复杂时变环境下，借助无人系统，将单源图像改为多源图像，降低高昂的人力成本，保留丰富的环境信息，提高环境建模质量，推进定点多源3d全景图像建模技术的发展。
6.为达到上述目的，本发明的技术方案是这样实现的：
7.多源图像融合与三维渲染无人系统实时全景地图建模方法，包括下述至少一个步骤：
8.s1、控制实验室巡检机器人进行六个方位的转动，利用opencv进行图像采集，获取视频流后提取视频帧，得到可见光图像源与红外图像源；
9.s2、采用canny边缘检测对可见光图像源的图像与红外图像源的图像进行边缘提取，利用边缘的匹配实现图像间的配准；
10.s3、对可见光图像源的图像进行rgb色彩空间与ihs色彩空间的转换，将图像在ihs色彩空间进行分解，得到可见光图像源的图像的亮度信息；
11.s4、利用小波分解与重构的技术，将红外图像源的图像与可见光图像源的图像的亮度信息i进行融合，再利用ihs逆变换输出融合图像；
12.s5、基于opengl及天空盒模型，对融合的六个方位图像完成无人系统实时3d全景地图的实时构建。
13.进一步的，在步骤s1中，上位机通过连接机器人的wifi，以post的方式发送url命令，控制机器人进行前、后、左、右、上、下六个方向的转位，同时借助opencv获取视频流，截取视频帧，得到可见光与红外图像。
14.进一步的，在步骤s2中，首先将图像转为灰度图，采用传统的高斯滤波器g(x,y)对原始图像f(x,y)进行卷积处理，如下式：
[0015][0016]
g(x,y)＝g(x,y)*f(x,y)
[0017]
再利用水平算子sobel
x
以及竖直算子sobely与处理后的图像g(x,y)进行计算，得到图像的梯度d
x
、dy，如下式：
[0018][0019][0020]dx
＝sobel
x
*g(x,y)
[0021]dy
＝sobely*g(x,y)
[0022]
之后进行非极大值抑制，保留图像局部的极大值，逐步细化边缘，最后还需进行双阈值检测处理，逐一进行梯度值判定，输出边缘图。
[0023]
进一步的，在步骤s3中，针对可见光图像，利用公式进行rgb色彩空间与ihs色彩空间的转换，将r、g、b的数值作为输入，得到his参数，其中i为intensity表示亮度，h为hue表示色调，s为saturation表示饱和度。
[0024]
进一步的，在步骤s4中，分别对可见光图像进行小波分解，针对分解后的1高频分量与3个低频分量，对高频分量加权平均，低频分量取模大，完成小波重构的过程，重构后利用ihs逆变换，将图像转到rgb色彩空间，完成融合。
[0025]
进一步的，在步骤s5中，借助opengl纹理贴图技术，利用融合的六个方位图像，对天空盒模型进行渲染着色，将用户视角置于盒子中间，立方体六个面分别贴上对应的场景纹理，实现3d全景地图建模。
[0026]
进一步的，本方案公开了一种电子设备，包括处理器以及与处理器通信连接，且用于存储所述处理器可执行指令的存储器，所述处理器用于执行多源图像融合与三维渲染无人系统实时全景地图建模方法。
[0027]
进一步的，本方案公开了一种服务器，包括至少一个处理器，以及与所述处理器通信连接的存储器，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述处理器执行，以使所述至少一个处理器执行多源图像融合与三维渲染无人系统实时全景地图建模方法。
[0028]
进一步的，本方案公开了一种计算机可读取存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现多源图像融合与三维渲染无人系统实时全景地图建模方法。
[0029]
相对于现有技术，本发明所述的多源图像融合与三维渲染无人系统实时全景地图建模方法具有以下有益效果：
[0030]
(1)本发明所述的多源图像融合与三维渲染无人系统实时全景地图建模方法，将采集的六个方位的可见光与红外图像，由rgb色彩空间转为ihs色彩空间，利用小波变换技术将亮度信息分解成高频分量与低频分量，高频分量加权平均值，低频分量取模值大的值实现异构双目视觉图像融合，并将六张融合图像按照指定顺序，借助opengl实现纹理贴图与管线控制，再利用天空盒模型实现了3d全景地图的渲染过程，完成多源图像的无人系统3d全景地图实时构建过程；
[0031]
(2)本发明所述的多源图像融合与三维渲染无人系统实时全景地图建模方法，利用无人系统解放人力劳动，提升系统的自主性，降低高昂的人力成本，减少不必要的人力与资源浪费；
[0032]
(3)本发明所述的多源图像融合与三维渲染无人系统实时全景地图建模方法，借助三维渲染引擎完成环境渲染，保证全景地图构建的3d效果，用户进行720
°
全方位观察，提升了交互体验感；
[0033]
(4)本发明所述的多源图像融合与三维渲染无人系统实时全景地图建模方法，利用多源融合图像替代单源图像，克服单源图像的信息局限性；
[0034]
(5)本发明所述的多源图像融合与三维渲染无人系统实时全景地图建模方法，红外图像利用热辐射成像，弱光条件下对物体的识别能力强，相较于单源的彩色图像，将红外图像与可见光图像融合，提升了光照条件差的环境下对物体的识别能力，图像清晰度有大幅度提升；
[0035]
(6)本发明所述的多源图像融合与三维渲染无人系统实时全景地图建模方法，利用图像间的互补性，生成信息更丰富的多源融合图像，保证了多源融合图像在弱光条件下的目标检测的可靠性。
附图说明
[0036]
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0037]
图1是本发明的无人系统3d实时全景地图建模流程图；
[0038]
图2是步骤s2图像边缘与梯度方向关系示意图；
[0039]
图3是步骤s2非极大值抑制示意图；
[0040]
图4是步骤s4小波分解与重构过程的说明图；
[0041]
图5是步骤s5利用opengl和天空盒模型实现3d全景的说明图；
[0042]
图6是本发明针对红外图像清晰度提升的实验结果说明图；
[0043]
图7是本发明针对可见光图像清晰度提升的实验结果说明图。
具体实施方式
[0044]
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0045]
下面将参考附图并结合实施例来详细说明本发明。
[0046]
一种多源图像融合与三维渲染的无人系统实时全景地图建模方法，如图1所示，具体包括如下步骤：
[0047]
步骤s1，控制实验室巡检机器人的可见光摄像头和红外摄像头进行六个方位的转动，利用opencv的cv.imwrite(filename,frame1)，进行图像采集，filename为保存的图像名，frame为视频流，获取视频流后提取视频帧，得到可见光图像与红外图像。
[0048]
具体的说：上位机通过连接机器人的wifi，以post的方式发送url命令，控制机器人进行前、后、左、右、上、下六个方向的转位，同时借助opencv获取视频流，截取视频帧，得到可见光图像与红外图像；
[0049]
步骤s2，对可见光图像与红外图像分别预处理，利用opencv的cvtcolor(src1，dst1，cv_bgr2gray)，src1为输入图像，dst1为输出图像，cv_bgr2gray为颜色空间转换的标识符，将输入图像转为灰度图。
[0050]
对输出灰度图采用canny边缘检测，canny(src2,dst2，threshold1，threshold2，aperturesize，l2gradient)，src2为输入原图像，dst2为输出边缘图，threshold1，threshold2为阈值，这里threshold1＝50，threshold2＝2*threshold1，aperturesize为sobel算子类型，这里为默认值3，定义了水平算子sobel
x
以及竖直算子sobely，l2gradient为计算梯度幅值的标志，这里同样设定为默认值ture，即设定梯度幅值m的计算方式为两个方向导数平方和开根号；对可见光图像和红外图像输出的边缘图，利用orb特征提取函数detectandcompute(dst2,mat(),keypoints1,descriptors1)，分别对可见光图像和红外图像的边缘图dst2进行参数特征点和描述子keypoints1,descriptors1提取，mat()为图像掩膜，用于图像计算。利用描述子计算距离判断是否匹配，利用函数matcher＝descriptormatcher::create("bruteforce-hamming")定义参数bruteforce-hamming确定匹配方式为hamming匹配,利用函数matcher-》match(descriptors2,descriptors3,matches,mat())确认匹配关系，descriptors2,descriptors3分别为可见光图像与红外图像的描述子，matches为匹配描述子的对应参数信息；对于已确认匹配关系描述子，找到对应的特征点，借助mat homo＝findhomography(points1,points2,ransac)，points1,points2分别为可见光图像和红外图像的特征点，参数ransac进行提纯，输出匹配矩阵homo，得到图像间的匹配关系函数，确定可见光图像与红外图像之间的像素对应关系；
[0051]
canny边缘检测：
[0052]
第一步，由定义的aperturesize，l2gradient参数，利用水平算子sobel
x
以及竖直算子sobely与处理后的图像g(x,y)像素集合进行计算，得到图像的梯度d
x
、dy，输出梯度方向与梯度幅值，如下式。梯度方向与图像边缘的关系参考附图2。
[0053][0054][0055]dx
＝sobel
x
*g(x,y)
[0056]dy
＝sobely*g(x,y)
[0057]
梯度方向
[0058]
梯度幅值
[0059]
第二步，基于输出的梯度方向进行非极大值抑制，保留图像局部的极大值。具体操作如附图3，取以梯度方向垂直方向，即图像边缘方向上的像素点p(x,y)为中心的3*3的邻域，同时划定a、b、c、d、e、f、g、h八个方向点，如图4所示，分别用ma、mb、mc、md、me、mf、mg、mh表示对应点的梯度值，同时用p1、p2表示p点正负梯度上与3*3邻域相交的两个像素点，利用线性插值的方法可以获得p1、p2点对应梯度值mp1、mp2。
[0060]
基于输出的梯度幅值，计算p点的梯度值mp(x,y)，与线性插值的两个梯度值作比较，如果大于线性插值的梯度值mp1、mp2,则保留该梯度值，并认定为边缘轮廓，否则将该点梯度值赋0，并认定为非边缘。最终逐步细化边缘。
[0061]
最后，还需进行双阈值检测处理，由定义的threshold1，threshold2参数，如果边缘像素梯度值低于threshold1，则不是边缘，会被去除；如果边缘像素梯度值在threshold1和threshold2之间，则被认定为弱边缘；如果边缘像素梯度值高于threshold2，则被认定为强边缘。逐一进行梯度值判定，输出边缘图；
[0062]
步骤s3，对可见光图像进行rgb色彩空间与ihs色彩空间的转换，由于红外图像为单通道图像，可见光图像为三通道图像，进行融合前需提取可见光亮度信息，将其变为单通道图像，才可进行融合。将可见光图像在ihs色彩空间进行分解，得到可见光的亮度信息，提取只有亮度信息i的单通道可见光图像；
[0063]
具体的说：为实现融合，针对可见光图像，利用公式进行rgb色彩空间与ihs色彩空间的转换，将r、g、b的数值作为输入，得到i(intensity)亮度、h(hue)代表色调、s(saturation)代表饱和度三个参数，具体转换公式如下：
[0064][0065][0066][0067][0068]
步骤s4，利用小波分解与重构的技术，对步骤s2中确定好对应像素关系的可见光图像与红外图像，提取对应像素中红外图像的亮度信息i1与只有亮度信息i2的单通道可见光图像，将它们的亮度信息i1、i2进行融合，输出融合后的亮度信息i3，利用原本可见光图像的色度h、饱和度s信息，采用i3hs逆变换输出融合图像。分别对六个方位的可见光图像与红外图像进行融合，输出融合的六个方位图像；
[0069]
具体的说：分别对可见光图像进行小波分解，小波分解的过程参考附图4，分解后
生成左上角1个高频分量与其余三个低频分量，针对分解后的1高频分量与3个低频分量，对高频分量加权平均，低频分量取模大，完成小波重构的过程，重构后利用ihs逆变换，将图像转到rgb色彩空间，完成融合；
[0070]
步骤s5，基于opengl及天空盒模型，对融合的六个方位图像完成无人系统实时3d全景地图的实时构建；
[0071]
具体的说：借助opengl纹理贴图技术，利用融合的六个方位图像，对天空盒模型进行渲染着色。将用户视角置于盒子中间，天空盒模型的立方体六个面分别贴上对应的场景纹理，实现3d全景地图建模，参考图5。
[0072]
进一步的说，我们采用图像质量评价方法，检测图像清晰度，分析融合图像的质量。采集近景(close-shot)和远景(distant-view)两个场景、日间(daytime)与夜间(night)两个时间段的可见光图像和红外图像，分别将融合后的图像与单源的可见光图像与红外图像进行清晰度百分比的增长计算，利用brenner梯度、tenengrad梯度smd(灰度方差)、smd2(灰度方差乘积)、能量梯度评价五种方法，检测图像清晰度，对清晰度的增长进行评价。经实验可得多源图像融合后图像质量具有大幅度提升，将多源图像分别与单源的可见光与红外对比，如图6，7。
[0073]
根据上述实验分析结果，利用本文的融合方法将单源图像转为多源后，红外图像的亮度信息与可见光图像的亮度信息进行融合，相较于单源的红外图像，增加了图像的色彩信息，大幅度提升了清晰度；相较于单源的彩色图像，将红外图像与可见光图像融合，提升了光照条件差的环境下对物体的识别能力，图像清晰度有大幅度提升。红外图像利用热辐射成像，在夜晚对物体的识别能力强，因此夜间清晰度提升较为明显。
[0074]
本文以巡检机器人主体，借助巡检机器人的可见光摄像头与红外摄像头，采集可见光图像与红外吐槽，将采集的六个方位的可见光与红外图像，由rgb色彩空间转为ihs色彩空间，利用小波变换技术将亮度信息分解成高频分量与低频分量，高频分量加权平均值，低频分量取模值大的值实现异构双目视觉图像融合，并将六个方位的融合图像按照指定顺序，完成多源图像的无人系统3d全景地图实时构建过程，提升了用户交互体验感借助opengl实现纹理贴图与管线控制，再利用天空盒模型实现了3d全景地图的渲染过程。
[0075]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0076]
在本技术所提供的几个实施例中，应该理解到，所揭露的方法和系统，可以通过其它的方式实现。例如，以上所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。上述单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
[0077]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽
管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
[0078]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。