多源图像融合与三维渲染无人系统实时全景地图建模方法与流程

技术特征：
1.多源图像融合与三维渲染无人系统实时全景地图建模方法，其特征在于，包括下述至少一个步骤：s1、控制实验室巡检机器人进行六个方位的转动，利用opencv进行图像采集，获取视频流后提取视频帧，得到可见光图像源与红外图像源；s2、采用canny边缘检测对可见光图像源的图像与红外图像源的图像进行边缘提取，利用边缘的匹配实现图像间的配准；s3、对可见光图像源的图像进行rgb色彩空间与ihs色彩空间的转换，将图像在ihs色彩空间进行分解，得到可见光图像源的图像的亮度信息；s4、利用小波分解与重构的技术，将红外图像源的图像与可见光图像源的图像的亮度信息i进行融合，再利用ihs逆变换输出融合图像；s5、基于opengl及天空盒模型，对融合的六个方位图像完成无人系统实时3d全景地图的实时构建。2.根据权利要求1所述的多源图像融合与三维渲染无人系统实时全景地图建模方法，其特征在于，在步骤s1中，上位机通过连接机器人的wifi，以post的方式发送url命令，控制机器人进行前、后、左、右、上、下六个方向的转位，同时借助opencv获取视频流，截取视频帧，得到可见光与红外图像。3.根据权利要求1所述的多源图像融合与三维渲染无人系统实时全景地图建模方法，其特征在于，在步骤s2中，首先将图像转为灰度图，采用传统的高斯滤波器g(x,y)对原始图像f(x,y)进行卷积处理，如下式：g(x,y)＝g(x,y)*f(x,y)再利用水平算子sobel
x
以及竖直算子sobel
y
与处理后的图像g(x,y)进行计算，得到图像的梯度d
x
、d
y
，如下式：，如下式：d
x
＝sobel
x
*g(x,y)d
y
＝sobel
y
*g(x,y)之后进行非极大值抑制，保留图像局部的极大值，逐步细化边缘，最后还需进行双阈值检测处理，逐一进行梯度值判定，输出边缘图。4.根据权利要求1所述的多源图像融合与三维渲染无人系统实时全景地图建模方法，其特征在于，在步骤s3中，针对可见光图像，利用公式进行rgb色彩空间与ihs色彩空间的转换，将r、g、b的数值作为输入，得到his参数，其中i为intensity表示亮度，h为hue表示色调，s为saturation表示饱和度。
5.根据权利要求1所述的多源图像融合与三维渲染无人系统实时全景地图建模方法，其特征在于，在步骤s4中，分别对可见光图像进行小波分解，针对分解后的1高频分量与3个低频分量，对高频分量加权平均，低频分量取模大，完成小波重构的过程，重构后利用ihs逆变换，将图像转到rgb色彩空间，完成融合。6.根据权利要求1所述的多源图像融合与三维渲染无人系统实时全景地图建模方法，其特征在于，在步骤s5中，借助opengl纹理贴图技术，利用融合的六个方位图像，对天空盒模型进行渲染着色，将用户视角置于盒子中间，立方体六个面分别贴上对应的场景纹理，实现3d全景地图建模。7.一种电子设备，包括处理器以及与处理器通信连接，且用于存储所述处理器可执行指令的存储器，其特征在于：所述处理器用于执行上述权利要求1-6任一所述的多源图像融合与三维渲染无人系统实时全景地图建模方法。8.一种服务器，其特征在于：包括至少一个处理器，以及与所述处理器通信连接的存储器，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述处理器执行，以使所述至少一个处理器执行如权利要求1-6任一所述的多源图像融合与三维渲染无人系统实时全景地图建模方法。9.一种计算机可读取存储介质，存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1-6任一项所述的多源图像融合与三维渲染无人系统实时全景地图建模方法。

技术总结
本发明提供了一种多源图像融合与三维渲染无人系统实时全景地图建模方法，包括下述至少一个步骤：控制实验室巡检机器人进行六个方位的转动，利用Opencv进行图像采集，获取视频流后提取视频帧，得到可见光图像源与红外图像源；采用Canny边缘检测对可见光图像源的图像与红外图像源的图像进行边缘提取，利用边缘的匹配实现图像间的配准；对可见光图像源的图像进行RGB色彩空间与IHS色彩空间的转换，将图像在IHS色彩空间进行分解，得到可见光图像源的图像的亮度信息。本发明有益效果：多源图像融合与三维渲染无人系统实时全景地图建模方法，利用无人系统解放人力劳动，提升系统的自主性，降低高昂的人力成本，减少不必要的人力与资源浪费。资源浪费。资源浪费。


技术研发人员：郭魁元 石娟 张志强 耿动梁 郑英东 张晓辉 张嘉芮 刘少华 于晓军 李鸿飞
受保护的技术使用者：中汽研汽车检验中心（天津）有限公司
技术研发日：2022.12.09
技术公布日：2023/3/10