一种激光雷达三维距离像超分辨重构方法与流程

1.本发明涉及一种激光雷达三维距离像超分辨重构方法，涉及三维成像技术领域。


背景技术：

2.为了探测真实世界，将传统的二维成像扩展到具有距离信息的三维像是极具意义的。三维成像方法包括立体视觉、立体结构光、深度测量相机、扫描激光雷达、固态激光雷达、闪光激光雷达等。其中，激光雷达有着无与伦比的先天优势：体积小、重量轻、采集数据密度大、测距精度高、成像速度快、植被穿透力强、不受太阳高度角和阴影影响、隐蔽性好、抗干扰能力强等特点。gm
‑
apd(基于盖革模式apd阵列)激光雷达可以得到低分辨三维距离像，该激光雷达属于无扫描式激光三维成像雷达，其易于集成，探测灵敏度高，具有单光子探测能力，只需发射一次激光脉冲，通过探测器测得脉冲飞行时间，计算出每个像素点的距离值，获得三维距离像，因此其对于微弱信号即远距离目标探测更有优势。如果从硬件角度出发，想要获得高分辨的三维距离像，需要大阵列gm
‑
apd激光雷达，其造价昂贵。通过高空间分辨率的iccd激光雷达和高距离分辨率的gm
‑
apd激光雷达复合成像超分辨三维重构是获取高空间分辨率激光三维距离像的可行技术途径。该方法可以低成本且有效地解决激光雷达三维距离像分辨率低的问题。


技术实现要素：

3.本发明的目的在于提出一种激光雷达三维距离像超分辨重构方法，本发明利用gm
‑
apd激光雷达和iccd激光雷达组成的双传感器成像系统获取探测目标的距离、强度图像，对距离图像和强度图像进行预处理并配准，并使用改进的图像引导算法进行超分辨重构处理得到高分辨三维距离像，以解决现有技术中激光雷达三维距离像分辨率低的问题。
4.一种激光雷达三维距离像超分辨重构方法，所述激光雷达三维距离像超分辨重构方法如下，
5.将超分辨重构问题转化为求解马尔可夫随机场优化模型问题，在高分辨强度像z和低分辨距离像x的约束下解得使马尔可夫随机场后验概率最大化时对应的重建距离值，马尔可夫随机场的概率分布用吉布斯分布表示，
6.具体的，
7.后验概率的约束项由两部分组成，距离保真项p
d
和正则化项p
r
，则重建距离值y的条件分布由下式表示：
[0008][0009]
其中，e是归一化因子，λ是正则化项的权重，正则化项权重控制正则化项与距离保真项之间的比重，因此，后验概率最大化问题转化为关于y的全局能量最小化问题：
[0010][0011]
能量优化方程定义如下：
[0012]
e(d)＝e
d
(d) λe
r
(d)
[0013]
能量优化方程由距离保真项和正则化项组成，其中，d表示复原高分辨距离像，距离保真项如下公式：
[0014][0015]
距离保真项描述了复原高分辨距离像与原始低分辨距离图像的平方误差，其中，g表示低分辨距离像通过插值后得到的高分辨距离像，p是像素，m是距离图像的所有像素集合，|
·
|代表绝对值，
[0016]
依据iccd强度像与gm
‑
apd距离像表示出距离保真项和正则化项，从而表示出e(d)，基于最大后验概率法，求解条件概率取最大值，此时求解出的矩阵d便是重构后的距离像。
[0017]
进一步的，提出可控高斯核函数的区域相似度引导项：具体的，在区域相似度引导项w
n
中引入可控高斯核函数标准差σ
n
以调节其灵敏度，便于控制引导强度，公式如下：
[0018][0019]
进一步的，提出超像素分割边缘惩罚引导项：具体的，超像素分割边缘惩罚引导即采用简单线性迭代聚类方法对高分辨强度图像i进行超像素分割，具有类似纹理、强度的图像块将被划为同一标记范围，对较弱的边缘不给予权值惩罚，而对较强的边缘则给予适当的权值惩罚以锐化边缘。超像素分割边缘惩罚引导项w
s
表示为：
[0020][0021]
其中，s(
·
)表示超像素分割标记序号，t
p
表示给予的权值惩罚，范围为0～1。
[0022]
进一步的，构建基于局部内容感知的l
α
(α＝1或α＝2)范数模型，以获得丰富的纹理细节和锐利的边缘，公式如下：
[0023][0024][0025][0026]
首先，采用slic对高分辨强度图像i进行超像素分割，此时图像中各像素具有不同的标记，基于此进行区域划分，划分规则如下：设p点所在邻域n(p)内各像素具有相同的标记，认为p点在平滑区域，此时构建l2范数的距离保真项和正则化项；当p点所在邻域n(p)内各像素具有不同的标记，认为p点在边缘区域，此时构建l1范数的距离保真项和正则化项。
[0027]
进一步的，基于分区域插值的高分辨距离引导图像：在平滑区域和边缘区域分别通过低分辨距离像双三次插值、最邻近插值获得高分辨距离像，公式如下：
[0028][0029]
其中，d
s
是通过低分辨距离像双三次插值获得，d
z
是通过低分辨距离像最邻近插值
获得。
[0030]
进一步的，提出高斯核函数标准差自适应化：自适应高斯核函数标准差基于局部内容感知，色彩相似度引导项w
c
、距离相似度引导项w
g
和区域相似度引导项w
n
中自适应高斯核函数标准差构造如下：
[0031][0032][0033][0034][0035][0036][0037][0038][0039][0040]
其中，n
p
为邻域内像素总数，u
c
(p)、u
g
(p)和u
n
(p)分别为p点所在邻域内平均强度值、平均距离值、平均区域相似度，s
c
、s
g
和s
n
分别为p点所在邻域内强度值标准差、距离值标准差、区域相似度标准差，l
c
、l
g
和l
n
分别控制w
c
、w
g
、w
n
的灵敏度。
[0041]
本发明的有以下优点：本发明利用gm
‑
apd激光雷达和iccd激光雷达组成的双传感器成像系统获取探测目标的距离、强度图像，对距离图像和强度图像进行预处理并配准，并使用改进的图像引导算法进行超分辨重构处理得到高分辨三维距离像，可以低成本且有效地解决激光雷达三维距离像分辨率低的问题。
附图说明
[0042]
图1为成像系统原理图；
[0043]
图2为middleburg数据集处理结果，其中，图2(a)为低分辨距离像；图2(b)为高分辨强度像；图2(c)为真实距离像；图2(d)为双三次插值距离像；图2(e)为引导滤波距离像；图2(f)为tgv距离像；图2(g)为标准图像引导重构像；图2(h)为区域相似度引导重构像；图2(i)为本发明方法重构像；
[0044]
图3为激光雷达距离图像处理结果，其中，图3(a)为低分辨距离像；图3(b)为高分辨强度像；图3(c)为slic聚类图；图3(d)为双三次插值距离像；图3(e)为引导滤波距离像；图3(f)为tgv距离像；图3(g)为标准图像引导重构像；图3(h)为区域相似度引导重构像；图3
(i)为本发明方法重构像。
具体实施方式
[0045]
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0046]
一种激光雷达三维距离像超分辨重构方法，所述激光雷达三维距离像超分辨重构方法如下，
[0047]
对于定义在二维空间上的图像，可以将其看成一个二维随机场，且马尔可夫性质描述了图像中邻近像素之间的关系，因此可以利用马尔可夫随机场来模拟数字图像，对于超分辨重构问题就转化为求解马尔可夫随机场优化模型问题。该问题的求解核心就是在高分辨强度像z和低分辨距离像x的约束下解得使马尔可夫随机场后验概率最大化时对应的重建距离值。马尔可夫随机场的概率分布可用吉布斯分布表示。后验概率的约束项由两部分组成，距离保真项pd和正则化项pr。重建距离值y的条件分布由下式表示：
[0048][0049]
其中，e是归一化因子，λ是正则化项的权重，正则化项权重控制正则化项与距离保真项之间的比重，因此，后验概率最大化问题转化为关于y的全局能量最小化问题：
[0050][0051]
能量优化方程定义如下：
[0052]
e(d)＝e
d
(d) λe
r
(d)
[0053]
能量优化方程由距离保真项和正则化项组成，其中，d表示复原高分辨距离像，距离保真项如下公式：
[0054][0055]
距离保真项描述了复原高分辨距离像与原始低分辨距离图像的平方误差，它使得复原高分辨图像不会过于偏离低分辨图像。其中，g表示低分辨距离像通过插值后得到的高分辨距离像，p是像素，m是距离图像的所有像素集合，|
·
|代表绝对值，
[0056]
依据iccd强度像与gm
‑
apd距离像可以表示出距离保真项和正则化项，从而表示出e(d)，基于最大后验概率法(map)，求解条件概率取最大值，此时求解出的矩阵d便是重构后的距离像。
[0057]
进一步的，提出可控高斯核函数的区域相似度引导项：具体的，区域相似度引导算法的区域相似度引导项中没有可调控灵敏度的高斯核函数标准差，因此，本发明在区域相似度引导项wn中引入可控高斯核函数标准差σn以调节其灵敏度，便于控制引导强度，公式如下：
[0058][0059]
进一步的，提出超像素分割边缘惩罚引导项：具体的，超像素分割边缘惩罚引导即
采用简单线性迭代聚类(slic)方法对高分辨强度图像i进行超像素分割，具有类似纹理、强度的图像块将被划为同一标记范围。对较弱的边缘不给予权值惩罚，而对较强的边缘则给予适当的权值惩罚以锐化边缘。超像素分割边缘惩罚引导项w
s
表示为：
[0060][0061]
其中，s(
·
)表示超像素分割标记序号，t
p
表示给予的权值惩罚，范围为0～1。
[0062]
进一步的，构建基于局部内容感知的l
α
(α＝1或α＝2)范数模型：
[0063]
区域相似度引导算法的距离保真项和正则化项以l2范数模型为核心进行构建,这种单一模型对于图像中不同区域的适应性差，不能同时满足平滑区域和边缘区域的超分辨重构要求，重构距离像的边缘部分可能过平滑，而l1范数模型有利于重构出锐利的边缘。因此，构建距离保真项和正则化项中基于局部内容感知的l
α
(α＝1或α＝2)范数模型，以获得丰富的纹理细节和锐利的边缘，公式如下：
[0064][0065][0066][0067]
首先，采用slic对高分辨强度图像i进行超像素分割，此时图像中各像素具有不同的标记，基于此进行区域划分，划分规则如下：设p点所在邻域n(p)内各像素具有相同的标记，认为p点在平滑区域，此时构建l2范数的距离保真项和正则化项；当p点所在邻域n(p)内各像素具有不同的标记，认为p点在边缘区域，此时构建l1范数的距离保真项和正则化项。
[0068]
进一步的，基于分区域插值的高分辨距离引导图像：
[0069]
区域相似度引导算法的距离相似度引导项和区域相似度引导项由d
g
计算得到，双三次插值方法在上采样倍数偏大时，图像边缘模糊程度高，通过该图像去引导重构，重构距离像边缘易模糊，而最邻近插值图像边缘较双三次插值图像锐利。因此，提出了一种通过分区域插值获得高分辨引导图像的方法，提高重构图像边缘锐利度。其基本思想是在平滑区域和边缘区域分别通过低分辨距离像双三次插值、最邻近插值获得高分辨距离像，公式如下：
[0070][0071]
其中，d
s
是通过低分辨距离像双三次插值获得，d
z
是通过低分辨距离像最邻近插值获得。
[0072]
进一步的，提出高斯核函数标准差自适应化：
[0073]
区域相似度引导算法的正则化项中高斯核函数标准差无法自适应，全局单一化的标准差无法适应不同图像邻域系统的距离和灰度变化。因此，依据郝刚涛等人提出的自适应思想，通过一定的改进在正则化项中引入自适应高斯核函数标准差。自适应高斯核函数标准差基于局部内容感知，色彩相似度引导项w
c
、距离相似度引导项w
g
和区域相似度引导项w
n
中自适应高斯核函数标准差构造如下：
[0074][0075][0076][0077][0078][0079][0080][0081][0082][0083]
其中，n
p
为邻域内像素总数，u
c
(p)、u
g
(p)和u
n
(p)分别为p点所在邻域内平均强度值、平均距离值、平均区域相似度，s
c
、s
g
和s
n
分别为p点所在邻域内强度值标准差、距离值标准差、区域相似度标准差，l
c
、l
g
和l
n
分别控制w
c
、w
g
、w
n
的灵敏度。
[0084]
本发明针对区域相似度引导项的标准差不可控，提出了可控高斯核函数的区域相似度引导项；
[0085]
本发明针对重构像边缘模糊，提出了高斯核函数标准差自适应化；
[0086]
本发明针对重构像边缘模糊，提出了基于局部内容感知的范数模型构建；
[0087]
本发明针对重构像边缘模糊，提出了基于分区域插值的高分辨距离引导图像；
[0088]
本发明针对重构像边缘模糊，提出了超像素分割边缘惩罚引导项。
[0089]
以下为具体实施例：
[0090]
参照图1所示，使用middleburg数据集对算法进行定量评估。为了验证超分辨重构效果，使用了不同的因子(x2,x4,x8,x16)对距离图像进行了下采样，模拟低分辨距离图像。将本发明算法与双三次插值、引导滤波、tgv、标准图像引导算法和区域相似度引导算法进行比较。图2为x8放大倍数下的视觉效果。
[0091]
对gm
‑
apd激光雷达和iccd激光雷达采集的真实数据进行超分辨测试。gm
‑
apd激光雷达采集的距离像分辨率为64
×
64，iccd激光雷达采集的强度像分辨率为480
×
640，由于视场不同，经过配准后获得分辨率为328
×
366的强度像。图3显示了不同算法的视觉效果。
[0092]
使用均方根误差(rmse)和结构相似度(ssim)两个有参考图像质量评价指标来客观评估不同方法对middleburg数据集的重构结果，评价结果如表1所示。
[0093][0094]
表1不同方法的有参考图像质量评价指标对比
[0095]
从图2可见，本发明方法重构像较其他算法重构像清晰度更高、细节信息更丰富且边缘更锐利，较tgv和标准图像引导算法的纹理复制现象更少。从表1可见，在放大倍数较高时，即低分辨距离像边缘轮廓等信息缺失较严重，本发明算法获得了最优的指标，在放大倍数较低时，本发明算法的指标表现较差。综合所有放大倍数的评价指标，本发明算法获得了最优的指标表现，较其他算法，rmse最高提升72％，ssim最高提升7％。
[0096]
使用三种无参考图像质量评价指标来客观评估不同方法对gm
‑
apd激光雷达和iccd激光雷达采集的真实数据的重构结果，评价结果如表2所示。
[0097][0098]
表2不同方法的无参考图像质量评价指标对比
[0099]
从图3可见，仅标准图像引导算法和本发明算法可以恢复出远处栏杆的实际粗细形状，且本发明算法重构像边缘更锐利。从表2可见，本发明算法获得了最优的指标，较其他算法，brenner梯度最高提升151％，能量梯度最高提升357％，laplacian梯度最高提升31％，提升幅度明显。
[0100]
综合对仿真数据和真实数据的实验结果，可以看出本发明算法较双三次插值、引导滤波、tgv、标准图像引导算法、区域相似度引导算法性能更优，对于低分辨gm
‑
apd激光雷达三维距离像，由于其边缘轮廓等信息缺失严重，较边缘轮廓等信息更完整的低分辨距离像，本发明算法在重构像边缘锐利度和恢复低分辨距离像边缘轮廓等信息能力上表现更
优。
[0101]
以上实施示例只是用于帮助理解本发明的方法及其核心思想，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。