一种基于三维边缘相似度特征的点云质量分析方法

1.本发明涉及图像处理领域，特别是指一种基于三维边缘相似度特征的点云质量分析方法。


背景技术：

2.多媒体技术的最新趋势表明，3d点云作为一种高级内容表示形式，因其能够在现代通信系统中展现更逼真的场景等高级内容形式而在沉浸式应用程序中占有重要地位。点云是一种在3d空间中保留原始几何信息(例如：位置、颜色、法线、强度等属性)的存储格式，通常使用三维扫描仪、激光雷达和rgb-d相机来进行采集。3d点云在不同领域有着广泛的应用，包括增强/虚拟现实、3d打印、自动驾驶、机器人和三维监控等应用场景。
3.然而，点云通常包含数百万个点和丰富的属性信息，在采集、处理、压缩、传输、重建和显示过程中引入不同程度的失真和噪声，都会降低点云的质量从而影响终端用户对视觉体验的满意度。因此，如何充分考虑将人类视觉系统特性与点云的特点结合，设计符合人眼视觉特性的点云质量分析方法，应用于实时动态监测和调节点云视觉质量、比较或优化点云处理算法的性能等，具有重要的理论研究意义和实际应用价值。


技术实现要素：

4.本发明的主要目的在于克服现有技术中的上述缺陷，提出一种基于三维边缘相似度特征的点云质量分析方法，通过将双尺度3d-dog算子应用于参考和失真点云，利用三维边缘相似性度量计算参考和失真点云特征的双尺度三维边缘相似性度，最后使用三维边缘强度加权池化策略计算得到点云质量评价分数。该方法有效地提取出了点云边缘结构特征，符合人眼对于失真点云的主观感知度，具有较好的点云质量分析性能。
5.本发明采用如下技术方案：
6.一种基于三维边缘相似度特征的点云质量分析方法，包括如下步骤：
7.将输入的参考点云pcr和失真点云pcd尺度归一化后进行特征提取；
8.将双尺度3d-dog算子应用于参考点云和失真点云，分别提取参考点云的小尺度3d边缘特征pcser与大尺度3d边缘特征pcler，以及失真点云的小尺度3d边缘特征pcsed与大尺度3d边缘特征pcled；
9.根据参考点云的小尺度3d边缘特征pcser与大尺度3d边缘特征pcler，以及失真点云的小尺度3d边缘特征pcsed与大尺度3d边缘特征pcled，计算得到参考点云pcr和失真点云pcd的小尺度3d边缘相似度spces与大尺度3d边缘相似度lpces；
10.基于小尺度3d边缘相似度spces与大尺度3d边缘相似度lpces，使用三维边缘强度加权池化方法计算得到点云客观质量分数score。
11.具体地，将输入的参考点云pcr和失真点云pcd尺度归一化后进行特征提取，具体包括：
12.输入参考点云pcr和失真点云pcd；
13.根据一对参考点云和失真点云的坐标最大值构造两个全零的三维矩阵，并分别以此对点云坐标为基准，将每个坐标位置的亮度信息填充到两个全零的三维矩阵中，直至它们的维度大小相同。
14.具体地，将双尺度3d-dog算子应用于参考点云和失真点云，分别提取参考点云的小尺度3d边缘特征pcser与大尺度3d边缘特征pcler，以及失真点云的小尺度3d边缘特征pcsed与大尺度3d边缘特征pcled，具体如下：
15.分别使用3d-dog算子提取参考点云pcr和失真点云pcd的双尺度三维边缘特征，为：
[0016][0017][0018][0019][0020]
其中，为小尺度核的3d-dog滤波器，为大尺度核的3d-dog滤波器，所得出的pcser为参考点云的小尺度特征，pcler为参考点云的大尺度特征，pcsed为失真点云的小尺度特征，pcled为失真点云的大尺度特征，(x,y,z)表示点云中每个像素点的3d坐标，σ1和σ2为小尺度下的标准差，σ3和σ4为大尺度下的标准差。
[0021]
具体地：与具体为：
[0022]
公式如下：
[0023][0024][0025]
其中，g(x,y,z,σ)为3d高斯滤波器，3d高斯滤波器的公式如下：
[0026][0027]
具体地：根据参考点云的小尺度3d边缘特征pcser与大尺度3d边缘特征pcler，以及失真点云的小尺度3d边缘特征pcsed与大尺度3d边缘特征pcled，计算得到参考点云pcr和失真点云pcd的小尺度3d边缘相似度spces与大尺度3d边缘相似度lpces，具体如下：
[0028]
分别通过计算参考点云的小尺度3d边缘特征pcser与大尺度3d边缘特征pcler，以及失真点云的小尺度3d边缘特征pcsed与大尺度3d边缘特征pcled，得到两个尺度下的三维点云边缘相似度spces与lpces：
[0029][0030][0031]
其中，t1和t2是用于保证数值稳定性的常数。
[0032]
具体地：基于小尺度3d边缘相似度spces与大尺度3d边缘相似度lpces，使用三维边缘强度加权池化方法计算得到点云客观质量分数score，具体如下：
[0033]
pcew(x,y,z)＝max(pcler,pcled)
[0034]
pces(x,y,z)＝[spces(x,y,z)]
α
·
[lpces(x,y,z)]
β
[0035][0036]
其中，pcew是三维边缘强度加权池化策略中的权重，pces是spces与lpces按设定比例乘积得到，α、β为设定系数，α β＝1。
[0037]
由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
[0038]
本发明提供了一种基于三维边缘相似度特征的点云质量分析方法，该方法考虑到人眼视觉系统特性对点云图像的边缘轮廓特征具有较高的敏感性，且考虑到了点云的三维特征，将参考和失真点云尺度归一化后采用多尺度的3d-dog滤波器提取其边缘和结构特征，多尺度的滤波器可以从不同程度展现点云的细节，即可以从不同的角度有效地反映点云的退化程度；该方法充分利用人眼视觉对于边缘信息的敏感度，模拟了人眼主观评价点云图像的过程，相较于其他方法具有较好的点云质量分析性能，且本发明方法具有较高的识别准确性、敏感性以及鲁棒性。
附图说明
[0039]
图1是本发明实施例提供的流程示意图。
[0040]
图2是本发明实施例提供的两张参考和失真的点云图像，图(a)为参考点云示例图，图(b)为失真点云示例图。
[0041]
以下结合附图和具体实施例对本发明作进一步详述。
具体实施方式
[0042]
本发明提供了一种基于三维边缘相似度特征的点云质量分析方法，利用人眼视觉对于边缘信息的敏感度，模拟了人眼主观评价点云图像的过程，相较于其他方法具有较好的点云质量分析性能，且本发明方法具有较高的识别准确性、敏感性以及鲁棒性。
[0043]
参见图1所示，一种基于三维边缘相似度特征的点云质量分析方法，具体步骤如下：
[0044]
s101：将输入的参考点云pcr和失真点云pcd尺度归一化后进行特征提取，具体如下：
[0045]
输入参考点云pcr和失真点云pcd，由于一些失真点云相比参考点云，会产生坐标位置偏移和旋转，存在尺度范围不统一的情况。首先根据一对参考和失真点云的坐标最大值构造两个全零的三维矩阵，并分别以这对点云各坐标为基准，将每个坐标位置的亮度信息填充到两个全零三维矩阵中，直至它们的维度大小相同，如图2为本发明实施例提供的两张参考和失真的点云图像，图(a)为参考点云示例图，图(b)为失真点云示例图。
[0046]
s102：将双尺度3d-dog算子应用于参考点云和失真点云，分别提取参考点云的小尺度3d边缘特征pcser与大尺度3d边缘特征pcler，以及失真点云的小尺度3d边缘特征pcsed与大尺度3d边缘特征pcled，具体如下：
[0047]
分别使用3d-dog算子提取参考点云pcr和失真点云pcd的双尺度三维边缘特征，其
中小尺度滤波核能够提取出点云更多尖锐的细节边缘内容，反之大尺度滤波核能提取出点云的轮廓与形状信息特征，如下：
[0048][0049][0050][0051][0052]
其中，为小尺度核的3d-dog滤波器，为大尺度核的3d-dog滤波器，所得出的pcser为参考点云的小尺度特征，pcler为参考点云的大尺度特征，pcsed为失真点云的小尺度特征，pcled为失真点云的大尺度特征，(x,y,z)表示点云中每个像素点的3d坐标，σ1和σ2为小尺度下的标准差，σ3和σ4为大尺度下的标准差；
[0053][0054][0055]
其中，(x,y,z)表示点云中每个像素点的3d坐标，g(x,y,z,σ)为3d高斯滤波器，采用9
×9×
9的高斯核，σ1和σ2为小尺度下的标准差，其中σ1＝0.9，σ2＝1；σ3和σ4为大尺度下的标准差，其中σ3＝2.1，σ4＝2.2，3d高斯滤波器的公式如下：
[0056][0057]
s103：根据参考点云的小尺度3d边缘特征pcser与大尺度3d边缘特征pcler，以及失真点云的小尺度3d边缘特征pcsed与大尺度3d边缘特征pcled，计算得到参考点云pcr和失真点云pcd的小尺度3d边缘相似度spces与大尺度3d边缘相似度lpces，具体如下：
[0058]
分别通过计算参考点云的小尺度3d边缘特征pcser与大尺度3d边缘特征pcler，以及失真点云的小尺度3d边缘特征pcsed与大尺度3d边缘特征pcled，我们可以得到两个尺度下的三维点云边缘相似度spces与lpces：
[0059][0060][0061]
其中，t1和t2是用于保证数值稳定性的常数，t1＝0.04,t2＝0.01。
[0062]
s104：基于小尺度3d边缘相似度spces与大尺度3d边缘相似度lpces，使用三维边缘强度加权池化策略计算得到点云客观质量分数score，具体如下：
[0063]
pcew(x,y,z)＝max(pcler,pcled)
[0064]
pces(x,y,z)＝[spces(x,y,z)]
α
·
[lpces(x,y,z)]
β
[0065][0066]
其中，pcew是三维边缘强度加权池化策略中的权重，选取的是大尺度下的参考和失真特征pcler与pcled中的较大值。pces是spces与lpces按照一定比例乘积得到，其中α＝0.7,β2＝0.3。
[0067]
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。