立体全景图像的质量评价方法、系统

1.本发明属于图像处理技术领域，尤其涉及一种立体全景图像的质量评价方法、系统。


背景技术：

2.随着超高清、虚拟现实(vr)、3d视频等多媒体技术的快速发展，多媒体数据以指数型方式增长，给数据存储和传输带来了巨大的挑战。在处理图像的过程中囿于硬件条件和环境因素的限制、处理方法的选择会造成图像质量不可避免的损失，从而严重影响人们的视觉感知效果。全球5g网络步入商用，制约虚拟现实的宽带和时延问题得以解决，伴随vr技术以及相应硬件设备的普及，vr/ar头显设备出货量强劲增长，硬件、软件、服务融合的盈利商业模式不断成熟，虚拟现实广泛的应用于休闲娱乐、商业服务、医疗健康、直播等方方面面，人们对于立体、沉浸式的信息交互方式的需求促使vr内容制作者们提供更好的用户体验。为了降低人类视觉的图像感知质量损失，需要量化图像质量的退化程度，以便在处理过程中对图像质量进行保持、控制或增强。因此，建立有效的图像质量评价机制具有重要的研究意义。
3.由于立体全景图像在图像获取、拼接、投影变换、逆投影变换、后期处理、渲染和显示的过程中有着与传统图像截然不同的特性，主要有不同的投影格式以及图像的失真在投影前后可能发生变化；可以提供3维深度信息；观看方式由裸眼观看转变成为佩戴头戴显示设备(head mounted display，hmd)而导致的主客观评价对象的不一致；无限的观看视野使得人们对图像内容的感知程度不同。
4.现有方法中，通常是基于视窗图像进行质量评价，而针对立体全景图像，则是将立体和全景分而治之，根据立体和全景的特性分别设计相应的计算模型提取图像的特征，最后采用回归的机器学习方法，比如支持向量回归和随机森林等进行融合，是一种无参考的评价方法。
5.然而，视窗图像的视野过大则会造成一定的投影失真，并且直接通过视窗采样的方式总是会遗漏整幅图像的部分信息从而影响整幅立体全景图像的质量评价；而将立体全景图像分开考虑提取不同的特征缺乏对立体全景图像的全盘考虑，即在考虑全景特性的时候没有基于立体特性，其作为一个独立的整体通过hmd展现在人眼前的主要视觉特征没有被充分挖掘。并且直接在投影之后的平面图像上进行质量评价而主观测试者实际看到的图像是视窗图像，所以会导致主客观评价对象的不一致。


技术实现要素：

6.本发明的目的在于提供一种立体全景图像的质量评价方法、系统，旨在解决现有技术中对立体全景图像进行质量评价时导致主客观评价对象的不一致的技术问题。
7.第一方面，本发明提供了一种立体全景图像的质量评价方法，应用于电子设备，包括：
8.采用尺度不变特征变换算法提取立体全景图像的投影不变性特征；
9.对所述立体全景图像进行基于显著性的质量特征检测，提取所述立体全景图像的显著性质量特征；
10.对所述投影不变性特征和所述显著性质量特征进行融合，计算所述立体全景图像的质量分数；
11.根据所述质量分数对所述立体全景图像进行质量评价。
12.可选的，所述采用尺度不变特征变换算法提取立体全景图像的投影不变性特征的步骤包括：
13.针对所述立体全景图像的原始图像和失真图像，获取所述原始图像和所述失真图像的左视图、右视图；
14.采用尺度不变特征变换算法分别提取所述原始图像和所述失真图像左视图、右视图的特征点；
15.根据所述特征点计算所述立体全景图像的投影不变性特征分数。
16.可选的，所述投影不变性特征分数包括单目质量特征分数，所述根据所述特征点计算所述立体全景图像的投影不变性特征分数的步骤包括：
17.根据各特征点在所述原始图像和所述失真图像之间相应视图上的坐标位置，形成稳定特征点集合；
18.根据所述稳定特征点集合计算所述立体全景图像的单目质量特征分数。
19.可选的，所述根据所述稳定特征点集合计算所述立体全景图像的单目质量特征分数的计算公式包括：
[0020][0021]
其中，分别表示根据原始图像的左视图失真图像的左视图原始图像的右视图失真图形的右视图形成的稳定特征点集合；num()表示稳定特征点集合里的特征点数量。
[0022]
可选的，所述投影不变性特征分数包括双目质量特征分数，所述根据所述特征点计算所述立体全景图像的投影不变性特征分数的步骤包括：
[0023]
针对所述立体全景图像的原始图像和所述失真图像，对所述原始图像和所述失真图像的左右视图分别进行特征点匹配操作，形成匹配特征点集合；
[0024]
根据所述匹配特征点集合计算所述立体全景图像的双目质量特征分数。
[0025]
可选的，所述根据所述匹配特征点集合，计算所述立体全景图像的双目质量特征分数的计算公式包括：
[0026][0027]
其中，s
′
代表ransac算法操作，md∩mr表示失真图像匹配点对和原始图像匹配点对的交集，num(s
′
(md∩mr))代表经过ransac算法操作后剩下的匹配点对数量。
[0028]
可选的，所述对所述立体全景图像进行基于显著性的质量特征检测，提取所述立
体全景图像的显著性质量特征的步骤包括：
[0029]
将所述立体全景图像从rgb空间转换到对立色彩空间；
[0030]
从所述对立色彩空间中分别计算所述立体全景图像的对比度、色度、显著性；
[0031]
根据所述对比度、色度、显著性计算所述立体全景图像的显著性质量特征分数。
[0032]
可选的，所述对所述投影不变性特征和所述显著性质量特征进行融合的计算公式如下：
[0033][0034]
其中，λ，μ是参数，分别设置为λ＝0.9，μ＝0.1。
[0035]
第二方面，本发明提供了一种立体全景图像的质量评价系统，包括：
[0036]
投影不变性特征提取模块，用于采用尺度不变特征变换算法提取立体全景图像的投影不变性特征；
[0037]
显著性特征提取模块，对立体全景图像进行基于显著性的质量特征检测，提取立体全景图像的显著性质量特征；
[0038]
特征融合模块，对对投影不变性特征和显著性质量特征进行融合，计算立体全景图像的质量分数；
[0039]
质量评价模块，对根据质量分数对立体全景图像进行质量评价。
[0040]
第三方面，本发明还提供了一种电子设备，包括：
[0041]
处理器；以及
[0042]
与所述处理器通讯连接的存储器；其中，
[0043]
所述存储器存储有可读性指令，所述可读性指令被所述处理器执行时实现如第一方面所述的方法。
[0044]
第四方面，本发明提供了一种计算机可读性存储介质，其上存储有计算机程序，所述计算机程序在被执行时实现如第一方面的方法。
[0045]
本发明提供的立体全景图像的质量评价方法、系统中，利用投影不变性特征的统计特性获取左右视图的单目质量特征分数，并且根据立体全景图像的天然双通道特性将检测到的特征进行左右视点的特征匹配从而得到双目质量特征分数，单目质量特征分数和双目质量特征分数均基于投影不变性特征而来。并考虑用户在观看全景图像的视觉行为偏好从而根据纬度因素提取了位置先验并结合频率先验和颜色先验提取显著性图，并加之传统的图像色度和对比度信息结合为显著性特征。最后将两种质量特征融合得到最终的质量评价方法。我们利用360lib软件包将显著性图进行与输入投影格式相应的投影变换操作，从而将本质量评价方法扩展到任意投影格式的立体全景图像，实现立体全景图像全盘考虑，避免了对立体全景图像进行质量评价时容易失真的问题，实际解决了对立体全景图像进行质量评价时导致主客观评价对象的不一致的技术问题。
附图说明
[0046]
图1是实施例一示出的立体全景图像的质量评价方法的实现流程图。
[0047]
图2是本实施例一示出的采用尺度不变特征变换算法提取立体全景图像的投影不变性特征的流程示意图。
[0048]
图3是本实施例一示出的对立体全景图像进行基于显著性的质量特征检测提取立
体全景图像的显著性质量特征的流程示意图。
[0049]
图4是本实施例一示出的特征融合的流程示意图。
[0050]
图5是实施例二示出的立体全景图像的质量评价系统的结构框图。
具体实施方式
[0051]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0052]
以下结合具体实施例对本发明的具体实现进行详细描述：
[0053]
实施例一：
[0054]
图1是实施例一示出的立体全景图像的质量评价方法的实现流程图。实施例一示出的立体全景图像的质量评价方法适用于立体全景图像的质量评价系统中，该系统中设置有处理器，以对立体全景图像进行质量评价。为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
[0055]
步骤s110，采用尺度不变特征变换算法提取立体全景图像的投影不变性特征。
[0056]
步骤s120，对立体全景图像进行基于显著性的质量特征检测，提取立体全景图像的显著性质量特征。
[0057]
步骤s130，对投影不变性特征和显著性质量特征进行融合，计算立体全景图像的质量分数。
[0058]
步骤s140，根据质量分数对立体全景图像进行质量评价。
[0059]
为了充分考虑立体全景图像所特有的性质并且不局限于某一种特定的投影格式，本发明中采用尺度不变特征变换算法(scale invariant feature transform,sift)，解决了主客观评价对象上的不一致问题。
[0060]
尺度不变特征转换是一种机器视觉的算法，用来侦测与立体全景图像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变的特征点数。
[0061]
局部性特征的描述与侦测可以帮助辨识物体，sift特征是基于物体上的一些局部外观的兴趣点而与立体全景图像的大小和旋转无关。对于光线、噪声、些微视角改变的容忍度也相当高。基于这些特性，它们是高度显著而且相对容易撷取，在母数庞大的特征数据库中，很容易辨识物体而且鲜有误认。使用sift特征描述对于部分物体遮蔽的侦测率也相当高，甚至只需要3个以上的sift物体特征就足以计算出位置与方位。
[0062]
需要说明的是，立体全景图像包括左右视图，这是由于人眼视差的因素造成的两幅对同一场景看到的略有差别的不同图像；原始图像即为失真图像的参考图像。
[0063]
具体的，在采用尺度不变特征变换算法提取立体全景图像的投影不变性特征时，先针对立体全景图像的原始图像和失真图像，获取原始图像和失真图像的左视图、右视图，然后采用尺度不变特征变换算法分别提取原始图像和失真图像左视图、右视图的特征点，再根据特征点计算立体全景图像的投影不变性特征分数。
[0064]
投影不变性特征分数可包括单目质量特征分数和双目质量特征分数。图2是本实施例一示出的采用尺度不变特征变换算法提取立体全景图像的投影不变性特征的流程示意图。
[0065]
在计算单目质量特征分数时，先根据各特征点在原始图像和失真图像之间相应视图上的坐标位置，形成稳定特征点集合，然后根据稳定特征点集合计算立体全景图像的单目质量特征分数。
[0066]
例如，在计算单目质量特征分数时，获取原始图像和失真图像的左视图、右视图后，得到原始左视图失真左视图原始右视图失真右视图然后提取这四幅图像的投影不变性特征点，并根据特征点的坐标在原始视图和失真视图上是否大于阈值t
l
，如小于t
l
，则是稳定的特征点并加以保留，如大于t
l
，则舍弃，本实施例中t
l
＝1。最后形成稳定的特征点数目集合定的特征点数目集合并根据如下公式得到单目质量特征分数：
[0067][0068]
num()表示稳定的特征点集合里面的特征点数量。
[0069]
在计算双目质量特征分数时，先针对立体全景图像的原始图像和失真图像，对原始图像和失真图像的左右视图分别进行特征点匹配操作，形成匹配特征点集合，然后根据匹配特征点集合计算立体全景图像的双目质量特征分数。
[0070]
例如，在计算双目质量特征分数时，对原始图像和失真图像的左右视点图像分别进行特征点匹配操作，根据特征点的横坐标在失真前后是否大于水平视差阈值th＝100，纵坐标是否大于垂直视差阈值tv＝10，如同时满足：则保留，否则舍弃该特征点对。然后使用ransac算法去除不可靠的匹配点对，其阈值设置为tr＝100，即当某一个匹配与估计的假设小于tr时，则被认为是一个内点并保留该特征点对。并根据如下公式计算得到双目质量特征分数：
[0071][0072]s′
代表ransac算法操作，md∩mr表示失真图像匹配点对和原始图像匹配点对的交集。num(s
′
(md∩mr))代表经过异常点对排除之后剩下的匹配点对数量。
[0073]
可以理解的是，如果左右视图没有视差，没有失真，左右视图检测到的特征点数目应完全一样并且匹配的特征点对数目和特征点数目也完全一样。而失真等级越严重，左右视图的特征点数会将相应减少，左右视图特征点匹配的点对数目也会减少，这意味着特征点对的减少可以看做是对深度信息和非对称失真的度量。
[0074]
而对每一幅失真图像对(左视图和右视图)，都需要将视差的因素考虑进来，然后去和原始图像对(左视图和右视图)进行对比。因为由于左右视差的原因，检测到的左右视图特征点数目的坐标位置不一定完全对应，但它们其实是同一个特征点。所以同时满足水平视差和垂直视差的阈值，就可以看做是一个匹配的特征点对。在实际应用中，可对阈值进行相应调整，本实施例中，这个阈值是一个正常人眼的视差范围临界值。
[0075]
在对立体全景图像进行基于显著性的质量特征检测，提取立体全景图像的显著性质量特征时，将立体全景图像从rgb空间转换到对立色彩空间后，从对立色彩空间中分别计
算立体全景图像的对比度、色度、显著性，进而根据对比度、色度、显著性计算立体全景图像的显著性质量特征分数。
[0076]
具体的，提取立体全景图像的显著性质量特征具体如下：
[0077]
1、将图像从rgb空间转换到对立色彩空间，得到三个通道分别是l、m、n通道：
[0078][0079]
2、由于图像的失真度量需要结合不同纬度的信息，在本发明中通过计算对比度、色度、显著性，更能反映人眼对于图像失真的感知。
[0080]
(1)计算对比度相似性
[0081]
由于图像的对比度是从黑到白的渐变层次，对图像进行梯度操作之后得到的就是图像的边缘，可以反映图像边缘变化的快慢程度。因此利用scharr算子得到梯度图，利用图像的边缘特性作为对比度相似性的度量。
[0082]
scharr算子g计算如下：
[0083][0084][0085]
立体全景图像的对比度相似性计算如下：
[0086][0087]
(2)计算色度相似性
[0088]
从m和n通道计算色度相似性：
[0089][0090]
其中，m1,m2,n1,n2分别代表原始图像和待评价图像的m通道和n通道。
[0091]
(3)计算显著性相似性
[0092]
其中显著性特征的计算方法具体如下：
[0093]
①
首先将图像从rgb空间转到cielab空间
[0094]
由于cielab空间更接近人眼视觉感知，因此可以在cielab空间上度量颜色的感知失真。
[0095]
②
利用频域先验计算图像的显著性：sf(x,y)；
[0096]
利用log-gabor滤波对图像进行操作，然后利用公式对每一个通道进行频率先验的检测。
[0097][0098]
③
利用颜色先验计算图像的显著性:s
color
(x,y)；
[0099]
首先在a，b通道上对每一个像素执行一个线性映射到0到1之间，得到：
[0100][0101]
然后利用：
[0102][0103]
④
利用位置先验计算图像的显著性
[0104]
位置先验的计算除了考虑人眼的视觉特性即图像中心区域更加容易吸引人的注意。我们还考虑了人眼在观看立体全景图像的行为偏好，即立体全景图像位于球形区域的赤道部分内容往往是主观测试者关注的地方，越靠近南北两极区域，人眼对该区域的注意往往较少。因此用余弦曲线的趋势刻画由于球域的纬度因素所带来的权重因素。最后融合中心区域的位置先验和根据行为偏好生成的权重图最为最终的位置先验。
[0105]
位置先验显著性，erp投影格式下其中心区域的显著性计算如下
[0106][0107]
c是图像的中心坐标，(x,y)是图像上任一一点的坐标。得到erp格式下的位置先验显著性图之后，利用360lib软件包将其转换到待评价图像的投影格式，σd是一个参数。
[0108]
根据用户观看偏好生成的权重图，其中erp投影格式下计算公式为
[0109][0110]
h代表图像的实际高度。利用360lib软件包将其转换到待评价图像的投影格式。
[0111]
(4)将三种先验融合
[0112]
由于人类视觉系统检测显著性物体的行为可以由带通滤波很好的建模，因此采用频率先验；人眼喜欢关注图像中心的位置，因此采用位置先验；暖色调更吸引人的注意，因此采用颜色先验。
[0113]
因此，最后将以上三种先验融合得到最终的显著性特征，计算如下：
[0114]
vsk＝sf(x,y)
·scolor
(x,y)
·
φk(sd(x,y))
·
φk(w
erp
(x,y))
[0115]
其中sf(x,y)是频域先验，s
color
是颜色先验，k属于360lib软件包里面所支持的全景图像的投影格式，比如erp、cmp、ohp、isp等等。φ表示经过360lib进行的投影变换操作。
[0116]
3、根据对比度、色度、显著性计算立体全景图像的显著性质量特征分数。
[0117]
利用相关系数的计算公式计算基于显著性的图像质量特征，计算公式如下：
[0118][0119]
其中，和分别是原始图像和失真图像上利用sdsp算法检测到的显著性图，c3是一个固定参数，是显著性相似性。
[0120]
对于失真图像f2(x)和参考图像f1(x)，图像的局部相似性计算如下：
[0121][0122]
最终得到显著性质量特征分数如下：
[0123][0124]
其中是一个权重函数来反映图像局部相似度对于整体相似度的重要程度。
[0125]
图3是本实施例一示出的对立体全景图像进行基于显著性的质量特征检测提取立体全景图像的显著性质量特征的流程示意图。
[0126]
最后，对投影不变性特征和显著性质量特征进行融合，得到最终的质量分数，如附图3所示。
[0127][0128]
其中，λ，μ分别是反映单目质量分数和双目质量分数的权重，首先由于单目质量特征分数和双目质量特征分数都来源与sift算法，因此首先应该满足λ μ＝1，由于单目质量特征分数对于图像质量更重要，深度信息没有起到主要作用，因此λ，μ分别设置为0.9和0.1，具体应用中可进行相应调整。
[0129]
图4是本实施例一示出的特征融合的流程示意图。
[0130]
因此，如上方法中，利用投影不变性特征的统计特性获取左右视图的单目质量特征分数，并且根据立体全景图像的天然双通道特性将检测到的特征进行左右视点的特征匹配从而得到双目质量特征分数，单目质量特征分数和双目质量特征分数均基于投影不变性特征而来；并考虑用户在观看全景图像的视觉行为偏好而提取显著性特征，最后将两种质量特征融合得到最终的质量评价方法，利用360lib软件包对显著性图进行转换从而将本质量评价方法扩展到任意投影格式的立体全景图像，实现立体全景图像全盘考虑，避免了对立体全景图像进行质量评价时容易失真的问题，实际解决了对立体全景图像进行质量评价时导致主客观评价对象的不一致的技术问题。
[0131]
实施例二：
[0132]
如图5所示，本发明实施例二提供了一种立体全景图像的质量评价系统，该装置可执行上述任一所示的立体全景图像的质量评价方法的全部或者部分步骤。该系统包括：
[0133]
投影不变性特征提取模块1，用于采用尺度不变特征变换算法提取立体全景图像的投影不变性特征；
[0134]
显著性特征提取模块2，对立体全景图像进行基于显著性的质量特征检测，提取立体全景图像的显著性质量特征；
[0135]
特征融合模块3，对对投影不变性特征和显著性质量特征进行融合，计算立体全景图像的质量分数；
[0136]
质量评价模块4，对根据质量分数对立体全景图像进行质量评价。
[0137]
实施例三：
[0138]
本发明实施例三提供了一种立体全景图像的质量评价系统，该立体全景图像的质量评价系统可执行上述任一所示的立体全景图像的质量评价方法的全部或者部分步骤。该
电子设备包括：
[0139]
处理器；以及
[0140]
与处理器通信连接的存储器；其中，
[0141]
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任一示例性实施例所述的方法，此处将不做详细阐述说明。
[0142]
在本实施例中，还提供了一种存储介质，该存储介质为计算机可读存储介质，例如可以为包括指令的临时性和非临时性计算机可读存储介质。该存储介质例如包括指令的存储器，上述指令可由服务器系统的处理器执行以完成上述立体全景图像的质量评价方法。
[0143]
实施例四：
[0144]
本发明实施例四提供了上述实施例的测试结果。
[0145]
本质量评价框架在两个已公开的立体全景图像数据库上进行了测试。将算法预测得到的客观质量分数与主观分数进行比较，采用常用的评价指标皮尔森相关系数(plcc)，斯皮尔曼秩相关系数(srcc)，根均方误差(rmse)和肯德尔秩相关系数(krcc)。其中在进行plcc和rmse的计算时，需要首先对预测分数采用五折交叉函数进行非线性回归操作。本算法一共选取了六种有代表性的投影格式，分别是erp,cmp，ohp,isp，rsp，tsp。在solid数据库和soid-nbu数据库上的最佳的plcc和srocc分别为0.948和0.938以及0.912和0.917。并与其他主流的质量评价算法的性能进行了比较，包括五种传统2d图像质量评价方法，psnr,ssim，rfsim,vif和gsm；三种全参考图像质量评价算法s-psnr，ws-psnr，coo-psnr；两种全参考立体图像质量评价方法fi-psnr，chen，一种全参考立体全景图像质量评价方法soiqe和一种无参考立体全景图像质量评价算法bsoiqa。对比结果见表1和表2，其中每一列的最佳结果用粗体表示。
[0146]
实验结果表明，本发明公开的评价方法相比其他方法能有有效的预测图像感知质量的下降，与人的主观评分有较高的一致性。
[0147]
表1.所提方法与现有质量评价方法在solid数据库上的性能比较
[0148][0149][0150]
表2.所提方法与现有质量评价方法在soid-nbu数据库上的性能比较
[0151][0152]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。