基于失真异构感知与质量正则化的DIBR合成视图优化方法

本发明涉及图像质量优化，具体涉及基于失真异构感知与质量正则化的dibr合成视图优化方法。

背景技术：

1、随着沉浸式媒体和三维视频系统技术的迅速发展，受到设备成本、传输压力等因素的限制，采集全部视点图像是不现实的。虚拟视图合成作为一种经济高效的替代方案应运而生，即通过有限数量的参考视点，生成任意目标视角下的合成视图。基于深度图像的绘制（depth-image-based rendering, dibr）技术作为合成视图生成的核心手段之一，在实际工程中得到了大量应用。然而，dibr技术在视图绘制过程中，因深度信息不连续、遮挡关系变化及采样误差等因素，不可避免地产生若干典型失真，例如背景填充所导致的空洞区域、几何位置错位所形成的伪影及边缘拉伸畸变等。上述失真严重劣化了合成图像的视觉呈现质量，进而影响后续编码、传输及终端显示的性能。因此，在合成视图的后端处理环节中，构建具有针对性的图像质量优化方案，已成为当前三维视频处理系统中的一项关键技术需求。

2、近年来，图像增强等优化方法已有较多研究，然而区别于普通图像，dibr合成视图的失真呈现出显著的异构特性，即同一幅图像中可能同时存在边缘伪影、几何拉伸及纹理退化等多种失真模式，且其空间分布通常具有稀疏性，这使得dibr合成视图的优化变得较为困难。与此同时，针对合成视点图像的质量评价模型虽有大量研究，但大多仅停留在对图像质量进行简单的好坏优劣判断层面。鉴于图像与视频处理系统的最终目的在于优化终端用户体验，利用质量评价模型所提供的反馈信息来指导并驱动图像质量优化，形成“评价-反馈-优化”的闭环机制，是一条具有明确工程价值与应用前景的技术思路。然而，目前该方向的研究尚显不足。

3、综上，如何提出一种失真异构感知与质量正则化的dibr合成视图内容优化方法，成为了本领域技术人员亟需解决的问题。

技术实现思路

1、针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种基于失真异构感知与质量正则化的dibr合成视图优化方法，能够融合像素强度、边缘结构与高频纹理的多尺度差异建模、生成连续失真强度分布图以量化dibr合成视图中异构失真的空间分布特征，并结合融合残差结构与注意力机制的图像修复网络及包含一致性约束与双无参考质量评价感知正则的综合训练损失来实现dibr合成视图的失真修复，从而提高dibr合成视图的像素保真度、结构一致性和主观视觉质量。

2、为了解决上述技术问题，本发明采用了如下的技术方案：

3、基于失真异构感知与质量正则化的dibr合成视图优化方法，包括：

4、s1：获取作为训练样本的dibr合成视图及其对应的参考视图；

5、s2：基于dibr合成视图和参考视图，从像素维度、边缘维度和纹理维度进行多尺度差异建模，生成连续失真强度分布图；

6、s3：将dibr合成视图输入图像修复模型，输出对应的优化图像；

7、s4：基于优化图像以及对应的连续失真强度分布图和参考视图，计算包括一致性约束和感知质量正则约束的综合训练损失；

8、s5：基于综合训练损失优化图像修复模型的可学习参数；

9、s6：重复步骤s1至s5，迭代训练图像修复模型直至模型收敛或达到最大迭代次数，得到训练好的图像修复模型；

10、s7：将待优化的dibr合成视图输入训练好的图像修复模型中，输出对应的优化图像。

11、优选的，步骤s2中，具体包括如下处理步骤：

12、s201：获取dibr合成视图和参考视图；

13、s202：通过范数计算dibr合成视图和参考视图在颜色或亮度上的偏移，得到像素强度差异图 ；

14、计算公式为：

15、；

16、式中：表示像素强度差异图在像素坐标处的像素强度差异值；、分别表示dibr合成视图和参考视图在像素坐标处的像素强度值；

17、s203：通过sobel算子计算dibr合成视图和参考视图的边缘断裂与结构错位，得到梯度差异图；

18、计算公式为：

19、；

20、式中：表示梯度差异图在像素坐标处的梯度差异值；、分别表示、方向的sobel梯度算子；、分别表dibr合成视图在像素坐标处沿和方向的梯度；、分别表示参考视图在像素坐标处沿和方向的梯度；

21、s204：通过拉普拉斯算子计算dibr合成视图和参考视图的纹理缺失与几何断层带来的高频信息变化，得到高频差异图；

22、高频差异 的计算公式为：

23、；

24、式中：表示高频差异图在像素坐标处的高频差异值；表示拉普拉斯算子；、分别表示dibr合成视图和参考视图在像素坐标处的高频信息；

25、s205：将像素强度差异图、梯度差异图和高频差异图进行加权融合，得到初始失真强度图；

26、计算公式为：

27、；

28、式中：表示初始失真强度图在像素坐标处的初始失真强度值；、、分别为、、的加权系数，且满足；

29、s206：对初始失真强度图进行稳健归一化，得到连续失真强度分布图；

30、计算公式为：

31、；

32、式中：表示连续失真强度分布图在像素坐标处的连续失真强度值；表示99%分位数；min(∙)为取最小值函数。

33、优选的，步骤s3中，图像修复模型的处理步骤包括：

34、s301：将dibr合成视图作为图像修复模型的输入；

35、s302：通过编码器对dibr合成视图进行逐层特征提取和下采样，得到多尺度深层语义特征图；

36、s303：通过解码器的上采样操作对多尺度的深层语义特征图进行图像分辨率的逐步恢复，并利用跳跃连接将编码器的浅层纹理特征与解码器的深层语义特征融合，得到初步恢复的特征图；

37、s304：将初步恢复的特征图输入残差分支，通过卷积映射获得三通道修复残差，预测得到修复残差图；

38、s305：将初步恢复的特征图输入注意力分支，通过卷积映射获得单通道注意力响应，并经sigmoid函数映射至[0,1]，预测得到注意力图；

39、s306：将dibr合成视图与修复残差图和注意力图进行融合，得到优化图像；

40、计算公式为：

41、；

42、式中：表示优化图像在像素坐标处的像素值；、分别表示修复残差图和注意力图在像素坐标处的残差值和注意力响应值；表示逐像素乘法。

43、优选的，步骤s4中，综合训练损失包括重建与结构一致性约束损失、低频上下文一致性约束、注意力机制相关损失、注意力平滑正则损失和双无参考质量评价感知质量正则损失；

44、计算公式为：

45、；

46、式中：表示综合训练损失；、、、、分别表示重建与结构一致性约束损失、低频上下文一致性约束、注意力机制相关损失、注意力平滑正则损失和双无参考质量评价感知质量正则损失； 、、、分别表示对应损失项的权重参数。

47、优选的，步骤s4中，计算重建与结构一致性约束损失的处理步骤包括：

48、s401：通过连续失真强度分布图构造像素权重；

49、公式表示为：

50、；

51、式中：表示像素坐标处的像素权重；表示连续失真强度分布图在像素坐标处的连续失真强度值；表示调控失真区域权重的程度因子；

52、s402：基于像素权重计算失真区域加权重建损失；

53、公式表示为：

54、；

55、式中：表示失真区域加权重建损失；表示图像的总像素数量；{r,g,b}表示颜色通道；、分别表示优化图像和参考视图在像素坐标处的颜色通道的像素值；其中，p表示图像中的像素位置索引，n=h×w表示参与损失计算的像素位置总数；

56、s403：基于像素权重计算梯度一致性损失；

57、公式表示为：

58、；

59、式中：、分别表示sobel水平和垂直梯度算子；、分别表示优化图像和参考视图在像素坐标处的亮度分量；

60、s404：基于像素权重计算拉普拉斯一致性损失；

61、公式表示为：

62、；

63、式中：δ表示作用于亮度分量的拉普拉斯算子，用于约束局部高频纹理和断层结构的一致性；

64、s405：对失真区域加权重建损失、梯度一致性损失和拉普拉斯一致性损失进行加权计算，得到失真区域加权的重建与结构一致性约束损失；

65、公式表示为：

66、；

67、式中：、分别为梯度一致性损失和拉普拉斯一致性损失的权重系数。

68、优选的，步骤s4中，通过如下公式计算低频上下文一致性约束：

69、；

70、式中：表示高斯低通算子；表示l1范数；表示低频差分张量中参与计算的元素数量。

71、优选的，步骤s4中，通过如下公式计算注意力机制相关损失：

72、；

73、式中：表示连续失真强度分布图在像素坐标处的连续失真强度值；表示注意力图在像素坐标处的注意力响应值。

74、优选的，步骤s4中，通过如下公式计算注意力平滑正则损失：

75、；

76、式中：、分别表示水平方向和垂直方向的相邻像素差分项数量；表示注意力图中右侧相邻位置的注意力响应值，表示注意力图中下方相邻位置的注意力响应值。

77、优选的，步骤s4中，通过contin-siqa模块和lggs-siqa模块两种无参考质量评价模型分别对优化图像进行质量评价，输出对应的质量分数与；

78、通过如下公式计算双无参考质量评价感知质量正则损失：

79、；

80、式中：为预设的质量提升间隔；表示无参考质量评价模型的数量；为第个无参考质量评价模型经适配后输出的归一化质量分数，取值为{1,2}，分别对应contin-siqa模型和lggs-siqa模型；为取最大值函数；表示输入图像。

81、本发明中基于失真异构感知与质量正则化的dibr合成视图优化方法与现有技术相比，具有如下有益效果：

82、现阶段针对dibr合成视图的内容优化与质量修复研究仍较为匮乏，现有研究多聚焦于普通图像修复，专门面向 dibr 绘制带来的不规则空洞、边缘畸变、伪影等特有失真问题缺乏系统性解决方案。本发明针对 dibr 合成视点的固有失真特性，构建以感知质量为驱动的修复优化框架，填补了该场景下专用优化方法的技术空白，具备良好的工程落地与实际推广可行性。

83、本发明充分考虑到dibr合成视图空洞区域大、失真分布不均匀的局部分布特殊性，突破传统单一维度约束的局限，从像素维度、边缘维度及纹理维度进行多尺度差异建模，拟合并生成连续失真强度分布图；能够精准量化不同区域的失真严重程度，为后续实现区域差异化修复提供依据，避免传统全局统一修复造成的修复不足或过度平滑问题；

84、本发明设计融合残差结构与注意力机制的图像修复网络，残差结构可缓解深层网络梯度退化问题、保障深层特征有效传递，注意力机制能够自动聚焦dibr失真重点区域，强化上下文特征关联建模，确保了网络结构的特征提取能力与失真区域自适应聚焦能力，大幅提升大尺度空洞区域的修复效果；

85、本发明联合多维度约束共同监督网络训练，引入失真区域加权重建、结构一致性约束、低频上下文一致性约束、注意力监督损失及注意力平滑正则，同时融入两种无参考质量评价模型作为感知正则约束；既保障图像像素、边缘结构、低频色彩分布及注意力响应的连续稳定性，又从人眼主观感知角度约束修复质量，有效改善边界突变、色彩过渡不协调、纹理伪影等问题，使修复结果同时兼顾客观指标与主观视觉观感。