一种基于Retinex理论的区域背光动态调光方法

本发明属于高动态范围显示、图像处理和区域调光控制，具体涉及一种面向mini-led背光液晶显示场景、通过计算机程序实现的区域背光动态调光方法。

背景技术：

1、mini-led背光液晶显示通过将背光划分为多个独立可控分区，依据输入画面内容动态调整各分区亮度，从而提升显示对比度并降低背光功耗。为实现区域背光的动态调光控制，需要由输入图像生成合理的分区级背光控制量，使扩散后的照明分布能够适应不同场景的亮暗结构，同时避免明显的光晕泄漏和不必要的能量浪费。

2、现有区域调光方案通常围绕图像分块、背光参数估计、背光扩散模拟以及图像补偿等环节展开。此类方案一般先依据输入图像得到分区级背光参数，再通过扩散模拟或补偿策略改善最终显示效果。虽然该类方法能够一定程度上提升显示对比度或降低功耗，但在目标背光定义、扩散约束表达和跨场景适应性方面仍存在不足。

3、从技术路线看，现有区域调光方法主要存在以下几类不足：

4、1.基于最大值、均值、均方根等局部统计量的传统方法，直接利用分区内像素亮度统计值生成背光控制量，计算简单，但缺乏对场景大尺度照明结构的显式描述，在高对比边界附近容易出现亮区支撑不足、暗区抬升和明显光晕。

5、2.基于视觉约束与局部优化的方法，在统计映射基础上引入psnr约束、能量建模、感知失真度量或结构相似性控制等优化目标，对背光亮度映射关系加以修正。与全局统计方法相比，此类方法在建模精度和重建质量上有所改善，但背光目标的确定仍然依赖原始亮度统计量，对场景空间照明结构的利用并不充分；且此类方法大多只关注背光提取环节，对扩散后照明分布缺少显式约束，补偿环节难以弥补这一缺陷。

6、3.基于深度学习的局部调光方法具备更强的非线性建模能力，但面临监督信号缺失的问题。若借助传统统计算法生成伪标签作为分区级监督，网络性能上限受制于伪标签质量；若以像素级图像误差为监督目标，又因背光扩散的多解性而无法有效约束分区空间内的输出稳定性，使预测结果缺乏确定的物理意义。

7、上述三类方法在目标背光的物理定义、反求问题的稳定性以及监督信号的可靠性方面均存在局限，现有技术难以同时兼顾以下要求：

8、1.保持场景的大尺度亮暗结构；

9、2.在亮暗边界处抑制扩散泄漏；

10、3.在缺少真实分区标签的条件下稳定训练背光预测模型；

11、4.在重建质量、光晕抑制和功耗控制之间取得平衡。

12、因此，需要一种新的区域背光动态调光算法，使背光目标不再直接依赖局部统计量，而是从图像的物理照明结构出发构建目标背光扩散图，并进一步生成分区级背光控制量。

技术实现思路

1、本发明的主要目的在于提供一种基于retinex理论的区域背光动态调光方法，旨在解决现有区域调光方法中目标背光定义缺乏物理依据、低分辨率背光标签难以获得以及分区级背光预测结果在亮区支撑、平滑性和功耗之间难以兼顾的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、一种基于retinex理论的区域背光动态调光方法，步骤如下：

4、s1：获取输入图像，并计算其归一化亮度分量；

5、s2：基于retinex理论，从所述归一化亮度分量中提取场景的照明结构，获得初始光照分量；

6、s3：基于所述初始光照分量，构建包含一致性约束、结构感知平滑约束、低频连续性约束、高亮区支撑约束和能量控制约束中至少一项的联合优化目标，并对所述联合优化目标进行求解，以构建目标背光扩散图；

7、s4：基于所述归一化亮度分量，构造用于表征大尺度照明趋势的低频输入特征和用于表征局部边界细节的高频输入特征；

8、s5：构建双分支背光预测网络，所述网络包括用于处理所述低频输入特征的低频照明分支、用于处理所述高频输入特征的高频细节分支、用于融合两分支输出特征的特征融合模块，以及用于生成低分辨率背光图的分区映射输出头；并且，在所述网络训练过程中引入可微背光扩散层；

9、s6：以所述目标背光扩散图作为监督信号，通过所述可微背光扩散层将所述网络输出的低分辨率背光图映射为像素级预测背光扩散图，并基于所述像素级预测背光扩散图与所述目标背光扩散图计算损失函数，以训练所述双分支背光预测网络的参数；

10、s7：在线推理阶段，将待处理输入图像依次执行所述步骤s1和s4，将构造得到的低频输入特征和高频输入特征输入至训练完成的所述双分支背光预测网络，输出低分辨率背光图作为分区级背光控制矩阵；

11、s8：基于所述分区级背光控制矩阵，生成液晶像素补偿值，用于完成显示重建。

12、进一步地，所述步骤s2具体包括：

13、s21：以背光分区的等效尺度为参照，选取多个不同尺度的高斯核；

14、s22：在对数域中，利用所述多个不同尺度的高斯核对所述归一化亮度分量进行多尺度retinex处理，得到对数域初始光照估计；

15、s23：将对数域初始光照估计映射回线性域，得到所述初始光照分量。

16、进一步地，所述步骤s3中构建的联合优化目标具体包括：

17、s31：一致性约束，用于约束优化结果不偏离所述初始光照分量；

18、s32：结构感知平滑项，其权重由输入图像的亮度梯度驱动，用于在亮暗边界处减弱平滑、在均匀区域增强平滑；

19、s33：低频连续性约束，用于抑制局部高频残余；

20、s34：高亮区支撑约束，用于防止高亮区域被过度压低；

21、s35：能量控制项，用于约束整体背光能量；

22、并且，通过将离散化后的联合优化目标向量化，形成线性方程组，并采用共轭梯度法求解所述线性方程组。

23、进一步地，所述步骤s4具体包括：

24、s41：对所述归一化亮度分量施加大尺度高斯平滑，得到平滑亮度分量，并将所述归一化亮度分量与所述平滑亮度分量拼接，形成所述低频输入特征；

25、s42：计算所述归一化亮度分量与所述平滑亮度分量的差值作为细节残差，并计算所述归一化亮度分量的局部对比度；

26、s43：将所述细节残差与所述局部对比度拼接，形成所述高频输入特征。

27、进一步地，所述步骤s5中的双分支背光预测网络具体配置为：

28、s51：所述低频照明分支采用编码器-解码器结构，用于从所述低频输入特征中提取场景的大尺度照明趋势特征；

29、s52：所述高频细节分支采用浅层残差卷积网络，用于从所述高频输入特征中提取亮暗边界和局部细节特征；

30、s53：所述特征融合模块用于对两路特征进行通道投影、逐元素交互以及注意力加权，生成融合特征；

31、s54：所述分区映射输出头用于对所述融合特征执行自适应平均池化，并通过sigmoid激活函数映射为与背光分区阵列尺寸一致的低分辨率背光图。

32、进一步地，所述步骤s6中计算损失函数至少包括以下各项的加权组合：

33、s61：扩散一致性损失，用于约束所述像素级预测背光扩散图与所述目标背光扩散图之间的差异；

34、s62：平滑性约束损失，用于约束所述网络输出的低分辨率背光图的空间平滑性；

35、s63：结构保持损失，用于利用输入图像的梯度信息作为权重，保持所述像素级预测背光扩散图与所述目标背光扩散图在图像结构上的一致性；

36、s64：功耗约束损失，用于约束所述低分辨率背光图的整体能量。

37、进一步地，所述步骤s7中，在在线推理阶段，所述训练完成的双分支背光预测网络直接输出未经所述可微背光扩散层处理的低分辨率背光图，作为所述分区级背光控制矩阵。

38、进一步地，所述步骤s8具体包括：

39、s81：将所述分区级背光控制矩阵输入背光模拟扩散模型，得到像素级背光扩散图；

40、s82：获取输入图像各通道的目标显示值；

41、s83：基于液晶面板的电光响应函数、所述像素级背光扩散图以及所述目标显示值，计算得到各像素位置对应颜色通道的液晶像素补偿值。

42、本发明还包括一种基于retinex理论的显示控制方法，包括上述任一项所述的区域背光动态调光方法，并根据所述分区级背光控制矩阵驱动mini-led背光分区，以及根据所述液晶像素补偿值驱动液晶面板，以共同完成高动态范围图像的显示。

43、本发明还包括一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述任一项所述的区域背光动态调光方法，或实现如上述的显示控制方法。

44、本发明的有益效果：

45、与现有技术相比，本发明所述的基于retinex理论的区域背光动态调光方法具有以下技术特点和有益效果：

46、1.本发明不再直接以局部亮度统计量作为分区背光控制目标，而是引入retinex光照分量作为场景大尺度照明结构的初始先验，从源头上提高了背光目标的物理合理性；

47、2.本发明通过一致性约束、结构感知平滑、低频连续性、高亮区支撑和能量控制的联合优化，构建了适用于区域调光任务的目标背光扩散图，使目标照明分布兼具结构保持能力与空间连续性；

48、3.本发明利用目标背光扩散图对双分支背光预测网络进行监督训练，并通过可微背光扩散层建立分区级输出与像素级监督之间的一致关系，解决了真实分区级背光标签难以直接获取的问题；

49、4.本发明采用低频照明分支与高频细节分支分离建模的方式，在保持大尺度照明趋势的同时保留局部亮暗边界信息，相较于单通路方法更有利于兼顾亮区支撑和平滑过渡；

50、5.本发明的目标背光扩散图构建通过共轭梯度法对线性方程组进行迭代求解，在多种场景内容下均表现出快速收敛特性，表明所构建的目标图具有较好的数值稳定性；

51、6.本发明在重建质量、功耗控制和光晕抑制三项指标上相较于现有区域调光方法均有所提升，尤其在保持基本相同重建质量的条件下，边界光晕抑制效果和功耗下降率具有明显优势；

52、7.本发明以纯算法方式完成从输入图像到分区级背光控制矩阵和液晶像素补偿值的协同生成，不限定具体实现平台，便于作为涉及计算机程序的发明专利进行保护。