感知友好且去噪强度可控的RAW图像联合去噪去马赛克方法、装置及电子设备
本发明涉及数字图像处理、计算摄影与相机图像信号处理,尤其涉及一种面向拜耳阵列raw图像的感知友好且去噪强度可控的联合去噪去马赛克方法、装置及电子设备。本发明适用于移动终端、数码相机、智能摄像设备的图像信号处理流水线。
背景技术:
1、数字相机传感器通常通过彩色滤光阵列采集单通道raw数据。在形成可显示图像之前,需要对raw数据执行去噪、去马赛克、白平衡、颜色校正、色调映射和伽马校正等处理。其中,去噪用于抑制由光子散粒噪声、读出噪声等造成的随机扰动,去马赛克用于根据拜耳采样位置恢复缺失的颜色分量。若将去噪与去马赛克依次交由相互独立的模块处理,前级残留误差会被后级插值放大,且多个模块的联合部署增加了系统复杂度。因此,联合去噪去马赛克已成为raw图像早期恢复的重要方案。
2、现有联合去噪去马赛克方法通常使用成对的退化raw图像与干净目标图像进行监督训练,并将估计的噪声等级图作为网络条件。该训练方式倾向于使网络学习固定的去噪行为:在低照度、高增益或模型容量受限时,为追求较高的像素保真指标,网络容易采用过强去噪,导致毛发、皮肤纹理、树叶及细线结构被涂抹;若简单减小噪声等级图以弱化去噪,现存模型会产生严重的伪影,不能稳定地在噪声抑制和细节保留之间取得平衡。与此同时,不同用户对平滑程度、颗粒感和真实感存在不同偏好,固定去噪强度难以满足交互式成像需求。
3、此外,人类视觉系统对色度噪声通常比对同等幅度的亮度噪声更加敏感。现有可调方法若不区分亮度噪声和色度噪声,可能在保留细节的同时保留令人不适的彩色噪点。直接的解决方法是在srgb域增加一个色度去噪网络来改善感知质量,但这会形成raw和srgb域的两级推理链路,增加延迟、计算量和部署难度。并且,raw域散粒-读出噪声具有信号相关性和明显空间差异,纹理丰富区域的去马赛克难度也高于平坦区域,使用与内容和退化无关的固定卷积核难以兼顾不同位置的恢复需求。
4、因此,亟需一种能够通过单个联合去噪去马赛克网络实现去噪强度连续调节、在减弱去噪时仍保持物理一致的去马赛克监督、优先抑制色度噪声并对空间非均匀退化进行自适应处理的raw图像联合去噪去马赛克方案。
技术实现思路
1、本发明旨在解决现有raw图像联合去噪去马赛克技术中去噪行为固定、过度去噪导致细节涂抹、直接减小噪声条件导致伪影、色度噪声影响感知质量以及固定卷积核难以适应空间非均匀退化等问题,提供一种感知友好且去噪强度可控的联合去噪去马赛克方法、装置及电子设备,使用户在推理阶段能够通过控制因子连续调节噪声抑制与细节保留的平衡,并保持较高的颜色重建质量和推理效率。
2、为实现上述目的,本发明提供如下技术方案:
3、感知友好且去噪强度可控的raw图像联合去噪去马赛克方法,包括:
4、第一训练阶段:获取干净srgb图像,通过可微双向图像信号处理流水线的逆向处理及退化模拟得到干净raw图像r*、退化raw图像r、干净线性rgb图像和噪声等级图m;对所述退化raw图像r与所述噪声等级图m执行像素反排列,得到四通道的与;采样去噪控制因子和分支随机变量s,利用所述去噪控制因子构造噪声等级与去噪强度不匹配的输入条件和包含指定比例噪声残差的训练目标,并结合常规干净目标监督,训练可控联合去噪去马赛克网络;
5、第二训练阶段:冻结第一训练阶段得到的可控联合去噪去马赛克网络并将其作为教师网络;以所述教师网络输出的亮度通道和干净图像的色度通道构造感知训练目标;以所述教师网络的权重初始化并冻结学生网络,训练与所述学生网络连接的感知适配器;
6、推理阶段:获取真实退化raw图像及其噪声等级图,接收用户设定或系统设定的去噪控制因子,将所述退化raw图像和经缩放的噪声等级图输入训练完成的所述学生网络及所述感知适配器,输出恢复线性rgb图像。
7、进一步的,第一训练阶段中,所述构造噪声等级与去噪强度不匹配的输入条件和包含指定比例噪声残差的训练目标包括:当时,将作为所述可控联合去噪去马赛克网络的噪声条件输入,并将退化raw图像相对于干净raw图像的噪声残差按比例注入干净线性rgb目标,注入位置为拜耳采样域;当时,采用未缩放的噪声等级图和干净线性rgb图像执行常规成对监督。
8、进一步的,所述构造噪声等级与去噪强度不匹配的输入条件和包含指定比例噪声残差的训练目标中,当时,训练目标表示为:
9、与之间的差异最小化;
10、当时,训练目标表示为:
11、与之间的差异最小化;
12、其中,表示将三通道图像投影至拜耳采样位置的马赛克算子。
13、进一步的,第二训练阶段中,所述以教师网络输出的亮度通道和干净图像的色度通道构造感知训练目标,包括:
14、将所述教师网络的输出经前向图像信号处理流程映射至srgb域,再转换至yuv域,得到教师亮度通道和教师色度通道、;
15、将干净srgb图像转换至yuv域,得到、、;
16、用所述教师亮度通道与所述干净图像的色度通道、拼接形成感知训练目标。
17、进一步的,所述感知适配器为所述学生网络编码器和中间块的裁剪副本,其输入包括、和,输出控制特征;所述控制特征经零初始化卷积注入所述学生网络对应层,使训练开始时学生输出与教师输出一致。
18、进一步的,所述可控联合去噪去马赛克网络采用u形多尺度编码器-中间层-解码器结构,所述编码器中设置有退化感知卷积daconv;所述退化感知卷积将噪声等级图提取的噪声先验与退化特征沿通道维拼接后,依次通过1×1逐点卷积、深度卷积及1×1逐点卷积生成空间自适应权重,将所述权重重排为分组卷积核,对以各位置为中心的邻域执行动态卷积,输出与残差相加。
19、进一步的,所述空间自适应权重的生成方式表示为:
20、;
21、其中,concat表示沿通道维拼接,pconv表示1×1逐点卷积,dconv7表示7×7深度卷积。
22、进一步的,所述可微双向图像信号处理流水线包括马赛克/去马赛克、曝光补偿/白平衡、颜色校正、色调映射和伽马校正中的至少一种可逆处理;所述退化模拟包括向干净raw图像注入散粒噪声和读出噪声,所述噪声等级图表示为:
23、;
24、其中,表示总增益,表示读出噪声方差。
25、进一步的,所述第一训练阶段采用硬对数损失优化所述可控联合去噪去马赛克网络:
26、;
27、其中,、、分别为通道数、高度和宽度,ε为稳定常数。
28、本发明还提供一种感知友好且去噪强度可控的raw图像联合去噪去马赛克装置,包括:
29、数据构建模块,用于通过可微双向图像信号处理和退化模拟生成干净raw图像、退化raw图像、干净线性rgb图像及噪声等级图;
30、可控训练模块,用于根据去噪控制因子缩放噪声等级图,并在拜耳域噪声残差目标与三通道干净目标之间切换,以训练可控联合去噪去马赛克网络;
31、感知适配模块,用于利用教师亮度通道和干净色度通道生成感知目标,训练连接于冻结学生网络的感知适配器;
32、退化感知恢复模块,用于依据噪声先验和局部内容生成空间自适应卷积核,并联合执行raw图像去噪和去马赛克;
33、强度控制与输出模块,用于接收控制因子,将退化raw图像和缩放后的噪声等级图输入训练完成的网络,并输出经图像信号处理的srgb图像。
34、本发明还提供一种电子设备,包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述的方法。
35、与现有技术相比,本发明至少具有以下有益效果:
36、(1)通过在训练时同时缩放噪声等级图并向目标注入指定比例的真实raw噪声残差,使单个网络在推理阶段即可连续调节去噪强度,避免为不同风格重复训练或部署多个模型;
37、(2)将包含噪声残差的监督投影至拜耳采样位置,并与三通道干净目标监督交替使用,在保留噪声和纹理时降低由预去马赛克引入的白点、拉链纹和颜色偏差;
38、(3)利用教师亮度与干净色度构造yuv域感知目标,通过轻量感知适配器优先抑制色度噪声并保留亮度颗粒和细节,提高用户主观感知质量;
39、(4)利用噪声先验和局部内容生成空间自适应分组卷积核,增强对raw域信号相关噪声、空间非均匀退化以及复杂纹理区域去马赛克的处理能力;
40、(5)采用一阶段学生网络与轻量适配器、逐点卷积和深度卷积,在获得可控恢复能力的同时维持较低参数量、计算量和推理延迟,适合高分辨率图像和移动终端部署。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com