一种RAW图像重建方法、系统、计算机设备及存储介质与流程
本发明属于图像处理,具体涉及一种raw图像重建方法、系统、计算机设备及存储介质。
背景技术:
1、明场显微成像系统通常采用cmos图像传感器结合bayer彩色滤光阵列获取样品光学信息。bayer阵列中每个像素位置仅采集红、绿、蓝三种颜色分量中的一种,显微raw(rawimage format,原始图像格式)指的是由图像传感器(如cmos)直接输出的、未经任何处理的带有bayer阵列格式的原始图像数据,需要通过去马赛克算法恢复完整rgb图像。同时,由于显微照明系统光源类型、显微光路的透射特性、物镜光谱响应以及传感器通道响应差异,不同颜色通道之间存在明显的响应偏差,因此需要进行白平衡校正。
2、现有图像处理流程通常将白平衡与去马赛克作为相互独立的串行处理环节:一种方式是先将白平衡增益直接乘到raw采样值上,再执行去马赛克;另一种方式是先完成去马赛克,再对完整rgb图像进行白平衡校正。上述方案虽然实现简单,但白平衡增益直接作用于稀疏raw采样时,红、蓝通道的噪声和局部异常值可能被同步放大,并在后续插值过程中传播。同时去马赛克过程无法利用白平衡参数所包含的通道响应关系,难以在颜色恢复过程中保持跨通道一致性,容易损伤绿色通道所承载的主要亮度结构,降低图像细节清晰度。
技术实现思路
1、为了解决上述问题,本发明提供了一种raw图像重建方法,该方法使白平衡参数不再仅作为前处理或后处理系数,而是以约束变量的形式参与颜色差异建模、传播与完整颜色通道恢复,从而在保持bayer原始采样关系的同时,提高颜色一致性并抑制伪彩。
2、为了实现上述目的,本发明提供如下技术方案:
3、一种raw图像重建方法,包括以下步骤:
4、获取带有bayer阵列数据的raw图像,估计raw图像的白平衡增益参数;
5、以绿色通道作为亮度结构基准,在raw图像的红色采样位置和蓝色采样位置,基于水平及垂直方向梯度、相邻绿色采样值以及同色低频比例约束,自适应恢复缺失的绿色通道值;根据白平衡增益参数和已恢复的绿色通道,在原生红色采样位置和原生蓝色采样位置分别计算初始化归一化增益色差;所述水平及垂直方向梯度为待恢复绿色通道值的红色或蓝色采样位置处的复合梯度,由相邻绿色采样的方向差值、同色通道间隔两个像素采样点的方向差值加权求和得到;所述相邻绿色采样值为红色和蓝色采样点上下左右直接邻接的传感器原生绿色像素;所述同色低频比例约束利用当前红色采样点和蓝色采样点隔位的同色原始raw像素值估算局部明暗基线得到亮度比例,用于修正候选绿色值;
6、结合白平衡增益参数、已恢复的绿色通道和初始化归一化增益色差重建rgb通道,输出校正后的rgb图像。
7、优选地,所述估计raw图像的白平衡增益参数,具体包括以下步骤:
8、根据bayer阵列的像素采样位置建立raw图像的红色采样平面、绿色采样平面和蓝色采样平面;
9、基于红色采样平面、绿色采样平面和蓝色采样平面,构造分辨率低于设定值的颜色统计样本,筛选出满足亮度、饱和度、局部梯度阈值条件的样本集合组成候选背景域,计算候选背景域中红色通道、绿色通道、蓝色通道各自的白平衡增益参数。
10、优选地,所述根据bayer阵列的像素采样位置建立raw图像的红色采样平面、绿色采样平面和蓝色采样平面,包括以下步骤:
11、获取raw图像的宽度、高度和位深,根据宽度、高度和位深确认bayer阵列排布规则;
12、分别初始化与raw图像尺寸相同的红色采样平面、绿色采样平面和蓝色采样平面,将三个平面全部像素初始化为无效标记值;
13、遍历raw图像每一个像素坐标(x,y),依据bayer阵列排布规则判断当前坐标对应的颜色通道;
14、若当前坐标(x,y)为红色采样位置,将raw图像该位置像素值赋值给红色采样平面的(x,y)坐标位置,绿色采样平面和蓝色采样平面在同一坐标(x,y)处保持无效标记值;
15、若当前坐标(x,y)为绿色采样位置,将raw图像该位置像素值赋值给绿色采样平面的(x,y)坐标位置,红色采样平面、蓝色采样平面在同一坐标(x,y)处保持无效标记值;
16、若当前坐标(x,y)为蓝色采样位置,将raw图像该位置像素值赋值给蓝色采样平面的(x,y)坐标位置,红色采样平面、绿色采样平面在同一坐标(x,y)处保持无效标记值;
17、遍历全部像素完成赋值后,得到带有无效填充的红色采样平面、绿色采样平面和蓝色采样平面。
18、优选地,所述以绿色通道作为亮度结构基准,在raw图像的红色采样位置和蓝色采样位置,基于水平及垂直方向梯度、相邻绿色采样值以及同色低频比例约束,自适应恢复缺失的绿色通道值,具体包括以下步骤:
19、读取已构建完成的绿色采样平面、红色采样平面和蓝色采样平面,配置预设参数,所述预设参数包括比例补偿强度、同色梯度贡献系数、比例阈值以及梯度判断阈值;
20、遍历raw图像全部像素坐标,跳过原生绿色采样位置,将红色采样位置和蓝色采样位置确定为绿色通道待恢复的目标位置;针对每一目标位置,获取其上下左右的相邻绿色采样值,以及间隔两个像素的同色原始采样值,分别计算水平、垂直方向同色低频估计值;结合目标位置原始采样值与所述比例阈值做限幅运算,求解得到该目标位置对应的水平比例和垂直比例;
21、依据相邻绿色采样值、水平比例、垂直比例以及比例补偿强度,计算水平方向绿色候选值和垂直方向绿色候选值,再结合邻近绿色采样的最大值和最小值对候选值进行限幅;
22、结合相邻绿色采样差值、远距离同色采样差值以及同色梯度贡献系数,计算目标位置的水平方向梯度和垂直方向梯度,并依据水平方向梯度和垂直方向梯度计算水平方向权重和垂直方向权重,权重为对应方向梯度平方加一的倒数;
23、对比水平方向梯度与垂直方向梯度,当二者差值大于梯度判断阈值时,选取梯度更小方向的绿色候选值作为当前位置绿色输出;当差值不大于梯度判断阈值时,采用水平方向权重和垂直方向权重对两组绿色候选值加权融合,得到当前位置恢复后的绿色通道值;
24、将恢复得到的绿色通道值写入绿色采样平面的对应坐标,遍历完成所有目标位置后,输出补全的绿色通道。
25、优选地,所述根据白平衡增益参数和已恢复的绿色通道,在原生红色采样位置和原生蓝色采样位置分别计算初始化归一化增益色差,具体包括以下步骤:
26、获取红色通道白平衡增益参数、绿色通道白平衡增益参数蓝色通道白平衡增益参数,读取补全后的绿色通道值及raw图像的原生红色采样值、原生蓝色采样值
b;
27、遍历raw图像全部像素坐标,筛选出所有原生红色采样位置;
28、针对每一个原生红色采样位置,取出该位置原始红色采样值
r和同坐标位置已恢复的绿色通道值
g,按照公式计算该位置初始化红色归一化增益色差,将计算结果赋值到红色归一化增益色差平面对应坐标;
29、将非原生红色采样位置的红色归一化增益色差平面对应坐标设置为无效标记;遍历图像全部像素坐标,筛选出所有原生蓝色采样位置;
30、针对每一个原生蓝色采样位置,取出该位置原始蓝色采样值
b,取出同坐标位置已恢复的绿色通道值
g,按照公式计算该位置初始化蓝色归一化增益色差,将计算结果赋值到蓝色归一化增益色差平面对应坐标;
31、将非原生蓝色采样位置的蓝色归一化增益色差平面对应坐标设置为无效标记;
32、完成全部原生红色、原生蓝色采样位置计算,输出初始化完成的红色归一化增益色差与蓝色归一化增益色差。
33、优选地,结合白平衡增益、已恢复的绿色通道和初始化归一化增益色差重建rgb通道之前,还包括对初始化归一化增益色差进行优化,具体包括优化步骤如下:
34、依据bayer阵列中绿色采样位置与相邻红色采样位置、蓝色采样位置的空间关系,在绿色采样位置沿对应方向传播归一化增益色差,并利用绿色通道局部梯度确定相邻色差的自适应权重;
35、在红色采样位置恢复蓝色归一化增益色差,在蓝色采样位置恢复红色归一化增益色差;对两个对角方向分别计算候选色差,并依据绿色通道对角梯度进行加权融合,完成异色采样位置的交叉色差补偿,得到完整归一化增益色差平面;
36、对完整归一化增益色差平面进行修复、局部中值一致性约束优化,其中所述优化仅作用于色差平面,不直接平滑绿色通道,得到优化后的归一化增益色差。
37、优选地,结合白平衡增益参数、已恢复的绿色通道和优化后的归一化增益色差重建rgb通道,输出校正后的rgb图像,具体包括以下步骤:
38、获取白平衡增益参数、、,读取经过传播、交叉补偿、局部一致性优化后的红色归一化增益色差平面与蓝色归一化增益色差平面及完整的绿色通道平面;
39、遍历rgb图像的每一个像素坐标,取出当前坐标下已优化完成的红色归一化增益色差、蓝色归一化增益色差以及同坐标的绿色通道值
g;
40、按照公式计算当前坐标的白平衡校正后红色通道值;
41、按照公式计算当前坐标的白平衡校正后绿色通道值;
42、按照公式计算当前坐标的白平衡校正后蓝色通道值;
43、根据输出图像的目标位深确定像素值上下限,根据像素值上下限分别对红色通道值、绿色通道值、蓝色通道值执行截断操作,将各通道像素值限制在目标动态范围之内;
44、将截断后的红色像素值、绿色像素值、蓝色像素值依次赋值给rgb图像对应坐标位置;
45、遍历完全部像素后,输出经过白平衡校正的rgb图像。
46、本发明还提出一种raw图像重建系统,包括:
47、白平衡增益参数获取模块,用于获取带有bayer阵列数据的raw图像,估计raw图像的白平衡增益参数;
48、绿色通道恢复与归一化增益色差初始化模块,用于以绿色通道作为亮度结构基准,在raw图像的红色采样位置和蓝色采样位置,基于水平及垂直方向梯度、相邻绿色采样值以及同色低频比例约束,自适应恢复缺失的绿色通道值;根据白平衡增益参数和已恢复的绿色通道,在原生红色采样位置和原生蓝色采样位置分别计算初始化归一化增益色差;所述水平及垂直方向梯度为待恢复绿色通道值的红色或蓝色采样位置处的复合梯度,由相邻绿色采样的方向差值、同色通道间隔两个像素采样点的方向差值加权求和得到;所述相邻绿色采样值为红色和蓝色采样点上下左右直接邻接的传感器原生绿色像素;所述同色低频比例约束利用当前红色采样点和蓝色采样点隔位的同色原始raw像素值估算局部明暗基线得到亮度比例,用于修正候选绿色值;
49、图像重建模块,用于结合白平衡增益参数、已恢复的绿色通道和初始化归一化增益色差重建rgb通道,输出校正后的rgb图像。
50、本发明还提供一种计算机设备,包括存储器、处理器及存储在存储器上的计算机程序,所述处理器执行所述计算机程序以实现所述raw图像重建方法中任一项所述的步骤。
51、本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器加载时,能够执行所述raw图像重建方法中任一项所述的步骤。
52、本发明提供的raw图像重建方法具有以下有益效果:
53、本发明跳出白平衡、去马赛克串行处理的固有思路,不将白平衡增益预乘原始raw采样,而是把白平衡增益转化为颜色恢复的约束条件嵌入raw域处理流程。本发明首先以绿色通道作为亮度结构基准,结合方向梯度、相邻绿色采样及同色低频比例约束自适应恢复缺失绿色像素,该约束引入红、蓝采样自身的局部亮度信息辅助绿色重建,避免单纯依赖邻域绿色插值造成细节丢失,完整保留绿色通道承载的主要亮度与边缘结构,规避亮度细节受损的问题。进一步利用白平衡增益与恢复完成的绿色通道构建归一化增益色差,将通道响应关系封装进色差变量。白平衡增益参与色差的归一化运算,而非直接缩放原始红、蓝raw数据,从根源上避免红、蓝通道噪声、异常值被增益放大后随插值扩散。
54、白平衡参数不再是独立的前处理或后处理系数,而是约束色差的定义与传播,使去马赛克的颜色恢复过程始终遵循通道响应关系,保障跨通道颜色一致性。整个优化操作作用于色差平面,不破坏绿色通道亮度信息,兼顾噪声抑制、伪彩抑制与细节保真,实现raw域白平衡校正与去马赛克的联合优化。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com