图像处理方法、装置、监控设备及计算机可读存储介质与流程
本技术涉及图像处理,尤其涉及一种图像处理方法、图像处理装置、监控设备及计算机可读存储介质。
背景技术:
1、监控设备(如安防摄像机)需要长时间连续工作,其成像环境覆盖白天强光、黄昏逆光、夜间微光乃至0.01 lux(勒克斯,照度单位,1 lux约为晴朗满月光下地面的照度)以下的超低照度环境。传统图像信号处理流水线(包括黑电平校正、镜头阴影校正、demosaic、降噪、伽马校正、色彩校正等环节)依赖人工调参的固定算法模块,在低照度下存在信噪比低、细节丢失、色彩失真等问题。
技术实现思路
1、本技术实施例提供一种图像处理方法、图像处理装置、监控设备及计算机可读存储介质,能够在保障图像质量的同时显著降低无效计算开销与系统功耗。
2、第一方面,本技术提供的图像处理方法,适用于监控设备,监控设备包括设有可重构处理流水线的图像信号处理器,可重构处理流水线具备ai处理模块在内的多个处理模块,该图像处理方法包括:
3、获取图像传感器输出的当前raw域图像帧及对应的曝光增益信息;
4、获取当前raw域图像帧的亮度统计信息,并根据亮度统计信息和曝光增益信息,估计当前环境照度;
5、根据当前环境照度,从可重构处理流水线预先配置的至少两个候选处理拓扑中确定目标处理拓扑;其中,每个候选处理拓扑对应ai处理模块的一种启用状态或一种级联组合方式,启用状态包括启用和跳过,ai处理模块处于跳过状态时,当前raw域图像帧的处理流程不经过该ai处理模块,级联组合方式表示ai处理模块与可重构处理流水线中其他处理模块的连接顺序;
6、按照当前生效的处理拓扑,对当前raw域图像帧进行处理并输出处理后的图像帧,以及按照目标处理拓扑,对确定目标处理拓扑之后获取的raw域图像帧进行处理并输出处理后的图像帧;
7、其中,所述图像信号处理器包括神经网络处理单元,所述ai处理模块运行于所述神经网络处理单元,包括空域降噪模块和retinex增强模块,其他处理模块包括时域多帧降噪模块;所述至少两个候选处理拓扑包括高照度档拓扑、低照度档拓扑和超低照度档拓扑;其中,所述高照度档拓扑中全部ai处理模块处于所述跳过状态且所述神经网络处理单元休眠,所述低照度档拓扑中启用所述空域降噪模块与所述retinex增强模块,所述超低照度档拓扑中启用所述时域多帧降噪模块与所述retinex增强模块。
8、第二方面,本技术提供的图像处理装置,适用于监控设备,监控设备包括设有可重构处理流水线的图像信号处理器,可重构处理流水线具备ai处理模块在内的多个处理模块,该图像处理装置包括:
9、信息获取模块,用于获取图像传感器输出的当前raw域图像帧及对应的曝光增益信息;
10、照度估计模块,用于获取当前raw域图像帧的亮度统计信息,并根据亮度统计信息和曝光增益信息,估计当前环境照度;
11、拓扑选取模块,用于根据当前环境照度,从可重构处理流水线预先配置的至少两个候选处理拓扑中确定目标处理拓扑;其中,每个候选处理拓扑对应ai处理模块的一种启用状态或一种级联组合方式,启用状态包括启用和跳过,ai处理模块处于跳过状态时,当前raw域图像帧的处理流程不经过该ai处理模块,级联组合方式表示ai处理模块与可重构处理流水线中其他处理模块的连接顺序;
12、图像处理模块,用于按照当前生效的处理拓扑,对当前raw域图像帧进行处理并输出处理后的图像帧,以及按照目标处理拓扑,对确定目标处理拓扑之后获取的raw域图像帧进行处理并输出处理后的图像帧;
13、其中,图像信号处理器包括神经网络处理单元,ai处理模块运行于神经网络处理单元,包括空域降噪模块和retinex增强模块,其他处理模块包括时域多帧降噪模块;至少两个候选处理拓扑包括高照度档拓扑、低照度档拓扑和超低照度档拓扑;其中,高照度档拓扑中全部ai处理模块处于跳过状态且神经网络处理单元休眠,低照度档拓扑中启用空域降噪模块与retinex增强模块,超低照度档拓扑中启用时域多帧降噪模块与retinex增强模块。
14、可选地,在一实施例中,在根据当前环境照度,从可重构处理流水线预先配置的至少两个候选处理拓扑中确定目标处理拓扑时,拓扑选取模块用于:
15、将当前环境照度与预设的第一照度阈值、第二照度阈值比较,确定当前环境照度所属的当前候选档位,其中,第一照度阈值与第二照度阈值将照度空间划分为高照度、低照度和超低照度三个区间;
16、若当前raw域图像帧所属滑动窗口内的raw域图像的候选档位均相同,且当前候选档位对应的处理拓扑与当前生效的处理拓扑不同时,将候选档位对应的处理拓扑确定为目标处理拓扑,否则将当前生效的处理拓扑确定为目标处理拓扑。
17、可选地,在一实施例中,图像处理模块通过运行时域多帧降噪模块执行:
18、获取图像传感器输出的连续多帧raw域图像帧及各raw域图像帧对应的曝光增益信息,其中,连续多帧raw域图像帧包括参考帧与至少一帧历史帧,参考帧为连续多帧raw域图像帧中最新的一帧,历史帧为位于参考帧之前的帧;
19、对连续多帧raw域图像帧执行坏点矫正,并根据各raw域图像帧对应的曝光增益信息,对历史帧进行曝光归一化处理;
20、以参考帧为基准,对曝光归一化后的历史帧进行块匹配,逐块获得运动向量与对齐误差;
21、基于泊松-高斯噪声模型,对对齐误差做噪声水平归一化,生成运动可信度图,运动可信度图用于表征各像素区域属于静止区域或运动区域的可信程度;
22、根据同一空间位置块在多帧上的运动向量的轨迹一致性,对运动可信度图进行限幅处理;
23、以参考帧灰度为引导,对限幅后的运动可信度图进行边缘感知滤波;
24、根据滤波后的运动可信度图,划分高可信区、过渡区与低可信区;
25、对参考帧的每个像素位置计算其多帧时域加权融合结果与单帧空域降噪结果,其中,多帧时域加权融合结果按运动向量将归一化后的历史帧对齐至参考帧坐标后进行多帧加权融合得到,单帧空域降噪结果对参考帧进行空域降噪得到;
26、对于高可信区的像素位置,将其对应的多帧时域加权融合结果作为输出,对于低可信区的像素位置,将其对应的单帧空域降噪结果作为输出,对于过渡区的像素位置,按运动可信度线性插值混合其对应的多帧时域加权融合结果和单帧空域降噪结果作为该像素位置的输出,得到时域降噪后的raw域图像帧。
27、可选地,在一实施例中,在根据同一空间位置块在多帧上的运动向量的轨迹一致性,对运动可信度图进行限幅处理时,图像处理模块通过运行时域多帧降噪模块执行:
28、以参考帧的运动向量为基准,外推预测其他历史帧的运动向量,计算轨迹残差;
29、当轨迹残差大于轨迹阈值时,将该块的运动可信度限幅至预设上限值。
30、可选地,在一实施例中,在对连续多帧raw域图像帧执行坏点矫正时,图像处理模块通过运行时域多帧降噪模块执行:
31、对于每一raw域图像帧,按产线标定烧录的静态坏点表矫正固定坏点;对未列入静态坏点表的像素位置,在同bayer通道平面的邻域内计算中值,当该像素位置的像素值与中值之差大于动态阈值时,将该像素位置的像素值替换为中值;动态阈值基于泊松-高斯噪声模型按当前增益与局部均值计算。
32、可选地,在一实施例中,曝光增益信息包括曝光时间和曝光增益,在根据各raw域图像帧对应的曝光增益信息,对历史帧进行曝光归一化处理时,图像处理模块通过运行时域多帧降噪模块执行:
33、当历史帧与参考帧的曝光时间与曝光增益之积的比值超出容差时,将历史帧的各像素位置扣除黑电平后按比值线性映射至参考帧的曝光基准,再恢复黑电平并截断至raw位宽范围。
34、可选地,在一实施例中,以参考帧为基准,对归一化后的历史帧进行块匹配,逐块获得运动向量与对齐误差时,图像处理模块通过运行时域多帧降噪模块执行:
35、以参考帧为基准,在raw域图像帧的绿色通道平面上以分块方式对历史帧进行块匹配搜索,得到各块的运动向量与对齐误差。
36、可选地,在一实施例中,基于泊松-高斯噪声模型,对对齐误差做噪声水平归一化,生成运动可信度图时,图像处理模块通过运行时域多帧降噪模块执行:
37、基于泊松-高斯噪声模型,根据块内像素均值和曝光增益,计算噪声方差;
38、根据噪声方差和对齐误差,逐块计算运动可信度;
39、将逐块计算得到的运动可信度插值至各像素位置,生成运动可信度图。
40、可选地,在一实施例中,对参考帧的每个像素位置计算其多帧时域加权融合结果时,图像处理模块通过运行时域多帧降噪模块执行:
41、按运动向量将曝光归一化后的历史帧对齐至参考帧坐标;
42、以参考帧权重为预设值、第i帧历史帧权重为运动可信度与预设衰减系数的i次方之积,对对齐后的历史帧进行加权融合并归一化,得到参考帧的每个像素位置的多帧时域加权融合结果。
43、可选地,在一实施例中,在对对齐后的历史帧进行加权融合时,图像处理模块通过运行时域多帧降噪模块执行:
44、将参考帧与对齐后的历史帧进行拉普拉斯金字塔分解,得到各频带分量;
45、对各频带分量按参考帧权重与历史帧权重进行时域加权融合,并对不同频带采用差异化融合权重,其中,低频带采用全权重时域融合,高频带降低历史帧权重,或仅取参考帧在对应频带上的分量。
46、可选地,在一实施例中,在对参考帧的每个像素位置计算其单帧空域降噪结果时,图像处理模块通过运行时域多帧降噪模块执行:
47、将参考帧的各通道平面输入空域降噪网络,输出参考帧的每个像素位置的单帧空域降噪结果。
48、可选地,在一实施例中,以参考帧灰度为引导,对限幅后的运动可信度图进行边缘感知滤波时,图像处理模块通过运行时域多帧降噪模块执行:
49、以参考帧的灰度平面为引导图,对限幅后的运动可信度图进行导向滤波,使运动可信度图的边缘与图像结构边缘对齐。
50、可选地,在一实施例中,按照目标处理拓扑,对在确定目标处理拓扑之后获取的raw域图像帧进行处理之前,图像处理模块还用于:
51、将目标处理拓扑对应的配置写入双缓冲配置表的备份表,并预加载目标处理拓扑所需的模型权重;
52、在当前raw域图像帧的垂直消隐期内,将硬件配置指针由当前表原子切换至备份表;其中,当前表为当前生效的处理拓扑对应的配置表。
53、可选地,在一实施例中,在获取当前raw域图像帧的亮度统计信息时,照度估计模块用于:
54、统计当前raw域图像帧的绿色通道均值,并根据绿色通道均值,得到亮度统计信息。
55、可选地,在一实施例中,在根据绿色通道均值,得到亮度统计信息时,照度估计模块用于:
56、获取当前raw域图像帧的直方图低分位数;
57、若绿色通道均值与直方图低分位数的比值小于预设阈值,则将绿色通道均值作为亮度统计信息;否则,将直方图低分位数作为亮度统计信息。
58、第三方面,本技术提供的监控设备,包括设有可重构处理流水线的图像信号处理器、存储器以及存储在存储器中并可在图像信号处理器上运行的计算机程序,图像信号处理器执行计算机程序时实现本技术提供的图像处理方法。
59、第四方面,本技术提供的计算机可读存储介质,存储有计算机程序,该计算机程序被图像信号处理器执行时实现本技术提供的图像处理方法。
60、本技术提供一种图像处理方案,获取图像传感器输出的当前raw域图像帧及对应的曝光增益信息;获取当前raw域图像帧的亮度统计信息,并根据亮度统计信息和曝光增益信息,估计当前环境照度;根据当前环境照度,从可重构处理流水线预先配置的至少两个候选处理拓扑中确定目标处理拓扑;其中,每个候选处理拓扑对应ai处理模块的一种启用状态或一种级联组合方式,启用状态包括启用和跳过,ai处理模块处于跳过状态时,当前raw域图像帧的处理流程不经过该ai处理模块,级联组合方式表示ai处理模块与可重构处理流水线中其他处理模块的连接顺序;按照当前生效的处理拓扑,对当前raw域图像帧进行处理并输出处理后的图像帧,以及按照目标处理拓扑,对确定目标处理拓扑之后获取的raw域图像帧进行处理并输出处理后的图像帧。以此,通过根据当前环境照度动态切换可重构处理流水线的拓扑结构,在保障图像质量的同时显著降低无效计算开销与系统功耗。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com