一种极低照度环境下的高清全彩视频成像方法与流程

摘要: 本发明涉及视频图像处理与夜视成像,具体涉及一种极低照度环境下的高清全彩视频成像方法。背景技术:1、在夜间无月星空、密闭无光空间、地下管廊及野外全黑环境等极低照度...
一种极低照度环境下的高清全彩视频成像方法与流程

本发明涉及视频图像处理与夜视成像,具体涉及一种极低照度环境下的高清全彩视频成像方法。

背景技术:

1、在夜间无月星空、密闭无光空间、地下管廊及野外全黑环境等极低照度场景,通常指环境照度低于0.001lux量级,传统视频成像系统难以实现高质量彩色成像。

2、现有主流成像方案主要包括红外补光成像、常规星光级低照度摄像成像以及基于深度学习的图像后处理增强技术三类。

3、红外补光成像方式虽可实现全黑环境可视成像,但仅能输出黑白灰度图像,缺失色彩特征信息,无法满足目标特征识别、现场取证、智能视觉分析等业务对全彩视频影像的应用需求。

4、常规星光级摄像设备依托大光圈光学镜头与高灵敏度图像传感器,可在0.001lux左右微光条件下实现基础彩色成像;但当环境照度降至0.0005lux及以下极低照度区间时,入射光子数量急剧衰减,有效图像信号极易被随机噪声淹没,画面噪点密集、细节纹理严重丢失,同时伴随明显色彩偏移与画面断层现象。

5、现有基于深度学习的微光图像增强方案,普遍采用采集原始图像后先转换至rgb色彩空间、再进行算法后处理增强的技术思路,主要依靠多曝光融合、单帧去噪及简单时序滤波实现画质优化;该类技术仅能适配常规微光工况,无法适配0.0005lux以下的超极低照度场景;同时该类方案仅依赖后端算法被动修复图像缺陷,未从成像硬件链路前端进行光子收集效率与噪声抑制优化,在极低照度下存在信号与噪声深度耦合交织的固有问题,易出现噪声残留、色彩失真、画面过度平滑涂抹、边缘细节模糊等缺陷,难以兼顾高信噪比、真实色彩还原与高清细节保留的成像要求。

6、因此,需要提供一种从成像信号源头优化硬件采集能力、结合raw域端到端深度学习重建的成像方法,在极低照度条件下实现稳定高清全彩视频输出。

技术实现思路

1、为解决上述技术问题,本发明提供一种极低照度环境下的高清全彩视频成像方法,通过硬件与算法的深度耦合,实现0.0005lux以下极低照度场景下的高清全彩成像。

2、一种极低照度环境下的高清全彩视频成像方法,包括以下步骤:

3、s1、利用一体化超低照度摄像机采集极低照度环境下的原始raw图像序列;所述摄像机包括光学镜头和图像传感器,图像传感器配置有非拜耳彩色滤光阵列并具备高灵敏度像素结构。

4、其中,非拜耳彩色滤光阵列优选为rgbw滤光阵列,包括红、绿、蓝和白全部像素单元;高灵敏度像素结构优选为背照式堆栈cmos结构,单个像素尺寸大于3.0μm,每个像素上方集成微透镜;光学镜头优选为f数小于等于1.3的定焦大光圈镜头;传感器读出电路采用低噪声电路架构设计,高增益工作模式下像素读出噪声低于0.5电子均方根值;摄像机主体可进一步进行电磁屏蔽和散热优化。

5、s2、对每一帧raw图像进行预处理,至少包括黑电平校正和坏点校正,得到预处理后的raw图像帧。

6、黑电平校正为减去传感器光学暗区的基线偏置,坏点校正为使用邻域中值替代异常像素。

7、预处理全程保持在raw域线性空间中,不进行白平衡、伽马校正、像素融合及rgb转换等操作,以保证噪声的原始泊松-高斯分布特性。

8、s3、将预处理后的raw图像帧输入预先完成训练的深度神经网络模型,该模型在raw域中对每一帧图像执行噪声与有效信号的智能分离、提纯与重建,输出重建后的线性域图像数据,经isp模块完成白平衡、伽马校正、色彩空间转换与图像优化,生成标准高清全彩rgb视频帧。

9、所述深度神经网络模型包括:

10、信号-噪声解耦模块,从输入的单帧raw图像中提取多尺度特征图,并通过噪声估计子网络估计噪声成分,在特征空间将有效信号本质特征从含噪特征中分离出来;

11、信号提纯模块,基于局部自注意力机制和通道注意力机制增强有效信号本质特征,自适应调整不同信号成分的响应强度,利用相邻像素相似信号之间的关联,填补因光子不足造成的微弱信号空洞;

12、重建解码模块,将提纯后的特征图逐步上采样并融合色彩重建分支,色彩重建分支输入富含w通道光强信息的特征,预测出对应rgb三色值,通过残差连接与主支路纹理信息融合,输出重建后高分辨率线性域图像数据;

13、时域特征对齐与融合单元,获取相邻的前一帧重建rgb帧和当前帧raw特征,通过光流引导的形变卷积将前一帧的信号特征对齐到当前帧视点,再与当前帧提纯后的信号特征在通道维度进行加权融合,增强重建细节并消除帧间闪烁。

14、s4、将经isp处理后的连续输出的高清全彩rgb视频帧合成为视频流,获得极低照度环境下的高清全彩视频。

15、视频流可采用h.264或h.265格式合成,输出视频分辨率不低于1080p。

16、进一步地,训练所述深度神经网络模型时,采用成对数据集,每组数据包括极低照度下采集的raw图像,以及相同场景在正常照度下记录的高清全彩rgb真值图像;损失函数由l1重建损失、感知损失和基于cielab空间的色彩保真度损失加权求和构成,保证纹理、色彩和亮度的高保真重建。

17、本发明的技术效果和优点:

18、成像质量显著提升:本发明从成像链路最前端入手,实现硬件与算法的深度耦合,rgbw滤光阵列配合大像素背照式传感器,w通道极大地提升了极端弱光下的光子收集效率,从源头提高信号强度;同时在raw域线性空间进行信号-噪声解耦与提纯,避免了在rgb域处理时噪声分布复杂化的问题,在低于0.0005lux的极低照度下,可输出信噪比高、细节清晰、色彩自然的高清全彩视频。

19、适用场景大幅拓展:本发明专门针对低于0.0005lux的极低照度场景设计,填补了该场景下高清全彩成像的技术空白,可广泛应用于安防监控、地下设施、深海探测、无月星空观测等领域。

20、技术稳定性更强:时域特征对齐与融合单元的设计,有效消除了帧间闪烁,视频成像的稳定性显著提升。

21、实施成本可控:本发明所采用的硬件均为现有成熟产品,可直接采购或定制;算法基于现有深度学习技术,可快速完成训练和工程化部署,具备良好的实用性。

1.一种极低照度环境下的高清全彩视频成像方法,其特征在于,包括:

2.根据权利要求1所述的一种极低照度环境下的高清全彩视频成像方法,其特征在于,所述非拜耳彩色滤光阵列为rgbw滤光阵列,包含红、绿、蓝和白全部像素单元。

3.根据权利要求1所述的一种极低照度环境下的高清全彩视频成像方法,其特征在于,所述高灵敏度像素结构为:图像传感器采用背照式堆栈cmos结构,单个像素尺寸大于3.0μm,且每个像素上方集成微透镜。

4.根据权利要求1所述的一种极低照度环境下的高清全彩视频成像方法,其特征在于,所述光学镜头为f数小于等于1.3的定焦大光圈镜头。

5.根据权利要求1所述的一种极低照度环境下的高清全彩视频成像方法,其特征在于,所述图像传感器的读出电路采用低噪声电路架构设计,高增益工作模式下像素读出噪声低于0.5电子均方根值。

6.根据权利要求1所述的一种极低照度环境下的高清全彩视频成像方法,其特征在于,所述深度神经网络模型包括:

7.根据权利要求6所述的一种极低照度环境下的高清全彩视频成像方法,其特征在于,所述深度神经网络模型的训练采用成对数据集,所述数据集包括在极低照度下采集的raw图像和同场景在正常照度下的高清全彩rgb真值图像;训练所用损失函数为l1重建损失、感知损失和基于cielab空间的色彩保真度损失的加权组合。

8.根据权利要求1所述的一种极低照度环境下的高清全彩视频成像方法,其特征在于,所述极低照度环境指环境照度低于0.0005lux。

9.根据权利要求1所述的一种极低照度环境下的高清全彩视频成像方法,其特征在于,步骤s4中,视频流采用h.264或h.265格式合成,输出视频分辨率不低于1080p。