一种基于光谱维度压缩与映射的超低照度全彩极黑帧重构方法与流程
本发明属于智能视觉成像,尤其涉及一种基于光谱维度压缩与映射的超低照度全彩极黑帧重构方法。
背景技术:
1、现有超低照度全彩成像算法及硬件均仅在传感器物理实光谱通道内开展信号处理,不存在对极暗微弱光子信号的维度变换与隐性光谱信息挖掘机制。
2、在极低照度极黑环境中,成像传感器捕获的有效光子幅值远低于系统信噪比阈值,在物理实光谱通道内,有效微弱光子信号完全被读出噪声淹没,呈现为无法区分、不可利用的无序暗像素。现有普遍直接将该类亚阈值信号判定为无效噪声并丢弃,仅依靠多帧时域累积、红外模态融合或硬件增益提升成像效果。该类处理方式的本质缺陷在于:彻底丢失了微弱光子本身携带的场景原生光谱色彩与纹理信息,导致单帧极黑图像完全不具备全彩重构条件,最终出现色彩失真、无细节、ai虚假上色、无法成像等问题。
3、进一步的,现有深度学习低光增强方案均为纯空域像素优化或数据驱动上色,未构建适配极暗信号的光谱维度物理变换逻辑,无法对实通道中不可分辨的亚阈值光子信号进行维度解耦、特征升维与光谱重构,从底层限制了极黑单帧全彩成像的上限,致使业界长期无法实现无辅助光源、无时域依赖的纯单帧极黑全彩复原。
技术实现思路
1、本发明的目的在于提供一种基于光谱维度压缩与映射的超低照度全彩极黑帧重构方法,以解决上述背景技术中提出的问题。
2、有鉴于此,本发明提供一种基于光谱维度压缩与映射的超低照度全彩极黑帧重构方法,包括如下步骤:
3、s1、单帧原始暗信号采集与原始光谱基底建模,仅输入单张未经过多帧叠加、无红外辅助光路的极黑原始光电信号数据,提取传感器像素级光谱响应矩阵作为全局物理先验基底,完成原始低电平光子信号的光谱维度空间定义;
4、s2、虚光谱维度非线性压缩映射处理,基于所述光谱响应矩阵对微弱光电信号做跨通道解耦,将空域不可分辨的低幅值噪声光子信号映射至独立虚光谱维度,完成光谱维度压缩与特征升维;
5、s3、物理引导生成对抗网络光谱解耦重构,以所述虚光谱维度映射特征为网络输入,采用内置光谱物理约束的生成式对抗网络完成光谱通道分离、暗部纹理恢复与原生色彩基底预测,输出中间解耦光谱特征图;
6、s4、色度一致性约束损失优化,构建面向极暗场景色彩保真的色度一致性损失约束项,对所述中间解耦光谱特征图进行全局色彩偏移校正,抑制网络无依据色彩填充;
7、s5、光谱逆映射与全彩图像合成,将经色度约束优化后的解耦光谱特征回映射至可见光rgb成像空间,融合暗部纹理细节生成无运动伪影、无果冻效应的最终全彩重构图像。
8、本发明中,进一步的实施方案是,步骤s1所述原始光谱基底建模包括:对单帧极黑原始光电信号剥离读出噪声基底,以传感器出厂标定的多波段光谱透射响应关系构建全局光谱响应矩阵,所述光谱响应矩阵作为固定物理先验嵌入后续全部网络前向推理流程,不依赖实时场景光谱采样。
9、本发明中,进一步的实施方案是,步骤s2所述虚光谱维度非线性压缩映射包括:对滤光阵列各通道原始光电信号做光子幅值分层区分,采用非线性单调映射算子将低于成像信噪比阈值的微弱光子分量投射至独立虚光谱维度,完成实成像光谱通道与虚光谱特征通道的解耦分离,实现低照度无效信号的维度压缩与有效纹理信息的维度扩展。
10、本发明中,进一步的实施方案是,步骤s3所述物理引导生成对抗网络包含生成器网络与判别器网络;
11、所述生成器网络输入端接入虚光谱维度映射特征,网络内部嵌入光谱响应矩阵约束分支以修正光谱通道权重;
12、所述判别器网络增设光谱保真判别支路,同步校验纹理空间连续性与光谱通道匹配度。
13、本发明中,进一步的实施方案是,所述生成器网络设置多层光谱解耦卷积单元,每层卷积单元配置独立虚光谱通道权重分支,逐层剥离低电平噪声分量、提取暗部边缘纹理与场景原生光谱色彩特征。
14、本发明中,进一步的实施方案是,步骤s4所述色度一致性损失约束项独立于图像亮度损失、感知损失设置,以同像素位置多光谱通道色度偏移量作为约束目标,对全局图像、局部暗区分块分别施加色度平滑约束,消除极低光子输入下网络随机上色畸变。
15、本发明中,进一步的实施方案是,所述色度一致性损失在网络训练阶段与推理阶段同步启用,推理阶段基于单帧输入实时计算像素色度偏差并反向微调光谱解耦特征,无需存储多帧时序色度参考样本。
16、本发明中,进一步的实施方案是,步骤s5所述光谱逆映射包括:将约束优化后的多通道虚光谱特征按照传感器光谱响应矩阵的逆变换关系映射至标准rgb可见光通道,同步完成暗部纹理特征与色彩特征的像素级融合,不引入多帧光流对齐、时域叠加操作。
17、本发明中,进一步的实施方案是,所述判别器网络的光谱保真判别支路,构建光谱通道耦合度校验机制,针对虚光谱映射输出的多维特征执行光谱物理合理性校验,剔除生成器输出的非物理伪光谱特征,保障暗部色彩还原贴合传感器原生光谱响应规律。
18、本发明中,进一步的实施方案是,所述推理阶段的色度偏差微调采用单帧闭环自校准机制,依托本级图像光谱特征均值建立动态色度基准,无需外部色彩先验库介入,实现极黑孤立帧场景下的自适应色彩校正。
19、本发明的有益效果是:
20、第一,本发明通过虚光谱维度特征空间,实现极黑亚阈值微弱光子信号的有效盘活与利用,从根源解决0.001lux极黑场景无有效成像信息的行业瓶颈,摒弃现有技术直接丢弃亚阈值光子信号的固有逻辑,通过基于传感器光谱响应矩阵的非线性映射,将实光谱通道内被噪声掩盖、无法分辨的微弱有效光子,投射至独立的虚光谱维度完成解耦与特征升维。通过光谱维度压缩与映射,将原本无效的暗部无序信号,转化为可识别、可重构、可还原的隐性光谱纹理与色彩特征,实现了极黑单帧图像下亚信噪比光子光谱信息的有效提取。
21、第二,基于虚光谱维度的物理先验重构体系,彻底杜绝极暗场景ai无依据虚假上色问题,实现物理可信的真实全彩还原。本发明并非单纯的数据驱动图像美化,而是以传感器固有光谱响应规律为物理基准,约束虚光谱维度的特征生成逻辑,配合色度一致性闭环约束机制,保证虚光谱重构出的色彩、纹理完全贴合真实场景光谱属性,解决了传统单帧生成式算法无物理约束、随机填充伪色彩的致命缺陷,极大提升了极黑成像的色彩保真度与物理合理性。
22、第三,依托虚光谱维度单帧独立重构特性,完全摆脱时域多帧依赖与红外硬件辅助,根除运动伪影与果冻效应。本发明的光谱解耦、特征重构全部在虚光谱维度完成,无需借助多帧时序累积、光流对齐、红外补光等外部辅助条件,仅依靠单帧原始光电信号即可完成全维度重构。在极黑高速运动场景、瞬时抓拍场景下,不会产生传统多帧融合算法固有的拖影、果冻效应,实现了纯单帧、无伪影、高保真的超低照度全彩成像,适配各类极端无光成像工况。
1.一种基于光谱维度压缩与映射的超低照度全彩极黑帧重构方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的一种基于光谱维度压缩与映射的超低照度全彩极黑帧重构方法,其特征在于,步骤s1所述原始光谱基底建模包括:对单帧极黑原始光电信号剥离读出噪声基底,以传感器出厂标定的多波段光谱透射响应关系构建全局光谱响应矩阵,所述光谱响应矩阵作为固定物理先验嵌入后续全部网络前向推理流程,不依赖实时场景光谱采样。
3.根据权利要求1所述的一种基于光谱维度压缩与映射的超低照度全彩极黑帧重构方法,其特征在于,步骤s2所述虚光谱维度非线性压缩映射包括:对滤光阵列各通道原始光电信号做光子幅值分层区分,采用非线性单调映射算子将低于成像信噪比阈值的微弱光子分量投射至独立虚光谱维度,完成实成像光谱通道与虚光谱特征通道的解耦分离,实现低照度无效信号的维度压缩与有效纹理信息的维度扩展。
4.根据权利要求1所述的一种基于光谱维度压缩与映射的超低照度全彩极黑帧重构方法,其特征在于,步骤s3所述物理引导生成对抗网络包含生成器网络与判别器网络;
5.根据权利要求4所述的一种基于光谱维度压缩与映射的超低照度全彩极黑帧重构方法,其特征在于,所述生成器网络设置多层光谱解耦卷积单元,每层卷积单元配置独立虚光谱通道权重分支,逐层剥离低电平噪声分量、提取暗部边缘纹理与场景原生光谱色彩特征。
6.根据权利要求1所述的一种基于光谱维度压缩与映射的超低照度全彩极黑帧重构方法,其特征在于,步骤s4所述色度一致性损失约束项独立于图像亮度损失、感知损失设置,以同像素位置多光谱通道色度偏移量作为约束目标,对全局图像、局部暗区分块分别施加色度平滑约束,消除极低光子输入下网络随机上色畸变。
7.根据权利要求6所述的一种基于光谱维度压缩与映射的超低照度全彩极黑帧重构方法,其特征在于,所述色度一致性损失在网络训练阶段与推理阶段同步启用,推理阶段基于单帧输入实时计算像素色度偏差并反向微调光谱解耦特征,无需存储多帧时序色度参考样本。
8.根据权利要求1所述的一种基于光谱维度压缩与映射的超低照度全彩极黑帧重构方法,其特征在于,步骤s5所述光谱逆映射包括:将约束优化后的多通道虚光谱特征按照传感器光谱响应矩阵的逆变换关系映射至标准rgb可见光通道,同步完成暗部纹理特征与色彩特征的像素级融合,不引入多帧光流对齐、时域叠加操作。
9.根据权利要求4所述的一种基于光谱维度压缩与映射的超低照度全彩极黑帧重构方法,其特征在于,所述判别器网络的光谱保真判别支路,构建光谱通道耦合度校验机制,针对虚光谱映射输出的多维特征执行光谱物理合理性校验,剔除生成器输出的非物理伪光谱特征,保障暗部色彩还原贴合传感器原生光谱响应规律。
10.根据权利要求7所述的一种基于光谱维度压缩与映射的超低照度全彩极黑帧重构方法,其特征在于,所述推理阶段的色度偏差微调采用单帧闭环自校准机制,依托本级图像光谱特征均值建立动态色度基准,无需外部色彩先验库介入,实现极黑孤立帧场景下的自适应色彩校正。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com