一种小型红外、可见光融合单像素自适应成像系统及方法

摘要: 本发明涉及一种小型红外、可见光融合单像素自适应成像系统及方法,属于多光谱成像。背景技术:1、单像素成像技术(single-pixelimaging,spi)是一...
一种小型红外、可见光融合单像素自适应成像系统及方法

本发明涉及一种小型红外、可见光融合单像素自适应成像系统及方法,属于多光谱成像。

背景技术:

1、单像素成像技术(single-pixel imaging,spi)是一种基于结构光调制与重构算法的计算成像技术,因其系统结构简单、成本低廉、适用于非可见光波段成像及弱光环境等显著优势,近年来受到广泛关注。

2、在spi技术中,空间光调制器(spatial light modulator,slm)或数字镜面器件(digital micromirror device,dmd)等光场调制装置被用于生成结构化光场以编码物体信息。经调制后的光信号由单像素探测器采集,记录每个光场模式的总强度值。通过重复多次调制-检测循环后,系统采用专用重建算法对物体图像进行计算重建。单像素成像技术以其独特的成像原理和灵活的系统架构,突破了传统成像技术的诸多局限,历经多年发展已形成完善的技术体系并持续拓展应用边界,例如太赫兹成像、x射线成像、三维成像、及复杂环境成像等领域。

3、但是目前spi技术的实际应用存在诸多问题。首先,目前常用的结构光调制器,如slm和dmd等,设备需求高、体积大、价格昂贵;其次,spi重构算法通常计算量大,需要在计算机上完成,增加了成像系统所需要的设备;第三,现有 spi 系统采用固定采样策略,缺乏采样过程的动态反馈与自适应调整机制;最后,已有的成像系统通常只能对某一波段的信号进行成像,如可见光波段,未能拓展到多波段融合成像。上述问题导致spi技术相比成熟的相机拍照,未能在实际中被广泛应用。

技术实现思路

1、为了解决目前存在的问题,本发明提供了一种小型红外、可见光融合单像素自适应成像系统及方法,搭配可编程lcd显示屏以及红外和可见光波段的光电探测器,构建双通道深度学习神经网络实现图像快速重构,实现可见光-红外波段的可切换及融合成像系统,并能根据中间成像质量对调制图案进行自适应调整。

2、本发明提供的成像系统由控制模块、调制模块、探测模块和显示模块组成。

3、所述控制模块选用嵌入式平台作为核心控制单元,用于生成和调度调制图案序列、控制探测器的采样时序、运行重建网络以及管理显示输出。

4、所述调制模块包括第一透镜和可编程液晶显示器(lcd)。第一透镜将场景图像投影到 lcd 上,lcd 由控制模块驱动显示变化的调制图案,实现对物体图像的空间光调制。

5、所述探测模块包括第二透镜、红外波段光电探测器、可见光波段光电探测器以及一个二向色镜。入射光以 45 度角入射至二向色镜时,可见光被反射、红外光透射,分别进入对应的探测器进行探测,实现双波段信号的同时采集。

6、所述控制模块内部包含一个预训练的双通道深度学习神经网络,用于将探测器采集的双路一维信号重建为二维图像。

7、所述显示模块用于实时显示重建过程中的中间结果及最终成像结果。

8、可选的,所述自适应调整调制图像的方案具体包括以下步骤:

9、步骤 s1,采样批次划分:将预设的最大采样次数 nmax划分为 m 个采样批次,每个批次的采样次数为 nk,其中 k=1,2,...,m,且 ∑nk= nmax。各批次的次数可以相等,也可以根据策略不均匀分配。

10、步骤 s2,针对当前第k批次采样:控制模块从调制图案库中选取第 k 批次的调制图案序列,驱动 lcd 依次显示各图案,并由红外和可见光探测器同步采集对应的光强信号dir和 dvis,存储于控制模块的内存中。

11、步骤 s3,基于前k批次采样数据进行部分重建:将当前已累积的全部采样数据(即前 k 批的总和,共 nk=n1+ n2+…+nk次采样)输入预训练的深度学习重建网络。该网络采用支持变长输入的柔性架构,能够直接处理任意长度 nk的输入数据并输出重建图像,无需补零或截断等预处理。网络输出三张 64×64 图像,分别为可见光重建图像、红外重建图像和融合重建图像。

12、步骤 s4,质量评估:利用嵌入在重建网络中的无参考质量评估分支,以当前解码器输出的共享特征图为输入,对当前阶段的重建质量进行评分,输出质量指标 qk。该质量指标为预测的峰值信噪比(psnr)或结构相似性(ssim)。

13、步骤 s5,终止判决:判断是否满足终止条件。终止条件为以下任意之一:

14、条件一:质量指标 qk达到预设阈值 qthreshold;

15、条件二:当前累积采样次数nk达到最大采样次数 nmax;

16、条件三:用户通过交互界面手动触发终止。

17、若满足任意终止条件,则以当前重建结果作为最终成像结果输出至显示模块,采样结束。

18、步骤 s6,自适应调整:若未满足终止条件,则根据当前重建图像的空间频率分布动态调整下一批次的调制图案分配,然后返回步骤 s2 继续采样。

19、调整策略为:对当前重建图像做二维离散傅里叶变换,统计各空间频率区间的能量占比,在能量占比高的频率区间增加调制图案的分配数量,在能量占比低的区间减少分配数量,使有限的采样资源集中在信息最丰富的频率成分上。

20、可选的,所述双通道深度学习神经网络采用编码器-映射-解码器的对称设计,包括双通道一维卷积编码器模块、跨模态映射与融合模块、共享二维卷积解码器模块和三路独立输出模块。

21、可选的,所述双通道深度学习神经网络的损失函数定义为:

22、;

23、其中,

n表示采样次数,为在第n次采样时可见光探测器探测得到的信号值,为在第n次采样时红外光探测器探测得到的信号值,n=1,...,

n;表达式如下:

24、;

25、为基于第n次采样得到的可见光探测器探测得到的信号值重构后的信号,为基于第n次采样得到的红外光探测器探测得到的信号值重构后的信号,表达式如下:

26、;

27、(

x,

y)为图像空间坐标,

ivis(

x,

y)和

iir(

x,

y)分别为物体可见光、红外图像,

pn(

x,

y)为lcd所加载的调制图案,同时对可见光图像和红外图形进行调制。

28、可选的,所述双通道深度学习神经网络输入为红外和可见光两个通道的一维光强序列,输入长度 nk为当前累积采样次数,可在 1 至 nmax之间变化。网络输出为三张 64×64 的二维图像,分别为可见光重建图像、红外重建图像和融合重建图像。

29、模块一:变长输入的双通道一维卷积编码器

30、该模块包含两个结构完全相同但参数不共享的编码分支,分别独立处理红外信号和可见光信号。每个分支由五层一维卷积堆叠而成,采用渐进式下采样策略,逐步压缩信号长度并扩展通道数。

31、第一层采用大小为 7 的一维卷积核,步长为 2,填充为 3,输出通道数为 32,其后接批归一化层和 relu 激活函数。该层使用最大的卷积核覆盖较宽的信号范围,用于捕获信号的粗粒度结构特征,如信号峰值包络和突变边缘。输入信号尺寸为 1×nk,经过第一层后输出尺寸为 32×nk/2。

32、第二层采用大小为 5 的一维卷积核,步长为 2,填充为 2,输出通道数为 64,其后接批归一化层和 relu 激活函数。该层在粗捕基础上提取中等粒度的局部模式,输出尺寸为 64×nk/4。

33、第三层采用大小为 5 的一维卷积核,步长为 2,填充为 2,输出通道数为 128,其后接批归一化层和 relu 激活函数。该层通道数增至 128,开始提取高层语义特征,输出尺寸为 128×nk/8。

34、第四层采用大小为 3 的一维卷积核,步长为 2,填充为 1,输出通道数为 256,其后接批归一化层和 relu 激活函数。该层将卷积核缩小至 3,专注于更精细的信号模式提取,输出尺寸为 256×nk/16。

35、第五层采用大小为 3 的一维卷积核,步长为 2,填充为 1,输出通道数为 512,其后接批归一化层和 relu 激活函数。该层为最终编码层,输出 512 通道的紧凑语义潜在表示,输出尺寸为 512×nk/32。

36、由于输入长度 nk可在 1 至 nmax之间变化,编码器的输出特征长度nk/32也随输入长度线性缩放。当 nk= nmax时,编码器输出长度为 63,即输出尺寸为 512×63。

37、模块二:一维到二维跨模态映射与融合模块

38、该模块完成从一维特征空间到二维图像空间的维度变换和双模态特征融合,分为三个子步骤。

39、第一子步骤为展平操作。将每个编码分支输出的特征张量展平为一维向量。当输入长度为 nk时,展平后的向量维度为 512 ×nk/32。由于该维度随输入长度变化,在全连接映射前采用自适应池化层将特征长度压缩至固定值 63,确保输出维度固定为 512×63。随后经展平操作得到维度为 32256 的固定长度向量。

40、第二子步骤为全连接映射与重塑操作。通过一个全连接层将 32256 维向量映射到 8192 维,随后将 8192 个数值重塑为 8×8×128 的三维张量。全连接层的作用是学习从一维特征空间到二维特征空间的非线性投影关系,将展平后的全局信号特征映射到二维空间网格上。重塑操作将 8192 个数值按照空间位置排列为 8 行 8 列的网格,每个网格位置对应 128 维的通道特征。选择 8×8 作为起始分辨率的原因在于,64 是最终输出尺寸,而 8 是 64 经过三次二倍上采样后的初始尺寸。

41、第三子步骤为跨模态通道融合操作。将红外和可见光两个分支的 8×8×128 特征图在通道维度拼接为 8×8×256,再经一层卷积核大小为 3、填充方式为 same 的二维卷积层降维至 8×8×128,其后接批归一化层和 relu 激活函数。拼接操作保留了双模态的全部特征信息,不做任何提前蒸馏。后续的融合卷积层通过可学习的 3×3 卷积核,让网络自适应地决定每个空间位置上红外和可见光特征的权重分配,实现特征级的深度融合。

42、模块三:共享二维卷积解码器

43、该模块对 8×8×128 的融合特征图进行三次渐进式上采样,逐步恢复空间分辨率至 64×64。三个输出分支共享同一解码器的权重。

44、第一次上采样阶段,首先通过双线性插值将特征图的空间尺寸从 8×8 放大至16×16,特征图尺寸变为 16×16×128。随后经过一层卷积核大小为 3、填充方式为 same的二维卷积层,输出通道数为 64,其后接批归一化层和 relu 激活函数。该卷积层的作用是平滑上采样引入的棋盘伪影,同时将通道从 128 降至 64,压缩冗余信息,输出尺寸为16×16×64。

45、第二次上采样阶段,再次通过双线性插值将空间尺寸从 16×16 放大至 32×32,特征图尺寸变为 32×32×64。随后经过一层卷积核大小为 3、填充方式为 same 的二维卷积层,输出通道数为 32,其后接批归一化层和 relu 激活函数,输出尺寸为 32×32×32。

46、第三次上采样阶段,通过双线性插值将空间尺寸从 32×32 放大至 64×64,到达目标分辨率,特征图尺寸变为 64×64×32。随后经过最后一层卷积核大小为 3、填充方式为 same 的二维卷积层,输出通道数为 16,其后接批归一化层和 relu 激活函数,输出尺寸为 64×64×16。

47、该解码器的设计要点在于每次上采样后紧跟卷积,遵循先放大后平滑的范式,有效消除锯齿效应。通道数逐级递减(128→64→32→16),迫使网络将信息压缩到紧凑表示中。共享解码器设计减少参数量的同时,通过多任务学习让共享特征同时服务于三个输出目标。

48、模块四:三路独立输出头与无参考质量评估分支

49、三个结构相同但参数不共享的输出头并行连接在共享解码器的输出端。每个输出头首先经过一层卷积核大小为 3、填充方式为 same 的二维卷积层,将 16 通道的共享特征映射到单通道图像空间,输出尺寸为 64×64×1。随后经过 sigmoid 激活函数,将像素值约束到 0 到 1 的区间,匹配标准图像像素范围。

50、三个输出头的分工如下:可见光输出头从共享特征中筛选与可见光图像相关的信息,生成可见光重建图像;红外输出头从共享特征中筛选与红外图像相关的信息,生成红外重建图像;融合输出头直接生成红外与可见光的融合图像。

51、在解码器的输出端还并联一个轻量级无参考质量评估分支,该分支由全局平均池化层和两层全连接层构成。该分支以解码器输出的 64×64×16 共享特征图为输入,经过全局平均池化将空间维度压缩为 1×1×16,展平后经第一层全连接层映射至 64 维,第二层全连接层输出一个标量值,作为预测的峰值信噪比。该质量评估分支与重建网络联合训练,在推理阶段以极小的额外计算代价输出质量评分。采用共享特征图作为输入的优势在于:单个质量评估分支即可同时反映三个输出头的重建质量,无需为每个输出头单独设置评估分支。

52、可选的,所述控制模块采用树莓派,且所述双通道深度学习神经网络的预训练过程由计算机完成,完成预训练后再移植到树莓派中。

53、本发明还提供一种小型红外、可见光融合单像素自适应成像方法,所述方法基于上述系统实现,所述方法包括:

54、在计算机上模拟真实成像光路系统,构建训练数据集;所述数据集中的物体图像包含常见图像处理数据集以及真实场景中物体图像数据集;

55、利用数据集对所述双通道深度学习神经网络进行训练;训练好的神经网络移植到控制模块的树莓派中;

56、树莓派基于自适应调制方案,按预设序列向可编程lcd屏幕发送编码图案,通过探测模块中的红外和可见光波段的光电探测器进行探测得到双波段信号;

57、利用预训练后的双通道深度学习神经网络中的双通道一维卷积编码器分别实现对于红外信号和可见光信号的卷积编码,得到尺寸为512×63的一维特征;

58、利用跨模态映射与融合模块对红外信号和可见光信号的一维特征进行展平、全连接映射与重塑、融合操作,得到8×8×256的融合特征图,并进行降维处理得到8×8×128的融合特征图;

59、利用共享二维卷积解码器对8×8×128 的融合特征图进行三次渐进式上采样,逐步恢复空间分辨率,输出尺寸为 64×64×16的共享特征图;

60、利用质量评价分支对共享特征图进行评分;

61、利用三路独立输出模块分别输出可见光重建图像、红外重建图像和融合图像;

62、如果评分达到阈值或累积采样次数达到最大采样次数,则将输出模块输出图像作为最终重建图像;

63、如果未达到结束条件,则按照自适应调制方案生成新的调制图像,继续进行调制和采样。

64、本发明还提供上述系统在国防安防与侦察,应急消防与灾害救援,电力、能源、工业无损检测,智能交通与自动驾驶感知,机器人与自主移动平台,航天、低空遥感领域内的应用。

65、本发明有益效果是:

66、本发明针对上述问题,第一,提出利用小型化的可编程lcd代替slm等设备实现灵活的结构光调控;第二,利用体积小、计算能力适中的树莓派代替计算机,并结合预训练的深度学习神经网络,完成图像重构;第三,通过对神经网络的优化设计和自适应调制方案的设计,硬件上搭配显示屏,实现单像素自适应成像,即,设置树莓派控制在“结构光调制-采集”一定次数后,进行一次图像重构和质量评估确定下一步的调制方案,并实时显示在显示屏上,以便使用者能够实时观测到在整个spi过程中,成像结果的变化;第四,搭配不同波段的光强探测器,实现可见光-红外波段的可切换及融合成像系统,拓展应用范围。本技术提出的小型集成化、便携式、多波段融合的spi系统,探索spi在生活、复杂环境、工业场景、生物等实际应用场景的应用,将探索鲁棒性更强、设备价格更低、体积更小的紧凑型多模式spi成像系统,拓展spi的实际应用。