一种高通道数人工微结构编码快照角度校准方法及系统

摘要: 本发明涉及光学测量,涉及一种高通道数人工微结构编码快照角度校准方法及系统。背景技术:1、与rgb成像或多光谱成像相比,高光谱成像能够在每个空间位置上提供更丰富的...
一种高通道数人工微结构编码快照角度校准方法及系统

本发明涉及光学测量,涉及一种高通道数人工微结构编码快照角度校准方法及系统。

背景技术:

1、与rgb成像或多光谱成像相比,高光谱成像能够在每个空间位置上提供更丰富的光谱信息,因此可以区分颜色相近但光谱特征不同的材料,使高光谱成像具有广泛应用价值。然而,高维空间–光谱数据的快速获取一直是高光谱成像系统发展的核心挑战。传统扫描式高光谱相机通常利用光栅、棱镜、声光可调滤波器、液晶可调滤波器或机械扫描平台,沿空间维度或光谱维度逐步采集数据。这类系统具有较高的光谱精度和可靠性,但往往伴随体积大、光路复杂、采集速度慢、机械稳定性要求高和系统成本高等问题,难以同时满足高时间分辨率、高空间分辨率和小型化部署需求。

2、快照光谱成像技术为解决这一问题提供了新的路径。该类技术通过光学编码器件将三维空间–光谱信息压缩为单帧二维强度测量,再利用压缩感知理论并使用传统机器学习或深度学习算法从测量图像中恢复高光谱立方体。典型快照光谱成像方法包括编码孔径快照光谱成像(cassi)、计算层析光谱成像(ctis)、衍射光学元件编码成像、滤光片阵列成像以及片上光谱编码成像等。与扫描式高光谱相机相比,快照光谱成像不需要逐点或逐线扫描,能够显著提高时间分辨率,并为动态场景高光谱感知提供可能。然而,早期的cassi或ctis系统通常依赖复杂的自由空间光学结构,系统装调难度较高,体积难以进一步缩小。

3、随着纳米制造、薄膜加工和片上集成技术的发展,基于人工微结构的片上快照光谱成像成为近年来的重要研究方向。其基本思想是在cmos或ccd图像传感器表面集成空间变化的人工微结构光谱编码器件,使入射光在到达探测器前被不同光谱响应的微结构调制。片上编码系统能够显著压缩光学系统体积,并保留图像传感器本身的高帧率优势,因此适合便携式、嵌入式和高速光谱感知系统。

4、尽管人工微结构片上快照光谱成像在器件集成和重建算法方面取得了显著进展,但目前仍存在两个关键瓶颈。第一,现有系统的光谱通道数和光谱采样密度仍然不足。许多片上快照光谱系统通常重建十几个到数十个光谱通道,或者以5–20 nm间隔输出光谱图像。对于需要精细识别窄吸收峰、微弱光谱差异和连续光谱曲线的应用场景而言,这种通道数量和采样密度仍然有限。第二,人工微结构编码器件的标定环境和实际成像环境之间存在前向模型不匹配。实际成像系统必须引入成像镜头,场景中每个物点的光经过镜头后在传感器表面形成聚焦光锥,而不是单一方向的法向平行光。对于角度敏感的人工微结构编码器件,这种角度分布会改变其有效光谱响应。超表面、光子晶体、fabry–pérot 结构和多层膜等人工微结构均可能存在由入射角引起的共振条件变化、透射谱漂移、强度变化或偏振响应变化。因此,平行光下的标定矩阵与镜头实际成像条件下的有效透射率矩阵并不完全等价。

5、这一问题在高通道数快照重建中尤为突出。当系统仅重建较少通道、光谱间隔较大时,角度漂移带来的峰位移动可能被宽光谱通道平均或神经网络拟合能力部分掩盖。但当重建目标提升到高通道数时,人工微结构透射谱中的特征峰和特征谷的角度漂移会直接影响相邻输出通道之间的编码关系,造成编码矩阵在谱维上的显著偏差。因此,光谱通道数越多,采样间隔越密集,准直光下的标定矩阵与实际镜头有效矩阵之间的不匹配问题越突出。对于深度学习重建而言,网络通常依赖仿真前向模型生成训练样本。如果训练样本由平行光矩阵生成,而压缩测量实际对应角度耦合矩阵,则网络训练分布和测试分布之间存在差异,最终导致重建的光谱曲线和空间细节误差。

技术实现思路

1、针对现有技术中存在的上述问题,本申请提供了一种高通道数人工微结构编码快照光谱相机的角度标定与校准方法、装置及系统,并以设计并加工的多层膜人工微结构为展示对象。

2、一方面,本发明提供了一种高通道数人工微结构编码快照角度校准方法,所述方法包括:

3、对人工微结构编码器件进行不同入射角条件下的角度标定,获得与入射角度相关的角度相关透射率矩阵;

4、利用光线追迹在非序列模式下进行成像模拟,获得镜头角度权重分布;

5、基于角度相关透射率矩阵和镜头角度权重分布通过空间配准生成角度校准透射率矩阵;

6、基于角度校准透射率矩阵生成校准后的仿真测量图像;

7、将仿真测量图像结合深度重建网络进行训练和验证,获得校准成像结果。

8、另一方面,本发明提供了一种高通道数人工微结构编码快照角度校准系统,所述系统包括:

9、角度标定模块,用于对人工微结构编码器件进行不同入射角条件下的角度标定,获得与入射角度相关的角度相关透射率矩阵;

10、光线追迹模块,用于利用光线追迹在非序列模式下进行成像模拟,获得镜头角度权重分布;

11、配准模块,用于基于角度相关透射率矩阵和镜头角度权重分布通过空间配准生成角度校准透射率矩阵;

12、仿真生成模块,用于基于角度校准透射率矩阵生成校准后的仿真测量图像;

13、重建模块,用于将仿真测量图像结合深度重建网络进行训练和验证,获得校准成像结果。

14、本发明的有益效果为:

15、本发明提供的了一种高通道数人工微结构编码快照角度校准方法及系统,用于构建角度漂移校准的快照光谱成像前向模型,通过成像镜头光线追迹仿真与实验角度透射率标定相结合的混合校准策略,将镜头引入的角度权重与人工微结构的角度依赖透射率进行融合,构建角度校准透射率矩阵,从而对实际成像进行有效校准。该方案不是简单依赖更复杂的重建网络,而是从物理成像模型层面修正深度网络仿真训练与实际成像测量之间的系统性偏差,不仅能够改善视觉重建质量,也能够提高重建光谱与参考真值之间的一致性,在同一验证场景下,角度校准模型将重建峰值信噪比从未校准模型的37.98 db提升至48.28db,并将光谱保真度从0.9996提升至0.9998,具有较好的可扩展性和工程适配性。

1.一种高通道数人工微结构编码快照角度校准方法,其特征在于,所述方法包括:

2.如权利要求1所述的一种高通道数人工微结构编码快照角度校准方法,其特征在于,将人工微结构编码器件相对于固定的准直入射光束沿一个方向旋转,使光束以不同入射角照射人工微结构,从而获得不同入射角下的角度相关透射率矩阵。

3.如权利要求1所述的一种高通道数人工微结构编码快照角度校准方法,其特征在于,所述镜头角度权重分布为不同视场角和不同波长条件下焦斑在传感器表面的空间位置分布以及入射光束的角度权重分布。

4.如权利要求1所述的一种高通道数人工微结构编码快照角度校准方法,其特征在于,利用光线追迹在非序列模式下进行成像模拟,获得镜头角度权重分布,包括,在序列模式中设置半视场角,同时设置采样波长和主波长步长;将序列模型自动转换为非序列模型,并生成与序列模式不同视场角对应的椭圆光源参数;对于每一个波长和视场角进行光线追迹,记录不同视场角下焦斑的位置分布;记录焦面处光线的角度分布,获得极角维度的功率分布;根据焦斑的位置分布和极角维度的功率分布确定镜头角度权重分布。

5.如权利要求1所述的一种高通道数人工微结构编码快照角度校准方法,其特征在于,基于镜头角度权重分布和角度相关透射率矩阵通过空间配准生成角度校准透射率矩阵,包括:

6.如权利要求1所述的一种高通道数人工微结构编码快照角度校准方法,其特征在于,基于角度校准透射率矩阵生成仿真测量图像,包括:

7.如权利要求1所述的一种高通道数人工微结构编码快照角度校准方法,其特征在于,将仿真测量图像结合深度重建网络进行训练和验证,获得校准成像结果,包括:对角度校准透射率矩阵进行低秩分解,得到低秩的透射率掩码系数矩阵和对应光谱基底矩阵;低秩的透射率掩码系数矩阵和仿真测量图像作为深度重建网络中主网络的掩码嵌入输入,光谱基底矩阵表示完整光谱通道在低秩基底上的光谱表达。

8.如权利要求7所述的一种高通道数人工微结构编码快照角度校准方法,其特征在于,低秩的透射率掩码系数矩阵和仿真测量图像输入主网络后,在通道维度进行特征合并得到融合特征,融合特征进一步经过局部光谱mlp模块和全局光谱注意力模块,增强局部空间-光谱耦合表达,并做全局光谱通道相关性建模,最终输出完整通道的高光谱校准成像结果。

9.一种高通道数人工微结构编码快照角度校准系统,其特征在于,所述系统包括:

10.如权利要求9所述的一种高通道数人工微结构编码快照角度校准系统,其特征在于,用于进行角度标定的人工微结构编码器件被固定在单轴角位移台上,并相对于沿固定光轴的入射光束沿一个方向旋转,并带动人工微结构编码器件旋转,从而获得光束入射方向上与入射角变化对应的角度相关透射率矩阵。