一种基于红外图像的光谱反射率重建方法

1.本发明属于多光谱图像处理技术领域，涉及一种基于红外图像的光谱反射率重建方法。


背景技术：

2.自19世纪红外辐射问世以来，众多学者对其展开研究，但由于匮乏的测试技术及仪器条件，针对红外检测是较为困难的。直到20世纪早期，人们才较系统地研究了几百种有机和无机化合物的红外吸收光谱，并发现了某些吸收谱带与分子基团间存在着相互关系。有关红外光谱的研究在这一时期得以兴盛，20世纪30年代后期，化学家开始考虑将红外光谱作为分析物质化学成分的可能工具，并着手研制红外光谱仪，至今为止，红外光谱的研究以贯穿众多化学、生物领域的研究，并积累了丰富的资料及大量纯物质的标准红外光谱图。红外光谱分析法已成为有机结构分析中较为成熟的手段之一，其应用领域也得到了广泛的扩充，如在古物鉴定领域，通过对其表面艺术品颜料的用量进行判定推断文物保存年限，同时对其颜料的光谱特性研究可对文物进行不同程度的修复及保养；在高级视觉系统如视频监控等领域，利用光谱重建技术可在相应仿真场景中还原实际场景的目标特点，总而言之，红外光谱分析技术已成为当下图像处理技术、计算机图形学应用的核心技术，其可实现“图谱合一”的特点。
3.在我们生活的世界里，绝大多数时间被各种类型的“光”所包围，这些光几乎毫无例外的来自较热的源物体。最通常的热源是太阳，白炽灯等。事实上，温度超过绝对零度(-273℃)的物体都辐射热，热红外成像是借助于目标的热辐射以得到其热图的一项技术，热辐射的性质在很大程度上和可见光的性质相似，热红外成像使得人类可以看见并理解其探测到的热图像，红外热像仪正是基于这一原理产生的，即热像仪探测得到的一张不同灰度或者不同色彩的照片，它不仅可以帮助我们“看见”热的变化，还是量化这些变化的一种技术。
4.近些年来，红外辐射特性原理在军事和民用领域都有广泛应用，在图像仿真过程中，通过建立红外辐射计算模型，得到每个面元辐射信息，进而得到整个场景的辐射数据，可对实时场景进行高精度还原。红外图像的获取较为便捷，相较于可见光图像在采集过程中受到大量噪声干扰及夜间光线不足或弱光条件下的颜色信息缺失问题，红外图像在同样环境条件下仍可生成清晰的纹理细节。针对目前红外光谱测试成本高、对环境因素需求较大的情况下，利用红外图像进行场景红外光谱反射率重建是当前研究的热点，其不但可以有效均衡可见光图像反射率重建技术的缺陷并可获取红外波段处目标的光谱反射率，有助于在实时渲染、大环境仿真过程中对场景的高精度纹理复原。
5.因此，目前亟待一种可应用于红外图像的光谱反射率重建技术。


技术实现要素：

6.为了解决现有技术中存在的上述问题，本发明提供了一种基于红外图像的光谱反
射率重建方法。本发明要解决的技术问题通过以下技术方案实现：
7.本发明实施例提供了一种基于红外图像的光谱反射率重建方法，包括以下步骤：
8.根据三个不同波段的待测黑体的温度tb和三个不同波段的热图像的灰度响应值得到响应函数矩阵，其中，所述三个不同波段包括近红外波段、中红外波段和远红外波段，所述响应函数矩阵为包含了目标本征辐射亮度分布函数和红外成像仪光谱敏感函数的整体光谱响应函数的矩阵；
9.基于反射率重建函数，根据所述灰度响应值的矩阵和所述响应矩阵得到三个不同波段的光谱反射率；
10.根据三个不同波段的所述光谱反射率得到全波段光谱反射率。
11.在本发明的一个实施例中，根据三个不同波段的待测黑体的温度tb和三个不同波段的热图像的灰度响应值得到响应函数矩阵，包括：
12.在温度tb条件下，利用三个不同波段的热图像得到待测黑体的灰度响应值；
13.基于所述待测黑体的温度tb，根据黑体普朗克计算公式得到辐射出射度；
14.根据所述灰度响应值和所述辐射出射度得到三个不同波段的所述响应函数矩阵。
15.在本发明的一个实施例中，在温度tb条件下，利用三个不同波段的热图像得到待测黑体的灰度响应值，包括：
16.在温度tb条件下，根据n幅黑体热图像每个像素点的灰度均值得到每个波段的所述灰度响应值。
17.在本发明的一个实施例中，所述黑体普朗克计算公式为：
[0018][0019]
其中，m
bb
表示辐射出射度，tb表示待测黑体的温度，c1＝3.7418
×
108w
·
m-2
·
μm4，c2＝1.4388
×
104·
μm
·
k，λ1及λ2分别表示所用热像仪工作波段范围的下限及上限。
[0020]
在本发明的一个实施例中，根据所述灰度响应值和辐射出射度得到三个不同波段的所述响应函数矩阵，包括：
[0021]
将所述辐射出射度转换为辐射亮度；
[0022]
根据所述灰度响应值和所述辐射亮度得到三个不同波段的所述响应函数矩阵。
[0023]
在本发明的一个实施例中，所述反射率重建函数为：
[0024][0025]
其中，r
nir
、r
mir
和r
fir
分别表示近红外波段、中红外波段和远红外波段的光谱反射率，q
nir
、q
mir
和q
fir
分别表示近红外波段、中红外波段和远红外波段的响应函数，q

为q矩阵的伪逆矩阵，i
[a,b]
、i
[b,c]
和i
[c,d]
分别表示近红外波段、中红外波段和远红外波段的灰度响应值，[a,b]表示近红外波段的波段范围，[b,c]表示中红外波段的波段范围，[c,d]表示远红外波段的波段范围。
[0026]
在本发明的一个实施例中，在根据三个不同波段的所述光谱反射率得到全波段光谱反射率之后，还包括：
[0027]
在不同温度条件下，建立所述全波段光谱反射率和温度的三维数据库。
[0028]
在本发明的一个实施例中，在根据三个不同波段的所述光谱反射率得到全波段光谱反射率之后，还包括：
[0029]
根据误差拟合优化系数评估所述全波段光谱反射率的精度。
[0030]
在本发明的一个实施例中，所述误差拟合优化系数的公式为：
[0031][0032]
其中，ε表示误差拟合优化系数，rm(λi)表示光谱反射率的测量值， r(λi)表示全波段光谱反射率，a、d分别表示重建波段的上、下限。
[0033]
与现有技术相比，本发明的有益效果：
[0034]
第一，基于rgb相机的光谱反射率重建研究技术近些年在国内外得以盛行，但基于红外热像仪的红外光谱反射率重构的研究较为稀少，本发明利用伪逆矩阵法采用三帧不同红外波段的实测图像即可还原其红外全波段光谱反射率，节省了耗费在红外光谱反射率测量过程中的成本，提高了光谱反射率重建技术在红外波段的适用范围。
[0035]
第二，普通相机易出现噪声干扰、夜间光线不足或弱光条件下的颜色信息缺失问题，红外相机采集的热图像在同样环境条件下仍可生成清晰的纹理细节，有效的弥补rgb图像的不足，本发明利用红外图像进行场景光谱反射率重建，可以有效均衡可见光rgb图像反射率重建技术的缺陷。
[0036]
通过以下参考附图的详细说明，本发明的其它方面和特征变得明显。但是应当知道，该附图仅仅为解释的目的设计，而不是作为本发明的范围的限定，这是因为其应当参考附加的权利要求。还应当知道，除非另外指出，不必要依比例绘制附图，它们仅仅力图概念地说明此处描述的结构和流程。
附图说明
[0037]
图1为本发明实施例提供的一种基于红外图像的光谱反射率重建方法的流程示意图；
[0038]
图2为本发明实施例提供的一种实时目标红外图像采集试验示意图；
[0039]
图3为本发明实施例提供的一种红外热像仪标定试验的示意图；
[0040]
图4为本发明实施例提供的一种红外热像仪工作原理示意图。
具体实施方式
[0041]
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
[0042]
实施例一
[0043]
请参见图1，图1为本发明实施例提供的一种基于红外图像的光谱反射率重建方法的流程示意图。本发明提供一种基于红外图像的光谱反射率重建方法，该光谱反射率重建方法包括以下步骤：
[0044]
步骤1、根据三个不同波段的待测黑体的温度tb和三个不同波段的热图像的灰度响应值得到响应函数矩阵，其中，三个不同波段包括近红外波段、中红外波段和远红外波段，响应函数矩阵为包含了目标本征辐射亮度分布函数和红外成像仪光谱敏感函数的整体光谱响应函数的矩阵。
[0045]
优选地，近红外波段的波段范围为[0.78，2.5]，中红外波段的波段范围为[2.5，8]，远红外波段的波段范围为[8，14]，单位为微米。
[0046]
在一个具体实施例中，步骤1可以具体包括：
[0047]
步骤1.1、在温度tb条件下，利用三个不同波段的热图像得到待测黑体的灰度响应值，其中灰度响应值为灰度值或伪彩色值。
[0048]
本实施例通过选取三台不同波段范围的红外热像仪，以确保其波段跨度包括：近红外波段、中红外波段以及远红外波段。并且考虑到一些红外热像仪的波段可能出现重复重叠情况，可以在前期准备多组规格不同的红外滤光片(如硅、锗等)，以便精确提取试验所取的特定波段区域的辐射能量。
[0049]
具体地，如附图2所示，设置待测黑体温度的为t0，分别采用三台红外热像仪采集三个波段近红外波段、中红外波段以及远红外波段的黑体红外温度图像(即热图像)，通过热图像便可以确定灰度信息。根据实际红外热像仪的波段范围，可在其前端安置红外滤光片对待测波段进行精准截取，如附图3所示，为消除环境因素引入的噪声、温差及大气效应对红外热像仪的影响，待测黑体与红外热像仪间距l应尽可能小，且三台红外热像仪应保持间距l一致。
[0050]
优选地，待测黑体与红外热像仪间距l的范围为1cm至20cm。
[0051]
进一步地，步骤1.1可以具体包括：
[0052]
在温度tb条件下，根据n幅黑体热图像每个像素点的灰度均值得到每个波段的灰度响应值。
[0053]
具体地，考虑到采集过程中不可避免的其他环境辐射引入的误差，单台红外热像仪采集的待测黑体的热图像应为n幅，优选地n≥10幅，在实时检测时通过数显功能可以近似读出其上灰度值，并结合最终n幅热图像进行灰度均值求取，最终获取到近、中、远红外三个波段上待测黑体在t0温度下的红外热图像。通过多次改变黑体的温度tb，记录每一温度tb下的三个波段内待测黑体的红外热图像。
[0054]
步骤1.2、基于待测黑体的温度tb，根据黑体普朗克计算公式得到辐射出射度，黑体普朗克计算公式为：
[0055][0056]
其中，m
bb
表示辐射出射度，tb表示待测黑体的温度，c1＝3.7418
×
108w
·
m-2
·
μm4，c2＝1.4388
×
104·
μm
·
k，λ1及λ2分别表示所用热像仪工作波段范围的下限及上限。
[0057]
步骤1.3、根据灰度响应值和辐射出射度得到三个不同波段的响应函数矩阵。
[0058]
进一步地，步骤1.3可以具体包括：
[0059]
步骤1.31、将辐射出射度转换为辐射亮度。
[0060]
其中，朗伯体辐射亮度与辐射出射度之间关系公式：辐射出射度＝辐射亮度*圆周率。
[0061]
步骤1.32、根据灰度响应值和辐射亮度得到三个不同波段的响应函数矩阵。
[0062]
请参见图3，本实施例分别对三台红外热像仪进行可控温黑体(即待测黑体)的标定试验，即改变待测黑体的温度tb，记录在不同tb值下三台红外热像仪分别采集的灰度信息，从而确定其对应红外热像仪的灰度响应值与待测黑体的温度tb的拟合曲线。
[0063]
基于灰度响应值与待测黑体的温度tb的拟合曲线以及黑体普朗克计算公式，可以获取辐射出射度与红外热像仪对应的灰度响应值的映射关系，并根据辐射出射度与辐射亮度的转换关系，最终可以拟合生成在某一温度下对应的红外热像仪的灰度响应值与辐射亮度之间的响应曲线，该响应曲线即为三个不同波段的响应函数，即近红外波段的响应函数q
nir
、中红外波段的响应函数q
mir
以及远红外波段的响应函数q
fir
。
[0064]
另外，通过改变不同温度值，生成不同温度值下的红外热像仪的灰度响应值与辐射亮度之间的三维数据库。
[0065]
步骤2、基于反射率重建函数，根据灰度响应值的矩阵和响应矩阵得到三个不同波段的光谱反射率，反射率重建函数为：
[0066][0067]
其中，r
nir
、r
mir
和r
fir
分别表示近红外波段、中红外波段和远红外波段的光谱反射率，q
nir
、q
mir
和q
fir
分别表示近红外波段、中红外波段和远红外波段的响应函数，q

为q矩阵的伪逆矩阵，i
[a,b]
、i
[b,c]
和i
[c,d]
分别表示近红外波段、中红外波段和远红外波段的灰度响应值，[a,b]表示近红外波段的波段范围，[b,c]表示中红外波段的波段范围，[c,d]表示远红外波段的波段范围。
[0068]
也就是说，获取到待测黑体的温度tb下待测黑体在三个波段内的热图像，根据每一波段内对灰度均值的求取，确定最终每个波段内的灰度响应值，从而可以建立灰度响应值矩阵i。根据步骤1中在该温度tb下对应红外热像仪的灰度—辐射亮度的响应矩阵q，由反射率重建函数可知，在该温度tb下，待测黑体在全波段的红外光谱反射率得以重建。
[0069]
优选地，a为0.78，b为2.5，c为8，d为14。
[0070]
为了便于理解本实施例的反射率重建函数，以下将对反射率重建函数的建立过程进行说明，即：
[0071]
利用红外热像仪采集到的场景辐射能分布图像进行红外光谱反射率分布的映射。由于红外热像仪采集到的图像为经光—电信号转换后，将目标温度分布图像转换成可视图像的设备，其每一像素所对应的色度值均对应一指定温度值，通过查看热像仪采集的热图像，可以观察到被测目标的整体温度分布状况，研究目标发热情况，附图4即为红外热像仪工作原理图。同时，可视图像是通过红外探测器对目标自身属性的响应而表观出的结果，可通过这一关系建立红外探测器的灰度响应值与表征目标自身属性的光谱反射率之间的关
系，获取对应输出通道对应的反射率值，计算从可视图像—目标温度—光谱反射率之间一一对应的映射关系，从而实现红外图像的光谱反射率重建。
[0072]
假设红外热像仪的光电转换函数为理想的线性模型，设l0(λ)为场景内目标的本征辐射亮度分布函数，r(λ)为目标表面的光谱反射率，c(λ)为红外热像仪的光谱灵敏度函数，包含成像光学系统的透射率和探测器光学元件的光谱敏感函数，参考红外热像仪一般工作波段范围，选取λ的变化范围为0.78～14μm，则对应一个像素点或者一个样本的红外探测器第i个通道的灰度响应值为输出可以表示为如下积分：
[0073][0074]
上式中，bi及ni分别为红外热像仪的暗电流噪声和系统整体噪声。公式(2)中l0(λ)又可改写为：
[0075]
l0(λ)＝l
refl
(λ) l
item
(λ)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0076]
其中，l
refl
(λ)为目标所受场景环境分辐亮度，l
item
(λ)为目标自身热辐射值，在场景及自身温度恒定情况下，这两个值均为恒值，及目标本征辐射亮度分布函数是与场景相关的光谱函数。为简化这一过程，公式(2)可写作：
[0077][0078]
即物体表面红外光谱反射率转化为红外热像仪响应的过程，将波段区间[a,d]分为近红外、中红外及远红外三个波段响应区间，即分为[a,b]、[b,c] 和[c,d]三个波段，则(4)式可展开为：
[0079][0080]
令δλ＝0.01，等式(5)改写为矩阵形式，可得：
[0081][0082]
其中，等式左边均为在近、中、远红外波段上对应探测器的灰度响应值，一般为灰度值或伪彩色值；q
nir
、q
mir
和q
fir
分别为在全波段0.78～14μm 内，对应近、中、远波段的响应函数，可通过红外热像仪辐射黑体标定试验获取；r
nir
、r
mir
和r
fir
分别为对应波段所求的光谱反射率。公式(5)可进一步简化为：
[0083][0084]
上式中q为包含了目标本征辐射亮度分布函数及红外成像系统光谱敏感函数的红外热像仪整体光谱响应函数的矩阵，是一个3
×
1322阶的矩阵；i 是像素点的响应值矢量，是一个3
×
1的矩阵。通过上式建立了光谱反射率 r(λ)与红外热像仪的灰度响应值i之间的关系，使得通过下式从低维度的红外热像仪的灰度响应值i重建得到目标光谱反射率分布r，即：
[0085][0086]
一般地：
[0087]q
＝q
t
(qq
t
)-1
ꢀꢀꢀꢀꢀꢀꢀ
(9)
[0088]
其中，q

为矩阵q的伪逆矩阵，也称作q的广义逆矩阵。
[0089]
步骤3、根据三个不同波段的所述光谱反射率得到全波段光谱反射率。
[0090]
具体地，在全波段范围内光谱反射率为：
[0091]r总
＝r
nir
r
mir
r
fir
ꢀꢀ
(10)
[0092]
其中，r
总
为全波段光谱反射率。
[0093]
步骤4、在不同温度条件下，建立、全波段光谱反射率和温度的三维数据库。
[0094]
具体地，针对不同温度tb值，均利用上述方法对其进行解算，可获取一组不同温度tb—r的三维数据。
[0095]
步骤5、根据误差拟合优化系数评估全波段光谱反射率的精度。
[0096]
具体地，为验证本方法重建红外光谱的精度，利用中、长波红外光谱仪对步骤1中不同温度tb下的待测黑体进行光谱信息采集，记为光谱反射率的测量值rm(λi)，重建光谱函数记为r(λi)，建立误差拟合优化系数，即：
[0097][0098]
其中，带入上式中的均为波长λi(i＝a-d)的对应光谱数据，a、d分别为重建波段的上、下限，根据上述优化系数，可估计红外光谱反射率重建算法的精度，即：
[0099]
当ε＝1，为理想状态，此时为完全重构状态；
[0100]
当1》ε≥0.9999，重建精度较高；
[0101]
当0.9999》ε≥0.99，重建精度良好；
[0102]
当0.99》ε≥0.9，重建精度一般。
[0103]
本发明针对当今图像处理领域与光谱反射率配准问题进行研究，提出了一种可应用于红外图像的光谱反射率重建技术，有效解决普通图像在弱光条件下纹理缺失及成像质量受噪声干扰等问题，可结合可见光成像探测器采集的rgb图像，获取目标在多谱段(可见、红外)的光谱反射率分布，进一步应用在三维渲染、成像等领域。
[0104]
基于rgb相机的光谱反射率重建研究技术近些年在国内外得以盛行，但基于红外热像仪的红外光谱反射率重构的研究较为稀少，本发明利用伪逆矩阵法采用三帧不同红外波段的实测图像即可还原其红外全波段光谱反射率，节省了耗费在红外光谱反射率测量过程中的成本，提高了光谱反射率重建技术在红外波段的适用范围。
[0105]
普通相机易出现噪声干扰、夜间光线不足或弱光条件下的颜色信息缺失问题，红外相机采集的热图像在同样环境条件下仍可生成清晰的纹理细节，有效的弥补rgb图像的不足，本发明利用红外图像进行场景光谱反射率重建，可以有效均衡可见光rgb图像反射率重建技术的缺陷。
[0106]
本发明的红外图像的光谱反射率重建是一种低成本、操作便捷的红外光谱反射率重建技术。
[0107]
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0108]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特数据点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特数据点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
[0109]
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。