一种自适应多积分时间红外图像序列择优方法与流程

1.本发明涉及一种自适应多积分时间红外图像序列择优方法，属于高动态红外成像技术领 域。


背景技术：

2.在实际红外应用场景中，当太阳、火焰或干扰弹等强辐射目标与常温目标同时存在，辐 射亮度跨度大，对于目前14位a/d的制冷红外焦平面(infrared focal plane array,irfpa)热 成像系统，即使不考虑探测器响应的非线性s效应，等效动态范围也只有约84db，远小于还 有其辐射干扰的自然场景辐射差异。即无论怎样调节系统的成像参数，都会造成欠曝光或过 曝光现象，无法一次性捕捉到场景所有细节，这将给诸多目标探测与识别任务造成非常不利 的影响，需要采用高动态范围(high-dynamic range,hdr)成像方法适应全辐射场景的有效成 像。
3.目前hdr红外热成像采用的方法有：1)基于像素a/d技术。该方法在每个像素上分别 设计片上像素级ad，实现高位宽、低噪声的hdr成像，是一种先进的irfpa设计方法，但 探测器工艺复杂，研制难度大，现阶段的成本也较高，且由于其netd较低，即使采用18 位ad获得的场景动态范围往往仍难满足实际hdr场景的需要。2)基于超帧变积分时间成 像技术。该方法在现有irfpa基础上，采用周期性循环的变积分时间超高帧频成像，通过融 合不同积分时间的低动态范围(low-dynamic range,ldr)图像，拓宽为hdr热成像，完全采 用数字程控模式，无需增加机械结构，成像帧频较高，故对于较可见光偏低的红外信号，红 外物镜一般采用较大的相对孔径以追求远距离和弱小目标的探测，并对强辐射干扰的场景采 用变积分时间方法实现hdr成像。
4.与一般可见光图像不同，红外热图像通常对比度偏低、噪声偏大、细节不清晰、灰度分 布较为集中。变积分时间方法存在的问题有：1)在以往的研究中，hdr红外热图像的融合 图像选择具有一定的盲目性，往往根据先验知识，结合采集软件得到的ldr图像大致判断响 应值变化及曝光程度，在图像序列中选择两到三张ldr图像进行融合，或者利用一定的权重 计算方法将采集到的图像序列全部进行融合。但人为选择的不准确性误判、噪点和盲点引起 的灰度非均匀性都会影响ldr图像选择偏离“最佳”。2)受实时性的限制，成像设备对场景 进行拍摄时很难调节到图像曝光适中的参数，不少学者期望从根据当前场景帧信息调整下一 帧图像的曝光参数。有的研究尝试利用当前图像全像素灰度均值与预设的最佳灰度均值进行 比较，该方法处理流程简单，能在一定程度上使图像质量寻优，但忽略了局部灰度差异，总 体效果不佳。后续发展起来的基于灰度直方图的自适应曝光方法(固定分块理论、模糊逻辑 计算权重理论、像素饱和阈值理论、场景区域分割理论等)以及利用其他图像信息(如sobel 算子提取边缘信息、信息熵、梯度差等图像评价指标)调节积分时间方法研究也为评价前端 ldr输出图像序列提供了积分时间自适应调整途径，这些方法或存在自适应性不强的问题， 或存在评价指标单一、成像不理想的问题。
5.综上所述，研究一种能够自适应选择多积分红外图像序列以提升高动态融合图像
质量的 方法是十分有必要的。如何定义图像选择标准，解决高动态场景强辐射造成的曝光质量问题， 并对其融合图像效果进行有效性验证是值得解决的关键问题。


技术实现要素：

6.针对高动态场景中动态范围无法有效全面捕获的问题，本发明目的是提供一种自适应多 积分时间红外图像序列择优方法，针对高动态场景中高动态范围的响应需求，输入序列图像， 基于区域生长点分割序列图像，对分割后的图像分别寻找常温目标和强辐射目标的最优函数， 根据常温目标和强辐射目标的最优函数从输入的序列图像中分别得到局部最优图像，包括常 温目标局部最优图像(高曝光图像)和强辐射目标局部最优图像(低曝光图像)，以实现图像 细节尽可能地保留，采用高积分时间曝光方式使得常温目标能够清晰成像，故将常温目标局 部最优图像称为高曝光图像，采用低积分时间曝光方式使得强辐射目标能够清晰成像，故将 强辐射目标局部最优图像称为低曝光图像；此外，基于灰度信息评价指标综合地从输入序列 图像中筛选出全局最优图像，消除基于区域生长点分割方法选择出的局部最优图像的不连续 性；并通过融合所述局部最优图像和全局最优图像，得到红外高动态范围hdr图像，并进行 增强显示，即在红外成像器件动态范围受限的情况下，有效地扩大红外成像的动态范围，提 高高动态场景下的成像质量。
7.本发明的目的是通过下述技术方案实现的。
8.本发明公开的一种自适应多积分时间红外图像序列择优方法，包括如下步骤：
9.针对相同高动态响应场景，采集不同积分时间下的红外序列图像。
10.输入所述采集的序列图像至区域生长点分割模块，基于区域生长点方法分割序列图像， 对分割后的图像分别寻找常温目标和强辐射目标的最优函数，根据常温目标和强辐射目标的 最优函数从输入的序列图像中分别得到局部最优图像，包括常温目标局部最优图像(高曝光 图像)和强辐射目标局部最优图像(低曝光图像)，以实现图像细节尽可能地保留，采用高积 分时间曝光方式使得常温目标能够清晰成像，故将常温目标局部最优图像称为高曝光图像， 采用低积分时间曝光方式使得强辐射目标能够清晰成像，故将强辐射目标局部最优图像称为 低曝光图像。所述基于区域生长点分割序列图像中用于分割的参数是变化的，通过灰度直方 图计算常温区域与强辐射区域的灰度倍数关系，并将其设置为当前场景的阈值分割值。
11.输入所述采集的序列图像至基于灰度信息评价指标的全局图像选择模块，基于灰度信息 评价指标综合地从输入序列中定量筛选出包含更多信息的全局最优图像，消除基于区域生长 点分割方法选择出的局部最优图像的不连续性。
12.通过融合所述常温目标局部最优图像、强辐射目标局部最优图像和全局最优图像，得到 红外高动态范围hdr图像，实现自适应红外图像序列择优选择，减小人为经验选择图像的融 合效果误差，即在红外成像器件动态范围受限的情况下，有效地扩大红外成像的动态范围， 提高高动态响应场景下的成像质量。
13.基于区域生长点分割序列图像中用于分割的参数是变化的，通过灰度直方图计算常温区 域与强辐射区域的灰度倍数关系，并将其设置为当前场景的分割阈值μ。作为优选，针对不 同的高动态范围红外场景，根据公式(1)获取用于分割的阈值参数μ：
[0014][0015]
其中，m为直方图区间数；n为各区间的像素数；x和y分别为区间(1,m/2)和(m/2,m)中最 大n值对应的位置；edges为一维元组。
[0016]
基于区域生长点分割输入的图像序列，具体实现方法为：预设初始种子点，计算序列图 像中各像素的灰度与该种子点的关系，若该像素的灰度大于μ倍的种子点灰度值，则划分为 强辐射区域，用“1”标记；若该像素的灰度不足μ倍的种子点灰度值，则划分为常温区域，用
ꢀ“
0”标记，以此实现基于灰度阈值μ的目标分割，表示情况如式(2)所示。
[0017][0018]
对分割后的图像分别寻找常温目标和强辐射目标的最优函数，根据常温目标和强辐射目 标的最优函数从输入的序列图像中得到局部最优图像，具体实现方法为：对分割后的图像分 别寻找常温目标和强辐射目标的最优函数如式(3)，即分别获取多积分序列图像两个区域的灰 度均值，根据冒泡排序分别计算出最接近于中等灰度级的图像。
[0019][0020]
其中，i
x
为输入的第x帧图像；为所计算区域的灰度平均值；w为原始数据的位宽； range为所需计算的图像区域l
range
和h
range
。
[0021]
根据常温目标和强辐射目标的最优函数式(3)从输入的序列图像中得到局部最优图像，即 常温目标局部最优图像(高曝光图像)和强辐射目标局部最优图像(低曝光图像)。
[0022]
作为优选，基于灰度信息评价指标综合地从输入序列中定量筛选出包含更多信息的全局 最优图像，具体实现方法如下：
[0023]
建立用于对输入图像序列进行图像质量评价的指标体系，所述指标体系包括信息熵h(x) 图像质量评价指标、梯度差s
obel
图像质量评价指标、灰度均值m
eani
图像质量评价指标、灰度 均方差s
tdi
图像质量评价指标。
[0024]
基于灰度信息评价指标综合从输入序列中定量筛选。
[0025]
对于信息熵h(x)图像质量评价指标：图像是m
×
n的像素矩阵,每一个像素都对应0～255 之间的灰度等级。定义每个灰度等级的概率为pi：
[0026][0027]
其中，αi是每个灰度等级的像素的和。信息熵表示为：
[0028][0029]
其中，w为系统位宽。
[0030]
对于梯度差s
obel
图像质量评价指标：
[0031][0032]
其中，i
x
和iy为原始图像分别于h
x
，hy卷积后的图像。sobel算子h
x
，hy为：
[0033][0034]
对于灰度均值m
eani
图像质量评价指标计算方式为：
[0035][0036]
对于灰度均方差s
tdi
图像质量评价指标计算方式为：
[0037][0038]
综合评价衡量标准的计算公式为
[0039]mulrank
＝sum(h
rank
,s
rank
,m
rank
,std
rank
)
ꢀꢀ
(10)
[0040]
其中，m
ulrank
为各评价指标排名之和计算出的图像综合排名；h
rank
为信息熵h的排名；s
rank
为图像梯度差s
obel
的排名；m
rank
为图像灰度均值m
eani
的排名；s
tdrank
为图像均方差s
tdi
的排 名。
[0041]
根据式(10)对图像质量评价指标信息熵h(x)、梯度差s
obel
、灰度均值m
eani
、灰度均方差 s
tdi
进行综合排序，选取综合排名最高的图像，以实现从整体上来说各评价指标处于相对最佳 状态，即从输入序列中定量筛选出包含更多信息的全局最优图像。
[0042]
作为优选，基于细节增强级联算法对融合后的红外高动态范围hdr图像进行增强显示。
[0043]
有益效果：
[0044]
1、本发明公开的一种自适应多积分时间红外图像序列择优方法，针对高动态场景中高动 态响应需求，输入序列图像，基于区域生长点分割序列图像，对分割后的图像分别寻找常温 目标和强辐射目标的最优函数，根据常温目标和强辐射目标的最优函数从输入的序列图像中 得到局部最优图像，包括常温目标局部最优图像(高曝光图像)和强辐射目标局部最优图像 (低曝光图像)，能够实现图像细节尽可能地保留。要使得常温目标能够清晰成像，需要采用 高积分时间曝光方式，故将常温目标局部最优图像称为高曝光图像；要使得强辐射目标能够 清晰成像，需要采用低积分时间曝光方式，故将强辐射目标局部最优图像称为低曝光图像。
[0045]
2、本发明公开的一种自适应多积分时间红外图像序列择优方法，基于灰度信息评价指标 的全局图像选择模块，根据建立的全局图像综合评价衡量标准对图像质量评价指标信息熵、 梯度差s
obel
、灰度均值m
eani
、灰度均方差s
tdi
进行综合排序，选取综合排名最高的图像，使 红外多积分时间图像选择从定性判断到定量分析的转变，能够在红外图像序列中挑选出整体 成像质量最佳的全局图像，即从输入序列中定量筛选出包含更多信息的全局最优图像，使得 整体场景具有连续性。
[0046]
3、本发明公开的一种自适应多积分时间红外图像序列择优方法，自适应的根据不同高动 态范围红外场景选择分割阈值。
[0047]
4、本发明公开的一种自适应多积分时间红外图像序列择优方法，通过融合所述常温目标 局部最优图像、强辐射目标局部最优图像和全局最优图像，实现自适应红外图像序列择优选 择，减小人为经验选择图像的融合效果误差，得到红外高动态范围hdr图像，即在红外成像 器件动态范围受限的情况，有效地扩大红外成像的动态范围，提高高动态范围场景下的成像 质量。
[0048]
5、本发明公开的一种自适应多积分时间红外图像序列择优方法，定量的标准化流程能够 为变积分红外成像提供指导方法，实现自适应红外图像序列择优选择，减小人为经验选择图 像的融合效果误差，进一步扩展高动态范围红外图像的动态范围，提升红外热像仪成像质量。
附图说明
[0049]
图1为基于灰度信息评价及区域生长点灰度分割的红外图像多积分时间自适应选择方法 流程图。
[0050]
图2为实验用中波红外热成像系统，图2(a)为制冷中波红外热像仪imageir8355，图2(b) 为制冷中波热像仪jade。
[0051]
图3为一组场景图灰度分布情况。图3(a)为100时钟周期数下的该场景的红外图像灰度 分布情况，图3(b)为5000时钟周期数下的该场景的红外图像灰度分布情况，图3(c)为30000 时钟周期数下的该场景的红外图像灰度分布情况。
[0052]
图4为基于生长点区域分割得到的图像序列。图4(a)为100时钟周期数下的图3中场景 图像分割情况，图4(b)为500时钟周期数下的图3中场景图像分割情况，图4(c)为1000时钟 周期数下的图3中场景图像分割情况，图4(d)为2500时钟周期数下的图3中场景图像分割情 况，图4(e)为5000时钟周期数下的图3中场景图像分割情况，图4(f)为10000时钟周期数下 的图3中场景图像分割情况，图4(g)为15000时钟周期数下的图3中场景图像分割情况，图 4(h)为30000时钟周期数下的图3中场景图像分割情况。
[0053]
图5为场景1的ldr图像及其hdr融合图像。图5(a)为50时钟周期数下的场景1的红 外增强图像，图5(b)为1050时钟周期数下的场景1的红外增强图像，图5(c)为1150时钟周 期数下的场景1的红外增强图像。
[0054]
图6为场景2的ldr图像及其hdr融合图像。图6(a)为400时钟周期数下的场景2的 红外增强图像，图6(b)为900时钟周期数下的场景2的红外增强图像，图6(c)为1050时钟周 期数下的场景2的红外增强图像。
[0055]
图7为场景3的ldr图像及其hdr融合图像。图7(a)为500时钟周期数下的场景3的 红外增强图像，图7(b)为1500时钟周期数下的场景3的红外增强图像，图7(c)为30000时钟 周期数下的场景3的红外增强图像。
[0056]
图8为场景4的ldr图像及其hdr融合图像。图8(a)为1500时钟周期数下的场景4的 红外增强图像，图8(b)为16000时钟周期数下的场景4的红外增强图像。由于该场景筛选出 的常温目标局部最优图像和全局最优图像一致，故图8(c)即为图8(b)。
[0057]
图5～图8中的(a)、(b)、(c)图分别为当前场景下基于本发明方法筛选出的常温目
标局部 最优图像、强辐射目标局部最优图像、全局最优图像。
[0058]
图5～图8中的(d)图为人为经验得到的hdr融合图，选择方法为：通过计算图像灰度均 值与中等灰度级的关系判断图像的曝光情况，选取三张接近于中等灰度级的图像用以融合。
[0059]
图5～图8中的(e)图为图像评价指标得到的hdr融合图，选择方法为：计算序列中各图 像的信息熵、梯度差、灰度均值、灰度均方差，分别选出四种指标所对应的最佳图像用于融 合。
[0060]
图5～图8中的(f)图为本发明方法实现的hdr融合图。
[0061]
图9为图5～图8涉及到的四组场景融合后的hdr图像的指标评价结果。
具体实施方式
[0062]
为使本发明的目的、技术方案和优点更加清楚，以下结合具体步骤，并参照附图，对本 发明进一步详细说明。
[0063]
如图1所示，本实施例公开的自适应多积分时间红外图像序列择优方法，详细步骤如下：
[0064]
步骤一：利用图2中的热像仪进行采图。调节红外热像仪积分时间，采集不同积分时间 下的场景图像序列，向软件输入图像，并进行参数初始化。设立初始阈值μ为1.5，以常温区 域的一个像素点为“种子”。遍历红外图像序列，并进行步骤二～步骤五。
[0065]
步骤二：计算当前场景的阈值μ。将输入图像i
x
的灰度划分为等值区间edges，计算灰度 值落在各个区间的像素数量n。以中等灰度级为灰度分割线，往前计算计数n的最大值，以 该值对应的灰度值确定为该帧图像常温区域灰度值l
gray
；往后计算计数n的最大值，以该值 对应的灰度值确定为该帧图像强辐射区域的灰度值h
gray
。根据公式(1)可以得到阈值μ。
[0066]
步骤三：进行区域分割。将各像素值i(i,j)与种子点的灰度值i(i0,j0)的μ倍做比较，当该 像素值小于μ倍种子点的灰度值时，将该像素归类为种子区域，视为常温点，用“0”标记，否 则，将该像素视为高温点，用“1”标记。根据公式(2)将图像分成了两大部分，即常温区域l
range
和强辐射区域h
range
，如图4所示。
[0067]
步骤四：优化目标函数。获取多积分序列图像高温区域的灰度均值，根据冒泡排序计算 出最接近于中等灰度级的图像，作为强辐射目标局部最优图像(低曝光图像)。按照同样的方 式选择常温目标局部最优图像(高曝光图像)。
[0068]
步骤五：计算四组图像评价指标并进行综合评价。对于信息熵指标，按照从大到小排序； 对于图像梯度指标，按照绝对值从大到小排序；对于灰度均值指标，按照与中等灰度级的差 值从小到大排序；对于灰度均方差指标，按照从大到小排序。最后得到所有图像评价指标的 综合排名，获得综合排名第一的图像，作为全局最优图像。
[0069]
步骤六：图像融合与增强显示。将强辐射目标局部最优图像、常温目标局部最优图像、 全局最优图像进行灰度级的非线性融合与增强处理，形成一张8bit显示的hdr图像。
[0070]
步骤七：将本发明得到的hdr图像与发明中涉及到的其他方法(图5～图8中的d、e图) 进行对比，通过主观评价和客观评价对图像进行评价，以验证本发明的有效性。
[0071]
从主观上分析图5～图8，本实施例实现的hdr图像，强辐射和常温区域都能够清晰
地成 像，没有失真的地方。
[0072]
由于目前尚没有公认的hdr红外融合图像质量评价指标，为评价本实施例公开的一种自 适应多积分时间红外图像序列择优方法的有效性，本发明还提供用于评价融合后的高动态范 围红外图像质量的客观评价指标，借用粗糙度(ρ)、融合视觉信息保真度(viff)和自然图像 质量评价指标(niqe)分别从噪声水平、保真度以及视觉感知质量三个方面对图像进行客观评 价。从客观上分析，本发明得到的hdr图像粗糙度(ρ)较低，即噪声低；视觉信息保真度(viff) 较高，即融合图像对源图像的视觉信息保留得较为准确；自然图像质量评价指标(niqe)较高， 即图像的视觉感知质量较好，与自然场景能较好的匹配。
[0073]
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所 应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡 在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保 护范围之内。