一种基于位移检测配准的红外图像时域滤波方法与流程

1.本发明涉及红外图像处理领域，尤其涉及一种基于位移检测配准的红外图像时域滤波方法。


背景技术：

2.时域滤波算法在红外相机图像处理中有着广泛的应用，使得图像噪声得到了较大的降低。
3.近年来，对时域滤波算法的研究，取得了许多成果。文献1(一种基于时域滤波的红外序列图像去噪算法)，提出了一种基于时域高斯滤波的去噪方法，该方法参考空域双边滤波的权值分配方法，引入了灰度值的影响对时域高斯滤波的权值进行修正，意图解决时域滤波导致的序列图像中运动目标拖尾和模糊。文献2(基于运动补偿的红外图像噪音时域iir滤波算法)，从模式识别的角度出发将图像分为运动区域和非运动区域，然后采用基于噪音分布模型的运动检测技术与基于概率松弛法的运动区域标号技术相结合对这两种区域进行具体划分，对分类后的图像采用时域iir滤波，不同区域采用不同的影响因子，以期达到最终的运动补偿。文献3(基于全局运动估计的时域滤波方法,装置及存储介质)，提出了一种基于全局运动估计的时域滤波方法。该方法包括：获取摄像装置拍摄的当前帧图像；基于行列方向的全局图像均值直方图，通过局部图像最优匹配算法利用参考帧图像对当前帧图像进行全局运动估计得到行列方向的全局运动矢量；利用行列方向的全局运动矢量对参考帧图像进行偏移得到偏移后的参考帧图像，并确定时域滤波系数；根据偏移后的参考帧图像和时域滤波系数对当前帧图像进行滤波，得到滤波后的当前帧图像。
4.但是，文献1中公开的时域滤波算法没有针对相机运动和目标运动的情况进行处理；文献2中公开的基于运动补偿的红外图像噪音时域iir滤波算法没有考虑到时域噪声的分布模型，只是简单的对图像进行了不同权重的iir滤波，且没有考虑相机的运动；文献3针对图像的全局运动做了判断处理，但是忽略了空间域噪声对计算偏移量的影响，实验表明空间域噪声会对偏移量的计算带来较大的误差，且没有针对图像中的运动目标进行有效的处理。


技术实现要素：

5.为了解决以上技术问题，本发明提供了一种基于位移检测配准的红外图像时域滤波方法。通过图像全局位移检测配准和像素级位移检测配准获得由红外相机运动产生的背景运动量和场景中目标的运动量，然后针对背景运动和目标运动的不同特点采取不同的时域降噪方法。
6.本技术提供的一种基于位移检测配准的红外图像时域滤波方法，包括以下：
7.s101：利用红外相机存储n幅连续红外图像；
8.s102：对红外图像分别进行空间域滤波和图像增强，得到增强后的红外图像；
9.s103：对增强后的红外图像分别进行全局的位移检测配准，得到由红外相机运动
所产生的背景运动量；
10.s104：对增强后的红外图像分别逐像素进行位移检测配准，得到红外图像中目标的运动量；
11.s105：对由红外相机运动所产生的背景运动量和图像中目标的运动量进行运动方向和大小匹配，得到像素点所属的运动类型；
12.s106：根据像素点所属的运动类型使用相应的时域滤波算法滤波，得到当前帧滤波后的红外图像；
13.s107：在相机下一帧图像到来时，缓存的n幅连续红外图像向后移动一帧，并丢掉最后一帧，完成时域滤波。
14.进一步地，在步骤s101中，相机缓存的n幅连续的红外图像为经过非均匀性校正后的红外图像；
15.非均匀性校正包括一点校正和两点校正；
16.一点校正为相机实时采集的图像减去一个预存的均匀面图像；
17.两点校正为在一点校正的基础上乘以k系数；k系数的计算公式如式(1)所示：
[0018][0019]
在式(1)中，img1和img2分别表示红外相机对低温黑体和高温黑体采集的均匀面图像，mv1和mv2分别是img1和img2的像素灰度平均值；
[0020]
在n幅连续红外图像中，第一幅表示当前帧，其余的依次表示相邻的帧。
[0021]
进一步地，在步骤s102中，空间域滤波包括核尺寸为3*3的均值滤波和核尺寸分别为7*7和5*5的非局部平均滤波；图像增强算法为限制对比度自适应的直方图均衡化算法。
[0022]
进一步地，步骤s103具体如下：
[0023]
s201：对增强后的红外图像进行不重叠的子块划分，每幅图像划分为k*k个子快，得到红外图像的子快图像；
[0024]
s202：预估由红外相机运动产生的背景运动量的最大值，得到背景运动量的最大估计值；
[0025]
s203：对红外图像的子快图像进行行列方向的sobel算子边缘提取，对提取到的行列方向的边缘求取绝对值，然后将行列方向的边缘绝对值相加，得到红外图像的子快图像的边缘图；
[0026]
s204：对红外图像的子快图像的边缘图进行行列方向的投影，得到子快图像边缘图的行列投影向量；
[0027]
s205：从缓存的n幅连续红外图像的当前帧开始，两两相邻的两帧，标记相同子快的行列投影向量做粗位移检测配准，得到子快的粗位移值；
[0028]
s206：在子快的粗位移值的基础上，对红外图像的子快图像的边缘图进行精位移检测配准，得到子快的精位移值；
[0029]
s207：将子快的粗位移值和子快的精位移值相加得到缓存的n幅连续红外图像的相邻两帧图像的相同标记子快的位移值；
[0030]
s208：根据相同标记子快的位移值，在红外图像的子快图像中，寻找出位移值相同的子快聚为一类；
[0031]
s209：将子快数最多的一类的位移值作为由红外相机运动所产生的背景运动量。
[0032]
进一步地，步骤s204具体为：
[0033]
s301：将红外图像的子快图像的边缘图的每行的边缘值累积相加，得到子快图像边缘图的行投影向量；
[0034]
s302：将红外图像的子快图像的边缘图的每列的边缘值累积相加，得到子快图像边缘图的列投影向量。
[0035]
进一步地，步骤s205具体为：
[0036]
s401：将当前帧任一子快i的行投影向量首尾去掉背景运动量的最大估计值，得到滑动的行投影向量；
[0037]
s402：将滑动的行投影向量在当前帧的相邻帧的同一序列子块的行投影向量上进行滑动，每滑动一次，求取一次误差平方和，至滑动到当前帧的相邻帧的同一序列子块的行投影向量的末尾结束；
[0038]
根据最小的误差平方和所对应滑动的行投影向量在当前帧的相邻帧的行投影向量上的位置得到当前帧的子快i相对于当前帧的相邻帧的同一序列子块在上下方向的粗位移值；
[0039]
s403：将当前帧子快i的列投影向量首尾去掉背景运动量的最大估计值，得到滑动的列投影向量；
[0040]
s404：将滑动的列投影向量在当前帧的相邻帧的同一序列子块的列投影向量上进行滑动，每滑动一次，求取一次误差平方和，至滑动到当前帧的相邻帧的同一序列子块的列投影向量的末尾结束；
[0041]
根据最小的误差平方和所对应滑动的列投影向量在当前帧的相邻帧的列投影向量上的位置得到当前帧的子快i相对于当前帧的相邻帧的同一序列子块在左右方向的粗位移值。
[0042]
进一步地，步骤s206具体为：
[0043]
s501：将当前帧任一子快j边缘图的上、下、左、右去掉背景运动量最大估计值的行列数，得到滑动的当前帧子快j的边缘图；
[0044]
s502：将滑动的当前帧子快j的边缘图在当前帧的相邻帧同一序列子块的边缘图上移动到子快j的粗位移值的位置，得到精位移检测配准的起始位置；
[0045]
s503：预估精位移检测配准的最大位移量，得到精位移检测配准的最大位移估计量；
[0046]
s504：将滑动的当前帧子快j的边缘图在精位移检测配准起始位置的上、下、左、右四个方向分别以精位移检测配准的最大位移量的范围内滑动，每滑动一次，求取一次误差平方和，至滑动至末尾结束；
[0047]
根据最小的误差平方和对应的滑动的当前帧子块j的边缘图在当前帧的相邻帧的同一序列子块的边缘图上的位置得到精位移检测配准的位移值。
[0048]
进一步地，步骤s104具体为：
[0049]
s601：以当前帧子快m边缘图的像素p为中心，预设一定的邻域大小的快为模板，在当前帧的相邻帧的同一序列子块的边缘图中移动到由红外相机运动所产生的背景运动量的位置，得到模板的起始位置；
[0050]
s602：将模板在模板的起始位置的上、下、左、右各n个像素的范围内滑动，每滑动一次，求取一次误差平方和，至滑动到末尾结束；
[0051]
根据最小的误差平方和对应的模板在当前帧的相邻帧同一序列子块边缘图中的位置得到模板中心像素的位移量；
[0052]
s603：重复步骤s601～s602直至完成当前帧所有子块边缘图，包括所有像素点的计算求解；
[0053]
s604：红外图像中目标的运动量为由红外相机运动所产生的背景运动量和模板中心像素位移量的代数和。
[0054]
进一步地，步骤s105像素点所属的运动类型判断规则具体为：如果由红外相机运动所产生的背景运动量和红外图像中目标的运动量相同，则该像素为背景像素，否则为运动目标像素。
[0055]
步骤s106具体为：如果像素点属于背景像素则对该像素进行时域高斯滤波，如果像素点属于运动目标则对该像素进行时域双边滤波，遍历当前帧的每一个像素点，最终得到当前帧滤波后的红外图像；其中时域高斯滤波和时域双边滤波的sigma参数由预先统计获得。
[0056]
与现有技术相比，本发明的有益效果包括：解决背景运动和场景中含目标运动的时域滤波问题和改进滤波策略，提高了运动检测的准确性，减弱了拖影的现象，改进了时域滤波的效果。
附图说明
[0057]
图1是本发明方法的流程图。
具体实施方式
[0058]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0059]
请参考图1，图1是本发明方法的流程图；
[0060]
s101：利用红外相机存储n幅连续红外图像；
[0061]
需要说明的是，本发明中为解释说明方便，将n取为5；
[0062]
需要说明的是，在步骤s101中，相机缓存的5幅连续的红外图像为经过非均匀性校正后的红外图像；
[0063]
非均匀性校正包括一点校正和两点校正；
[0064]
一点校正为相机实时采集的图像减去一个预存的均匀面图像；
[0065]
两点校正为在一点校正的基础上乘以k系数；k系数的计算公式如式(1)所示：
[0066][0067]
在式(1)中，img1和img2分别表示红外相机对低温黑体和高温黑体采集的均匀面图像，mv1和mv2分别是img1和img2的像素灰度平均值；
[0068]
在5幅连续红外图像中，第一幅表示当前帧，其余的依次表示相邻的帧。
[0069]
s102：对红外图像分别进行空间域滤波和图像增强，得到增强后的红外图像；
[0070]
需要说明的是，在步骤s102中，空间域滤波包括核尺寸为3*3的均值滤波和核尺寸分别为7*7和5*5的非局部平均滤波；图像增强算法为限制对比度自适应的直方图均衡化算法。
[0071]
s103：对增强后的红外图像分别进行全局的位移检测配准，得到由红外相机运动所产生的背景运动量；
[0072]
需要说明的是，步骤s103具体如下：
[0073]
s201：对增强后的红外图像进行不重叠的子块划分，每幅图像划分为k*k个子快，得到红外图像的子快图像；在本实施例中，k取3，一共有9个子块。
[0074]
s202：预估由红外相机运动产生的背景运动量的最大值，得到背景运动量的最大估计值；在本实施例中，以15个像素为例，作为背景运动量的最大估计值。
[0075]
s203：对红外图像的子快图像进行行列方向的sobel算子边缘提取，对提取到的行列方向的边缘求取绝对值，然后将行列方向的边缘绝对值相加，得到红外图像的子快图像的边缘图；
[0076]
s204：对红外图像的子快图像的边缘图进行行列方向的投影，得到子快图像边缘图的行列投影向量；
[0077]
需要说明的是，步骤s204具体为：
[0078]
s301：将红外图像的子快图像的边缘图的每行的边缘值累积相加，得到子快图像边缘图的行投影向量；
[0079]
s302：将红外图像的子快图像的边缘图的每列的边缘值累积相加，得到子快图像边缘图的列投影向量。
[0080]
s205：从缓存的5幅连续红外图像的当前帧开始，两两相邻的两帧，标记相同子快的行列投影向量做粗位移检测配准，得到子快的粗位移值；
[0081]
需要说明的是，以相机缓存的5幅连续的红外图像的当前帧和当前帧的相邻帧，以及子快1为例，步骤s205具体为：
[0082]
s401：将当前帧子快1的行投影向量首尾去掉背景运动量的最大估计值，得到滑动的行投影向量；
[0083]
s402：将滑动的行投影向量在当前帧的相邻帧的子块1的行投影向量上进行滑动，每滑动一次，求取一次误差平方和，至滑动到当前帧的相邻帧的子块1的行投影向量的末尾结束；
[0084]
根据最小的误差平方和所对应滑动的行投影向量在当前帧的相邻帧的行投影向量上的位置得到当前帧的子快1相对于当前帧的相邻帧的子块1在上下方向的粗位移值；
[0085]
s403：将当前帧子快1的列投影向量首尾去掉背景运动量的最大估计值，得到滑动的列投影向量；
[0086]
s404：将滑动的列投影向量在当前帧的相邻帧的子块1的列投影向量上进行滑动，每滑动一次，求取一次误差平方和，至滑动到当前帧的相邻帧的子块1的列投影向量的末尾结束；
[0087]
根据最小的误差平方和所对应滑动的列投影向量在当前帧的相邻帧的列投影向量上的位置得到当前帧的子快1相对于当前帧的相邻帧的子块1在左右方向的粗位移值。
[0088]
s206：在子快的粗位移值的基础上，对红外图像的子快图像的边缘图进行精位移检测配准，得到子快的精位移值；
[0089]
需要说明的是，仍以相机缓存的5幅连续的红外图像的当前帧和当前帧的相邻帧，以及子快1为例，步骤s206具体为：
[0090]
s501：将当前帧子快1边缘图的上、下、左、右去掉背景运动量最大估计值的行列数，得到滑动的当前帧子快1的边缘图；
[0091]
s502：将滑动的当前帧子快1的边缘图在当前帧的相邻帧子块1的边缘图上移动到子快1的粗位移值的位置，得到精位移检测配准的起始位置；
[0092]
s503：预估精位移检测配准的最大位移量，得到精位移检测配准的最大位移估计量；
[0093]
s504：将滑动的当前帧子快1的边缘图在精位移检测配准起始位置的上、下、左、右四个方向分别以精位移检测配准的最大位移量的范围内滑动，每滑动一次，求取一次误差平方和，至滑动至末尾结束；
[0094]
根据最小的误差平方和对应的滑动的当前帧子块1的边缘图在当前帧的相邻帧的子块1的边缘图上的位置得到精位移检测配准的位移值。
[0095]
s207：将子快的粗位移值和子快的精位移值相加得到缓存的5幅连续红外图像的相邻两帧图像的相同标记子快的位移值；
[0096]
s208：根据相同标记子快的位移值，在红外图像的子快图像中，寻找出位移值相同的子快聚为一类；
[0097]
s209：将子快数最多的一类的位移值作为由红外相机运动所产生的背景运动量。
[0098]
s104：对增强后的红外图像分别逐像素进行位移检测配准，得到红外图像中目标的运动量；
[0099]
需要说明的是，以相机缓存的5幅连续的红外图像的当前帧和当前帧的相邻帧，以及子快1的第一个像素为例，步骤s104具体为：
[0100]
s601：以当前帧子快1边缘图的第一个像素为中心，预设一定的邻域大小的快为模板，在当前帧的相邻帧的子块1的边缘图中移动到由红外相机运动所产生的背景运动量的位置，得到模板的起始位置；
[0101]
s602：将模板在模板的起始位置的上、下、左、右各5个像素的范围内滑动，每滑动一次，求取一次误差平方和，至滑动到末尾结束；
[0102]
根据最小的误差平方和对应的模板在当前帧的相邻帧子块1边缘图中的位置得到模板中心像素的位移量；
[0103]
s603：重复步骤s601～s602直至完成当前帧所有子块边缘图，包括所有像素点的计算求解；
[0104]
s604：红外图像中目标的运动量为由红外相机运动所产生的背景运动量和模板中心像素位移量的代数和。
[0105]
s105：对由红外相机运动所产生的背景运动量和图像中目标的运动量进行运动方向和大小匹配，得到像素点所属的运动类型；
[0106]
需要说明的是，步骤s105像素点所属的运动类型判断规则具体为：如果由红外相机运动所产生的背景运动量和红外图像中目标的运动量相同，则该像素为背景像素，否则
为运动目标像素。
[0107]
s106：根据像素点所属的运动类型使用相应的时域滤波算法滤波，得到当前帧滤波后的红外图像；
[0108]
需要说明的是，步骤s106具体为：如果像素点属于背景像素则对该像素进行时域高斯滤波，如果像素点属于运动目标则对该像素进行时域双边滤波，遍历当前帧的每一个像素点，最终得到当前帧滤波后的红外图像；其中时域高斯滤波和时域双边滤波的sigma参数由预先统计获得。
[0109]
在本发明实施例中，将相机静止对准均匀面采集1000帧连续的图像，以其中一个像素点为例，统计时域上1000个灰度值样本的标准差得到sigma参数。
[0110]
s107：在相机下一帧图像到来时，缓存的5幅连续红外图像向后移动一帧，并丢掉最后一帧，完成时域滤波。
[0111]
本发明的有益效果是：解决背景运动和场景中含目标运动的时域滤波问题和改进滤波策略，提高了运动检测的准确性，减弱了拖影的现象，改进了时域滤波的效果。
[0112]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0113]
以上本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。