一种航拍视频图像实时变化检测方法及系统与流程

1.本发明涉及视频监控数据处理技术领域，具体是一种航拍视频图像实时变化检测方法及系统。


背景技术：

2.变化检测解决的核心问题是通过发同一关注区域、不同时刻拍摄的两幅图像(将先拍摄的定义为参考图，后拍摄的定义为检测现图)之间的图像差异来发现地物或现象变化信息，它是实现静态图像和动态视频智能分析的有效手段。变化检测执行结果既可作为图像分析数据直接返回给用户，也可传送给更高层任务进行语义分析，如场景理解、目标检测、目标跟踪等。
3.变化检测最典型的应用领域是卫星遥感影像分析，它通过对多时相获取的覆盖同一地表区域的遥感影像及其它辅助数据进行处理，实现不同时段目标或现象状态变化的识别和分析，同时还能确定一段时间间隔内地物或现象的变化，并提供地物空间分布及其变化的定量和定性分析。根据图像数据处理的三个层次，遥感影像分析领域常用的变化检测可分为像素级变化检测、特征级变化检测和目标级变化检测。像素级变化检测是在图像配准/对齐基础上，对每个位置不同时相的灰度或色彩(rgb)像素值进行比较，并判断是否发生变化，进而检测出变化区域。像素级变化检测易受影像配准、辐射校正等因素的影响，但由于该类方法更大地保留了图像原有细节信息，因而是当前主流的变化检测方法。特征级变化检测需首先确定感兴趣的对象并提取其特征(如边缘、形状、轮廓、纹理等)，然后对这些特征进行综合比较和分析，获取该对象的变化信息。通常，特征级变化检测会对特征进行关联处理，因而它对特征属性的判断具有更高的可信度和准确性，但它不是基于原始数据，在特征提取过程中不可避免地会出现信息丢失，难以提供细微变化信息。目标级变化检测是在图像理解和识别基础上，检测某些特定对象(如道路、房屋等)的变化信息，是一种基于目标模型的高层分析方法，该类方法最大的优点是能更好响应用户需求，但其不足之处在于目标提取的困难性。
4.近年来，各个领域对遥感影像数据获取的要求都越来越高，卫星遥感影像收集由于受到高度、分辨率、天气条件及重访周期的影响往往难以满足要求，常规航空拍摄也常受空域及气象等条件的制约，对于紧急任务要求难以胜任且成本高昂。伴随着无人机相关技术的成熟，基于无人机的低空航拍因其成本低，起降灵活，受气象条件影响小(可在云层下作业)，已逐渐成为传统航空拍摄和卫星遥感获取图像信息的重要补充手段，在国家重大自然灾害应急、地理国情监测、土地管理和城市建设规划等领域得到越来越广泛的应用。特别地，在特定区域进行目标跟踪、目标搜索、地物状态监控等应用中，通常需要对该区域范围进行频繁、持续、精确的低空监视，小型无人机视频航拍由于拍摄成本低、具备低空拍摄能力、对小目标成像分辨率高等优点，能有效完成监视视频采集任务。但是，对于低空小型无人机采集视频的智能分析，特别是利用变化检测手段提取监视区地物或现象变化信息，目前缺乏行之有效的方法。
5.传统变化检测主要解决影像数据中较大尺度的变化信息，无法解决视频变化检测中存在的视频数据量大、视频单帧视野小、相邻帧覆盖区域重叠度高、小尺度变化信息、背景复杂等问题。视频是由一系列空间和时间连续的视频帧组成，而视频帧实质是一副静态影像，虽然静态影像变化检测已得到深入研究，但实时、准确的视频图像变化检测方法却很少见。


技术实现要素：

6.为克服现有技术的不足，本发明提供了一种航拍视频图像实时变化检测方法及系统，解决现有技术存在的难以实时、准确进行航拍视频变化检测等问题。
7.本发明解决上述问题所采用的技术方案是：
8.一种航拍视频图像实时变化检测方法，包括以下步骤：
9.s1，视频数据预处理：对拍摄的参考视频和检测视频进行预处理；
10.s2，全景参考图生成：将参考视频的图像拼接生成全景参考图；
11.s3，配准：进行检测视频的图像帧与全景参考图的配准；
12.s4，变化区域检测：对配准后的检测视频的图像帧和参考图像进行初始化变换区域提取，并修正初始变化图，生成最终准确度更高的变化图像。
13.作为一种优选的技术方案，步骤s1中，预处理包括摄像机检校、视频关键帧提取和/或视频关键帧gps插值。
14.作为一种优选的技术方案，步骤s1中，进行视频关键帧提取和/或视频关键帧gps插值时，关键帧自动提取时间间隔为：
[0015][0016]
其中，
[0017][0018][0019][0020]
y＝h[cot(tan-1
(2h/f) θ) cot(tan-1
(2h/f)-θ)]；
[0021]
t表示自动提取关键帧时间间隔，xn表示帧幅下宽，y表示帧幅高，d
x
表示在t时间间隔后摄像机在x方向上重叠度，dy表示在t时间间隔后摄像机在y方向上重叠度，υ表示某时刻无人机速度，h表示某时刻无人机航高，ω表示摄像机传感器宽，h表示摄像机传感器高，f表示摄像机传感器焦距，θ表示摄像机倾斜拍摄时的拍摄方向与水平面夹角。
[0022]
作为一种优选的技术方案，步骤s2包括以下步骤：
[0023]
s21，a-kaze特征点提取：首先，利用非线性扩散滤波和快速显式扩散fed算法构建图像金字塔；其次，在非线性尺度空间寻找经尺度归一化后的3
×
3邻域hessian矩阵行列式极值，得到图像特征点坐标；再次，基于特征点圆形区域所有邻近点的一阶微分值确定该特征点主方向；最后，将特征点邻域图像旋转到主方向，采用改进的局部差分二进制描述子m-ldb生成图像特征向量；
[0024]
s22，特征点匹配：首先，利用海明距离定义两个a-kaze特征描述符间的相似度；然后，利用双向k近邻分类knn算法查找特征点的初始匹配点；最后，采用随机抽样一致算法ransac对匹配点对进行筛选，去除误匹配对；
[0025]
s23，图像拼接和全景图生成：针对接收参考视频进行预处理，提取视频关键帧并记录每个关键帧gps信息，将关键帧f2到关键帧fk逐一变换到全景图空间；设参考视频关键帧集合为k为参考视频抽取关键帧的总帧数，k为当前关键帧帧序号；设定关键帧f1为全景图空间；选择具有适应平移、旋转、缩放功能的仿射变换模型m作为图像坐标变换矩阵，仿射变换参数为m
0-m5，图像坐标变换表示为：
[0026][0027]
式中，(x,y)和(x',y')分别表示全景图像和待拼接图像中的像素点坐标。
[0028]
作为一种优选的技术方案，步骤s23包括以下步骤：
[0029]
s231，基于仿射变换模型m，将参考视频中第j帧图像到i帧图像的仿射变换模型定义为m
i,j
。对于待拼接关键帧f2，提取关键帧f2和关键帧f1重叠区域a-kaze特征点，计算大于3对匹配点的匹配点集match2和match1，并采用最小二乘法得到关键帧f2到关键帧f1的图像变换矩阵m
1,2
；
[0030]
s232，对于k》2的待拼接关键帧fk，提取关键帧fk和关键帧f
k-1
重叠区域a-kaze特征点，计算大于3对匹配点的匹配点集matchk和match
k-1
，利用变换矩阵m
1,k-1
将关键帧f
k-1
中匹配点集match
k-1
投影到全景图空间，得到关键帧帧f
k-1
在全景图空间下的匹配点集match
k-1
'，基于匹配点集match
k-1
'和matchk，利用最小二乘法计算得到帧fk到全景图空间的变换矩阵m
1,k
；
[0031]
s233，利用图像变换矩阵m
1,k
和双线性插值方法将关键帧fk变换到全景图空间，并利用图像融合技术进行拼缝处理，生成最终的全景图。
[0032]
作为一种优选的技术方案，步骤s3包括以下步骤：
[0033]
s31，基于gps的检测帧快速粗定位：对接收检测视频进行预处理，提取要执行变化检测的图像帧及其gps信息，通过将检测帧gps信息与全景参考图中记录的各关键帧gps信息对比，在全景图中找到最接近的4个相邻关键帧区域，并将此区域作为变化检测的初始参考图区域；
[0034]
s32，基于a-kaze特征的精确配准：首先，通过步骤s2中a-kaze特征点提取、a-kaze特征点匹配、检测图像变换到参考图空间三步完成检测图像与粗定位参考图区域的精确配准；然后，分别在配准后检测图像和全景参考图像中提取相同位置和大小的图像区域t和图像区域r，其中，t和r分别作为步骤s4中变化检测输入的测试图像和参考图像。
[0035]
作为一种优选的技术方案，步骤s32包括以下步骤：
[0036]
s321，将参考图像r和测试图像t进行rgb图像到灰度图像的转换，得到对应灰度参考图r
gray
和灰度测试图t
gray
；
[0037]
s322，基于灰度参考图r
gray
和灰度测试图t
gray
对应位置灰度值生成差异图像，利用差异值判断每个像素位置变化情况和大小为n
×
n的邻域窗口，以低通滤波方式分别计算灰度参考图r
gray
到灰度检测图t
gray
的差异图dr，灰度检测图t
gray
到灰度参考图r
gray
的差异图d
t
，其中，差异图dr和d
t
在(i,j)位置差异值的计算公式为：
[0038][0039][0040]
其中，1≤i≤h，l≤j≤w，(i,j)表示像素位置，dr(i，j)表示dr在(i,j)位置的差异值，d
t
(i，j)表示d
t
在(i,j)位置的差异值，n表示邻域窗口大小，δi表示位置坐标i在n邻域的偏移，δj表示位置坐标j在n邻域的偏移；
[0041]
然后，基于差异图像dr、差异图d
t
以及划分阈值δ
diff
，计算初始变化图像d，
[0042][0043]
其中，d(i,j)表示初始变化图像d中(i,j)位置的变化值,0表示该位置未变化，1表示该位置变化，δ
diff
∈[0,50]，δ
diff
取值依据图像光照差异程度。
[0044]
作为一种优选的技术方案，步骤s4中，基于rgb-lbp特征比对验证初始变化图像d中值为1的像素位置，对于初始变化图像d值为1的位置(i,j)，利用rgb-lbp特征比对进行确认，如果两次均检测为变化，则该位置设定为变化，否则为未变化。
[0045]
作为一种优选的技术方案，步骤s4包括以下步骤：
[0046]
s41，在参考图像r和检测图像t的3个颜色通道分别计算以位置(i,j)为中心，15
×
15邻域内每个点的8位二进制编码lbp特征，并将最终lbp特征按位置和通道进行串接，构成参考图像r和检测图像t在(i,j)位置的lbp特征sr(i,j)和s
t
(i,j)；其中，任意位置lbp特征计算方法为：在以该位置为中心的3
×
3邻域内，从左上角开始，顺时针对8个相邻位置进行0/1编码，如果灰度值比中心位置低，则该点编码为0,否则为1；
[0047]
s42，计算参考图像r和检测图像t在(i,j)位置的lbp特征sr和s
t
的海明距离d
rt
(i,j)；
[0048]
s43，基于海明距离判断像素位置(i,j)是否发生变化，判断方法为：如果海明距离d
rt
(i,j)满足d
rt
(i,j)》δh×
|sr(i,j)|，则(i,j)位置发生变化，初始变化图像中d(i,j)值保持1不变；否则，(i,j)位置未发生变化，将初始变化图像中d(i,j)的值由1修改为0；其中，|sr|表示二进制特征串的长度,δh表示判断阈值。
[0049]
一种航拍视频图像实时变化检测系统，基于所述的一种航拍视频图像实时变化检测方法，包括依次电相连的以下模块：
[0050]
视频数据预处理模块：用以，对拍摄的参考视频和检测视频进行预处理；
[0051]
全景参考图生成模块：用以，将参考视频的图像拼接生成全景参考图；
[0052]
配准模块：用以，进行检测视频的图像帧与全景参考图的配准；
[0053]
变化区域检测模块：用以，对配准后的检测视频的图像帧和参考图像进行初始化变换区域提取，并修正初始变化图，生成最终准确度更高的变化图像。
[0054]
本发明相比于现有技术，具有以下有益效果：
[0055]
(1)本发明检测速度快。本发明结合视频关键帧提取和基于图像拼接技术，以不同于传统逐帧处理的视频图像变化检测方法，将参考视频转换为参考全景图，这样不仅解决了单帧视野小、视频相邻帧覆盖区域重叠度高等问题，且保证在图像信息不丢失的前提下，极大减少视频图像变化检测中需处理图像帧的数目。在检测帧与全景参考图配准过程中，结合gps粗定位和a-kaze特征匹配技术，通过前者快速确定检测帧在全景参考图中的位置范围和后者实现检测帧和全景参考图的精确配准，相比传统基于尺度不变特征转换sift(scale-invariant feature transform)特征匹配的图像配准方法，在配准速度和配准精度上均有明显提升。
[0056]
(2)检测准确率高。本发明针对无人机低空航拍视频数据的特性，通过全景参考图生成、基于gps粗定位和a-kaze特征点匹配的层次图像配准，有效提高了待检测帧与全景参考的图配准精度(1个像素以内)，减少了配准误差对变化检测准确率的影响。通过图像去噪、图像增强、低通滤波差异图像生成、基于rgb-lbp特征比较的变化信息检测、基于形态学处理和灰度直方图特征比较的变化信息验证等手段，去除了大量噪声、误检测和无关变化信息(如水面波纹、树叶舞动等)，提高了变化检测的准确率。
附图说明
[0057]
图1是本发明所述的一种航拍视频图像实时变化检测方法的步骤示意图；
[0058]
图2是本发明所述的一种航拍视频图像实时变化检测方法的流程图；
[0059]
图3是图2中参考视频生成全景图像流程图；
[0060]
图4是图2中检测视频和全景图像变化检测(包括配准过程)的流程图。
具体实施方式
[0061]
下面结合实施例及附图，对本发明作进一步的详细说明，但本发明的实施方式不限于此。
[0062]
实施例1
[0063]
如图1至图4所示，为实现上述目的，本发明采用以下技术方案，一种航拍视频图像实时变化检测方法，包括如下步骤：
[0064]
(1)视频数据预处理：在视频数据采集过程中，对拍摄的参考视频和检测视频进行预处理，主要包括对摄像机的检校、视频关键帧提取和关键帧全球定位系统gps(global positioning system)插值。
[0065]
(2)参考视频拼接生成全景参考图：在将参考视频图像拼接生成全景参考图的过
程中，提取参考视频中的关键帧，并在相邻关键帧的重叠区域中提取出a-kaze特征点；通过特征点匹配计算图像变换矩阵，基于变换矩阵将所提取关键帧变换到全景参考图空间，将参考视频转换为参考全景图。
[0066]
(3)检测视频帧与全景参考图配准：在检测视频与全景参考图配准过程中，通过人工选定或自动提取方法找到检测视频中需要关注的帧；利用待检测帧和全参考景图gps信息，快速实现检测帧在参考全景图中的粗定位；基于粗定位结果，利用图像a-kaze特征点匹配方法进行检测帧与全景参考图的精确配准。
[0067]
(4)变化区域检测：在执行变化检测过程中，对配准后两幅图像进行去噪、直方图均衡化操作，以去除噪声、光照和不相关变化的影响；通过低通滤波方式生成初始变化图像，有效去除生成变化图像视差和配准误差的影响；基于图像形态学处理、图像局部二进制模式rgb-lbp(rgb-local binary pattern)特征比较和区域面积及灰度柱状图比较，对变化图中变化位置进行验证，修正初始变化图，生成最终准确度更高的变化图像。
[0068]
优选的，对摄像机检校之前，确认摄像机的机械结构坚固稳定，利用室外检校场进行摄影机的几何标定，通过人工设定同名点，基于最小二乘平差理论，利用光束法区域网平差模型对获取的检校场数据和高精度控制点数据进行区域网空中三角测量，解求出所需的摄像机几何检校参数、像片内方位元素、径向畸变系数、切向畸变系数、电荷耦合器件ccd非正方形比例系数以及ccd非正交性的畸变系数。
[0069]
优选的，在视频关键帧提取中，针对接收到的视频，基于无人机航迹数据，在给定重叠度推导自动提取关键帧时间间隔的公式，自动提取关键帧时间间隔推导出：
[0070]
帧幅下宽：
[0071]
帧幅上宽：
[0072]
帧幅高：y＝h[cot(tan-1
(2h/f) θ) cot(tan-1
(2h/f)-θ)]
[0073]
其中，h为某时刻无人机的航高(单位：m)，ω、h、f分别为采用摄像机传感器的宽、高、焦距(单位：mm)，θ为倾斜拍摄摄像机与水平面的夹角。
[0074]
优选的，为保证x方向的重叠度，在t秒后摄像机在x方向上重叠度为：在y方向上重叠度在保证x方向和y方向上重叠度的情况下，关键帧自动提取时间间隔为：
[0075][0076]
其中，h为某时刻t无人机航高，υ为速度，ω为摄像机传感器宽、h为高、f为焦距，θ倾斜拍摄摄像机与水平面夹角。
[0077]
优选的，在视频关键帧gps插值中，针对选取的关键帧，记录每个关键帧所对应的位置信息，该位置信息由无人机搭载的gps导航仪提供，如果gps信息不连续，利用牛顿插值法进行gps插值，使gps信息和提取的关键帧一一对应。
[0078]
优选的，在a-kaze特征点提取中，从两幅有重叠的相邻关键帧中分别提取a-kaze图像特征，利用非线性扩散滤波和快速显式扩散fed算法构建图像金字塔；然后在非线性尺度空间寻找经尺度归一化后的3
×
3邻域hessian矩阵行列式极值，得到图像特征点坐标；再基于特征点圆形区域所有邻近点的一阶微分值确定该特征点主方向；最后将特征点邻域图像旋转到主方向，采用改进的局部差分二进制描述子m-ldb生成图像特征向量；在a-kaze特征点匹配中，将两幅重叠关键帧中提取的特征点进行匹配，利用海明距离定义两个a-kaze特征描述符间的相似度；然后，利用双向k近邻分类knn算法查找特征点的初始匹配点；最后，采用随机抽样一致算法ransac对匹配点对进行筛选，去除误匹配对。
[0079]
优选的，在图像拼接及全景图生成时，针对接收参考视频进行预处理，提取视频关键帧并记录每个关键帧gps信息，参考视频关键帧集合为设定关键帧f1为全景图空间，将关键f2到关键帧fk逐一变换到全景图空间，选择具有适应平移、旋转、缩放功能的仿射变换模型m作为图像坐标变换矩阵，将图像坐标变换表示为：
[0080][0081]
其中，k为参考视频抽取关键帧的总帧数，k为当前关键帧帧序号，(x,y)和(x',y')分别表示全景图像和待拼接图像中的像素点坐标，m
0-m5为仿射变换参数。
[0082]
优选的，基于仿射变换模型m，将参考视频中第j帧图像到i帧图像的仿射变换模型定义为m
i,j
，在关键帧拼接过程中，首先，对于待拼接关键帧，提取关键帧f2和关键帧f1重叠区域a-kaze特征点，计算多于3对的匹配点集match2和match1，采用最小二乘法得到帧f2到全景图空间帧f1的图像变换矩阵m
1,2
；然后，对于k》2的待拼接关键帧fk，提取关键帧fk和关键帧f
k-1
重叠区域a-kaze特征点，计算出多于3对的匹配点集matchk和match
k-1
，利用变换矩阵m
1,k-1
将关键帧f
k-1
中匹配点集match
k-1
投影到全景图空间，得到关键帧帧f
k-1
在全景图空间下的匹配点集match
k-1
'，基于匹配点集match
k-1
'和matchk，利用最小二乘法计算得到帧fk到全景图空间的变换矩阵m
1,k
；最后，利用图像变换矩阵m
1,k
和双线性插值方法将关键帧fk变换到全景图空间，并利用图像融合技术进行拼缝处理，生成最终的全景图。
[0083]
优选的，检测帧与全参考景图配准包括基于gps的快速粗定位和基于a-kaze特征的精确配准，在基于gps的检测帧快速粗定位时，对接收检测视频进行预处理，提取执行变化检测的图像帧及其gps信息，将检测帧gps信息与全景参考图中记录的各关键帧gps信息对比，在全景图中找到最接近的4个相邻关键帧区域，并将此区域作为变化检测的初始参考图区域；在基于a-kaze特征的精确配准时，进行a-kaze特征点提取、a-kaze特征点匹配、检测图像变换到参考图空间三步完成检测图像与粗定位参考图区域的精确配准；然后，分别在配准后检测图像和全景参考图像中提取相同位置和大小的图像区域t和图像区域r，其中，t和r分别作为变化检测输入的测试图像和参考图像。
[0084]
优选的，在变化检测执行过程中，首先将参考图r和测试图t进行rgb图像到灰度图
像的转换，得到对应灰度参考图r
gray
和灰度测试图t
gray
；然后，基于灰度参考图r
gray
和灰度测试图t
gray
对应位置灰度值生成差异图像，利用差异值判断每个像素位置变化情况和大小为n
×
n的邻域窗口，以低通滤波方式分别计算灰度参考图r
gray
到灰度检测图t
gray
的差异图dr，灰度检测图t
gray
到灰度参考图r
gray
的差异图d
t
，其中，差异图dr和d
t
在(i,j)位置差异值的计算公式为：
[0085][0086][0087]
其中，(i,j)表示像素位置，n表示邻域窗口大小，δi表示位置坐标i在n邻域的偏移，δj表示位置坐标j在n邻域的偏移。最后，基于差异图像dr、差异图d
t
以及划分阈值δ
diff
，计算初始变化图像d，d(i,j)表示变化图中(i,j)位置的变化值:
[0088][0089]
其中，0表示该位置未变化，1表示该位置变化，δ
diff
∈[0,50]，取值依据图像光照差异程度。
[0090]
优选的，基于rgb-lbp特征比对验证初始变化图像d中值为1的像素位置，对于初始变化图像d值为1的位置(i,j)，利用rgb-lbp特征比对进行确认，如果两次均检测为变化，则该位置设定为变化，否则为未变化；首先，在参考图r和检测图t的3个颜色通道分别计算以位置(i,j)为中心，15
×
15邻域内每个点的8位二进制编码lbp特征，并将最终lbp特征按位置和通道进行串接，构成参考图r和测试图t在(i,j)位置的lbp特征sr(i,j)和s
t
(i,j)。其中，任意位置lbp特征计算方法为：在以该位置为中心的3
×
3邻域内，从左上角开始，顺时针对8个相邻位置进行0/1编码，如果灰度值比中心位置低，则该点编码为0,否则为1；然后，计算参考图r和测试图t在(i,j)位置的lbp特征sr和s
t
的海明距离d
rt
(i,j)；最后，基于海明距离判断像素位置(i,j)是否发生变化，判断方法为：如果海明距离d
rt
(i,j)满足d
rt
(i,j)》δh×
|sr(i,j)|，则(i,j)位置发生变化，初始变化图像中d(i,j)值保持1不变，否则，(i,j)位置未发生变化，将初始变化图像中d(i,j)的值由1修改为0。其中，|sr|表示二进制特征串的长度,δh为判断阈值。
[0091]
本发明涉及一种广泛应用于安全防范、智能交通、搜索救援等视频监控领域的航拍视频图像变化检测配准方法，尤其是应用于低空小型无人机智能视频监控领域的视频图像实时变化检测方法。
[0092]
本发明以航拍视频图像变化检测应用为基础，尤其适合低空无人机短时间间隔(几十分钟或几个小时)内近下视拍摄的两段观测视频中，自动发现前后两段视频中地物或现象变化信息，主要包括人、车辆、建筑、公共设施等目标的消失、出现或部分损坏。
[0093]
本发明相比于现有技术具有如下有益效果：
[0094]
(1)检测速度快。本发明结合视频关键帧提取和基于图像拼接技术，以不同于传统逐帧处理的视频图像变化检测方法，将参考视频转换为参考全景图，这样不仅解决了单帧视野小、视频相邻帧覆盖区域重叠度高等问题，且保证在图像信息不丢失的前提下，极大减少视频图像变化检测中需处理图像帧的数目。在检测帧与全景参考图配准过程中，结合gps粗定位和a-kaze特征匹配技术，通过前者快速确定检测帧在全景参考图中的位置范围和后
者实现检测帧和全景参考图的精确配准，相比传统基于尺度不变特征转换sift(scale-invariant feature transform)特征匹配的图像配准方法，在配准速度和配准精度上均有明显提升。
[0095]
(2)检测准确率高。本发明针对无人机低空航拍视频数据的特性，通过全景参考图生成、基于gps粗定位和a-kaze特征点匹配的层次图像配准，有效提高了待检测帧与全景参考的图配准精度(1个像素以内)，减少了配准误差对变化检测准确率的影响。通过图像去噪、图像增强、低通滤波差异图像生成、基于rgb-lbp特征比较的变化信息检测、基于形态学处理和灰度直方图特征比较的变化信息验证等手段，去除了大量噪声、误检测和无关变化信息(如水面波纹、树叶舞动等)，提高了变化检测的准确率。
[0096]
本发明为了解决视频数据量大、视频单帧视野小、相邻帧覆盖区域重叠度高等问题，提出一种结合视频关键帧提取和图像拼接的全景参考图生成技术，在不丢失视频数据信息的前提下，快速实现了视频变化检测到图像变化检测的转换。为了提高对小尺度变化信息的检测率，减小复杂背景对检测结果的影响，基于低通滤波的初始变化图像生成方法，并利用两种不同特征比对方法对变化信息进行验证。此外，图像去噪、图像增强、形态学处理等手段在图像预处理和检测结果后处理过程中的应用也极大提高检测准确率和在复杂背景中的鲁棒性。
[0097]
本发明克服了现有变化检测技术在航拍视频数据上应用存在的弊端，尤其适用于快速准确发现一定时间间隔内无人机平台拍摄两段视频中人、车辆、建筑、公共设施等目标状态变化情况，在场景监视、目标搜查等领域有着广泛的应用前景。
[0098]
实施例2
[0099]
如图1至图4所示，作为实施例1的进一步优化，本实施例包括以下技术特征：
[0100]
根据本发明，(1)视频数据预处理：在视频数据采集过程中，对拍摄的参考视频和检测视频进行预处理，主要包括对摄像机的检校、视频关键帧提取和关键帧全球定位系统gps(global positioning system)插值。
[0101]
(2)参考视频拼接生成全景参考图：在将参考视频图像拼接生成全景参考图的过程中，提取参考视频中的关键帧，并在相邻关键帧的重叠区域中提取出a-kaze特征点；通过特征点匹配计算图像变换矩阵，基于变换矩阵将所提取关键帧变换到全景参考图空间，将参考视频转换为参考全景图。
[0102]
(3)检测视频帧与全景参考图配准：在检测视频与全景参考图配准过程中，通过人工选定或自动提取方法找到检测视频中需要关注的帧；利用待检测帧和全参考景图gps信息，快速实现检测帧在参考全景图中的粗定位；基于粗定位结果，利用图像a-kaze特征检测算法中的特征点匹配方法进行检测帧与全景参考图的精确配准。kaze是在非线性尺度空间中进行的一种新型的多尺度2d特征检测和描述算法。
[0103]
(4)变化区域检测：在执行变化检测过程中，对配准后两幅图像进行去噪、直方图均衡化操作，以去除噪声、光照和不相关变化的影响；通过低通滤波方式生成初始变化图像，有效去除生成变化图像视差和配准误差的影响；基于图像形态学处理、图像局部二进制模式rgb-lbp(rgb-local binary pattern)特征比较和区域面积及灰度柱状图比较，对变化图中变化位置进行验证，修正初始变化图，生成最终准确度更高的变化图像。
[0104]
为实时、准确对无人机低空航拍视频图像进行变化检测，仍然采用视频数据预处
理、参考视频拼接生成全景图、检测视频帧与全景参考图配准、变化区域检测四大步骤。在无人机视频数据预处理、参考视频拼接生成全景参考图像、检测视频帧与全景参考图配准和变化检测中，采用具体实施方式如下：。
[0105]
(1)无人机视频数据预处理，主要包括摄像机检校、视频关键帧提取和gps插值；
[0106]
(2)参考视频拼接生成全景参考图。视频图像数据量大，相邻帧之间图像内容重复度高，且单帧图像覆盖范围有限，不宜作为变化检测参考图像，故需对参考视频提取关键帧，并基于关键帧相邻关系进行图像匹配，并映射到标准坐标空间生成变化检测所需要的全景图；
[0107]
(3)检测航拍视频帧与全景参考图配准或对齐；变化检测的前提是将两幅包含相同区域的图像进行精确配准，对于视频变化检测，首先，通过人工选定或自动提取方法找到检测视频中需要处理的帧；然后，找到全景参考图像和待检测图像中相同的覆盖区域，并将两幅图像配准，由于全景图覆盖范围大，直接配准不能满足实时性要求，故利用gps信息快速实现检测帧在全景参考图中的粗定位，最后基于图像特征点匹配方法进行检测帧与参考图的精确配准；
[0108]
(4)航拍检测视频帧与参考视频全景图精确配准后，变化检测可自动发现相同覆盖区域前后两次拍摄中人、车辆、建筑、公共设施等目标的消失、出现、损坏等变化情况。本发明中变化检测方法首先利用去噪、直方图均衡化等手段去除噪声、光照和不相关变化的影响；其次，用低通滤波方式生成变化图，去除视差和配准误差的影响；再次，利用rgb-lbp特征比较方法，计算出每个位置的变化信息；最后，利用形态学操作、区域面积和灰度柱状图比对等手段对每个位置的变化信息进行验证，并输出最终变化图像。
[0109]
在无人机视频数据预处理包括摄像机检校、视频关键帧提取和gps插值中：
[0110]
(a)摄像机检校。摄像机检校是后续工作的前提，在对摄像机检校之前，首先应确认摄像机的机械结构坚固稳定，不存在晃动，同时要保证其光学结构和电子结构同样可靠稳定；然后，利用室外检校场进行摄影机的几何标定，具体过程为：通过人工设定同名点，基于最小二乘平差理论，利用光束法区域网平差模型对获取的检校场数据和高精度控制点数据进行区域网空中三角测量，解求出所需的摄像机几何检校参数，即像片内方位元素、径向畸变系数、切向畸变系数、电荷耦合器件ccd(charge coupled device)非正方形比例系数以及ccd非正交性的畸变系数。
[0111]
(b)在视频关键帧提取及gps插值中，针对接收到的视频，由于数据量大，且视频相邻帧信息重复率高，关键帧选取是视频变化检测的关键。基于无人机航迹数据，在给定重叠度下可推导自动提取关键帧时间间隔的公式。假设某时刻无人机航高h(单位：m)，速度为υ(单位：m/s)，采用摄像机传感器宽、高、焦距分别为ω、h、f(单位：mm)。考虑倾斜拍摄(摄像机与水平面夹角为θ，拍摄图像覆盖地面实际宽度呈现下窄上宽)影响，自动提取关键帧时间间隔推导如下：
[0112]
帧幅下宽：
[0113]
帧幅上宽：
[0114]
帧幅高：y＝h[cot(tan-1
(2h/f) θ) cot(tan-1
(2h/f)-θ)]
[0115]
为保证x方向的重叠度，在t秒后摄像机在x方向上重叠度为：在y方向上重叠度为：在保证x方向和y方向上重叠度的情况下，关键帧自动提取时间间隔为：
[0116]
此外，针对选取的关键帧，需记录每个关键帧所对应的位置信息，该位置信息由无人机搭载的gps导航仪提供。如果gps信息不连续，可利用牛顿插值法进行gps插值，使得gps信息和提取的关键帧一一对应。
[0117]
参阅图2。参考视频拼接生成全景图包括a-kaze特征点提取、特征点匹配、图像拼接和全景图生成：
[0118]
(a)a-kaze特征点提取。从两幅有重叠的相邻关键帧中分别提取a-kaze图像特征，主要流程如下：首先，利用非线性扩散滤波和快速显式扩散fed(fast explicit diffusion)算法构建图像金字塔；其次，在非线性尺度空间寻找经尺度归一化后的3
×
3邻域hessian矩阵行列式极值，得到图像特征点坐标；再次，基于特征点圆形区域所有邻近点的一阶微分值确定该特征点主方向；最后，将特征点邻域图像旋转到主方向，采用改进的局部差分二进制描述子m-ldb(modified-local difference binary)生成图像特征向量；
[0119]
(b)在a-kaze特征点匹配中，将两幅重叠关键帧中提取的特征点进行匹配，主要流程如下：首先，利用海明距离定义两个a-kaze特征描述符间的相似度；然后，利用双向k近邻分类knn算法查找特征点的初始匹配点；最后，采用随机抽样一致算法ransac对匹配点对进行筛选，去除误匹配对；
[0120]
(c)在图像拼接及全景图生成时：针对接收参考视频进行预处理，提取视频关键帧并记录每个关键帧gps信息，参考视频关键帧集合为k为参考视频抽取关键帧的总帧数，k为当前关键帧帧序号。设定关键帧f1[0121][0122]
为全景图空间，视频拼接就是要将关键f2到关键帧fk逐一变换到全景图空间。选择具有适应平移、旋转、缩放功能的仿射变换模型m作为图像坐标变换矩阵，仿射变换参数为m
0-m5，图像坐标变换表示为：
[0123]
式中(x,y)和(x',y')分别表示全景图像和待拼接图像中的像素点坐标。关键帧拼接具体流程如下：首先，对于待拼接关键帧f2，提取关键帧f2和关键帧f1重叠区域a-kaze特征点，计算大于3对匹配点的匹配点集match2和match1，并采用最小二乘法得到帧f2到帧f1(全景图空间)的图像变换矩阵m
1,2
；然后，对于k》2的待拼接关键帧fk，提取关键帧fk和关键帧f
k-1
重叠区域a-kaze特征点，计算大于3对匹配点的匹配点集matchk和match
k-1
，利用变换矩阵m
1,k-1
将关键帧f
k-1
中匹配点集match
k-1
投影到全景图空间，得到关键帧帧f
k-1
在全景图空间下的匹配点集match
k-1
'，基于匹配点集matchk-1
'和matchk，利用最小二乘法计算得到
帧fk到全景图空间的变换矩阵m
1,k
；最后，利用图像变换矩阵m
1,k
和双线性插值方法将关键帧fk变换到全景图空间，并利用图像融合技术进行拼缝处理，生成最终的全景图。
[0124]
检测帧与全参考景图配准包括基于gps的快速粗定位和基于a-kaze特征的精确配准：
[0125]
(a)基于gps的检测帧快速粗定位。对接收检测视频进行预处理，提取要执行变化检测的图像帧(人工或自动)及其gps信息，通过将检测帧gps信息与全景参考图中记录的各关键帧gps信息对比，在全景图中找到最接近的4个相邻关键帧区域，并将此区域作为变化检测的初始参考图区域；
[0126]
(b)基于a-kaze特征的精确配准。首先，通过步骤(2)中a-kaze特征点提取、a-kaze特征点匹配、检测图像变换到参考图空间三步完成检测图像与粗定位参考图区域的精确配准；然后，分别在配准后检测图像和全景参考图像中提取相同位置和大小(宽为w，高为h)的图像区域t和图像区域r，其中，t和r分别作为步骤(4)中变化检测输入的测试图像和参考图像。
[0127]
参阅图3。对输入的测试图像t和参考图像r，变化检测执行主要包括图像预处理、基于低通滤波的变化图生成、基于rgb-lbp特征的变化验证和检测结果后处理等步骤，具体实施方式如下：
[0128]
(a)图像预处理。首先，为去除细节(如水面波纹、树叶舞动等)和噪声对变化检测结果的影响,需对参考图r和检测图t进行高斯滤波，利用一个2维高斯卷积核对图像模糊化，对于rgb图像，可分别对三个通道图像进行高斯滤波；然后，利用直方图均衡化方法使得参考图r和检测图t对比度增加，细节变得更加，同时可以减小两幅图像光照差异带来的影响；
[0129]
(b)初始变化图像生成。在变化检测执行过程中，首先将参考图r和检测图t进行rgb图像到灰度图像的转换，得到对应灰度参考图r
gray
和灰度测试图t
gray
；然后，基于灰度参考图r
gray
和灰度测试图t
gray
对应位置灰度值生成差异图像，并利用差异值判断每个像素位置变化情况，具体流程为：
①
为了克服光照、噪声、视差及配准误差的影响，利用大小为n
×
n(n∈{7,9,11})邻域窗口，以低通滤波方式分别计算灰度参考图r
gray
到灰度检测图t
gray
的差异图dr，灰度检测图t
gray
到灰度参考图r
gray
的差异图d
t
，计算公式为：
[0130][0131][0132]
其中，(i,j)表示像素位置，n表示邻域窗口大小，δi表示位置坐标i在n邻域的偏移，δj表示位置坐标j在n邻域的偏移。
[0133]
②
基于差异图像dr、差异图d
t
以及划分阈值δ
diff
，计算初始变化图像d，d(i,j)表示变化图中(i,j)位置的变化值:
[0134][0135]
其中，0表示该位置未变化，1表示该位置变化，δ
diff
∈[0,50]，δ
diff
取值依据图像光照差异程度。
[0136]
(c)基于rgb-lbp特征比对验证初始变化图像d中值为1的像素位置。对于初始变化图像d值为1的位置(i,j)，利用rgb-lbp特征比对进行确认，如果两次均检测为变化，则该位置设定为变化，否则为未变化，具体计算流程为：首先，在参考图r和检测图t的3个颜色通道分别计算以位置(i,j)为中心，15
×
15邻域内每个点的lbp特征(8位二进制编码)，并将最终lbp特征按位置和通道进行串接，构成参考图r和测试图t在(i,j)位置的lbp特征sr(i,j)和s
t
(i,j)。任意位置lbp特征计算方法为：在以该位置为中心的3
×
3邻域内，从左上角开始，顺时针对8个相邻位置进行0/1编码，如果灰度值比中心位置低，则该点编码为0,否则为1；然后，计算参考图r和测试图t在(i,j)位置的lbp特征sr和s
t
的海明距离d
rt
(i,j)；最后，基于海明距离判断像素位置(i,j)是否发生变化，判断方法为：如果海明距离d
rt
(i,j)满足d
rt
(i,j)》δh×
|sr(i,j)|，则(i,j)位置发生变化，初始变化图像中d(i,j)值保持1不变，否则，(i,j)位置未发生变化，将初始变化图像中d(i,j)的值由1修改为0。其中，|sr|表示二进制特征串的长度,δh为判断阈值，一般取0.3；
[0137]
(d)变化图像后处理。为了有效剔除误报，需对验证后变化图像进行后处理，操作流程如下：首先，利用形态学开运算去除孤立变化位置，并将验证后变化图d中对应区域设置为未变化；然后，计算每个变化区域的像素面积，根据图像分辨率和最小关注目标大小，确定最小变化区域面积δa，并将验证后变化图像d中面积小于δa的区域设置为未变化；最后，对验证后变化图像d中每个变化区域a
p
，找到其最小外接矩形区域b
p
，在灰度参考图r
gray
和灰度测试图t
gray
中提取b
p
对应图像区域和并计算区域的灰度直方图特征和区域的灰度直方图特征和的距离计算方式如下：
[0138][0139]
其中，β为灰度直方图特征维数，和代表特征的平均值，q表示直方图第q维的值。当小于0.35时，d中变化区域a
p
设置为未变化，否则不变。
[0140]
为了方便显示，将变化图d中未变化位置像素值设为0(黑色)，变化位置像素值设置为255(白色)。至此，无人机视频变化检测完成。
[0141]
如上所述，可较好地实现本发明。
[0142]
本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。
[0143]
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。