一种基于分块kalman运动预测的电子稳像方法与流程

本发明涉及一种基于分块kalman运动预测的电子稳像方法，属于图像处理技术领域。

背景技术

电子稳像技术(Electronic Image Stabilizing Technology,EIST)是指由于相机的载体在拍摄时不可避免的出现会震动、抖动等不规则运动，使得观测的图像序列出现不稳定现象，最终输出到显示器上的视频即为抖动模糊的画面。例如民用领域的航测系统、监视系统、摄像系统，及军事应用中的监视与侦察系统、导航系统、制导系统等，均存在由于相机载体的不确定抖动引起的视频不稳情况。此外在某些使用场景下，由于系统的工作环境不理想，相机载体抖动较大，导致采集到的视频出现不规则抖动、成像质量下降的问题，对主观观察、计算机处理等需要获取信息或判断的视觉应用产生不利影响，增加了图像处理的难度，给军事侦察、识别、监控等应用的后续处理造成很大困难。

技术实现要素：

本发明要解决的技术问题是：克服现有技术的不足，提供了一种基于分块kalman运动预测的电子稳像方法，特别是对视频流的每幅图像都进行了分块，并计算相邻帧间图像每一块的仿射变换矩阵，再通过kalman滤波进行局部运动估计，去除视频流中不规则的抖动、保留相机的扫描运动，进行局部运动补偿，最后对补偿后的图像进行全局优化，完成电子稳像。

本发明目的通过以下技术方案予以实现：

一种基于分块kalman运动预测的电子稳像方法，包括如下步骤：

将输入的每一帧图像分为若干个子块；

对参考帧和目标帧，提取块间特征点并进行匹配；

计算块间仿射矩阵；

用kalman滤波进行运动估计，然后进行运动补偿；

进行全局优化和图像融合，从而减少运动补偿产生的图像空白区域。

优选的，每一帧图像按比例分为若干个大小为M*N的子块。

优选的，对参考帧和目标帧，分别检测每个子块的Harris角点，然后对两个角点集进行匹配得到坐标对应，用Ransac算法去除误匹配点提高匹配精度，将坐标代入仿射运动变换模型，求解仿射矩阵得到局部运动矢量。

优选的，设定kalman状态方程和观测方程，将所要预测的运动状态带入，进行预测和更新后得到运动估计值，与初始的运动状态进行比较，得到运动补偿量对子块进行补偿。

优选的，Harris角点检测算法用微分算子进行移动，通过Taylor级数展开，引入了高斯平滑因子，增强了抗噪性；采用相似性度量对帧间图像中的角点进行匹配；采用随机采样一致算法去除误匹配点对。

优选的，采用相似性度量对帧间图像中的角点进行匹配，匹配准则为：

其中，为两幅图像中角点p、q匹配值，I1,I2为待匹配的两幅图像，(p,q)为两幅图像中的角点坐标，图像I1中的角点坐标为(px,py)，图像I2中的角点坐标为(qx,qy)，μ1、σ1和μ2、σ2为对应两幅图像上角点周围半径为D的方形区域内像素的均值和方差，(x,y)为图像像素坐标点。

优选的，设定的kalman运动状态方程和测量方程为：

xk＝Axk-1 Buk fk

Zk＝Hxk vk

其中，xk为k时刻的系统状态矩阵，Zk为k时刻状态阵的观测量，A为状态转移矩阵，B为控制输入矩阵，xk-1为k-1时刻的系统状态矩阵，uk为控制k时刻的输入矩阵，fk为k时刻的过程噪声，其符合均值为零，协方差矩阵为Qk，H为状态观测矩阵，vk为k时刻的测量噪声，其均值为零，协方差矩阵为Rk；

状态预测方程为：

其中，为k时刻的状态预测值，也称先验状态估计值，为k时刻的状态估计协方差，为k-1时刻的状态预测值，Pk-1为k-1时刻的状态估计协方差。

状态更新方程为：

其中，KK为k时刻的最优kalman增益，H^T为状态观测矩阵H的转置，为k时刻的状态估计，Pk为k时刻更新后的误差协方差估计值，I为状态矩阵维数相同的单位矩阵。

本发明相比于现有技术具有如下有益效果：

本发明的优点在于，对图像进行分块描述能够有效的减少运动补偿所造成的图像畸变，通过kalman滤波技术能够很好的预测主观运动、去除抖动，通过全局优化和图像融合减少了运动补偿后产生的图像空白区域。

附图说明

图1为本发明方法步骤流程图。

图2为每帧图像分块示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步详细描述。

一种基于分块kalman运动预测的电子稳像方法，本发明的技术解决方案是：虽然摄像载体具有不规则运动，使得视频序列出现不规则的抖动，但其具有主观运动如有向的扫描运动、静止的观察运动等，通过计算帧间的运动矢量估计相机的意向运动，去除非意向运动即不规则抖动，保留主观运动，从而完成视频的稳定。其主要过程为：1)图像分块；2)提取块间特征点并进行匹配；3)计算块间仿射矩阵；4)用kalman滤波进行局部运动估计；5)进行运动补偿；6)全局优化和图像融合最终完成电子稳像，如图1所示。

包括如下步骤：

1、将输入的每一帧图像按比例分为若干个大小为M*N的子块，如图2所示。

2、分别检测参考帧和目标帧内每个子块的Harris角点，对两个角点集进行匹配得到坐标对应，用Ransac算法去除误匹配点提高匹配精度，将坐标代入仿射运动变换模型，求解仿射矩阵得到局部运动矢量；

3、设计kalman状态方程和观测方程，将所要预测的运动状态带入，进行预测和更新后得到运动估计值，与初始的运动状态进行比较，得到运动补偿量对子块进行补偿。

4、进行全局优化和图像融合，从而减少运动补偿产生的图像空白区域。

其中，步骤二的具体过程如下：

Harris角点检测算法用微分算子进行移动，通过Taylor级数展开，可以计算窗口沿任意方向移动任意距离后窗口内像素灰度变化的情况，此外引入了高斯平滑因子，增强了抗噪性。其自相关函数为：

其中c(u,v)为移动窗口的灰度差值，(u,v)为窗口坐标，(x,y)为图像像素坐标点，w(x,y)为高斯加权函数，I(x,y)为图像(x,y)处的灰度值。

经过Taylor级数展开化简后：

其中M为Harris自相关矩阵，Ix为水平方向的梯度值，Iy为竖直方向的梯度值；

根据二次项函数特征值的计算公式，我们可以求M矩阵的特征值，计算角点响应值R来判断角点：

R＝detM-α(traceM)²

其中，detM＝λ1λ2为举证矩阵M的行列式值，traceM＝λ1 λ2为矩阵M的迹值，λ1和λ2为矩阵M的特征值，α为常量，通常取0.04～0.06。

然后采用相似性度量对帧间图像中的角点进行匹配，其匹配准则如下：

其中，为两幅图像中角点p，q匹配值，I1,I2为待匹配的两幅图像，(p,q)为两幅图像中的角点坐标，图像I1中的角点坐标为(px,py)，图像I2中的角点坐标为(qx,qy)，μ1、σ1和μ2、σ2为对应两幅图像上角点周围半径为D的方形区域内像素的均值和方差。

然后采用随机采样一致(Random Sample Consensus，RANSAC)算法去除误匹配点对，。经典RANSAC是不断地尝试不同的目标空间参数，最大化目标函数的过程。这个过程中需要随机地选择数据集的子空间，然后能够产生一个模型估计，使用数据集剩余的点进行测试估计出来的模型，获得一个得分，最终得分最高的模型估计就是整个数据集的模型。而判断当前某个点是否为类内则需要设定一个阈值。

然后通过匹配点对计算仿射变换模型得到局部运动矢量，图像的仿射变换如下：

其中，为仿射变换前像素点坐标，(x，y)为仿射变换后图像像素点坐标，为仿射变换矩阵。

运动补偿的仿射变换模型如下：

其中，(xt 1，yt 1)为当前帧的特征像素点坐标，(xt，yt)为参考帧的特征像素点坐标，为当前帧与参考帧特征点之间的仿射变换矩阵。

通过配准得到的n个特征点可以得到n个仿射变换模型，使用能量最小化法求6个参数，令：

式中，x1，x2，……，xn和y1，y2，……，yn分别为当前帧N个特征点的像素坐标，X1，X2，……，Xn和Y1，Y2，……，Yn分别为参考帧N个特征点的像素坐标，Tx、Ty为水平方向和竖直方向的方差和。

为使Tx、Ty最小，先对其求偏导，再令导数为零，最后求得a～f共6个参数如下：

其中，步骤三的具体过程如下：

设计kalman状态方程和观测方程，将所要预测的运动状态带入，进行预测和更新后得到运动估计值，与初始的运动状态进行比较，得到运动补偿量对子块进行补偿。

利用kalman滤波从运动矢量中提取出主观运动，其根据前一时刻的运动估计值和协方差估计值预测出当前时刻的运动矢量。

建立kalman运动状态方程和测量方程为：

xk＝Axk-1 Buk fk

Zk＝Hxk vk

其中，xk为k时刻的系统状态矩阵，Zk为k时刻状态阵的观测量(实测)，A为状态转移矩阵，B为控制输入矩阵，xk-1为k-1时刻的系统状态矩阵，uk为控制k时刻的输入矩阵，fk为k时刻的过程噪声，其符合均值为零，协方差矩阵为Qk，H为状态观测矩阵，vk为k时刻的测量噪声，其均值为零，协方差矩阵为Rk。

其状态预测方程为：

其中，为k时刻的状态预测值，也称先验状态估计值，为k时刻的状态估计协方差，为k-1时刻的状态预测值，Pk-1为k-1时刻的状态估计协方差。

其状态更新方程为：

其中，KK为k时刻的最优kalman增益，H^T为状态观测矩阵H的转置，为k时刻的状态估计，Pk为k时刻更新后的误差协方差估计值，I为状态矩阵维数相同的单位矩阵。

得到运动估计值后，通过与实际运动状态值进行比较，即可得到抖动运动矢量，对其进行补偿即可完成局部运动补偿。

本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。