一种基于局部路径优化的视频去抖方法及系统与流程

1.本发明涉及视频处理技术领域，特别是涉及一种基于局部路径优化的视频去抖方法及系统。


背景技术：

2.运动数码摄像机(dv)与行车记录仪以及高级辅助驾驶摄像头等设备中，由于运动中的抖动会影响视频观看质量以及视频的后处理与分析，故视频去抖是视频前处理非常重要的一环。常用的视频去抖算法对视频抖动抑制能力有限，由于摄像头运动引起图像形变，对视频尺寸的裁剪较大。
3.例如在现有的一件公开号为cn102348046a的中国专利申请中，其公开了一种视频去抖动方法和装置。所述视频去抖动方法包括：为原始视频中的每个帧生成用于将该帧变换成去除了抖动的帧的变换矩阵；确定所述原始视频的裁剪尺寸；以及利用所述原始视频中的每个帧的变换矩阵、所述裁剪尺寸以及所述原始视频的分辨率对所述原始视频中的每个帧进行包括变换、裁剪和扩展的图像合成。
4.但是现有的这种技术方案，其通过角点检测并计算图像帧之间的变换关系，而没有考虑整个视频之间视频流的运动关系。因此会存在诸如图像去抖效果较差、裁剪区域控制不良的不足之处。


技术实现要素：

5.本发明所要解决的技术问题在于，提供一种基于局部路径优化的视频去抖方法及系统，可以去除视频中的抖动并保持真实运动信息，避免去抖后视频的形变，且能控制裁剪区域。本发明对计算资源要求低、实时性良好，而且对不同光照条件及环境都具有较强的鲁棒性。
6.作为本发明的一方面，提供一种基于局部路径优化的视频去抖方法，其包括如下步骤：
7.步骤s10，获得运动摄影设备所采集的视频信息；
8.步骤s11，对原始视频的每帧图像进行特征点检测与特征点匹配计算，获得所有相邻两帧图像之间的单应矩阵；
9.步骤s12，根据所述单应矩阵，获得整个原始视频的空间变化的原始路径，并对所述原始路径进行平滑优化处理，获得每一图像帧的初步重构矩阵；
10.步骤s13，在所述整个原始视频的空间变化中，采用相对路径，对所述初步重构矩阵进行迭代处理，获得每一图像帧的最终重构矩阵；
11.步骤s14，采用所述每一图像帧的最终重构矩阵，对原始视频中的每一图像帧进行图像透射变换处理，获得去抖后的视频图像。
12.其中，所述步骤s11具体为：
13.对每一图像帧使用harris角点检测算法并且使用harris特征进行角点匹配，在特
征点匹配之后通过ransac算法对匹配点进行提纯，然后估计获得所有相邻图像帧之间的单应矩阵。
14.其中，所述步骤s12具体为：
15.步骤s120，根据相邻图像帧之间的单应矩阵，获得整个视频的空间变化的路径，根据下式获得绝对路径：
[0016][0017]
其中，c(t)为第t帧的路径，f(t)为相邻两帧之间(即第t帧与第t 1帧之间)的单应矩阵；
[0018]
步骤s121，根据原始路径c＝{c(t)}，通过最小化以下目标函数得到优化后的路径p＝{p(t)}：
[0019][0020]
其中，ω
t
为第t帧的邻域；||p(t)-c(t)||2为拟合项；为平滑项；ω
t,r
(c)为权重，r为平滑窗口，λ
t
为预设的与第t帧相对应的平滑因子；
[0021]
步骤s122，对上述目标函数进行迭代求解，获得优化后的路径p：
[0022][0023]
其中，ξ为迭代系数；
[0024]
步骤s123，根据优化后的路径p计算获得每一图像帧的初步重构矩阵:
[0025]
b(t)＝c-1
(t)p(t)。
[0026]
其中，所述步骤s13具体包括：
[0027]
步骤s130，定义相对路径：
[0028][0029]
步骤s131，以初步重构矩阵b(t)为估计参数，通过下式得到目标函数：
[0030][0031]
步骤s132，通过迭代求解，获得每一图像帧的最终重构矩阵：
[0032][0033]
其中，所述步骤s14具体包括：
[0034]
通过下述像透射变换公式对原始视频中的每一图像帧进行图像透射变换处理，获得去抖后的视频图像：
[0035][0036]
其中，(u1,v1)为原始图像中的像素，(u2，v2)为经过去抖算法之后重构图像的像素，b
(ξ 1)
(t)为所述最终重构矩阵。
[0037]
相应地，本发明的另一方面还提供一种基于局部路径优化的视频去抖系统，其包括：
[0038]
视频采集单元，用于获得运动摄影设备所采集的视频信息；
[0039]
单应矩阵获得单元，用于对原始视频的每帧图像进行特征点检测与特征点匹配计算，获得所有相邻两帧图像之间的单应矩阵；
[0040]
平滑处理单元，用于根据所述单应矩阵，获得整个原始视频的空间变化的原始路径，并对所述原始路径进行平滑优化处理，获得每一图像帧的初步重构矩阵；
[0041]
重构矩阵获得单元，用于在所述整个原始视频的空间变化中，采用相对路径，对所述初步重构矩阵进行迭代处理，获得每一图像帧的最终重构矩阵；
[0042]
变换处理单元，用于采用所述每一图像帧的最终重构矩阵，对原始视频中的每一图像帧进行图像透射变换处理，获得去抖后的视频图像。
[0043]
其中，所述单应矩阵获得单元具体用于：
[0044]
对每一图像帧使用harris角点检测算法并且使用harris特征进行角点匹配，在特征点匹配之后通过ransac算法对匹配点进行提纯，然后估计获得所有相邻图像帧之间的单应矩阵。
[0045]
其中，所述平滑处理单元进一步包括：
[0046]
路径计算单元，用于根据相邻图像帧之间的单应矩阵，获得整个视频的空间变化的路径，根据下式获得绝对路径：
[0047][0048]
其中，c(t)为第t帧的路径，f(t)为相邻图像帧之间的单应矩阵；
[0049]
路径优化单元，用于根据原始路径c＝{c(t)}，通过最小化以下函数得到优化后的路径p＝{p(t)}：
[0050][0051]
其中，ω
t
为第t帧的邻域；||p(t)-c(t)||2为拟合项；为平滑项；ω
t,r
(c)为权重，r为平滑窗口，λ
t
为预设的与第t帧相对应的平滑因子；
[0052]
优化路径获取单元，用于对上述目标函数进行迭代求解，获得优化后的路径p：
[0053][0054]
其中，ξ为迭代系数；
[0055]
初步重构矩阵获取单元，用于根据优化后的路径p计算获得每一图像帧的初步重
构矩阵:
[0056]
b(t)＝c-1
(t)p(t)。
[0057]
其中，所述重构矩阵获得单元具体包括：
[0058]
相对路径定义单元，用于根据下式定义相对路径：
[0059][0060]
目标函数获取单元，用于以初步重构矩阵b(t)为估计参数，通过下式得到目标函数：
[0061][0062]
迭代处理单元，用于通过迭代求解，获得每一图像帧的最终重构矩阵：
[0063][0064]
其中，所述变换处理单元具体用于：
[0065]
通过下述像透射变换公式对原始视频中的每一图像帧进行图像透射变换处理，获得去抖后的视频图像：
[0066][0067]
其中，(u1,v1)为原始图像中的像素，(u2，v2)为经过去抖算法之后重构图像的像素，b
(ξ 1)
(t)为所述最终重构矩阵。
[0068]
实施本发明实施例，具有如下的有益效果：
[0069]
本发明提供的基于局部路径优化的视频去抖方法及系统，根据视频自身的图像信息，通过特征点检测与匹配估计图像帧之间变换关系，然后通过路径估计滤除相机运动中的高频抖动。本发明在路径平滑使用局部路径平滑代替全局路径平滑避免了累积误差，同时路径平滑的目标函数考虑了多个因素，可以在去除视频中的抖动的同时保持真实运动信息，避免去抖后视频的形变，能控制裁剪区域。且本发明对计算能力要求较低、实时性良好，而且对不同光照条件及环境都具有较强的鲁棒性。
附图说明
[0070]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。
[0071]
图1为本发明提供的一种基于局部路径优化的视频去抖方法的一个实施例的主流程示意图；
[0072]
图2为图1中步骤s12的更详细的流程示意图；
[0073]
图3为图2中涉及的采用自适应滤波前后的路径对比图；
[0074]
图4为图2中涉及的采用自适应权重前后的去抖图像的对比图；
[0075]
图5为本发明中涉及的原始路径、平滑后路径以及初步重构变换之间的关系图；
[0076]
图6为图1中步骤s13的更详细的流程示意图；
[0077]
图7为本发明提供的一种基于局部路径优化的视频去抖系统的一个实施例的结构示意图；
[0078]
图8为图7中平滑处理单元的结构示意图；
[0079]
图9为图7中重构矩阵获得单元的结构示意图。
具体实施方式
[0080]
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
[0081]
如图1所示，示出了本发明提供的一种基于局部路径优化的视频去抖方法的一个实施例的主流程示意图。一并结合图2至图5所示，在本实施例中，本发明提供的一种基于局部路径优化的视频去抖方法，其包括如下步骤：
[0082]
步骤s10，获得运动摄影设备所采集的视频信息；具体地，在一些例子中，运动摄影设备可以是手持或者安装在运动设备上的，例如运动dv与行车记录仪以及高级辅助驾驶摄像头等设备。在一些例子中，所采集的视频的频率为 30hz，每帧图像大小为1280
×
1080像素或者以上。
[0083]
步骤s11，对原始视频的每帧图像进行特征点检测与特征点匹配计算，获得所有相邻两帧图像之间的单应矩阵f(t)；
[0084]
其中，所述步骤s11具体为：
[0085]
对每一图像帧使用harris角点检测算法并且使用harris特征进行角点匹配，在特征点匹配之后通过ransac算法(随机抽样一致性算法)对匹配点进行提纯，然后估计获得所有相邻图像帧之间的单应矩阵f(t)。可以理解的是，harris 角点检测算法、harris特征以及ransac算法均是本领域技术人员所能获得以及了解的，在此不进行赘述。
[0086]
步骤s12，根据所述单应矩阵f(t)，获得整个原始视频的空间变化的原始路径，并对所述原始路径进行平滑优化处理，获得每一图像帧的初步重构矩阵；
[0087]
其中，所述步骤s12具体为：
[0088]
步骤s120，根据相邻图像帧之间的单应矩阵，获得整个视频的空间变化的路径，根据下式获得绝对路径：
[0089][0090]
其中，c(t)为第t帧的路径，f(t)为相邻两帧之间(即第t帧与第t 1帧之间)的单应矩阵；c(t)由初始帧开始计算的被称为“绝对路径”；
[0091]
步骤s121，根据原始路径c＝{c(t)}，通过最小化以下目标函数得到优化后的路径
p＝{p(t)}：
[0092]
其中，ω
t
为第t帧的邻域；||p(t)-c(t)||2为拟合项；为平滑项；ω
t,r
(c)为权重，r为平滑窗口，λ
t
为预设的与第t帧相对应的平滑因子，在一些实施例中，各帧对应的平滑因子可以预设为相同的数值；
[0093]
可以理解的是，好的路径平滑需要考虑以下多个因素：(1)去除抖动，(2) 最小化几何形变(剪切形变/弯曲、前后摇摆形变)，(3)最小化空白区域(裁剪区域)，上述目标函数可以实现这些目标；
[0094]
其中，拟合项||p(t)-c(t)||2用于使新的路径与原始路径靠近减少裁剪和形变；平滑项用于稳定路径；权重ω
t,r
(c)用于在快速摇晃/旋转或者场景平动时保持运动的不连续性；例如，图3中示出了一个例子中，采用自适应滤波前后的路径对比图，其中左侧图为未采用自适应滤波的路径图，右侧图为采用自适应滤波的路径图；而图4示出了一个例子中，采用自适应权重前后的去抖图像的对比图，其中左侧图为未采用自适应权重的去抖图像，右侧图为采用自适应权重的去抖图像；
[0095]
步骤s122，对上述目标函数进行迭代求解，获得优化后的路径p：
[0096][0097]
其中，ξ为迭代系数；
[0098]
步骤s123，根据优化后的路径p计算获得每一图像帧的初步重构矩阵:
[0099]
b(t)＝c-1
(t)p(t)。
[0100]
原始路径{c(t)}与平滑后路径{p(t)}以及初步重构变换{b(t)}之间的关系图可以参考图5所示。
[0101]
步骤s13，变换矩阵的估计存在误差，在计算相机路径时误差会累积。为了避免累积误差，在所述整个原始视频的空间变化中，可以采用相对路径替代绝对路径，对所述初步重构矩阵进行迭代处理，获得每一图像帧的最终重构矩阵；
[0102]
其中，所述步骤s13具体包括：
[0103]
步骤s130，定义相对路径：
[0104][0105]
其中，i为一个预定的固定值；
[0106]
步骤s131，以初步重构矩阵b(t)为估计参数，通过下式得到目标函数：
[0107]
[0108]
步骤s132，通过迭代求解，获得每一图像帧的最终重构矩阵：
[0109][0110]
步骤s14，采用所述每一图像帧的最终重构矩阵，对原始视频中的每一图像帧进行图像透射变换处理，获得去抖后的视频图像。
[0111]
其中，所述步骤s14具体包括：
[0112]
通过下述像透射变换公式对原始视频中的每一图像帧进行图像透射变换处理，获得去抖后的视频图像：
[0113][0114]
其中，(u1,v1)为原始图像中的像素，(u2，v2)为经过去抖算法之后重构图像的像素，b
(ξ 1)
(t)为所述最终重构矩阵。
[0115]
可以理解的是，本发明提供的基于局部路径平滑的视频去抖方法，通过对视频进行处理，获取视频帧的角点特征，并通过角点匹配与ransac估计图像帧直接的单应矩阵，然后通过路径估计与路径平滑进行优化，最终去除视频中的抖动。本发明提供的方法可以通过下述的原理获得诸多优点，具体地：
[0116]
其一，可以去除和抑制视频中的抖动并保持真实运动
[0117]
由于相机拍摄过程因为环境的不稳定会产生抖动现象，这些抖动可以当做噪声运动，为此本发明提供的算法需要去除抖动使视频保持平滑流畅。与此同时相机本身也存在运动，所以在实现去抖过程还需要保持相机的真实运动。如下表1，示出了本发明对相机各类运动频率的处理策略。
[0118]
表1、相机运动频率和幅度的处理策略
[0119]
抖动类型小幅度大幅度低频抖动(去除)抖动或者真实运动(抑制)高频抖动(去除)真实运动(保留)
[0120]
其二，可以避免去抖后视频的形变
[0121]
视频在去抖重构过程中由于运动的估计误差以及rolling shutter问题图像会发生形变。下表2示出了相机的动运方式分类。
[0122]
表2相机运动方式
[0123][0124]
从上可知，去抖后视频经过透射变换时会发生形变，形变产生的原因主要有：(a)透射变换中包含绕x轴及绕y轴的旋转运动；(b)图像发生几何形变；(3)去抖重构矩阵估计不准确。而本发明提供的方法可以很好地克服或消减上述几个原因的影响。
[0125]
其三，可以控制裁剪区域(减少空白区域)
[0126]
去抖后视频经过透射变换后，原图像区域中会留下空白。如果对抖动的抑制越大则会产生更大的空白区域，同时也会抑制真实运动；如果增强运动的适应性则会减小图像的空白区域，并保持真实运动。为了保证图像的分辨率，本发明提供的方法可以限制空白区域的大小。
[0127]
如图7所示，示出了本发明提供的一种基于局部路径优化的视频去抖系统的一个实施例中的结构示意图，一并结合图8至图9所示，在本实施例中，本发明提供的一种基于局部路径优化的视频去抖系统1，其包括：
[0128]
视频采集单元11，用于获得运动摄影设备所采集的视频信息；
[0129]
单应矩阵获得单元12，用于对原始视频的每帧图像进行特征点检测与特征点匹配计算，获得所有相邻两帧图像之间的单应矩阵；
[0130]
平滑处理单元13，用于根据所述单应矩阵，获得整个原始视频的空间变化的原始路径，并对所述原始路径进行平滑优化处理，获得每一图像帧的初步重构矩阵；
[0131]
重构矩阵获得单元14，用于在所述整个原始视频的空间变化中，采用相对路径对所述初步重构矩阵进行迭代处理，获得每一图像帧的最终重构矩阵；
[0132]
变换处理单元15，用于采用所述每一图像帧的最终重构矩阵，对原始视频中的每一图像帧进行图像透射变换处理，获得去抖后的视频图像。
[0133]
在一个具体的例子中，所述单应矩阵获得单元12具体用于：
[0134]
对每一图像帧使用harris角点检测算法并且使用harris特征进行角点匹配，在特征点匹配之后通过ransac算法对匹配点进行提纯，然后估计获得所有相邻图像帧之间的单应矩阵。
[0135]
在一个具体的例子中，如图8所示，所述平滑处理单元13进一步包括：
[0136]
路径计算单元130，用于根据相邻图像帧之间的单应矩阵，获得整个视频的空间变化的路径，根据下式获得绝对路径：
[0137][0138]
其中，c(t)为第t帧的路径，f(t)为相邻图像帧之间的单应矩阵；
[0139]
路径优化单元131，用于根据原始路径c＝{c(t)}，通过最小化以下函数得到优化后的路径p＝{p(t)}：
[0140][0141]
其中，ω
t
为第t帧的邻域；||p(t)-c(t)||2为拟合项；为平滑项；ω
t,r
(c)为权重，r为平滑窗口，λ
t
为预设的与第t帧相对应的平滑因子；
[0142]
优化路径获取单元132，用于对上述目标函数进行迭代求解，获得优化后的路径p：
[0143][0144]
其中，ξ为迭代系数；
[0145]
初步重构矩阵获取单元133，用于根据优化后的路径p计算获得每一图像帧的初步
重构矩阵:
[0146]
b(t)＝c-1
(t)p(t)。
[0147]
其中，在一个具体的例子中，如图9所示，所述重构矩阵获得单元14进一步包括：
[0148]
相对路径定义单元140，用于根据下式定义相对路径：
[0149][0150]
目标函数获取单元141，用于以初步重构矩阵b(t)为估计参数，通过下式得到目标函数：
[0151][0152]
迭代处理单元142，用于通过迭代求解，获得每一图像帧的最终重构矩阵：
[0153][0154]
在一个具体的例子中，所述变换处理单元15具体用于：
[0155]
通过下述像透射变换公式对原始视频中的每一图像帧进行图像透射变换处理，获得去抖后的视频图像：
[0156][0157]
其中，(u1,v1)为原始图像中的像素，(u2，v2)为经过去抖算法之后重构图像的像素，b
(ξ 1)
(t)为所述最终重构矩阵。
[0158]
更多的细节，可以参考前述对图1至图6的描述。
[0159]
实施本发明实施例，具有如下的有益效果：
[0160]
本发明提供的基于局部路径优化的视频去抖方法及系统，根据视频自身的图像信息，通过特征点检测与匹配估计图像帧之间变换关系，然后通过路径估计滤除相机运动中的高频抖动。本发明在路径平滑使用局部路径平滑代替全局路径平滑避免了累积误差，同时路径平滑的目标函数考虑了多个因素，可以在去除视频中的抖动的同时保持真实运动信息，避免去抖后视频的形变，能控制裁剪区域。且本发明对计算能力要求较低、实时性良好，而且对不同光照条件及环境都具有较强的鲁棒性。
[0161]
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0162]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程
图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0163]
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。