一种可用于嵌入式的实时运动信息估计方法与流程

1.本发明涉及运动估计领域，具体为一种可用于嵌入式的实时运动信息估计方法。


背景技术：

2.运动估计技术是近年来发展迅速的图像处理技术之一，是图像配准、图像融合、多帧图像超分辨、目标检测等技术中及其关键的步骤。这些技术常应用于军事、遥感、医学、计算机视觉等领域，对算法实时性、精度都有较高的要求，尤其对于多帧图像超分辨，需要亚像素级的运动估计精度。同时，这些应用通常采用嵌入式系统，对功耗、成本、体积、可靠性都有较高的要求，。而嵌入式系统存储空间有限，因而要求算法代码紧凑、可靠，且对实时性有严格要求。
3.因此，亟需找到能够满足亚像素精度的、快速稳定的基于嵌入式系统的运动估计算法。


技术实现要素：

4.本发明的目的在于提供一种可用于嵌入式的实时运动信息估计方法，以解决上述背景技术中提出的问题。
5.为实现上述目的，一是利用现有的硬件平台，采用图像分块方法进行并行运算，充分利用硬件的并行能力与计算资源，加速图像处理，提升计算效率。同时图像分块天然具有支持局部运动的作用。二是优化算法流程，采用由粗到细的思想，将块匹配算法的粗运动估计作为光流法的初始值，减小光流法搜索过程的计算量。光流法的插值迭代过程使得算法能够达到亚像素精度。
6.本发明提供如下技术方案：一种可用于嵌入式的实时运动信息估计方法，包括步骤：
7.s1：图像的采集和输入，采用图像传感器获得数字视频图像信号，再将图像传输到嵌入式系统进行图像处理，图像传感器包括但不限于ccm、cmos、红外探测器；
8.s2：图像运动估计，在嵌入式系统上对数字视频图像信号进行实时运动估计算法处理，并获得处理结果；
9.s3：基于s2的处理结果进行后续图像处理，根据图像运动估计信息，执行后续操作。
10.优选的，s2中实时运动估计算法的处理步骤包括：
11.s21：读入参考帧和待匹配帧图像；
12.s22：将图像序列的每一帧分成m
×
n的图像块，将图像块的计算放到嵌入式系统gpu的cuda核上计算；
13.s23：利用图像金字塔技术进行块匹配运动估计，从而能够快速获得整像素精度位移；
14.s24：进一步利用光流法运动估计，获得亚像素精度位移，光流法的初始值为块匹
配运动估计的结果；
15.s25：根据后续算法应用要求，对最终计算得到m
×
n位移估计进行处理。
16.优选的，s22中包括步骤：
17.s221：根据当前图片大小及后续计算上下文开辟gpu内存空间并进行数据交互；
18.s222：根据当前gpu硬件数据及kernel的特点设置block与grid；
19.s223：根据下述各图像块上的处理流程，编写相应核函数。
20.优选的，s24的光流法运动估计开始之前需要先将块匹配获得的位移作为光流法的初始值；再进行对图像进行平滑处理，平滑处理主要是通过高斯卷积来实现，为了降低计算的复杂度，将二维高斯卷积分解成两个一维卷积。
21.优选的，s25中若输出为全局位移，则对m
×
n位移估计进行筛选，获得全局位移，否则直接输出m
×
n位移矩阵。
22.与现有技术相比，本发明的有益效果是：
23.本发明的用于嵌入式的运动信息估计的算法，利用由粗到细的图像匹配方式，能够达到亚像素精度，在运动估计时使用图像宏块匹配而不是整图匹配，减小其匹配的粒度从而能够处理局部运动；同时运动估计的块匹配过程，计算量过大难以实时，本方法对其进行了改进，利用启发式搜索减小搜索空间，最后利用cuda核来进行加速整体计算速度。因此本发明的算法能够更准确匹配图像，对局部运动鲁棒，并能够在720p图像达到9ms，达到了21倍的加速。
附图说明
24.图1为本发明实施例1中运动估计算法的处理逻辑框图；
25.图2为本发明实施例2中基于tx2系统的处理原理图。
具体实施方式
26.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
27.实施例1：本发明提供一种技术方案：一种可用于嵌入式的实时运动信息估计方法，包括步骤：
28.s1：图像的采集和输入，采用图像传感器获得数字视频图像信号，再将图像传输到嵌入式系统进行图像处理，图像传感器包括但不限于ccm、cmos、红外探测器；
29.s2：图像运动估计，在嵌入式系统上对数字视频图像信号进行实时运动估计算法处理，并获得处理结果；
30.s3：基于s2的处理结果进行后续图像处理，根据图像运动估计信息，执行后续操作。
31.请参阅图1，在本实施例中，s2中实时运动估计算法的处理步骤包括：
32.s21：读入参考帧和待匹配帧图像；
33.s22：将图像序列的每一帧分成m
×
n的图像块，将图像块的计算放到嵌入式系统
gpu的cuda核上计算；
34.s23：利用图像金字塔技术进行块匹配运动估计，从而能够快速获得整像素精度位移；
35.s24：进一步利用光流法运动估计，获得亚像素精度位移，光流法的初始值为块匹配运动估计的结果；
36.s25：根据后续算法应用要求，对最终计算得到m
×
n位移估计进行处理。
37.在本实施例中，s22中包括步骤：
38.s221：根据当前图片大小及后续计算上下文开辟gpu内存空间并进行数据交互；
39.s222：根据当前gpu硬件数据及kernel的特点设置block与grid；
40.s223：根据下述各图像块上的处理流程，编写相应核函数。
41.在本实施例中，s23中改进的块匹配具体步骤如下：
42.s231：对选取的参考帧和估计帧进行下采样，建立多层金字塔。默认为三层金字塔，从下到上，图像尺寸减小；
43.s232：由上到下，在每层金字塔上采用块匹配算法计算图像位移。每层图像被分成多个互不重叠的固定尺寸的像素块；对每一个像素块在待匹配帧一定范围内搜索最优匹配块，得到的相对偏移矢量即为该像素块的运动向量；
44.s232中基于匹配原则：即对当前帧f中的每一图像块根据sad匹配准则在后一帧g中的一定搜索范围内找出与当前块最相似的块,即匹配块为使得算法对于光照能够鲁棒，利用周围像素均值，构建光照因子α，β；
[0045][0046][0047]
其中，μ1是参考帧块的均值，μ2是待配准块的均值；
[0048]
s232中基于搜索优化：在匹配的过程中利用连续帧约简算法(sea),sea通过三角不等式，在不排除最优块的情况下极大减少计算复杂度，并且在遍历搜索窗时会动态缩小上界r-sad(m,n)≤m(x,y,t 1)≤r sad(m,n)；
[0049]
其中，r是参考块的和规范，m(x,y,t 1)为待配准帧搜索域候选块的和规范，sad(m,n)是参考帧和其位移后的sad，位移后帧的信息可利用上帧计算得到光流场结果作为先验信息。
[0050]
s233：获得水平和垂直位移u0,v0。
[0051]
在本实施例中，s24的光流法运动估计开始之前需要：
[0052]
先将块匹配获得的位移作为光流法的初始值；
[0053]
再进行对图像进行平滑处理，平滑处理主要是通过高斯卷积来实现，为了降低计算的复杂度，将二维高斯卷积分解成两个一维卷积。
[0054]
在本实施例中，s24进一步利用光流法得到亚像素信息，具体包括：
[0055]
步骤a：在计算光流前，为了减少噪声干扰，进行平滑处理；
[0056]
步骤b：为使得光流计算更为准确，加入平滑约束，构建能量函数：
[0057][0058]
ω为图像块集合，i
x
u iyv i
t
为光流约束方程，为光流场的梯度，ω为约束场权重；
[0059]
步骤c：计算图像水平、垂直和时空一阶导数，带入能量方程求其最小值；
[0060]
步骤d：判断误差是否满足迭代退出条件；
[0061]
步骤e：求解变换模型参数，获得最终水平位移u和垂直位移v。
[0062]
在本实施例中，步骤d中若满足条件，则退出循环，进入步骤e；若不满足条件，则对图像块使用迭代灰度插值进一步计算，重复步骤c、d。
[0063]
在本实施例中，s25中若输出为全局位移，则对m
×
n位移估计进行筛选，获得全局位移，否则直接输出m
×
n位移矩阵。
[0064]
在本实施例中，利用由粗到细的图像匹配方式，能够达到亚像素精度，在运动估计时使用图像宏块匹配而不是整图匹配，减小其匹配的粒度从而能够处理局部运动；同时运动估计的块匹配过程，计算量过大难以实时，本方法对其进行了改进，利用启发式搜索减小搜索空间，最后利用cuda核来进行加速整体计算速度。
[0065]
实施例2：请参阅图2，在本实施例中，嵌入式系统构成：可见光相机、微扫平台及其控制盒、jetsontx2嵌入式系统、显示器。
[0066]
可见光相机：采集图像；
[0067]
微扫平台及其控制盒：负责产生可控已知的运动位移；
[0068]
在本实施例中，采用微扫平台带动探测器进行位移，获取带有位移的图像序列。
[0069]
在本实施例中，jetsontx2嵌入式图像处理板作为本发明的实时运动估计算法的主处理器和控制器。
[0070]
在本实施例中，可见光相机采集的图像经usb2.0接口传递给jetson tx2嵌入式图像处理板，图像处理板进行实时视频图像运动估计并将计算结果通过hdmi显示器显示出来。通过压电高速微扫描平台的已知运动，从而了验证运动估计算法的精度。
[0071]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。