基于FPGA的环绕视频拼接显示方法及系统与流程

基于fpga的环绕视频拼接显示方法及系统
技术领域
1.本发明属于视频图像处理领域，尤其涉及一种基于fpga的环绕视频拼接显示方法及系统。


背景技术：

2.视觉是人们获取信息最直接也是最重要的方式，80％以上的信息都是经由视觉获得、随着电子信息技术和数字媒体技术的不断发展，人们对信息的获取也更加依赖于图像和视频。
3.但是单独的相机本身的局限性，其视野一般比较小，远不及人眼视场，已经很难满足大视场、高分辨率的视频应用场景的需求。同时传统的广角镜头和鱼眼镜头虽然视角相对较大但画面畸变严重无法满足使用需求。因此视频拼接技术就成为探索更加优秀的全景图像显示方案的关键。
4.视频拼接技术在学术研究领域有了很多成果，但是应用于fpga平台上的多路高帧率视频的环绕拼接技术研究和实现还是一个新的研究方向，目前的应用研究还很少。


技术实现要素：

5.本发明的目的在于提出一种基于fpga的环绕视频拼接显示方法及系统，能够实现环绕视频的拼接和自定义位置视频的高清显示输出，且提高了系统运行效率。
6.实现本发明目的的技术解决方案为：
7.一种基于fpga的环绕视频拼接显示方法，包括步骤：
8.获取目标视频数据，并将其转换为yuv空间8:4:4格式编码的视频数据，对视频数据进行暗角矫正和畸变矫正得到相同亮度的目标图像；
9.通过orb算法对目标图像进行特征点提取，对提取的特征点采用比值匹配法获取匹配特征点，根据目标图像的重叠区域对匹配特征点筛选获取最终特征点；
10.对最终特征点进行柱状投影；
11.将已经进行过柱状投影的目标图像采用最佳缝合线算法进行图像融合获取目标拼接图像；
12.根据显示终端的大小对目标拼接图像进行裁剪输出目标图像。
13.进一步的，所述获取目标视频数据具体为：
14.对摄像头视频数据编号，获得序列{c1,c2,c3,
…
,c
i
…
,c
n
}，其中n为摄像头总数，c
i
为第i个摄像头的视频数据；
15.计算环绕视频画面长度并以c1为原点建立坐标系；
16.判断用户需要显示的视频在坐标系的位置，进而确定获取哪两个编号的摄像头视频数据；
17.获取两个编号的摄像头视频数据。
18.进一步的，所述n＝6，所述环绕视频画面长度＝6*(w
‑
d)，w为单路视频宽度，d为两
个摄像头的重合区域宽度。
19.进一步的，通过orb算法对目标图像进行特征点提取具体为：
20.步骤1，对两个目标图像分别进行区域分割，将每一帧图像划分为m*n个矩形子区域；
21.步骤2，依照先行后列的排序对子区域进行特征点提取，对于检测不到特征点的子区域直接舍去；对于可以检测到特征点的子区域a
ij
标记为感兴趣区，a
ij
为第i行第j列的子区域，并将子区域a
ij
检测到的特征点个数记为n
ij
；
22.步骤3，比较n
ij
和设定值k的大小，当n
ij
＜k时，将n
ij
个点记为特征点；若n
i
＞k则采用harris角点检测算法排序选出最优的k个点记为特征点，其余点作为待选特征点；
23.步骤4，重复步骤2～3遍历子区域直到获得的特征点数量达到设定的特征点数量后停止，若遍历全部子区域后得到的特征点数量小于设定的特征点数量则从待选特征点中顺序选取作为特征点。
24.进一步的，所述对提取的特征点采用比值匹配法获取匹配特征点具体包括：
25.将一幅目标图像作为样本；
26.对样本的每个特征点在另一幅目标图像特征点中寻找与它距离不大于第一阈值t1的最近特征点和次近特征点，然后分别计算最近特征点和次近特征点与样本特征点之间汉明距离的比值，对于比值大于第二阈值t2的特征点，则判定为匹配特征点。
27.进一步的，根据目标图像的重叠区域对匹配特征点筛选获取最终特征点具体为：确定两幅目标图像的重叠宽度d，然后设定一个宽度f，计算每个匹配特征点到图像边缘像素的距离s，当s＞d f时该特征点舍去，否则保留。
28.进一步的，所述k＝4，第一阈值t1为50，第二阈值t2为0.8。
29.进一步的，采用最佳缝合线算法进行图像融合获取目标拼接图像具体为：
30.依求解准则分别计算进行过柱面投影的两幅目标图像的图像差值e(x,y)：
31.e(x,y)＝e
color
(x,y)2 e
geometry
(x,y)
32.式中，e
color
表示拼接图像i1(x,y)和i2(x,y)重合部分像素的颜色差值，e
geometry
表示拼接图像i1(x,y)和i2(x,y)重合部分的结构差值，颜色差值e
color
和e
geometry
分别为；
33.e
color
＝|i1(x,y)
‑
i2(x,y)|
34.e
geometry
＝s
x
·
s
y
35.s
x
和s
y
为利用sobel算子求得拼接图像i1(x,y)和i2(x,y)在x和y两个方向上的梯度值：
[0036][0037]
根据最终特征点和图像差值e(x,y)找出一条规避重合区域色彩差异的折线即最佳缝合线。
[0038]
一种基于fpga的环绕视频拼接显示系统，包括视频采集模块、视频拼接模块以及图像输出模块，所述视频采集模块包括帧图像采集单元和模数转换单元，其中：
[0039]
帧图像采集单元包含覆盖360度视角的多个摄像头，用于采集环绕视频数据，模数转换单元用于将指定位置的视频数据转换为yuv空间8:4:4格式编码的视频数据并发送至
视频拼接模块；
[0040]
所述视频拼接模块基于fpga芯片，包括预处理单元、配准单元和融合单元，预处理单元对视频数据进行暗角矫正和畸变矫正得到相同亮度的目标图像，配准单元用于获取匹配特征点，融合单元采用最佳缝合线算法进行图像融合获取拼接图像；
[0041]
图像输出模块用于输出全景视频中指定位置的拼接图像。
[0042]
进一步的，所述摄像头采用六个高帧率平面摄像头，所述高帧率为视频帧率不小于60帧。
[0043]
本发明与现有技术相比，其显著优点为：(1)本发明通过对所需显示区域的位置进行判断得到其视频输入源对应的摄像头，然后只将相关摄像头的视频信息载入内存中进行图片处理，实现了环绕视频的指定位置输出；(2)对特征匹配过程中的特征点提取进行了优化，根据相邻摄像头待匹配图像的重叠区域来对匹配特征点进行筛选，减少特征点筛选的错误概率同时提高了系统运行效率，即使在处理高帧率视频时，结合该优化算法也可以实现拼接视频的近实时输出；(3)提出了在输出设备只显示所需部分拼接好的视频的显示方案，并可以随时移动显示位置，可以在不影响显示效果情况下输出视频结果；(4)本发明借助安装于平台四周的六个摄像头进行周边环境的拍摄，并对这些拍摄的视频进行匹配融合，实现根据用户的需求输出环绕图像或者输出自定义区域的部分图像。
附图说明
[0044]
图1是本发明基于fpga的环绕视频拼接显示方法流程示意图。
[0045]
图2是本发明系统中六个高帧率平面摄像头安装示意图。
具体实施方式
[0046]
下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0047]
结合图1，本发明的一种基于fpga的环绕视频拼接显示方法包括以下步骤：
[0048]
步骤1，首先对所有摄像头的重合区域宽度进行设置(假定为d)，然后计算出实现完整环绕拼接后的图像总长度为6*(w
‑
d)，其中w为单路视频宽度，摄像头个数为6个。然后给所有摄像头进行编号排序，获得一个一维序列{c1,c2,c3,
…
,c
n
}，其中n为摄像头总数，本实施例中n＝6。以c1为原点建立坐标系，然后根据用户输入的控制信号和坐标系得到需要输出的视频画面的位置信息并判断其由哪两个摄像头的画面拼接获得。最后将两路视频信号缓存到内存中进行后续处理，同时将所有摄像头采集到的信息传输到存储单元进行保存。
[0049]
步骤2，利用优化orb算法进行特征点的提取和匹配：
[0050]
步骤2
‑
1，在进行特征点的提取之前对目标图像进行区域分割，将一帧图像划分为m*n个矩形子区域；
[0051]
步骤2
‑
2，将子区域依照先行后列的原则排序，然后分别针对子区域构建图像金字塔并采用用ofast检测算法进行特征点检测，对于检测不到特征点的子区域设为不感兴趣
区，后续处理中不再选择该区域；对于可以检测到特征点的子区域a
ij
标记为感兴趣区，并将检测到的特征点个数记为n
ij
，然后设定一个常数k，该值可根据图像大小和所需特征点个数要求进行选择(此处举例k＝4)。比较n
ij
和k值的大小，当n
ij
＜k时，将全部n
ij
个点记为检测点；若n
ij
＞k则应用harris角点检测算法排序操作选出最优的k的点记为检测点，其余点作为待选检测点。
[0052]
遍历子区域直到获得所需数量检测点(设定的)后停止，若遍历全部子区域后得到的特征点个数不满足需求则从待选检测点中选择足够数量的特征点完成特征提取。然后应用比值匹配法，将一幅图像作为样本，对样本的每个特征点在另外一幅图像特征点中寻找与该样本特征点距离最近且不大于阈值(一般为50)的最近特征点和次近特征点，然后计算这两个特征点与该样本特征点之间汉明距离的比值，对于比值大于阈值(一般取值0.8)的最近特征点或次近特征点，则判定是正确匹配的特征点。
[0053]
步骤3，根据相邻摄像头待匹配图像的重叠区域来对匹配特征点进行筛选。首先确定两幅图像的重叠宽度d，然后定义一个宽度f(本实施例中设定为d的一半)，计算匹配特征点到图像边缘像素的距离s，当s＞d f时该特征点舍去，否则保留。
[0054]
本发明提出一种改进的特征点筛选方法，减少特征点的错误匹配概率同时提高运算效率。首先确定两幅图像的重叠宽度d，然后计算匹配特征点到图像边缘像素的距离s，当s＞d f时，该特征点舍去，否则保留。该方法舍弃了离重叠区域较远的特征点，这样既减少了特征点误匹配的概率，也在保证匹配效果的前提下减少了运算量，提高了效率。
[0055]
步骤4，在图像融合前为了保证拼接出的环绕视频的视觉一致性，根据步骤3筛选的特征点进行柱状投影。
[0056]
步骤5，图像融合：将已经进行过柱面投影的两幅待拼接图像依照多分辨率的最佳缝合线算法进行融合。最佳缝合线算法的核心思想就是在重合部分，找出一条能尽可能的规避重合区域色彩差异的折线，然后将线两侧的图像缝合成一幅拼接图像，依求解准则计算得到图像差值e(x,y)：
[0057]
e(x,y)＝e
color
(x,y)2 e
geometry
(x,y)
[0058]
式中，e
color
表示重合部分像素的颜色差值，e
geometry
表示重合部分的结构差值。颜色差值主要是针对待拼接图像i1(x,y)和i2(x,y)在重合部分的像素值做差得到的差值图像：
[0059]
e
color
＝|i1(x,y)
‑
i2(x,y)|
[0060]
结构差值则是利用sobel算子实现，求x和y两个方向上的梯度值s
x
和s
y
：
[0061][0062]
然后计算待拼接图像i1(x,y)和i2(x,y)的重合部分在x和y方向上的梯度差值的乘积，最后得到e
geometry
：
[0063]
e
geometry
＝diff(i1(x,y),i2(x,y))
[0064]
根据筛选的特征点和图像差值e(x,y)找出一条规避重合区域色彩差异的折线即最佳缝合线。
[0065]
步骤6，图像输出：在完成视频拼接后，需要将缓存的图像转换为模拟信号输出。如
果要实现自定义位置视频图像的单独输出就像需要对缓存在内存中的图像数据进行处理。即根据显示终端的大小对完成拼接的图像进行裁剪以输出目标区域图像。最后将目标区域拼接图像的输出到da转换芯片进行输出。
[0066]
基于上述方法的环绕视频拼接显示系统基于fpga芯片进行设计。fpga芯片利用硬件并行的优势，打破了顺序执行的模式，在每个时钟周期内完成更多的处理任务，超越了数字信号处理器(dsp)的运算能力。
[0067]
所述基于fpga的环绕视频拼接显示系统基于上述方法，其相同特征不再累述。基于fpga的环绕视频拼接显示系统包括视频采集模块、视频拼接模块以及图像输出模块，所述视频采集模块包括帧图像采集单元和模数转换单元，其中：
[0068]
视频采集模块主要包括帧图像采集单元和模数转换单元两部分。其中帧图像采集部分包括六路高帧率平面摄像头和输入端口以实现对待拼接图像的采集，采集的视频帧率为60帧或更高，采集的数据经过数模转换模块得到yuv空间8:4:4格式编码的视频数据，然后将视频数据发送到拼接模块；
[0069]
视频拼接模块主要是基于fpga芯片完成，包括预处理单元、配准单元和融合单元，负责对采集到的视频图像进行预处理、配准和融合，预处理单元对视频数据进行暗角矫正和畸变矫正得到相同亮度的目标图像，配准单元用于获取匹配特征点，融合单元采用最佳缝合线算法进行图像融合获取拼接图像，其中配准和融合是视频拼接的核心步骤；
[0070]
本系统所述平面高帧率摄像头为六个，分别安装于平台四角和两侧位置以覆盖360度视角，如图2所示。
[0071]
本发明提出的一种基于fpga的环绕视频拼接显示方法及系统，通过首先对显示区域进行判断得到其视频输入源对应的摄像头，然后只将相关摄像头的视频信息载入内存中进行后续处理，实现了环绕视频的指定位置输出，进行匹配时只对画面重合区域以及其附近区域特征点进行匹配以降低误匹配概率，提高准确度。