基于FPGA的环绕视频拼接显示方法及系统与流程

技术特征：
1.一种基于fpga的环绕视频拼接显示方法，其特征在于，包括步骤：获取目标视频数据，并将其转换为yuv空间8:4:4格式编码的视频数据，对视频数据进行暗角矫正和畸变矫正得到相同亮度的目标图像；通过orb算法对目标图像进行特征点提取，对提取的特征点采用比值匹配法获取匹配特征点，根据目标图像的重叠区域对匹配特征点筛选获取最终特征点；对最终特征点进行柱状投影；将已经进行过柱状投影的目标图像采用最佳缝合线算法进行图像融合获取目标拼接图像；根据移动显示终端的大小对目标拼接图像进行裁剪输出显示目标图像。2.根据权利要求1所述的环绕视频拼接显示方法，其特征在于，所述获取目标视频数据具体为：对摄像头视频数据编号，获得序列{c1,c2,c3,
…
,c
i
…
,c
n
}，其中n为摄像头总数，c
i
为第i个摄像头的视频数据；计算环绕视频画面长度并以c1为原点建立坐标系；判断用户需要显示的视频在坐标系的位置，进而确定获取哪两个编号的摄像头视频数据；获取两个编号的摄像头视频数据。3.根据权利要求2所述的环绕视频拼接显示方法，其特征在于，所述n＝6，所述环绕视频画面长度＝6*(w
‑
d)，w为单路视频宽度，d为两个摄像头的重合区域宽度。4.根据权利要求3所述的环绕视频拼接显示方法，其特征在于，通过orb算法对目标图像进行特征点提取具体为：步骤1，对两个目标图像分别进行区域分割，将每一帧图像划分为m*n个矩形子区域；步骤2，依照先行后列的排序对子区域构建图像金字塔并采用用ofast检测算法进行特征点检测，对于检测不到特征点的子区域直接舍去；对于可以检测到特征点的子区域a
ij
标记为感兴趣区，a
ij
为第i行第j列的子区域，并将子区域a
ij
检测到的特征点个数记为n
ij
；步骤3，比较n
ij
和设定值k的大小，当n
ij
＜k时，将n
ij
个点记为特征点；若n
i
＞k则采用harris角点检测算法排序选出最优的k个点记为特征点，其余点作为待选特征点；步骤4，重复步骤2～3遍历子区域直到获得的特征点数量达到设定的特征点数量后停止，若遍历全部子区域后得到的特征点数量小于设定的特征点数量则从待选特征点中顺序选取作为特征点。5.根据权利要求4所述的环绕视频拼接显示方法，其特征在于，所述对提取的特征点采用比值匹配法获取匹配特征点具体包括：将一幅目标图像作为样本；对样本的每个特征点在另一幅目标图像特征点中寻找与它距离不大于第一阈值t1的最近特征点和次近特征点，然后分别计算最近特征点和次近特征点与样本特征点之间汉明距离的比值，对于比值大于第二阈值t2的特征点，则判定为匹配特征点。6.根据权利要求5所述的环绕视频拼接显示方法，其特征在于，根据目标图像的重叠区域对匹配特征点筛选获取最终特征点具体为：确定两幅目标图像的重叠宽度d，然后设定一个宽度f，计算每个匹配特征点到图像边缘像素的距离s，当s＞d f时该特征点舍去，否则保
留。7.根据权利要求6所述的环绕视频拼接显示方法，其特征在于，所述k＝4，第一阈值t1为50，第二阈值t2为0.8，f＝d/2。8.根据权利要求5所述的环绕视频拼接显示方法，其特征在于，采用最佳缝合线算法进行图像融合获取目标拼接图像具体为：依求解准则分别计算进行过柱面投影的两幅目标图像的图像差值e(x,y)：e(x,y)＝e
color
(x,y)2 e
geometry
(x,y)式中，e
color
表示拼接图像i1(x,y)和i2(x,y)重合部分像素的颜色差值，e
geometry
表示拼接图像i1(x,y)和i2(x,y)重合部分的结构差值，颜色差值e
color
和e
geometry
分别为；e
color
＝|i1(x,y)
‑
i2(x,y)|e
geometry
＝s
x
·
s
y
s
x
和s
y
为利用sobel算子求得拼接图像i1(x,y)和i2(x,y)在x和y两个方向上的梯度值：根据最终特征点和图像差值e(x,y)找出一条规避重合区域色彩差异的折线即最佳缝合线。9.一种基于fpga的环绕视频拼接显示系统，其特征在于，包括视频采集模块、视频拼接模块以及图像输出模块，所述视频采集模块包括帧图像采集单元和模数转换单元，其中：帧图像采集单元包含覆盖360度视角的多个摄像头，用于采集环绕视频数据，模数转换单元用于将指定位置的视频数据转换为yuv空间8:4:4格式编码的视频数据并发送至视频拼接模块；所述视频拼接模块基于fpga芯片，包括预处理单元、配准单元和融合单元，预处理单元对视频数据进行暗角矫正和畸变矫正得到相同亮度的目标图像，配准单元用于获取匹配特征点，融合单元采用最佳缝合线算法进行图像融合获取拼接图像；图像输出模块用于输出全景视频中指定位置的拼接图像。10.根据权利要求9所述的环绕视频拼接显示系统，其特征在于，所述摄像头采用六个高帧率平面摄像头，所述高帧率为视频帧率不小于60帧。

技术总结
本发明提出了一种基于FPGA的环绕视频拼接显示方法及系统，包括步骤：获取目标视频数据，并将其转换为YUV空间8:4:4格式编码的视频数据，对视频数据进行暗角矫正和畸变矫正得到相同亮度的目标图像；通过ORB算法对目标图像进行特征点提取，对提取的特征点采用比值匹配法获取匹配特征点，根据目标图像的重叠区域对匹配特征点筛选获取最终特征点；对最终特征点进行柱状投影；将已经进行过柱状投影的目标图像采用最佳缝合线算法进行图像融合获取目标拼接图像；根据显示终端的大小对目标拼接图像进行裁剪输出目标图像。本发明能够用于实现环绕视频的拼接和自定义区域显示，且提高了系统运行效率。运行效率。运行效率。


技术研发人员：富容国 于紫木
受保护的技术使用者：南京理工大学
技术研发日：2021.07.16
技术公布日：2021/11/14