基于网格变形与GPU加速的多路实时视频拼接方法及系统与流程

本发明涉及民用机场安防监控与计算机视觉视频图像处理，特别是涉及一种基于网格变形与gpu加速的多路实时视频拼接方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、民用机场是机场安防管控的核心区域，该区域纵深可达200米以上，横向覆盖宽度超过150米，需实现180°水平无死角全景监控，同时需兼顾近距离廊桥机位的地勤人员、特种车辆细节识别，与远距离滑行道的民航客机动态跟踪。该场景下同时存在大尺寸滑行客机、中速移动特种车辆、低速行走人员三类动态目标，且处于开阔无遮挡的复杂光照环境中，对视频拼接的精度、实时性和鲁棒性均提出了严苛的行业合规要求。

3、现有多路视频拼接技术在该机场监控场景的落地应用中，主要面临以下问题：

4、（1）大视差场景下画面重影错位。传统方法普遍采用全局单应矩阵、球面投影刚性变换方案，该类方法仅能适配平面场景，而机场场景近景机位与远景滑行道深度差超过200米，实际应用中极易出现“近景对齐则远景重影、远景对齐则近景错位”的问题，无法满足安防取证的画面清晰度要求，导致关键事件追溯失效。

5、（2）多动态目标下拼接鬼影断裂。机场场景内同时存在飞机、车辆、人员三类运动速度、尺寸差异极大的动态目标，现有固定缝合线、静态梯度接缝方案，无法对多运动目标进行同步规避，极易在拼接缝处出现飞机机翼断裂、车辆重影、人员丢失的问题，造成监控盲区与事件漏判。

6、（3）高分辨率视频实时处理存在瓶颈。机场安防要求3路400万像素25fps视频流的实时处理，现有apap网格变形拼接算法计算复杂度高，纯cpu方案处理帧率仅能达到8fps，无法满足民航标准25fps的实时性要求；常规cuda加速方案仅适配全局变换，难以高效支持局部网格变形的并行计算，无法在机场边缘机房服务器中实现落地。

7、（4）复杂光照条件下画面一致性差。机场开阔场景存在白天强光直射、飞机滑入逆光遮挡、夜间助航灯光多光源干扰等极端光照环境，现有基于重叠区域均值的伽马校正方案校正精度不足，易出现拼接边界明暗跳变、夜间灯光区域过曝失真，导致监控画面连续性失效。

技术实现思路

1、为了解决现有技术中大视差场景下画面重影、多动态目标导致拼接鬼影、高分辨率视频实时处理效率低以及复杂光照下画面一致性差的问题，本发明提供了一种基于网格变形与gpu加速的多路实时视频拼接方法及系统，通过采用尽可能投影法进行局部网格变形并生成静态重映射表，解决了深度差异带来的对齐困难；通过稠密光流检测运动区域并注入相反纯色像素引导接缝绕行，消除了多目标鬼影；通过构建全局光照误差函数优化曝光补偿增益，实现了光照一致性校正；结合gpu加速与多频段金字塔融合，满足了高分辨率视频的实时拼接要求。

2、一方面，提供了一种基于网格变形与gpu加速的多路实时视频拼接方法，包括：

3、获取多路视频数据流，通过时间戳对齐得到同步视频帧序列；

4、基于首帧图像，在相邻图像重叠区域提取并匹配特征点，将首帧图像划分为二维网格，采用尽可能投影法计算每个网格顶点的局部单应矩阵，通过插值生成静态像素重映射表，对后续视频帧图像执行重映射得到变形图像；

5、从所述变形图像中提取重叠区域的有效像素，构建全局光照误差函数，求解使所述全局光照误差函数最小化的曝光补偿增益系数并应用于整幅图像，得到光照校正后的图像；

6、计算光照校正后的图像与相邻图像重叠区域的稠密光流场，生成运动掩膜；当运动像素面积占比超过预设阈值时，对掩膜区域交替注入相反纯色像素，通过寻找最小颜色差异的接缝路径，生成融合掩码；

7、基于光照校正后的图像和融合掩码，构建拉普拉斯金字塔和高斯金字塔，利用高斯掩码权重对拉普拉斯频段数据进行逐层加权混合，经拉普拉斯金字塔重建得到拼接的全景视频帧。

8、进一步地，所述基于首帧图像，在相邻图像重叠区域提取并匹配特征点，具体为：采用sift算法提取特征点，构建高斯差分金字塔并生成特征描述子；采用快速最近邻匹配算法进行特征匹配，通过最近邻与次近邻距离比值筛选优质匹配对，并采用ransac算法剔除误匹配对。

9、进一步地，所述采用尽可能投影法计算每个网格顶点的局部单应矩阵，通过插值生成静态像素重映射表，具体为：将首帧图像划分为预设尺寸的均匀二维网格；针对每个网格顶点，基于其与匹配特征点集的空间欧氏距离分配高斯衰减权重；求解带权重的直接线性变换方程，得到每个网格单元的局部单应矩阵；基于所有网格顶点的局部单应矩阵，通过双线性插值计算各路输入图像每个像素点在拼接后全景图像中的坐标映射关系，生成水平与垂直方向的静态像素重映射表。

10、进一步地，所述全局光照误差函数具体为：

11、；

12、其中，和分别为待求的相邻图像i和图像j的曝光补偿增益系数，为重叠区域的有效像素集合，为该重叠区域内的具体像素点空间坐标；与分别表示图像i和图像j在交界像素点p处读取的原始像素强度。

13、进一步地，计算光照校正后的图像与相邻图像重叠区域的稠密光流场，生成运动掩膜，具体为：采用稠密光流算法计算重叠区域的稠密光流场，得到每个像素的水平位移和垂直位移；计算各像素的运动矢量幅值，通过与预设运动阈值比较，将运动幅值大于阈值的像素标记为动态像素，其余标记为静态像素，从而生成二值运动掩膜。

14、进一步地，所述当运动像素面积占比超过预设阈值时，对掩膜区域交替注入相反纯色像素，具体为：根据当前帧序号的奇偶性，对运动掩膜标记的动态区域注入相反纯色像素，偶数帧时注入第一纯色，奇数帧时注入第二纯色，所述第一纯色与所述第二纯色互为相反色。

15、进一步地，所述通过寻找最小颜色差异的接缝路径，生成融合掩码，具体为：采用动态规划算法，以最小化路径上所有像素点的颜色差异之和为目标，在重叠区域中从上至下寻找纵向接缝路径；将寻找到的最优接缝路径作为分界线，生成相邻图像对应的互不重叠的二值融合掩码。

16、进一步地，所述基于光照校正后的图像和融合掩码，构建拉普拉斯金字塔和高斯金字塔，利用高斯掩码权重对拉普拉斯频段数据进行逐层加权混合，经拉普拉斯金字塔重建得到拼接的全景视频帧，具体为：基于各路对应的融合掩码并行构建多层高斯金字塔，作为空间过渡融合权重；基于完成空间对齐及光照校正后的各路变形图像，分别构建对应相同层数的拉普拉斯金字塔；在各个金字塔层级上，采用两两融合的方式，利用高斯掩码权重对相邻通道的拉普拉斯频段数据进行逐层级联加权混叠，生成全景融合拉普拉斯金字塔；自所述全景融合拉普拉斯金字塔的顶层向下逐层执行逆向重建，通过逐层上采样和频段残差叠加，将混合后的全景融合拉普拉斯金字塔恢复为高清全景视频帧图像。

17、另一方面，还提供了一种基于网格变形与gpu加速的多路实时视频拼接系统，包括：

18、视频采集与同步模块，被配置为：获取多路视频数据流，通过时间戳对齐得到同步视频帧序列；

19、网格变形模块，被配置为：基于首帧图像，在相邻图像重叠区域提取并匹配特征点，将首帧图像划分为二维网格，采用尽可能投影法计算每个网格顶点的局部单应矩阵，通过插值生成静态像素重映射表，对后续视频帧图像执行重映射得到变形图像；

20、曝光补偿模块，被配置为：从所述变形图像中提取重叠区域的有效像素，构建全局光照误差函数，求解使所述全局光照误差函数最小化的曝光补偿增益系数并应用于整幅图像，得到光照校正后的图像；

21、接缝计算模块，被配置为：计算光照校正后的图像与相邻图像重叠区域的稠密光流场，生成运动掩膜；当运动像素面积占比超过预设阈值时，对掩膜区域交替注入相反纯色像素，通过寻找最小颜色差异的接缝路径，生成融合掩码；

22、融合模块，被配置为：基于光照校正后的图像和融合掩码，构建拉普拉斯金字塔和高斯金字塔，利用高斯掩码权重对拉普拉斯频段数据进行逐层加权混合，经拉普拉斯金字塔重建得到拼接的全景视频帧。

23、再一方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时，执行第一方面方法。

24、上述技术方案具有如下优点或有益效果：

25、（1）通过apap局部投影网格变形，在机场200米深度差条件下实现了近景与远景的同时精准对齐，有效避免了远近景重影与撕裂，满足了安防取证的清晰度要求。

26、（2）通过gpu加速的稠密光流与动态色彩惩罚接缝计算，能够对机场场景内飞机、车辆、人员三类动态目标的鬼影进行有效消除，保障了事件追溯的完整性。

27、（3）基于xeon gold 5318h cpu与tesla t4 gpu的异构协同加速，处理3路400万像素25帧/秒视频流时，处理速度较纯cpu方案提升超过200%。

28、（4）通过带平滑约束的全局曝光补偿算法，有效控制在机场强光、逆光及夜间多光源环境下的亮度差异，实现了24小时全天候稳定运行。