视频拼接方法和装置与流程

本发明涉及图像处理与计算机视觉，尤其涉及一种视频拼接方法和装置。

背景技术：

1、随着视频监控、无人机航拍及全景直播等领域的快速发展，多路视频实时拼接技术成为了核心需求。目前，主流视频拼接方案通常基于特征点匹配计算单应变换矩阵，将多路视频投影至同一平面以实现拼接。然而，这种方法在实际应用中存在缺陷：传统单应变换假设图像处于同一平面，当场景中存在运动物体时，极易产生严重的重影与撕裂现象；现有方法多基于单帧进行独立对齐，输出画面易出现累积漂移和忽大忽小的呼吸感，影响观看体验；此外，在纹理缺失或光照剧烈变化的复杂场景下，特征点匹配稳定性差，导致拼接失败率较高。

技术实现思路

1、本发明提供一种视频拼接方法和装置，用以解决现有技术中的视频拼接方法精度低、稳定性和鲁棒性差的缺陷。

2、本发明提供一种视频拼接方法，包括：

3、提取目标视频帧序列的目标特征图，并提取参考视频帧序列的参考特征图；

4、计算所述目标特征图与所述参考特征图之间的匹配强度图，确定位移期望场，基于所述位移期望场构造中间单应映射，基于所述中间单应映射，将所述目标特征图与所述参考特征图均变换至中间视角进行粗对齐；

5、基于粗对齐后的目标特征图和粗对齐后的参考特征图，构建局部相关体，回归稠密变形场，将所述稠密变形场与预设的刚性网格叠加，生成控制网格，所述刚性网格为未发生偏移的规则网格节点集合；

6、根据所述目标视频帧序列和/或所述参考视频帧序列中的相邻帧之间的网格增量场，确定网格时间路径，对所述控制网格进行时间域平滑处理，得到平滑后的网格；

7、基于所述刚性网格与所述平滑后的网格，采用薄板样条变换对所述目标视频帧序列和所述参考视频帧序列进行像素映射与融合，输出拼接视频。

8、在一些实施例中，所述基于所述位移期望场构造中间单应映射，包括：

9、基于所述位移期望场估算角点偏移值，所述角点偏移值为目标视频帧相对于参考视频帧在四个角点处的二维偏移量；

10、基于所述角点偏移值构造中间单应映射。

11、在一些实施例中，所述基于所述位移期望场估算角点偏移值，包括：

12、将所述位移期望场输入至回归网络，所述回归网络包括卷积层和全连接层，基于所述卷积层提取所述位移期望场的局部上下文特征，基于所述全连接层将所述局部上下文特征映射为角点偏移值。

13、在一些实施例中，所述基于所述角点偏移值构造中间单应映射，包括：

14、获取原始四角坐标，所述原始四角坐标是所述参考视频帧的四个角点的坐标；

15、将所述原始四角坐标与所述角点偏移值的二分之一相加，得到中间四角坐标；

16、基于所述原始四角坐标与所述中间四角坐标，计算得到所述中间单应映射。

17、在一些实施例中，所述计算所述目标特征图与所述参考特征图之间的匹配强度图，确定位移期望场，包括：

18、对所述目标特征图和所述参考特征图在通道维度上进行l2归一化处理；

19、以归一化后的所述目标特征图为局部匹配模板，对归一化后的所述参考特征图进行逐位置内积运算，得到所述匹配强度图；

20、基于第一预设搜索半径，枚举所述匹配强度图中各位置对应的各候选位移；

21、通过引入温度系数的softmax函数对所述匹配强度图进行归一化，得到每一所述位置的各候选位移的权重；

22、基于每一所述位置的各候选位移的权重，对每一所述位置的各候选位移进行加权求和，分别计算每一所述位置的水平方向位移期望与竖直方向位移期望，得到所述位移期望场。

23、在一些实施例中，所述相邻帧包括当前帧和所述当前帧的上一帧，所述根据所述目标视频帧序列和/或所述参考视频帧序列中的相邻帧之间的网格增量场，确定网格时间路径，包括：

24、对所述当前帧的特征图与所述上一帧的特征图在通道维度上进行l2归一化，得到归一化后的相邻帧特征图；

25、以所述控制网格上的当前网格节点位置为中心、在第二预设搜索半径的二维窗口内，枚举所述控制网格的各网格节点位置的各候选位移；

26、计算所述归一化后的相邻帧特征图之间的通道内积相似度；

27、通过引入温度系数的softmax函数对所述通道内积相似度进行归一化，得到每一所述网格节点位置的各候选位移的权重；

28、基于每一所述网格节点位置的各候选位移的权重，对每一所述网格节点位置的各候选位移进行加权求和，计算每一所述网格节点位置的期望位移，得到所述当前帧相对于所述上一帧的网格增量场；

29、按时间顺序累加所述网格增量场，得到所述网格时间路径。

30、在一些实施例中，所述对所述控制网格进行时间域平滑处理，包括：

31、获取当前连续t帧的目标控制网格及对应的目标网格时间路径，将所述目标控制网格与所述目标网格时间路径在通道维度上进行拼接，得到时空特征图，t为大于1的正整数；

32、将所述时空特征图输入至时空建模器，在时间维度上聚合上下文信息，回归输出所述目标控制网格各节点在当前帧的纠偏量；

33、将所述目标网格时间路径减去所述纠偏量，得到平滑路径；

34、将所述目标控制网格减去所述纠偏量，得到平滑后的网格。

35、在一些实施例中，所述基于所述刚性网格与所述平滑后的网格，采用薄板样条变换对所述目标视频帧序列和所述参考视频帧序列进行像素映射与融合，输出拼接视频，包括：

36、将所述刚性网格的源控制点坐标和所述平滑后的网格的目标控制点坐标，由像素坐标系按相同尺度规范化至[-1,1]区间，分别得到规范化后的源控制点坐标与规范化后的目标控制点坐标；

37、基于所述规范化后的源控制点坐标与所述规范化后的目标控制点坐标，构建薄板样条基函数，对所述薄板样条基函数进行求解，得到薄板样条系数，所述薄板样条系数包括仿射矩阵、偏置及核权重；

38、基于所述薄板样条系数构造映射函数，计算所述目标视频帧序列和所述参考视频帧序列中每个像素在所述平滑后的网格下的采样位置，完成像素映射；

39、在映射后的所述目标视频帧序列和映射后的所述参考视频帧序列的重叠区域，沿重叠带几何方向构造线性渐变权重；

40、通过所述线性渐变权重对所述目标视频帧序列和所述参考视频帧序列进行加权融合，输出所述拼接视频。

41、在一些实施例中，在所述采用薄板样条变换对所述目标视频帧序列和所述参考视频帧序列进行像素映射与融合之前，所述方法还包括：

42、获取当前拼接视频的首帧或首窗口中所述平滑后的网格在各节点位置处的坐标极值，所述坐标极值包括全局最小横坐标、全局最大横坐标、全局最小纵坐标及全局最大纵坐标；

43、基于所述坐标极值计算输出画布的宽度、高度及左上角偏移；

44、将所述宽度、高度及左上角偏移确定为全视频统一的固定画布参数。

45、本发明还提供一种视频拼接装置，包括：

46、特征提取单元，用于提取目标视频帧序列的目标特征图，并提取参考视频帧序列的参考特征图；

47、粗对齐单元，用于计算所述目标特征图与所述参考特征图之间的匹配强度图，确定位移期望场，基于所述位移期望场构造中间单应映射，基于所述中间单应映射，将所述目标特征图与所述参考特征图均变换至中间视角进行粗对齐；

48、细对齐单元，用于基于粗对齐后的目标特征图和粗对齐后的参考特征图，构建局部相关体，回归稠密变形场，将所述稠密变形场与预设的刚性网格叠加，生成控制网格，所述刚性网格为未发生偏移的规则网格节点集合；

49、平滑单元，用于根据所述目标视频帧序列和/或所述参考视频帧序列中的相邻帧之间的网格增量场，确定网格时间路径，对所述控制网格进行时间域平滑处理，得到平滑后的网格；

50、拼接单元，用于基于所述刚性网格与所述平滑后的网格，采用薄板样条变换对所述目标视频帧序列和所述参考视频帧序列进行像素映射与融合，输出拼接视频。

51、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述视频拼接方法。

52、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述视频拼接方法。

53、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述视频拼接方法。

54、本发明提供的视频拼接方法和装置，通过提取目标视频帧序列的目标特征图，并提取参考视频帧序列的参考特征图；计算两者之间的匹配强度图，确定位移期望场，构造中间单应映射，将目标特征图与参考特征图均变换至中间视角进行粗对齐，降低了对单一特征点的依赖，进而可以在弱纹理、高动态及光照变化等复杂场景下仍能保持稳定的对齐效果；基于粗对齐后的目标特征图和粗对齐后的参考特征图，构建局部相关体，回归稠密变形场，将稠密变形场与刚性网格叠加，生成能够自适应局部形变的控制网格，能够有效消除动态物体的重影与撕裂；根据相邻帧之间的网格增量场，确定网格时间路径，对控制网格进行时间域平滑处理，能够有效抑制长时间拼接中的累积漂移；基于刚性网格与平滑后的网格，采用薄板样条变换对目标视频帧序列和参考视频帧序列进行映射与融合，输出拼接视频，从而可以提高视频拼接的精度、稳定性和鲁棒性。