基于运动模型的视频融合方法及系统与流程

1.本发明属于视频融合技术领域，尤其涉及一种基于运动模型的视频融合方法及系统、实现所述方法的计算机设备以及计算机可读存储介质。


背景技术：

2.高速摄像机是一种能够以小于1/1000秒的曝光或超过每秒250帧的帧速率捕获运动图像的设备。它用于将快速移动的物体作为照片图像记录到存储介质上。录制后，存储在媒体上的图像可以慢动作播放。
3.视频融合技术一般指将多个由不同视频采集设备采集的关于某场景或模型的图像序列视频融合，以生成一个新的关于此场景的视频场景或模型。在实际实现中，视频融合通常需要配置多个摄像头同时对包含预定追踪目标或者标准参考目标的区域进行拍摄，分别获得多个摄像头拍摄的多个不同角度视频后执行视频融合以增强显示效果。
4.由于高速摄像机拍摄不同帧之间不同的曝光时间能够最大程度地获取场景细节。若将他们彼此融合,在获取高动态范围的数据图像的同时高帧数摄像机保证了融合后的视频的高帧率效果。
5.现有的视频融合技术大多只是针对普通视频融合本身进行，并没有考虑帧率问题，尤其没有考虑高速摄像机的状态调节问题。
6.在另一个方面在特定的视频场合，例如运动视频追踪、焦点追踪直播(球赛直播)等，高速摄像机得到广泛应用。
7.通过布置多个高速摄像头自动的对包含动态运动目标对象(目标人物、球或者其他比赛器具)进行拍摄追踪获得多个不同视频，然后对不同的视频进行融合后展现为直播画面；同时，考虑了动态目标对象所在的场景范围，摄像头针对目标对象还需要保持一定的角度(避免目标对象一直出现在画面正中央或者一直处于画面的同一个位置)。因此，获得的多个不同视频的角度通常在不断变化。
8.现有技术的视频融合技术同样也并未考虑角度问题，导致多个不同角度的视频如何判断是否能够融合、如何动态识别后实现自适应融合，都没有给出有效的技术方案。


技术实现要素：

9.为解决上述技术问题，本发明提出一种基于运动模型的视频融合方法及系统、实现所述方法的计算机设备以及计算机可读存储介质。
10.在本技术的第一个方面，提供基于运动模型的视频融合系统，所述视频融合系统连接多个高速摄像机阵列，所述系统包括：
11.角度调节子系统，所述角度调节子系统用于调节所述高速摄摄像机的拍摄角度，所述拍摄角度表征所述高速摄像机的镜头中心线与目标对象中心的夹角；
12.帧率调节子系统，所述帧率调节子系统用于调节所述高速摄像机的拍摄帧率；
13.视频融合子系统，所述视频融合子系统将第一预设时长内拍摄的第一视频和第二
视频进行融合；
14.判断子系统，所述判断子系统用于判断所述第一视频和所述第二视频是否符合融合条件；
15.当符合融合条件时，启动所述视频融合子系统；
16.其中，所述判断子系统装载有运动探测模型，所述运动探测模型用于探测所述第一视频和所述第二视频中的运动关键帧参数；
17.当所述运动关键帧参数符合预定条件时，开启所述角度调节子系统和/或帧率调节子系统。
18.具体的，所述运动探测模型用于探测所述第一视频和所述视频中的目标对象的运动关键帧参数，所述运动关键帧参数包括目标对象的瞬时运动速率；
19.若所述第一视频中的目标对象的第一瞬时运动速率和所述第二视频中所述目标对象的第二瞬时运动速率的差值绝对值大于第一预设值，则开启所述帧率调节子系统。
20.所述帧率调节子系统用于设定所述高速摄像机在所述第一预设时长内的拍摄帧率的上限值和下限值；
21.所述第一预设时长为n秒，n为大于2的整数；
22.在所述第一预设时长内，所述高速摄像机的拍摄帧率在所述上限值和所述下限值之间逐秒递减，或者，所述高速摄像机的拍摄帧率在所述下限值和所述上限值之间逐秒递增。
23.所述运动探测模型用于探测所述第一视频和所述视频中的目标对象的运动关键帧参数，所述运动关键帧参数包括目标对象的瞬时移动方向；
24.若所述第一视频中的目标对象的第一瞬时移动方向和所述第二视频中所述目标对象的第二瞬时移动方向的偏差值绝对值大于第二预设值，则开启所述角度调节子系统。
25.所述系统还包括预设时长调节子系统，预设时长调节子系统包括可弹出的参数调节框，用于调节所述第一预设时长的长度；
26.当所述第一视频和所述第二视频符合融合条件并且所述运动关键帧参数不符合预定条件时，可弹出所述参数调节框。
27.在本发明的第二个方面，提供一种基于运动模型的视频融合方法，方法包括运动目标探测步骤、运动关键帧同步识别步骤以及视频融合步骤，各个步骤具体实现如下：
28.运动目标探测步骤：用于探测第一视频和第二视频中是否包含同一个运动目标对象；
29.运动关键帧同步识别步骤：用于探测第一视频和第二视频包含同一个运动目标对象的时间同步关键帧；
30.视频融合步骤：基于所述时间同步关键帧将所述第一视频和第二视频融合，得到融合后视频画面；
31.其中，所述运动目标探测步骤还执行：
32.运动关键帧参数探测子步骤：用于探测所述第一视频和所述视频中的运动关键帧参数；
33.判断子步骤：用于判断所述运动关键帧是否符合预定条件；
34.拍摄调节子步骤：用于调节所述第一视频和/或所述第二视频的拍摄角度，和/或，
调节所述第一视频和/或所述第二视频的拍摄帧率。
35.在上述方法技术方案中，采用运动探测模型执行所述运动目标探测步骤；
36.所述运动关键帧参数包括所述运动目标对象在所述第一视频中的第一瞬时运动速率、第一瞬时移动方向、在所述所述第二视频中的第二瞬时运动速率、第二瞬时移动方向。
37.具体的，在本发明的第三个方面，提供视频融合设备，所述设备包括处理器和存储器，所述存储器上存储有计算机可执行程序指令，通过所述处理器执行所述可执行程序指令，用于实现前述第二个方面所述的方法。
38.进一步的，在本发明的第四个方面，本发明可以实现为一种计算机介质，计算机介质上存储有计算机程序指令，通过执行所述程序指令，前述第二个方面所述的方法。
39.同样的，在本发明的第五个方面，本发明还可以表现为一种计算机程序产品，所述程序产品承载于计算机可读存储介质，通过处理器执行所述程序，从而实现前述第一个方面所述的方法。
40.同样的，在本发明的第六个方面，本发明还可以表现为一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器连接高速摄像机阵列，用于存储高速摄像机阵列拍摄的视频数据，所述视频数据包括第一视频和第二视频，所述处理器连接所述存储器，并被配置为执行如下步骤：
41.s1：探测第一视频和第二视频中是否包含同一个运动目标对象；
42.如果是，则执行捕捉s2；
43.s2：探测所述第一视频和所述视频中的运动关键帧参数；
44.s3：判断所述运动关键帧参数是否是否符合预定条件，如果是，则调节拍摄所述第一视频和/或第二视频的高速摄像机的拍摄角度，和/或，调节拍摄所述第一视频和/或第二视频的高速摄像机的拍摄帧率；
45.s4：更新所述第一视频和第二视频；
46.s5：探测第一视频和第二视频包含同一个运动目标对象的时间同步关键帧；
47.s6：基于所述时间同步关键帧将所述第一视频和第二视频融合，得到融合后视频画面。
48.本发明的技术方案，在针对多个高速摄像机拍摄得到多个不同角度视频进行融合时，充分考虑了不同角度视频的角度变化和帧率变化；基于角度和帧率的反馈调节技术，实现了高速摄像机阵列拍摄的动态运动目标视频的适配性融合；在视频融合后还可以基于融合效果对相机状态参数进行自适应反馈调节，从而形成闭环的全自动反馈过程，达到自学习能力。本技术的技术方案针对重点运动目标人物或者目标对象直播时产生的较好的视觉效应。
49.本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。
附图说明
50.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获
得其他的附图。
51.图1是本发明一个实施例的一种基于运动模型的视频融合系统的部分结构模块示意图；
52.图2是本发明再一个优选实施例的一种基于运动模型的视频融合系统的部分结构模块示意图；
53.图3是本发明一个实施例的一种基于运动模型的视频融合方法的流程示意图；
54.图4是本发明再一个优选实施例的一种基于运动模型的视频融合方法的流程示意图；
55.图5是实现视频融合方法的计算机设备的内部构造示意图；
56.图6是本发明中最小像素区域面积的区域示意图；
57.图7是本发明中相机中心线与最小像素区域的几何中心的夹角示意图。
具体实施方式
58.下面，结合附图以及具体实施方式，对发明做出进一步的描述。
59.参见图1，图1是本发明一个实施例的一种基于运动模型的视频融合系统的部分结构模块示意图。
60.图1中，所述视频融合系统包括角度调节子系统、帧率调节子系统、用于判断子系统以及视频融合子系统，并且所述视频融合系统连接多个高速摄像机阵列。
61.为便于描述，作为一个具体的例子，采用高速摄像机拍摄得到第一视频和第二视频；在这里，第一视频和第二视频可以是两个高速摄像机在同一个预设时段内拍摄得到的不同角度视频；也可以是同一个高速摄像机在不同时段内拍摄到的不同角度的视频。
62.在某些实施例中，第一视频和第二视频也概括为视频vi和视频vj。
63.在功能上，图1中所述角度调节子系统用于调节所述高速摄摄像机的拍摄角度，所述拍摄角度表征所述高速摄像机的镜头中心线与目标对象中心的夹角；
64.具体的，所述拍摄角度表征当前拍摄的高速摄像头中心线与拍摄场景中包含的目标对象的最小像素区域的几何中心与摄像头中心连线的夹角。
65.关于该夹角以及最小像素区域，将在后续示例性解释。
66.所述帧率调节子系统用于调节所述高速摄像机的拍摄帧率；
67.所述视频融合子系统将第一预设时长内拍摄的第一视频和第二视频进行融合；
68.所述判断子系统用于判断所述第一视频和所述第二视频是否符合融合条件；
69.当符合融合条件时，启动所述视频融合子系统。
70.具体的，作为一个示例，所述判断子系统用于判断所述第一视频和所述第二视频是否符合融合条件，具体包括：
71.探测第一视频和第二视频中是否包含同一个运动目标对象，如果包括，则探测第一视频和第二视频是否包含同一个运动目标对象的时间同步关键帧；
72.如果是，则符合融合条件。
73.所述视频融合子系统基于所述时间同步关键帧将将第一预设时长内拍摄的第一视频和第二视频进行融合。
74.其中，所述判断子系统装载有运动探测模型，所述运动探测模型用于探测所述第
一视频和所述第二视频中的运动关键帧参数；
75.当所述运动关键帧参数符合预定条件时，开启所述角度调节子系统和/或帧率调节子系统。
76.所述帧率调节子系统用于设定所述高速摄像机在所述第一预设时长内的拍摄帧率的上限值和下限值；
77.所述第一预设时长为n秒，n为大于2的整数；
78.在所述第一预设时长内，所述高速摄像机的拍摄帧率在所述上限值和所述下限值之间逐秒递减，或者，所述高速摄像机的拍摄帧率在所述下限值和所述上限值之间逐秒递增。
79.所述运动探测模型用于探测所述第一视频和所述第二视频中的目标对象的运动关键帧参数，所述运动关键帧参数包括目标对象的瞬时运动速率和目标对象的瞬时移动方向。
80.若所述第一视频中的目标对象的第一瞬时运动速率和所述第二视频中所述目标对象的第二瞬时运动速率的差值绝对值大于第一预设值，则开启所述帧率调节子系统。
81.若所述第一视频中的目标对象的第一瞬时移动方向和所述第二视频中所述目标对象的第二瞬时移动方向的偏差值绝对值大于第二预设值，则开启所述角度调节子系统。
82.在图1基础上，进一步参见图2，图2是本发明再一个优选实施例的一种基于运动模型的视频融合系统的部分结构模块示意图。
83.图2所述系统在图1基础上，进一步包括预设时长调节子系统，预设时长调节子系统包括可弹出的参数调节框，用于调节所述第一预设时长的长度；
84.当所述第一视频和所述第二视频符合融合条件并且所述运动关键帧参数不符合预定条件时，弹出所述参数调节框。
85.作为进一步的优选，所述判断子系统用基于所述第i视频和第j视频之间的帧间一致性判断第i视频和第j视频是否符合融合条件。
86.所述帧间一致性按照如下方式计算：
[0087][0088]
其中，f
ij
为第i、第j个视频的帧间一致性；
[0089]
area(i)、area(j)分别为第i、第j个视频中获得的时间同步关键帧中包含目标对象的最小像素区域面积；
[0090]
pix(i)、pix(j)为第i、第j视频中获得的时间同步关键帧的分辨率。
[0091]
接下来参见图3，图3是本发明一个实施例的一种基于运动模型的视频融合方法的流程示意图。
[0092]
在图3中，所述方法包括运动目标探测步骤、运动关键帧同步识别步骤以及视频融合步骤，各个步骤具体实现如下：
[0093]
运动目标探测步骤：用于探测第一视频和第二视频中是否包含同一个运动目标对象；
[0094]
运动关键帧同步识别步骤：用于探测第一视频和第二视频包含同一个运动目标对象的时间同步关键帧；
[0095]
视频融合步骤：基于所述时间同步关键帧将所述第一视频和第二视频融合，得到融合后视频画面；
[0096]
在图3基础上，参见图4，图4中，所述运动目标探测步骤还执行：
[0097]
运动关键帧参数探测子步骤：用于探测所述第一视频和所述视频中的运动关键帧参数；
[0098]
判断子步骤：用于判断所述运动关键帧是否符合预定条件；
[0099]
拍摄调节子步骤：用于调节所述第一视频和/或所述第二视频的拍摄角度，和/或，调节所述第一视频和/或所述第二视频的拍摄帧率。
[0100]
具体的，在一个实施例中，采用运动探测模型执行所述运动目标探测步骤；
[0101]
所述运动关键帧参数包括所述运动目标对象在所述第一视频中的第一瞬时运动速率、第一瞬时移动方向、在所述所述第二视频中的第二瞬时运动速率、第二瞬时移动方向。
[0102]
所述判断子步骤判断所述运动关键帧是否符合预定条件，具体包括如下之一或者其组合：
[0103]
判断所述第一瞬时运动速率和所述第二瞬时运动速率的差值绝对值是否大于第一预设值；
[0104]
判断所述第一瞬时移动方向和所述第二瞬时移动方向的偏差值绝对值是否大于第二预设值。
[0105]
在上述方法中，采用高速摄像机拍摄所述第一视频和所述第二视频；
[0106]
在第一预设时长内，所述高速摄像机的拍摄帧率在设定上限值和设定下限值之间递减或者递增。
[0107]
图5是实现视频融合方法的计算机设备的内部构造示意图；可以理解，图5也可以实现图3或者图4所述方法步骤。
[0108]
图5示出一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器连接高速摄像机阵列，用于存储高速摄像机阵列拍摄的视频数据，所述视频数据包括第一视频和第二视频，所述处理器连接所述存储器，并被配置为执行如下步骤s1-s6：
[0109]
s1：探测第一视频和第二视频中是否包含同一个运动目标对象；
[0110]
如果是，则执行捕捉s2；
[0111]
s2：探测所述第一视频和所述视频中的运动关键帧参数；
[0112]
s3：判断所述运动关键帧参数是否是否符合预定条件，如果是，则调节拍摄所述第一视频和/或第二视频的高速摄像机的拍摄角度，和/或，调节拍摄所述第一视频和/或第二视频的高速摄像机的拍摄帧率；
[0113]
s4：更新所述第一视频和第二视频；
[0114]
s5：探测第一视频和第二视频包含同一个运动目标对象的时间同步关键帧；
[0115]
s6：基于所述时间同步关键帧将所述第一视频和第二视频融合，得到融合后视频画面。
[0116]
作为进一步的优选，所述步骤s4之后，还包括判断所述第一视频vi和第二视频vj
是否符合视频一致性条件；
[0117]
具体的，按照如下方式计算视频vi和视频vj在第一预设时段t秒内的合成拍摄角度之间的视频一致性v
ij
：
[0118]
t0为所述第一预设时段t的计时起点；
[0119]
视频vi在第k秒的拍摄帧率为nk帧/秒；视频vj在第m秒的拍摄帧率为nm帧/秒；
[0120]
angle(t)i为视频vi在第一预设时段内的合成拍摄角度；
[0121]
angle(t)j为视频vj在第一预设时段内的合成拍摄角度；
[0122]
所述nk、nm在所述第一预设时段t秒内随时间增大逐渐增加或者逐渐减少。
[0123]
视频vi在第一预设时段内的合成拍摄角度angle(t)i计算如下
[0124][0125]
基于此，可以同样计算视频vj在第一预设时段内的合成拍摄角度angle(t)j。
[0126]
t0为所述第一预设时段的计时起点。所述第一预设时段为t秒，视频vi在第k秒的拍摄帧率为nk帧/秒；t为大于2的整数。
[0127]
若所述视频一致性符合预设条件，则所述第一视频vi和第二视频vj是符合视频一致性条件，所述步骤s4转入步骤s5；
[0128]
否则返回步骤s1。
[0129]
在本发明的各个实施例中，所述拍摄角度表征当前拍摄的高速摄像头中心线与拍摄场景中包含的目标对象的几何中心与摄像头中心连线的夹角。
[0130]
优选的，所述拍摄角度表征当前拍摄的摄像头中心线与拍摄场景中包含的目标对象的最小像素区域的几何中心与摄像头中心连线的夹角。
[0131]
接下来图6-图7分别示意性的解释了上述夹角与最小像素区域的示意图。
[0132]
在图6中，示意性的示出了某个高速摄相机拍摄的包含目标对象的某视频帧图像。
[0133]
作为示意性的例子，图6所述视频帧图像包括5
×
6＝30个像素区域，图中表示为1-30号像素区域，假设每个像素区域的面积为1。
[0134]
最小像素区域可以是根据当前屏幕分辨率确定的该视频帧图像的最小分块单位。
[0135]
基于此，图6中，所述目标对象在所述视频帧图像中共涉及14、15-16(图中被遮盖)、20、21-22(图中被遮盖)、以及9-10共计8个像素区域。
[0136]
因此，拍摄场景中包含的目标对象的最小像素区域的最小像素区域面积为8。
[0137]
即包含所述目标对象的最小像素区域为所述目标对象涉及的所有最小像素区域的个数。
[0138]
作为另一个优选，可以考虑更多的邻域最小像素区域，即在上述8个像素区域基础上，认为8号像素区域也为所述标准参考目标涉及的所有最小像素区域，从而构成3
×
3的最小像素区域。
[0139]
上述实施例即包含所述目标对象的最小像素区域为所述目标对象涉及的所有最
小像素区域以及部分邻域像素区域构成的a
×
b规格的最小像素区域，a、b均为大于1的正整数。
[0140]
接下来参见图7。
[0141]
在图7中，示出每个相机的中心线、包含所述目标对象的最小像素区域的几何中心以及每个光场相机的可调节拍摄范围(预设范围)、以及当前拍摄的摄像头中心线与拍摄场景中包含的目标对象的几何中心与摄像头中心连线的夹角，所述夹角称为拍摄角度。
[0142]
在具体实现中，所述夹角采用弧度作为单位。
[0143]
在图1-图5基础上，所述帧率调节子系统用于调节所述每个摄像机的拍摄帧率。
[0144]
其中，所述调节包括：
[0145]
设定所述摄像机在所述设定时长t内的拍摄帧率的上限值和下限值；
[0146]
所述设定时长t为n秒，n为大于2的整数；
[0147]
在所述设定时长t内，所述摄像机的拍摄帧率在所述上限值和所述下限值之间逐秒递减，或者，所述摄像机的拍摄帧率在所述下限值和所述上限值之间逐秒递增。
[0148]
角度调节子系统用于调节每一个摄像机的拍摄角度，所述拍摄角度表征每个摄像机的镜头中心线与目标对象的几何中心的夹角；
[0149]
本发明的上述技术方案可以通过计算机设备，基于计算机程序指令自动化实现。同样的，本发明还可以表现为一种计算机程序产品，所述程序产品承载于计算机存储介质，通过处理器执行所述程序，从而实现上述技术方案。
[0150]
因此更多的实施例包括一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机可执行程序，所述处理器被配置为执行上述方法的各个步骤。
[0151]
本发明的技术方案，基于高速摄像机拍摄不同帧之间不同的曝光时间能够最大程度地获取场景细节的特点，将他们彼此融合,在获取高动态范围的数据图像的同时高帧数摄像机保证了融合后的视频的高帧率效果。
[0152]
具体的，本发明在针对多个高速摄像机拍摄得到多个不同角度视频进行融合时，充分考虑了不同角度视频的角度变化和帧率变化；基于角度和帧率的反馈调节技术，实现了高速摄像机阵列拍摄的动态运动目标视频的适配性融合；在视频融合后还可以基于融合效果对相机状态参数进行自适应反馈调节，从而形成闭环的全自动反馈过程，达到自学习能力。本技术的技术方案针对重点运动目标人物或者目标对象直播时产生的较好的视觉效应。
[0153]
需要注意的是，本发明可以解决多个技术问题或者达到相应的技术效果，但是并不要求本发明的每一个实施例均解决所有技术问题或者达到所有的技术效果，单独解决某一个或者某几个技术问题、获得一个或多个改进效果的某个实施例同样构成单独的技术方案。
[0154]
本发明未特别明确的部分模块结构或者技术术语，以现有技术记载的内容为准。例如关键帧、同步、融合等概念。举例来说，关键帧可以是包含参考目标的连续帧中的某一帧或者采用其他定义等，同步为时间同步(相同)，所有“预设条件”或者“条件”均可以根据经验(预先)设定，本发明不对此做出特别限定。
[0155]
本发明在前述背景技术部分提及的现有技术可作为本发明的一部分，用于理解部分技术特征或者参数的含义。本发明的保护范围以权利要求实际记载的内容为准。