多视频图像设定方法及多视频图像处理方法与流程

1.本发明涉及一种图像设定方法及图像处理方法，且特别涉及一种多视频图像设定方法及多视频图像处理方法。


背景技术：

2.现在图像后制过程中，有一部分要处理的问题就是影音不同步的问题。然而，目前图像同步采样技术大致有二种方法：无线信号(rf)同步传送技术及声音特征比对技术。以无线信号同步传送技术来说，每台摄像器都电性连接于一台无线信号接收器，各无线信号接收器接收同一台无线信号发送器的无线信号，藉此实现图像同步化。以声音特征比对技术来说，取得每个影音档的音轨，藉由分析音轨的声音特征实现图像同步化。然而，声音特征分析需要采样一段时间，此导致时间延迟长，且在室外拍摄时，摄像器的收音质量通常不佳，使用声音特征比对技术的同步化效果通常不佳。因此，亟需提出一种能改善前述已知问题的技术。


技术实现要素：

3.因此，本发明提出一种多视频图像设定方法及多视频图像处理方法，可改善已知问题。
4.本发明一实施例提出一种多视频图像处理方法。多视频图像处理方法包括以下步骤：接收一第一图像串流，第一图像串流包括多个第一图像；接收一第二图像串流，第二图像串流包括多个第二图像；执行一重叠图像区域抓取步骤，包含：取得各第一图像的一第一局部区域；及取得各第二图像的一第二局部区域，其中第一局部区域的图像与第二局部区域的图像一样且重叠。当第一局部区域的图像或第二局部区域的图像的内容发生变化时，同步第一图像串流与第二图像串流。
5.本发明另一实施例提出一种多视频图像设定方法。多视频图像设定方法包括以下步骤：接收一第一设定图像；接收一第二设定图像；执行一特征分析步骤，包括：取得第一设定图像的多个第一特征点；及，取得第二设定图像的多个第二特征点；以及，执行一重叠图像区域分析步骤，包括：比对此些第一特征点与此些第二特征点，取得相匹配的第一匹配特征点与第二匹配特征点，其中第一匹配特征点为此些第一特征点的一者，第二匹配特征点为此些第二特征点的一者；依据此些第一匹配特征点，取得第一设定图像的一第一局部区域，其中第一局部区域包含第一匹配特征点；及，依据此些第二匹配特征点，取得第二设定图像的一第二局部区域，其中第二局部区域包含第二匹配特征点。其中，第一局部区域的图像重叠于第二局部区域的图像。
6.为了对本发明的上述及其他方面有更佳的了解，下文特举实施例，并配合附图详细说明如下：
附图说明
7.图1绘示依照本发明一实施例的多视频图像处理装置的功能方块图。
8.图2绘示依照本发明一实施例的多视频图像设定方法的流程图。
9.图3a～3d绘示使用图1的多视频图像处理装置执行多视频图像设定方法的过程图。
10.图4绘示依照本发明一实施例的多视频图像处理方法的流程图。
11.图5绘示图1的多视频图像处理装置接收图像串流的示意图。
12.图6a～6g绘示使用图1的多视频图像处理装置执行多视频图像处理方法的过程图。
13.图7绘示依照本发明另一实施例的同步化步骤的流程图。
14.【符号说明】
15.10:第一摄像器
16.20:第二摄像器
17.30:摄像对象
18.100:多视频图像处理装置
19.110:第一输入端口
20.120:第二输入端口
21.130:图像处理单元
22.b11:第一边界
23.b12:第二边界
24.b13:第三边界
25.b14:第四边界
26.b21:第五边界
27.b22:第六边界
28.b23:第七边界
29.b24:第八边界
30.bp1:第一边界点
31.bp1:第二边界点
32.cm1，cm1’:第一校正图像
33.cm2，cm2’:第二校正图像
34.cm11，cm11’，cm21，cm12’:校正后图像
35.d1:方向
36.d2:方向
37.f1:第一特征点
38.fc11，fc12，fc13:第一特征集
39.f2:第二特征点
40.fc21，fc22，fc23:第二特征集
41.mf11～mf14:第一匹配特征点
42.mf21～mf24:第二匹配特征点
43.cm:拼接图像
44.re1，re1’:第一局部区域
45.re2，re2’:第二局部区域
46.re3’:第三局部区域
47.re4’:第四局部区域
48.s1:第一距离
49.s2:第二距离
50.sm1:第一设定图像
51.sm11:图像
52.sm2:第二设定图像
53.sm21:图像
54.vs1:第一图像串流
55.vs2:第二图像串流
56.vm1:第一图像
57.vm2:第二图像
58.δt:时间差
59.s110、s120～s130、s131～s132、s140、s141～s142、s150、s151～s153、s210、s220、s230、s231～s232、s240、s241～s242、s250、s260、s261～s262、s270、s271～s272、s280、s371～s372:步骤
具体实施方式
60.请参照图1，其绘示依照本发明一实施例的多视频图像处理装置100的功能方块图。多视频图像处理装置100包括第一输入端口110、第二输入端口120及图像处理单元130。图像处理单元130耦接第一输入端口110及第二输入端口120。
61.如图1所示，第一输入端口110用以接收第一设定图像sm1。第二输入端口110用以接收第二设定图像sm2。在一实施例中，第一设定图像sm1来自于第一摄像器10，第二设定图像sm2来自于第二摄像器20。其中，第一摄像器10及第二摄像器20是分别朝向同一拍摄对象30，以提取拍摄对象30的画面。然本发明实施例不限制拍摄对象30的类型，其可以是人物、物体、风景、室内场景、户外场景等。
62.图像处理单元130自第一设定图像sm1取得对应的第一局部区域re1，自第二设定图像sm2取得对应的第二局部区域re2。其中，第一局部区域re1的图像重叠于第二局部区域re2的图像(见图3d，详细说明容后描述)。通过第一局部区域re1的图像与第二局部区域re2的图像的重叠信息，可快速后续同步化在多视频图像处理流程中的二图像串流。
63.以下是以图2及图3a～3d说明依照本发明一实施例的多视频图像设定方法的流程。
64.请参照图2及图3a～3d，图2绘示依照本发明一实施例的多视频图像设定方法的流程图，而图3a～3d绘示使用图1的多视频图像处理装置100执行多视频图像设定方法的过程图。
65.在步骤s110中，第一输入端口110接收第一设定图像sm1。在本实施例中，拍摄对象
30例如是包含椅子及窗户，因此，第一设定图像sm1中的图像sm11例如是包含椅子及窗户的图像(如图3a所示)。
66.在步骤s120中，第二输入端口120接收第二设定图像sm2。第二设定图像sm2中的图像sm21例如是包含椅子及窗户的图像(如图3a所示)。
67.在步骤s130中，图像处理单元130执行图像校正步骤。在此仅以一例子作说明，详言之，图像处理单元130于执行图像校正步骤之前，会先判断第一摄像器10及第二摄像器20面向拍摄对象30的视角为相同(如，视角平行)或不同(如，视角不平行)，和/或图像sm11与图像sm21的比例相同(如，尺寸1:1)或不同(如，尺寸非1:1)。当视角不相同时，如图3a所示，图像sm11与图像sm21呈现的比例会不同。于此，当第一设定图像sm1及第二设定图像sm2经判断后的比例不同时，即执行步骤s130，进而校正第一设定图像sm1及第二设定图像sm2，让校正后第一设定图像sm1及第二设定图像sm2的视角相同。若当第一摄像器10及第二摄像器20面向拍摄对象30的视角相同时，则第一设定图像sm1及第二设定图像sm2的比例相同，如此可省略步骤s130。
68.其中，图像校正步骤可以包括数个步骤s131～s132。
69.在步骤s131中，图像处理单元130校正第一设定图像sm1为第一校正图像cm1(如图3b所示)。于此，图像处理单元130可存储校正第一设定图像sm1为第一校正图像cm1时所需要的第一校正参数。本发明实施例不限定第一校正参数的内容，其可为左右偏转角度、上下偏转角度、缩放比例、解析度调整比例、色差调整比例等或其他任何可调整图像的参数，换句话说，只要是能让第一设定图像sm1校正成第一校正图像cm1的参数皆为第一校正参数的范围。在后续多视频图像处理方法中，图像处理单元130可依据此第一校正参数快速校正第一图像串流的第一图像(在后描述)。本文的校正参数可由图像处理单元130分析图像后取得。
70.在步骤s132中，图像处理单元130校正第二设定图像sm2为一第二校正图像cm2(如图3b所示)。图像处理单元130可存储校正第二设定图像sm2所需要的一第二校正参数。本发明实施例不限定第二校正参数的内容，只要是能让第二设定图像sm2校正成第二校正图像cm2的参数即可。在后续多视频图像处理方法中，图像处理单元130可依据此第二校正参数快速校正第二图像串流的第二图像(在后描述)。
71.在一实施例中，图像处理单元130可将第一校正参数与第二校正参数存储于具有存储功能的暂存器、存储器或硬盘等存储介质，本发明并非以此为限制。于此，后续图像处理单元130可视需要而自该存储介质读取第一校正参数与第二校正参数。
72.于此，经过图像校正步骤校正后，第一校正图像cm1的视角与第二校正图像cm2的视角相同。如此，第一校正图像cm1的图像cm11与第二校正图像cm2的图像cm21的比例可为1:1。例如，第一校正图像cm1具有校正后图像cm11，第二校正图像cm2具有校正后图像cm21，其中校正后图像cm11与校正后图像cm21的比例等于或接近1:1。
73.在步骤s140中，图像处理单元130执行特征分析步骤。特征分析步骤包括数个步骤s141～s142。
74.在步骤s141中，图像处理单元130取得第一校正图像cm1的数个第一特征点f1(如图3c所示)。图像处理单元130可采用任何已知的图像分析技术，取得第一校正图像cm1的数个第一特征点f1。在另一实施例中，若第一设定图像sm1不需校正(省略步骤s130)，图像处
理单元130取得第一设定图像sm1的数个第一特征点f1。
75.在步骤s142中，图像处理单元130取得第二校正图像cm2的数个第二特征点f2(如图3c所示)。图像处理单元130可采用任何已知的图像分析技术，取得第二校正图像cm2的数个第二特征点f2。其中，第一特征点f1及f2例如是点、线段(如，拍摄对象30的轮廓线等)、线段上的点(如，拍摄对象30的转角、角落等)等。在另一实施例中，若第二设定图像sm2不需校正(省略步骤s130)，图像处理单元130取得第二设定图像sm2的数个第二特征点f2。
76.在步骤s150中，图像处理单元130执行一重叠图像区域分析步骤。重叠图像区域分析步骤包括数个步骤s151～s153。
77.在步骤s151中，图像处理单元130比对此些第一特征点f1与此些第二特征点f2(如图3d所示)，取得此些第一特征点f1与此些第二特征点f2中相匹配的至少一第一匹配特征点(如，mf11～mf14)与至少一第二匹配特征点(如，mf21～mf24)。
78.举例来说，第一校正图像cm1中的第一匹配特征点mf11与第二校正图像cm2中的第二匹配特征点mf21为校正图像中图像的相同特征(如，窗户的一角)，因此图像处理单元130将第一匹配特征点mf11与第二匹配特征点mf21定义为“相匹配特征点”(如图3d所示)。第一校正图像cm1中的第一匹配特征点mf12与第二校正图像cm2中的第二匹配特征点mf22为校正图像中图像的相同特征(如，窗户的另一角)，因此图像处理单元130将第一匹配特征点mf12与第二匹配特征点mf22定义为“相匹配特征点”(如图3d所示)。
79.相似地，第一校正图像cm1中的第一匹配特征点mf13与第二校正图像cm2中的第二匹配特征点mf23为校正图像中图像的相同特征(如，椅子的一角)，因此图像处理单元130将第一匹配特征点mf13与第二匹配特征点mf23定义为“相匹配特征点”(如图3d所示)。第一校正图像cm1中的第一匹配特征点mf14与第二校正图像cm2中的第二匹配特征点mf24为校正图像中图像的相同特征(如，椅子的另一角)，因此图像处理单元130将第一匹配特征点mf14与第二匹配特征点mf24定义为“相匹配特征点”(如图3d所示)。
80.本发明实施例的匹配特征点的数量是以四个为例说明，然相匹配特征点的数量可视第一设定图像sm1的图像sm11及第二设定图像sm2的图像sm21而定，本发明实施例不加以限定。此外，在实施例中，由于“相匹配特征点”成对，因此第一匹配特征点的数量与第二匹配特征点的数量可相同。
81.在步骤s152中，图像处理单元130依据此些第一匹配特征点，取得第一校正图像cm1的第一局部区域re1(校正后第一局部区域)，其中第一局部区域re1包含所有的第一匹配特征点，例如是第一匹配特征点mf11～mf14(如图3d所示)。
82.在步骤s153中，图像处理单元130依据此些第二匹配特征点，取得第二校正图像cm2的第二局部区域re2(校正后第二局部区域)，其中第二局部区域re2包含所有的第二匹配特征点，例如是第二匹配特征点mf21～mf24(如图3d所示)。
83.第一局部区域re1的图像重叠于第二局部区域re2的图像，即，第一局部区域re1的图像与第二局部区域re2的图像的内容相同且比例等于或接近1:1。换句话说，第一局部区域re1的图像与第二局部区域re2的图像一样且重叠。
84.如图3d所示，第一局部区域re1具有第一边界b11、第二边界b12、第三边界b13及第四边界b14，其中第一边界b11、第二边界b12及第三边界b13为第一校正图像cm1本身的边界。第二局部区域re2具有第五边界b21、第六边界b22、第七边界b23及第八边界b24，其中第
六边界b22、第七边界b23及第八边界b24为第二校正图像cm2本身的边界。
85.第一局部区域re1的第四边界b14可依据第二校正图像cm2决定。例如，第一校正图像cm1的第一匹配特征点至第四边界b14之间的距离与第二校正图像cm2的相匹配的第二匹配特征点至对应边界之间的距离相等。详细来说，第二校正图像cm2的第二匹配特征点mf21沿一方向d1至第八边界b24行经一第一距离s1，因此，第一校正图像cm1的第一匹配特征点mf11(其与第二匹配特征点mf21相匹配)沿相同方向d1至第四边界b14也行经相同的第一距离s1，而决定第四边界b14。在决定第四边界b14后，图像处理单元130依据第四边界b14及第一校正图像cm1本身的边界(如，第一边界b11、第二边界b12、第三边界b13)决定第一局部区域re1的所有边界(以粗虚线绘示于图3d)。
86.相似地，第二局部区域re2的第五边界b21可依据第一校正图像cm1决定。例如，第二校正图像cm2的第二匹配特征点至第一边界b11之间的距离与第一校正图像cm1的相匹配的第一匹配特征点至对应边界之间的距离相等。详细来说，第一校正图像cm1的第一匹配特征点mf11沿一方向d2至第一边界b11行经一第二距离s2，因此第二校正图像cm2的第二匹配特征点mf21(其与第一匹配特征点mf11相匹配)沿相同方向d2至第五边界b21也行经相同的第二距离s2，而决定出第五边界b21。在决定第五边界b21后，图像处理单元130依据第五边界b21及第二校正图像cm2本身的边界(如，第六边界b22、第七边界b23及第八边界b24)决定第二局部区域re2的所有边界(以粗虚线绘示于图3d)。
87.在取得第一局部区域re1的边界及第二局部区域re2的边界后，图像处理单元130可记录第一局部区域re1的数个第一边界点bp1的数个第一坐标以及记录第二局部区域re2的数个第二边界点bp2的数个第二坐标。在后续多视频图像处理方法中，图像处理单元130可依据所记录的数个第一坐标及数个第二坐标，快速决定第一图像串流的第一图像与第二图像串流的第二图像的重叠区域。
88.虽然前述实施例的图像设定流程以第一设定图像sm1及第二设定图像sm2需要校正为例说明，然在另一实施例中，若第一设定图像sm1及第二设定图像sm2不需校正(例如，第一设定图像sm1的图像及第二设定图像sm2的图像的视角及比例相同)，则可省略步骤s130，而第一局部区域re1为第一设定图像sm1的局部区域，且第二局部区域re2为第二设定图像sm2的局部区域。图2的流程中对校正图像的执行步骤皆改为针对设定图像执行。
89.在完成前述多视频图像设定方法后，多视频图像处理装置100可在线上(如，直播)执行多视频图像处理方法。以下进一步举例说明。
90.请参照图4、5及6a～6g，图4绘示依照本发明一实施例的多视频图像处理方法的流程图，图5绘示图1的多视频图像处理装置100接收图像串流的示意图，而图6a～6g绘示使用图1的多视频图像处理装置100执行多视频图像处理方法的过程图。在完成前述多视频图像设定方法后，可在维持第一摄像器10的位置及第二摄像器20的位置下，执行多视频图像处理方法。由于第一摄像器10的位置及第二摄像器20的位置不变，因此在后续多视频图像处理流程中，多视频图像处理装置100所记录的校正参数及坐标，可适用于对第一图像串流vs1及第二图像串流vs2的处理。
91.在步骤s210中，第一输入端口110接收一第一图像串流(video streaming)vs1，第一图像串流vs1包括数个第一图像vm1(如图5及6a所示)。
92.在步骤s220中，第二输入端口120接收一第二图像串流vs2，第二图像串流vs2包括
～mf24’的集合(如图6d所示)。图像处理单元130可采用任何已知图像分析技术，取得第二局部区域re2’的第二匹配特征点。
104.在步骤s270中，图像处理单元130同步第一图像串流vs1与第二图像串流vs2。步骤s270包括数个步骤s271～272。
105.在步骤s271中，图像处理单元130比对数个第一校正图像cm1’的数个第一特征集与数个第二校正图像cm2’的此些第二特征集，以取得此些第一特征集与此些第二特征集之间的一时间差。
106.举例来说，第一图像串流vs1的数个第一校正图像cm1’具有数个第一特征集fc11、数个第一特征集fc12及数个第一特征集fc13(如图6e所示)，其中第一特征集fc11、第一特征集fc12与第一特征集fc13相异，而第二图像串流vs2的数个第二校正图像cm2’具有数个第一特征集fc21、数个第一特征集fc22及数个第一特征集fc23，其中第一特征集fc21、第一特征集fc22与第一特征集fc23相异。第一特征集fc12与第一特征集fc22相同。图像处理单元130比对相同的第一特征集fc12与第一特征集fc22在时间轴上的差异，可取得二者的时间差δt。
107.在步骤s272中，图像处理单元130依据时间差δt，同步化第一图像串流vs1与第二图像串流vs2。例如，图像处理单元130将第一图像串流vs1的第一图像串流vs1的播放时间往前移或往后移，让时间差δt缩短为0，或将第二图像串流vs2的第二图像串流vs2的播放时间往前移或往后移，让时间差δt缩短为0。当时间差δt缩短为0，完成第一图像串流vs1与第二图像串流vs2的同步化。
108.在步骤s280中，拼接同步后的第一图像串流vs1与第二图像串流vs2。
109.举例来说，图像处理单元130用以：分离同步化后的各第一校正图像cm1’的第一局部区域re1’与第一局部区域re1’以外的第三局部区域re3’(如图6f所示)；分离同步化后的各第二校正图像cm2’的第二局部区域re2’与第二局部区域re2’以外的一第四局部区域re4’(如图6f所示)；将同步的第一局部区域re1’与第二局部区域re2’中的一个、第三局部区域re3’与第四局部区域re4’拼接成一拼接图像cm，如第6g图所示。拼接图像cm的解析度高于第一校正图像cm1’的解析度和/或第二校正图像cm2’的解析度，例如，拼接图像m的解析度可达8k解析度，然也可更高或更低。
110.然后，图像处理单元130可将数个拼接图像cm(如第6g图所示)形成的一图像串流(未绘示)以一有线通信技术或一无线通信技术传送至一外部电子装置，如计算机、手持式通信装置和/或显示屏幕等。
111.综上，本发明实施例可采用较低解析度(如超高画质(full hd)解析度)的摄像器(如，第一摄像器10及第二摄像器20)，而输出一较高解析度(如，8k解析度)的拼接图像cm。此外，在不需要额外设备下，多视频图像处理装置可仅靠图像信号，执行多个图像串流的同步化，并输出高解度(如，8k解析度)的同步化画面。
112.以下介绍另一种同步化方法。
113.请参照图7，其绘示依照本发明另一实施例的同步化步骤的流程图。
114.图4的多视频图像处理方法的流程图的步骤s271及s272可以图7的步骤s371及s372取代。
115.在步骤s371中，图像处理单元130比对数个第一校正图像cm1’的数个第一特征集
与数个第二校正图像cm2’的此些第二特征集，以取得此些第一特征集与此些第二特征集之间的一帧率差。
116.举例来说，第一图像串流vs1的数个第一校正图像cm1’具有数个第一特征集fc11、数个第一特征集fc12及数个第一特征集fc13，而第二图像串流vs2的数个第二校正图像cm2’具有数个第一特征集fc21、数个第一特征集fc22及数个第一特征集fc23(如图6e所示)，其中第一特征集fc12与第一特征集fc22相同。图像处理单元130比对相同的第一特征集fc12(frame per second，fps)与第一特征集fc22的帧率，可取得二者的帧率差。
117.在步骤s372中，图像处理单元130依据帧率差，同步化第一图像串流vs1与第二图像串流vs2。例如，第一图像串流vs1中具有第一特征集fc12的第一校正图像cm1’的帧率例如是60fps，而第二图像串流vs2中具有第二特征集fc22的第二校正图像cm2’的帧率例如是59fps，二者的帧率差为1fps。视实际状况而定，第一图像串流vs1的帧率可以小于或大于第二图像串流vs2的帧率。
118.在步骤s372中，图像处理单元130依据帧率差，同步化第一图像串流vs1与第二图像串流vs2。例如，当第一图像串流vs1的帧率大于第二图像串流vs2的帧率时，图像处理单元130在第二图像串流vs2中具有第二特征集fc22的数个第二校正图像cm2’中插入至少一张具有第二特征集fc22的第二校正图像cm2’，使第一图像串流vs1的帧率与第二图像串流vs2的帧率相同；或者，图像处理单元130在第一图像串流vs1中具有第一特征集fc12的数个第一校正图像cm1’中删除至少一张具有第一特征集fc11的第一校正图像cm1’，使第一图像串流vs1的帧率与第二图像串流vs2的帧率相同。至此，完成第一图像串流vs1与第二图像串流vs2的同步化。
119.虽然前述实施例的图像处理流程以第一图像vm1及第二图像vm2需要校正为例说明，然在另一实施例中，若第一图像vm1及第二图像vm2不需校正(例如，第一图像vm1的图像及第二图像vm2的图像的视角及比例相同)，则可省略步骤s230，而第二局部区域re1’为第一图像vm1的局部区域，且第二局部区域re2’为第二图像vm2的局部区域。图4的流程中对校正图像的执行步骤皆改为针对图像串流的图像执行。
120.综上，本发明实施例的多视频图像处理装置在同步化第一图像串流与第二图像串流之前，可先分析第一设定图像及第二设定图像，以取得第一设定图像与第二设定图像的一重叠图像区域，并记录此重叠图像区域的信息，例如是坐标。在取得重叠图像区域后，在维持多视频图像处理装置的架构下(例如，不改变多视频图像处理装置的至少一摄像器的位置)，在一多视频图像处理方法(例如，直播过程)中，可依据所记录的重叠图像区域的信息，快速取得第一图像串流的各第一图像与第二图像串流的各第二图像的重叠图像区域，并依据重叠图像区域的特征集差异同步化第一图像串流与第二图像串流，然后拼接同步化后的第一图像串流的第一图像与第二图像串流的第二图像成为拼接图像。
121.综上所述，虽然本发明已以实施例公开如上，然其并非用以限定本发明。本发明所属领域技术人员，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视所附权利要求书界定范围为准。