同步控制装置、同步控制方法以及同步控制程序与流程

1.本发明涉及对影像/声音数据进行同步控制的技术。


背景技术：

2.在企业领域，存在多个监视据点汇集化的倾向，远程对多个监视据点进行影像监视的远程影像监视技术的需要正在扩大。例如，迫切期望一种远程影像监视系统，实现能够在一个据点监视多个机场的航空管制、能够统一监视机场大厅、火车站、体育场的公共空间监视、能够远程监视泥石流、海啸、水库的防灾监视。
3.该远程影像监视系统为了不仅对多个监视据点进行综合监视，而且还有效掌握各个监视据点的宽广监视区域的状况，例如为了迅速实现防恐对策的强化、大规模自然灾害的预防，具有实时地向监视侧传送高清晰且宽视角的影像的功能。
4.例如，据点侧的远程影像监视装置从多个摄像系统设备分别接收多个摄像机影像(影像/声音数据)，对接收到的多个影像/声音数据进行合成，使用mmt(mpeg media transport媒体传输)协议经由ip网络向监视侧的远程影像监视装置同步传送合成后的全景影像的影像/声音数据以及从影像数据中检测出的对象信息。
5.另外，监视侧的远程影像监视装置在接收到全景影像的影像/声音数据以及对象信息之后，将接收到的影像/声音数据分别向多个显示系统设备(多屏幕)同步输出，并且将接收到的目标对象信息与影像/声音数据同步地分别输出到该多个显示系统设备。
6.在这样的远程影像监视系统中，在ip网络的传输区间使用ntp(network time protocol：网络时间协议)，因此能够确保影像/声音数据与对象信息的同步控制(非专利文献1)。
7.现有技术文献
8.非专利文献
9.非专利文献1：
“デジタル
放送
における
mmt
によるメディアトランスポート
方式”、標準規格、arib std
‑
b60、1.13版、一般社団法人電波産業会、2018年10月


技术实现要素：

10.发明要解决的课题
11.然而，在监视侧的远程影像监视装置与多个显示系统设备之间存在如下课题：难以完全同步控制从该监视侧的远程影像监视装置输出的多个影像/声音数据。
12.具体而言，如图8所示，监视侧的远程影像监视装置b所具备的多个输出用设备(输出用电路板)分别以独自的内部时钟进行动作。因此，多个影像/声音数据的输出时间间隔产生偏差，针对多个显示系统设备的提示时刻也产生偏差，产生在该多个显示系统设备中无法保证影像/声音数据同步再生的影响。最初即使是同步的影像/声音数据，也会累积小的偏差，经过长时间后会使得整体偏差变大。例如，在由内部时钟的偏差造成的影响是每1秒为10μsec的情况下，当再生帧速率为60fps的影像时，约每1667秒(≈28分钟)产生1帧的
偏差。
13.本发明是鉴于上述情况而做出的，其目的在于抑制影像/声音数据对于多个显示系统设备的同步偏差。
14.用于解决课题的手段
15.为了解决上述课题，本发明的同步控制装置对多个数据进行同步，所述数据是影像数据、声音数据、或影像及声音数据，同步控制装置具备：帧数据取得部，其从所述数据取得时间序列的多个帧数据；数据调整部，其基于预定的帧调整指示进行以下的帧调整，即对所述多个帧数据插入预定的帧数据，或者从所述多个帧数据删除一部分帧数据；数据输出部，其依次输出进行了所述帧调整的各帧数据；以及数据输出时刻调整部，其将用于分别输出所述各帧数据的基准时刻与分别输出了所述各帧数据的输出时刻进行比较，所述数据输出时刻调整部在所述输出时刻比所述基准时刻提前了阈值以上时，进行插入所述预定帧数据的所述帧调整指示，在所述输出时刻比所述基准时刻延迟了阈值以上时，进行删除所述一部分帧数据的所述帧调整指示。
16.在所述同步控制装置中，将所述各帧数据进行了编码，所述数据调整部判定所述各帧数据的种类，在所述预定的帧调整指示是帧数据插入指示时，插入全帧，在所述预定的帧调整指示是帧数据删除指示时，删除全帧前一个的差分帧。
17.另外，本发明的同步控制方法是由对多个数据进行同步的同步控制装置进行的同步控制方法，所述数据是影像数据、声音数据、或影像以及声音数据，所述同步控制方法进行以下步骤：从所述数据取得时间序列的多个帧数据的第一步骤；基于预定的帧调整指示进行以下帧调整的第二步骤，即向所述多个帧数据插入预定的帧数据，或者从所述多个帧数据删除一部分帧数据；依次输出进行了所述帧调整的各帧数据的第三步骤；以及将用于分别输出所述各帧数据的基准时刻与分别输出了所述各帧数据的输出时刻进行比较的第四步骤，在所述第四步骤中，在所述输出时刻比所述基准时刻提前了阈值以上时，进行插入所述预定的帧数据的所述帧调整指示，在所述输出时刻比所述基准时刻延迟了阈值以上时，进行删除所述一部分帧数据的所述帧调整指示。
18.另外，本发明的同步控制程序使计算机执行所述同步控制方法。
19.发明效果
20.根据本发明，能够将影像/声音数据对于多个显示系统设备的同步偏差抑制为最小限度。
附图说明
21.图1表示远程影像监视系统的结构例。
22.图2表示解码装置的结构例。
23.图3表示通过编码帧进行的同步控制处理流程。
24.图4表示插入处理后的帧数据的图像。
25.图5表示删除处理后的帧数据的图像。
26.图6表示通过影像帧进行的同步控制处理流程。
27.图7表示插入处理后的帧数据的图像。
28.图8表示课题的图像。
具体实施方式
29.以下，使用附图对用于实施本发明的一个实施方式进行说明。
30.在本实施方式中，为了解决上述课题，公开了同步控制装置、同步控制方法以及同步控制程序(以下，在本段落中简称为“同步控制装置”)。在本实施方式中，作为例子说明将该同步控制装置应用于远程影像监视系统的情况。但是，该同步控制装置例如也可用于在娱乐领域的公众观看中使用的信息处理系统等远程监视以外的用途。
31.[远程影像监视系统]
[0032]
首先，对本实施方式的远程影像监视系统进行说明。
[0033]
在远程影像监视系统中，据点侧的远程影像监视装置使用mmt协议将合成了多个摄像机影像(影像/声音数据)而得到的全景影像的影像/声音数据以及从影像数据检测出的对象信息经由ip网络向监视侧的远程影像监视装置同步传送。在ip网络的传输区间，使用ntp从而低延迟地实现影像/声音数据与对象信息的同步控制。
[0034]
图1表示本实施方式的远程影像监视系统1的结构例。该远程影像监视系统1具备配置在据点侧的据点侧远程影像监视装置a和配置在监视侧的监视侧远程影像监视装置b。
[0035]
首先，对据点侧的远程影像监视装置a进行说明。如图1所示，据点侧的远程影像监视装置a例如具备合成处理装置10、对象信息综合装置20。
[0036]
合成处理装置10具备以下功能：从配置在据点侧的多个摄像系统设备2分别接收多个影像/声音数据，对接收到的多个影像数据进行合成来生成全景影像，从接收到的影像数据中检测1个以上的对象来进行跟踪，并且对生成的全景影像的影像数据和声音数据进行编码处理，使用mmt协议将编码处理后的影像/声音数据经由ip网络4传送给监视侧的远程影像监视装置b。为了执行该功能，如图1所示，合成处理装置10例如具备合成处理部11、编码处理部12以及对象检测/跟踪处理部13。
[0037]
合成处理部11从sdi接口分别输入来自多个摄像系统设备2的例如最大4k尺寸的影像/声音数据，在输入的定时进行同步，并实时地合成已同步的多个影像数据。在合成多个影像数据时，为了降低摄像系统设备2之间的视差的影响，合成处理部11动态变更在多个影像数据之间同步的各影像数据的接缝(seam)，并且有效使用跟踪了预定对象的跟踪处理结果，从而实现合成品质的提高。
[0038]
编码处理部12对通过合成而得到的全景影像的影像/声音数据进行编码处理，转换为由构成监视侧的远程影像监视装置b的解码装置30可接收的mmtp包，经由ip网络4送出到该解码装置30。例如，编码处理部12通过hevc(high efficiency video coding：高效影像编码)编码或avc(advanced video coding：高级影像编码)编码对输入的影像非压缩数据进行编码，并通过aac(advanced audio coding：高级音频编码)编码对声音非压缩数据进行编码，转换为mmtp流后送出。此时，通过管理mmtp流的时间代码，确保与从对象信息综合装置20送出的对象信息的同步。
[0039]
对象检测/跟踪处理部13从多个影像数据中检测1个以上的对象来进行跟踪，并将该对象的检测以及跟踪的执行结果作为对象信息通过websocket发送至对象信息综合装置20。另外，对象的检测以及跟踪方法能够使用公知的技术来实现。
[0040]
对象信息综合装置20通过websocket从对象检测/跟踪处理部13收到对象信息，将收到的对象信息中包含的对象在摄像机影像上的坐标转换为环绕影像上的坐标。此外，对
象信息综合装置20对于同时出现在重叠区域中的对象综合为一个对象。并且，对象信息综合装置20向对象信息内的跟踪信息附加预定的协调密钥来向未图示的预定的外部服务器进行询问，将得到的任意的附加信息追加到跟踪信息中。然后，对象信息综合装置20根据跟踪信息生成信令消息，进行mmtp数据包化来转换为mmtp流，使用mmt协议经由ip网络4送出到构成监视侧的远程影像监视装置b的综合对象信息接收装置40。
[0041]
接着，对监视侧的远程影像监视装置b进行说明。如图1所示，监视侧的远程影像监视装置b例如具备解码装置30和综合对象信息接收装置40。
[0042]
解码装置30具备以下功能：经由ip网络4从合成处理装置10的编码处理部12接收mmtp流，对接收到的mmtp流内的mmtp包中包含的已编码影像/声音数据进行解码处理，在未图示的多个输出用设备之间对通过解码处理解码后的影像/声音数据进行同步控制后分别输出到多个显示系统设备3。
[0043]
综合对象信息接收装置40经由ip网络4从对象信息综合装置20接收mmtp流，取得接收到的mmtp流内的mmtp包中包含的对象信息，将该对象信息内的对象的坐标转换为用于对影像/声音分量进行识别的每个财产(asset)的坐标，并分别输出到多个显示系统设备3。另外，在非专利文献1中记载了与财产相关的详细内容。
[0044]
另外，在实际的运用中，在解码装置30以及综合对象信息接收装置40与显示系统设备3之间设置有将影像/声音数据与对象信息重叠的附加信息重叠装置，但该附加信息重叠装置是数据信息的重叠功能，所以能够安装在解码装置30、综合对象信息接收装置40、显示系统设备3中的任意一个中。另外，摄像系统设备2例如是4k摄像机。显示系统设备3例如是显示器，多个显示系统设备3是多屏幕。
[0045]
[解码装置]
[0046]
解码装置30的功能如上所述，但在本实施方式中，为了解决难以完全同步控制从监视侧的远程影像监视装置输出的多个影像/声音数据的课题，在解码装置30中具备同步控制部(同步控制装置)。
[0047]
该同步控制部对后述的影像声音数据输出部所具备的多个输出用设备的各时钟进展进行监视，在所输出的多个帧数据之间检测到发生了偏差时，对检测到的帧数据的提前或延迟进行帧数据的插入或删除。具体而言，当输出用设备的时钟快时，进行在超前了1帧的时间点插入帧的重复处理，在输出设备的时钟慢时，进行在延迟了1帧的时间点删除帧的处理。由此，分别调整各个影像/声音数据的输出定时，能够将多个影像/声音数据间的同步偏差的产生抑制为最小限度。
[0048]
图2表示具备同步控制部的解码装置30的结构例。该解码装置30进行控制，从而提高在大致相同的定时分别向多个显示系统设备3输出的多个影像/声音数据的同步精度。例如，解码装置30具备帧数据取得部311、编码数据调整部312、编码数据解码部313、影像声音数据调整部314、影像声音数据输出部315、影像声音数据输出时刻调整部316以及时刻同步部317。在这些功能部中，一部分功能部例如编码数据解码部313是解码装置30的既有功能部。
[0049]
帧数据取得部311具备以下功能：经由ip网络4从合成处理装置10接收mmtp流，从接收到的mmtp流中包含的编码后的影像/声音数据中取得时间序列的多个帧数据。
[0050]
编码数据调整部(数据调整部)312具备以下功能：在从影像声音数据输出时刻调
整部316接收到帧调整指示时进行以下帧调整，即基于该帧调整指示中包含的指示内容，对取得的多个帧数据插入预定的帧数据，或者从该多个帧数据中删除一部分帧数据，在没有从影像声音数据输出时刻调整部316接收到帧调整指示时，不对取得的多个帧数据部进行该帧调整。
[0051]
编码数据解码部313具备以下功能：经由编码数据调整部312收到从帧数据取得部311送出的多个帧数据，对收到的多个帧数据分别进行解码处理。
[0052]
以下，将解码处理前的帧数据称为“编码帧”，将解码处理后的帧数据称为“影像/声音帧”。
[0053]
影像声音数据调整部(数据调整部)314具备以下功能：在从影像声音数据输出时刻调整部316接收到帧调整指示时进行以下的帧调整，即基于该帧调整指示中包含的指示内容，对解码处理后的多个影像/声音帧插入预定的影像/声音帧，或者从该多个影像/声音帧中删除一部分影像/声音帧，在没有从影像声音数据输出时刻调整部316接收到帧调整指示时，不对解码处理后的多个影像/声音帧进行该帧调整。
[0054]
影像声音数据输出部(数据输出部)315具备以下功能：按照基于ntp而指定的基准时刻，将通过编码数据调整部312和影像声音数据调整部314中的一方或双方进行了帧调整的多个影像/声音帧依次从多个输出用设备分别输出到多个显示系统设备3。
[0055]
影像声音数据输出时刻调整部(数据输出时刻调整部)316具备以下功能：向影像声音数据输出部315通知针对与摄像机影像的帧速率对应的每个时间间隔指定的基准时刻，其中，该基准时刻是基于时刻同步部317通知的基于ntp(网络时间协议)的时刻信息的时刻。
[0056]
另外，影像声音数据输出时刻调整部316具备以下功能：将为了分别输出各影像/声音帧而指定的该基准时刻与实际分别输出了各影像/声音帧的输出时刻进行比较，在该输出时刻比该基准时刻提前了阈值以上时，对编码数据调整部312进行插入预定的编码帧的帧调整指示，在该输出时刻比该基准时刻延迟了阈值以上时，对编码数据调整部312进行删除一部分编码帧的帧调整指示。
[0057]
另外，影像声音数据输出时刻调整部316将为了分别输出各影像/声音帧而指定的上述基准时刻与实际分别输出了各影像/声音帧的输出时刻进行比较，在该输出时刻比该基准时刻提前了阈值以上时，对影像声音数据调整部314进行插入预定的影像/声音帧的帧调整指示，在该输出时刻比该基准时刻延迟了阈值以上时，对影像声音数据调整部314进行删除一部分影像/声音帧的帧调整指示。
[0058]
另外，影像声音数据输出时刻调整部316能够对编码数据调整部312和影像声音数据调整部314中的一方或双方输出帧调整指示。关于使哪个数据调整部发挥功能，可以基于用户预先设定的设定信息进行判断，也可以由用户随时设定。
[0059]
时刻同步部317具备以下功能：从外部的ntp服务器5接收时刻信息，并将接收到的时刻信息通知给影像声音数据输出时刻调整部316。ntp服务器5通常提供基于原子钟等的时刻信息，因此从该ntp服务器5接收到的时刻信息是准确的，是适合作为基准时刻的原始信息的时刻信息。
[0060]
与解码装置30同样地，上述同步控制部31能够通过具备cpu、存储器、输入输出接口、通信接口等的计算机来实现。另外，也能够做成使计算机作为同步控制部31发挥功能的
同步控制程序、该同步控制程序的存储介质。
[0061]
[同步控制方法]
[0062]
接着，说明用于对多个影像/声音数据进行同步控制的同步控制方法。在该同步控制方法中，以影像数据为例进行说明。即使在声音数据、或影像以及声音数据的情况下，也能够应用该同步控制方法。
[0063]
[基于编码帧进行的同步控制方法]
[0064]
首先，对使用编码帧进行同步控制的方法进行说明。图3表示由编码数据调整部312进行的编码帧中的同步控制处理流程。
[0065]
步骤s101；
[0066]
最初，帧数据取得部311输入从合成处理装置10发送的mmtp流(编码后的影像数据)，从输入的影像数据中取得时间序列的多个编码帧。然后，同步控制部31对每个编码帧执行后述的步骤s102～步骤s106。
[0067]
步骤s102；
[0068]
首先，影像声音数据输出时刻调整部316将为了分别输出多个编码帧的各影像帧而指定的基准时刻与实际从影像声音数据输出部315分别输出了各影像帧的输出时刻进行比较，判定输出时刻相对于基准时刻是否提前了1帧或者是否延迟了1帧。
[0069]
例如，若为帧速率是60fps的影像，则帧时间间隔约为16.66msec，因此，影像声音数据输出时刻调整部316在影像帧的输出时刻比基准时刻早16.66msec时，判定为提前了1帧，在影像帧的输出时刻比基准时刻晚16.66msec时，判定为延迟了1帧。在提前了1帧的情况下，进入步骤s103，在延迟了1帧的情况下，进入步骤s105，在没有提前1帧也没有延迟1帧的情况下，结束处理并对下一个编码帧进行处理。
[0070]
步骤s103；
[0071]
在提前了1帧的情况下，影像声音数据输出时刻调整部316对编码数据调整部312进行用于插入编码帧的帧调整指示。然后，编码数据调整部312在接收到该帧调整指示时，判定处理对象的编码数据的种类，判定下一个编码帧是否为idr帧(全帧；一张全图像帧)。并且，在下一个编码帧为idr帧时，进入步骤s104，在下一个编码帧不是idr帧时，结束处理并对下一个编码帧进行处理。
[0072]
步骤s104；
[0073]
在下一个编码帧是idr帧时，如图4所示，编码数据调整部312复制该idr帧并插入所复制的idr帧。之后，结束处理对下一个编码帧进行处理。
[0074]
即，在步骤s102～步骤s104中，影像声音数据输出时刻调整部316监视影像声音数据输出部315的输出用设备的时钟进展，在时钟进展快的情况下，编码数据调整部312进行在提前了1帧的时间点复制编码帧并插入所复制的编码帧的重复处理。此时，编码数据调整部312等待下一个idr帧的产生，在产生了idr帧时，进行复制idr帧并插入所复制的idr帧的重复处理。由此，能够避免对于画质的影响，并且能够实现从1帧同步偏差的恢复。
[0075]
步骤s105；
[0076]
在延迟了1帧时，影像声音数据输出时刻调整部316对编码数据调整部312进行用于删除一部分编码帧的帧调整指示。然后，编码数据调整部312在接收到该帧调整指示时，判定处理对象的编码数据的种类，判定下一个编码帧是否为idr帧。并且，在下一个编码帧
是idr帧的情况下，进入步骤s106，在下一个编码帧不是idr帧的情况下，结束处理并对下一个编码帧进行处理。
[0077]
步骤s106；
[0078]
在下一个编码帧是idr帧的情况下，如图5所示，编码数据调整部312删除该idr帧前1个的p帧(差分帧；针对idr帧的差分图像帧)。然后，结束处理并对下一个编码帧进行处理。另外，图5所示的b帧也是差分帧。
[0079]
即，在步骤s102、步骤s105～步骤s106中，影像声音数据输出时刻调整部316监视影像声音数据输出部315的输出用设备的时钟进展，在时钟进展慢的情况下，编码数据调整部312进行在延迟了1帧的时间点删除编码帧的跳过处理。此时，编码数据调整部312等待idr帧的产生，在产生了idr帧时删除idr帧前一个的p帧。由此，能够不对画质造成影响地实现从1帧同步偏差的恢复。
[0080]
[基于影像帧进行的同步控制方法]
[0081]
接着，对使用影像帧进行同步控制的方法进行说明。图6表示由影像声音数据调整部314进行的影像帧中的同步控制处理流程。
[0082]
步骤s201；
[0083]
最初，帧数据取得部311输入从合成处理装置10发送的mmtp流(编码后的影像数据)，从输入的影像数据中取得时间序列的多个编码帧。然后，同步控制部31对于将编码帧进行解码处理而得到的每个影像帧执行后述的步骤s202～步骤s203。
[0084]
步骤s202；
[0085]
首先，影像声音数据输出时刻调整部316将为了分别输出各影像帧而指定的基准时刻与实际从影像声音数据输出部315分别输出了各影像帧的输出时刻进行比较，判定输出时刻相对于基准时刻是否提前了1帧或者是否延迟了1帧。该判定方法与在步骤s102中说明的具体例相同。在提前了1帧的情况下，进入步骤s203，在延迟了1帧的情况下，进入步骤s204，在没有提前也没有延迟1帧的情况下，结束处理并对下一个影像帧进行处理。
[0086]
步骤s203；
[0087]
在提前了1帧的情况下，影像声音数据输出时刻调整部316对影像声音数据调整部314进行用于插入影像帧的帧调整指示。之后，影像声音数据调整部314在接收到该帧调整指示时，如图7所示，复制处理对象的前1个或后1个影像帧并插入所复制的影像帧。
[0088]
步骤s204；
[0089]
在延迟了1帧的情况下，影像声音数据输出时刻调整部316对影像声音数据调整部314进行用于删除一部分影像帧的帧调整指示。然后，影像声音数据调整部314在接收到该帧调整指示时，删除处理对象的影像帧。
[0090]
以后，对于下一影像帧重复执行步骤s202～步骤s204的处理。
[0091]
即，在步骤s202～步骤s203中，影像声音数据输出时刻调整部316监视影像声音数据输出部315的输出用设备的时钟进展，在时钟进展快的情况下，影像声音数据调整部314进行在提前了1帧的时间点复制影像帧并插入所复制的影像帧的重复处理。从而能够避免对画质的影响，并且能够实现从1帧同步偏差的恢复。
[0092]
另外，在步骤s202、步骤s204中，在时钟进展延慢的情况下，影像声音数据调整部314进行在延迟了1帧的时间点删除影像帧的跳过处理。由此，能够不对画质造成影响地实
现从1帧同步偏差的恢复。
[0093]
[实施方式的效果]
[0094]
如上所述，根据本实施方式，具备：帧数据取得部311，其从编码后的影像/声音数据中取得时间序列的多个帧数据；编码数据调整部312或影像声音数据调整部314，其基于预定的帧调整指示进行以下的帧调整，即向多个帧数据(解码处理前的编码帧、解码处理后的影像/声音帧)插入预定的帧数据，或者从多个帧数据中删除一部分帧数据；影像声音数据输出部315，其依次输出进行了帧调整的各帧数据；以及影像声音数据输出时刻调整部316，其将用于分别输出各帧数据的基准时刻与分别输出了各帧数据的输出时刻进行比较，影像声音数据输出时刻调整部316在输出时刻比基准时刻提前了阈值以上时，进行插入预定的帧数据的帧调整指示，在输出时刻比基准时刻延迟了阈值以上时，进行删除一部分帧数据的帧调整指示，因此在远程影像监视系统中能够将多个影像/声音数据对于多个显示系统设备的同步偏差抑制为最小限度。
[0095]
另外，根据本实施方式，各帧数据被编码，编码数据调整部312判定各编码帧的种类，在帧调整指示是编码帧的插入指示时，插入idr帧，在帧调整指示是编码帧的删除指示时，删除idr帧前1个的p帧，所以在远程影像监视系统中能够将多个影像/声音数据对于多个显示系统设备的同步偏差抑制为最小限度。
[0096]
附图标记的说明
[0097]
1 远程影像监视系统
[0098]
2 摄像系统设备
[0099]
3 显示系统设备
[0100]
4 ip 网络
[0101]
5 ntp 服务器
[0102]
10 合成处理装置
[0103]
11 合成处理部
[0104]
12 编码处理部
[0105]
13 对象检测/跟踪处理部
[0106]
20 对象信息综合装置
[0107]
30 解码装置
[0108]
31 同步控制部
[0109]
311 帧数据取得部
[0110]
312 编码数据调整部
[0111]
313 编码数据解码部
[0112]
314 影像声音数据调整部
[0113]
315 影像声音数据输出部
[0114]
316 影像声音数据输出时刻调整部
[0115]
317 时刻同步部
[0116]
40 综合对象信息接收装置
[0117]
a 据点侧的远程影像监视装置
[0118]
b 监视侧的远程影像监视装置。