网络偏移的制作方法

1.本发明涉及通过ip网络在至少一个远程媒体制作地点与比如工作室等中央地点之间发送数据流，并且更具体地涉及对如视频、音频和数据信号等媒体流进行网络偏移调整。


背景技术：

2.例如体育赛事的传统实况广播利用移动控制室，其通常布置在有时被称为实况广播车(ob车)的至少一个厢型车(或公共汽车)中。移动ob车定位在远程记录地点处或附近，并被布置成从布置在体育赛事处的例如摄像机和麦克风接收信号。在ob车中，可以处理这些信号，并且然后通过网络将这些信号传输到中央工作室以进行最终制作和广播。近年来，已发展远程制作，其中，制作的许多操作是以集中方式而不是在会场进行的，这意味着移动ob车的功能的部分或全部被移动到广播中心(远程广播中心，rbc)或被直接移动到布置在远离实际赛事的地方的中央制作中枢(家庭工作室)。会场、rbc和/或中央制作中枢利用承载视频、音频和数据信号的网络来互连。在一些市场中，远程制作也被称作在家制作。
3.远程和分布式制作具有很大益处，因为制作所需要的资源的大部分位于距实际会场地点有一定距离的地方或甚至可以待在家、在中央制作中枢处以用更少资源来制作更多内容。用于重放、编辑、摄像机控制、音频和视频制作的处理装备的全部或部分可以安装在rbc处(或在中央制作中枢处)。集中定位的装备和操作这些装备的人因此可以用于更多的制作，因为这些装备和人不需要被运送，这意味着因此可以达到更高的利用率。更高的利用率意味着可以降低成本或使用更好的人才和更好的装备。然而，当处理装备远离制作地点时，更多或所有视频、音频和数据信号必须在rbc处可用，就如同制作位于会场内一样。因此，视频、音频、数据和通信需要具有非常低的时延和几乎无损的视频和音频传送。
4.制作装备和编辑装备通常需要视频、音频和一些数据信号是同步的或具有非常小的偏移以便制作素材。视频信号需要所谓的帧同步，以能够在最终流的制作期间在不同的摄像机之间进行切换。此外，相关联的音频和数据信号可能需要既在它们自身之间是同步的又相对于视频信号是同步的。在最终制作中，视频需要与音频和比如元数据或对白字幕等相关联数据同步。使用具有例如专用光纤和相对短距离的网络，同步、延迟和数据丢失通常不会导致问题，但为了充分地利用远程和分布式制作，需要使用通用网络并且还可能在更长的距离上操作，甚至可能在各大洲之间操作。对于在通用广域网上进行的远程或分布式制作，该网络将针对有时很大的不同信号(流)提供不同延迟，并且由于远程/分布式制作的流量与其他流量共享该网络，因此还可能存在由于拥塞而产生的损耗。不同信号(流)的不同延迟可能会成为巨大的挑战。
5.在老式的视频和音频网络中，同步是在接收侧处使用由接收时钟计时的帧存储并通过对全部帧使用管理滑动(复制或移除)来实现的，并且可以处置播放频率和接收频率的差异。通常，音频嵌入在视频流中，而在比如st 2110等新制作场景中，音频、视频和数据是分开处理的，或者音频和视频由操作者手动地同步。
6.大多数通信都是使用互联网技术、即互联网协议(ip)来统一的，这在电信和it网络中很长一段时间情况都如此，且现在也被用于tv制作。通过不同的技术来处置tv制作的具体需求(如短暂的、可预测的延迟和无损传送)以通过复制数据、控制平面改进等来克服ip协议的缺点。
7.由于通常通过放置在赛事地点的不同位置处的多个摄像机和/或麦克风来捕获体育赛事，因此每个摄像机和/或麦克风取决于相关联源而生成包含所捕获信号(包括例如音频数据、视频数据、元数据等)的单独ip信号。一些信号可以在本地处理并混合/选择，而其他信号被传送以在rbc或中央工作室处进行处理。可以用分布式制作加强远程制作，这意味着将一些信号发送到一个地点且将其他信号发送到另一地点以进行处理。然后，将经处理信号从这些其他地点发送到中央地点以将所有分量归到一起以获得最终制作的程序/信号。
8.因此，信号可能在网络上的不同链路(路径)中从一个或多个制作地点传送到例如rbc，并且独立信号(即，独立数据流)将在网络中经历例如不同的链路延迟和网络节点缓冲延迟。另外，可以对不同信号进行处理，例如，压缩、编码、格式转换(例如，mpeg编码转换)等，这进而可能向不同信号添加不同延迟。
9.在制作系统(本地或远程制作)中，如摄像机、麦克风等源设备可以从某个共用主源得到定时参考，使得所有源设备中的内部时钟的定时被准确地同步。通过传递可以用于给视频信号和/或数据包加时间戳的精确时间，基于精确时间协议(ptp)的协议可以用于进行这样的时钟同步，或者本地gps接收器可以用于在源和目的地处获得共用时钟参考信号。然而，即使在(多个)远程制作地点处应用共用主源，这也不会对齐在rbc/中央处理中枢处接收的数据流/ip信号。
10.现代接收器装备通常被设计为处置小的时延(即，源于在源设备与接收器设备之间的传输的延迟)差异，因为它们被设计为在延迟较短的一个设施内使用。穿过wan的信号路径通常差别很大，这意味着这些时延可能使来自不同源设备的信号在rbc处不对齐，从而在一定程度上导致在对媒体内容的后续处理和广播中出现各种时序错误。


技术实现要素：

11.提供一种用于例如体育赛事等的远程和分布式制作的改进方法将是有利的，该方法解决上文提及的问题，且有助于在如(例如)互联网、ip/mpls或光ip网络等ip网络上从远程制作地点到远程或中央制作地点进行比如tv/视频/音频流等现场媒体内容的远程制作。目标是使在中央地点处的操作看起来好像是在远程地点处本地进行的一样。使用远程制作具有用传统制作实际上不可能实现的益处，比如访问所有存档、在所有的赛事处都使用最好的音频混合器、人才等。本发明构思提供了一种用于在系统中进行远程制作的方法，该方法对于既在单个数据流内又具体地在不同的数据流之间维持频率和时间同步是有利的，其中，由于不同路径的不同延迟、网络中的拥塞、不同故障恢复方案(如1 1无中断保护(2022-7))或丢失数据包的重新传输(例如，由于使用比如rist、srt和zixi等arq协议)而存在跨网络具有不同延迟的wan。这是确保低时延并确保顺利和有效操作的关键。
12.这个目标是通过如所附权利要求中定义的根据本发明的方法来实现，该方法涉及以针对通过网络在独立链路上传输的一组媒体流确定的共用网路偏移对流量的传播时间
进行补偿，而非基于逐链路偏移(延迟)补偿。具体地，执行这个方法是为了确保以类似方式处理属于相同或类似制作的一组不同流以确保时间对齐和频率同步。
13.根据本发明构思的第一方面，提供了一种用于在ip网络中进行远程媒体制作的方法，该方法包括：在至少一个接收节点处，监测在网络上从至少一个制作节点传输到该接收节点的多个独立数据流的独立延迟聚合；以及基于该独立延迟聚合来确定至少一个网络延迟校正(corr)因子。该方法进一步包括：用该至少一个corr因子或该至少一个确定的corr因子中的选定corr因子对在该网络上传输的数据流中的数据进行时间补偿。由此，对数据的时间补偿(即，对数据包的定时数据的时间补偿)是在一组数据流的聚合级别上确定的。根据本发明构思的实施例，这样的时间补偿涉及：通过添加这样的corr因子来给视频信号和/或数据包重新加戳，由此将这些流对齐，因此它们是被对齐的；和/或缓冲数据包/帧并释放被对齐的数据包/帧。例如，如果来自视频信号v1的数据包p1在其源处以第一时间t1来加时间戳，并且在第二时间t2到达接收器，则缓冲并在用选定corr因子t
corr
来进行时间补偿的第三时间(即，t1 t
corr
)释放该数据包，因此该数据包在确定的时间(t1 t
corr-t2)期间被缓冲。如先前所指示的，通过网络的延迟不仅需要是wan延迟，而且还可能起源于由例如其他地点/节点导致的其他延迟，数据流通过这些其他地点/节点以进行处理。也可能是这样的情况：延迟补偿可能是从体育场到处理地点、处理延迟、处理地点到中央地点的一连串延迟。
14.根据该方法的实施例，独立数据流与多个预定群组中的至少一个群组相关联。预定群组优选地选自以下各项中的一个：特定制作节点、特定子赛事、媒体流(比如视频流、音频流、元数据/anc流、音频-视频流)的类型、制作节点/接收节点的特定技术和地理区域。corr因子可以被称为群组共用延迟偏移或wan延迟偏移。这个延迟偏移通常与摄像机、麦克风等可以共同捕捉到的内容相关。例如，捕获足球比赛的所有摄像机和麦克风是自然群组，而在相同地点处的工作室可以是分开的群组(和/或群组层次结构的子群组)。
15.根据该方法的实施例，可以周期性地或连续地执行确定corr因子的步骤。corr因子需要足够大以适应独立数据流的最坏情况的延迟，但由于要努力缩短延迟和比如摄像机等远程定位装备的自然操作，因此该corr因子应不大于所需。可以基于包括在从接收节点发送的独立数据流中的时间戳来确定独立延迟中的每一个，然而，独立延迟的结果并不是单独处理的而是作为聚合体来处理的，即，评估的是所收集的群组结果。
16.根据该方法的实施例，确定网络偏移校正(corr)因子的步骤包括依据一组独立链路的延迟聚合(lset)来确定以下各项中的至少一个：平均延迟值、最小延迟值、最大延迟值、最佳延迟值、以及在至少一个预定边际值内的corr因子。边际值可以被确定为在最小边际值或最小边际范围与最大边际值或最大边际范围之间。可以基于网络的历史数据或当前网络状况等来选择不同的corr因子和边际。
17.根据该方法的实施例，通过以下各项中的至少一个来确定最佳延迟和/或最大边际值和最小边际值：计算偏移值加上估计值；测量网络性质，例如，与实际时间相比在独立链路上的数据包的延迟或到达时间；通过第三方(例如，基于经验的ai系统)来确定；管理接口；或通过机器学习；或者它们的组合。
18.移除最小wan延迟偏移δmin
19.根据该方法的实施例，对数据进行时间补偿的步骤包括：在接收器处(或如将在下
文进一步讨论，在例如体育场处的发送器处，或在比如发送器侧(体育场)或接收器处的网关的任何中间节点处)，用基于选定corr因子来补偿的时间戳给数据流的数据加时间戳。例如，可以通过从实际经历的单独延迟移除被选择为最小延迟值δmin的corr因子来对在独立数据流中接收的数据包进行时间补偿，这对使所有数据流在网络中经历相同最小延迟是有利的。当将多个数据流转发到电视工作室时，减少过期的时间戳的数量是有利的(接收器无法处置过老的时间戳，例如，如果视频流在wan上以例如100 ms传递，则接收器和接收器缓冲区不能够处置时间戳。
20.根据本发明构思的实施例，可以通过以下各项来执行给数据加时间戳：改变现有时间戳；在与数据相同的数据包中或在与原始数据包相关联的新数据包中添加附加的经补偿时间戳。
21.根据实施例，用选定corr因子调整ptp时间参考(或其他所利用的时间参考)。
22.添加最大wan延迟偏移δmax
23.根据该方法的实施例，对数据进行时间补偿的步骤包括：在网关或接收节点处，用通过交换所经历的延迟与被选择为最大延迟值δmax的所获得的corr因子来补偿的本地时间戳给数据加时间戳，由此使经由不同的数据流接收的所有数据似乎在转发到工作室而无缓冲时在网络中经历相同延迟。
24.网关中的帧对齐
25.根据该方法的实施例，对数据进行时间补偿的步骤包括在网关或接收节点处：缓冲在相应数据流中接收的数据，并在用corr因子补偿的时间转发经缓冲的数据。对于传入数据流，corr因子可以被选择为最大延迟δmax，这对将数据流协调为似乎已经历通过网络的相同延迟是有利的。可选地，另外通过同时对帧时间(例如，20ms或40ms)进行补偿来执行这样的时间补偿，以提供在远程地点处生成的数据流与在本地工作室处生成的流之间的相互帧对齐。在接收端处的帧起始(例如，工作室时钟帧起始)将决定何时可以将接收到的数据流发送到工作室lan中。例如，这个对齐可以仅针对视频或针对与制作有关的所有流，并且可以在网关或接收器装备(如视频切换器)中执行。
26.根据该方法的实施例，该方法进一步包括：监测要基于选定corr因子进行时间补偿的传入数据流的时间戳。通过将例如选定群组的传入数据流中的后续时间戳进行比较，可以识别传入数据流的时间戳的突然改变。如果数据包开始晚到达，或如果经时间补偿的时间戳(t corr因子)与实时相比具有大边际，则这可以指示需要依据该组延迟聚合lset来选择或确定新corr因子。为了在(实时)媒体流中或者当变换场景或在体育场与工作室之间变换时设置新corr因子，可能需要例如通过重复帧和/或跳过帧来调整音频和视频。
27.如果例如在远程体育场或其他地点处执行比如音频处理等某种处理，而在中央地点处进行视频处理，则在进入/传入网关(gw)处平等地对齐所有流可能并非有益的。相反，执行端到端延迟预算以计算校正因子以基于在目的地点中处理延迟来优化调整和加时间戳。这可以使用在传送和处理链中宣告延迟贡献的控制平面特征来实施。还可以决定终端设备中的端到端延迟，在该终端设备中，组合信号，可以将音频、视频和anc数据归到一起以分布到分布网络或消费者，或例如合并/切换不同的视频信号。
28.在不同的摄像机之间在视频切换器中变换需要在帧起始时进行，这意味着需要帧起始在进入视频切换器之前对齐。在工作室中，在工作室装备内的延迟是短暂的，并且由于
工作室装备从同一时间源接收定时，因此这个延迟是小问题。在远程制作中，一些摄像机是远程的且一些摄像机在工作室处，并且在所有延迟的情况下，帧起始可能在远程摄像机与本地工作室摄像机之间偏移高达40ms。解决这个问题的正常方式仅仅是在接收端处使用所谓的帧缓冲区来延迟远程摄像机，所以远程摄像机的帧起始与家庭制作地点处的本地帧时钟和本地工作室摄像机的帧起始对齐。然而，这引入了高达全帧时间的延迟。为了优化延迟，本发明进一步建议，考虑到对中央工作室的延迟来“调整”远程地点处的时钟，所以从远程地点到达的帧起始中的帧起始与本地工作室摄像机的帧起始一致。这意味着，远程摄像机未与本地工作室时钟进行帧对齐，而是用针对视频流计算的延迟因子进行补偿(更早地或在一些特殊情况下更晚地起始它们的帧)。这将远程制作的如此重要的延迟减少高达全帧时间，该全帧时间可以是例如20ms或40ms，即，在许多情况下比实际网络延迟要长。可以由递送到远程摄像机的实际时钟(例如，经由ieee1588信号)或由用于使远程装备的帧起始同步的黑爆或等效信号来触发帧起始。这意味着，取决于所使用的同步方法和装备，可以通过补偿在远程地点处使用的实际时间(例如，通过ieee1588或其他同步网络)或通过调整所使用的黑爆或等效同步信号来使用该方法。这个方法可以针对视频装备、音频装备和其他装备来进行，但优选地用于比如摄像机馈送或评述等单向流。
29.源时间操纵
30.根据该方法的实施例，除了上述实施例或单独实施例，对数据进行时间补偿的步骤还包括：在至少一个制作节点处，用由corr因子补偿的本地时间戳给至少一个源设备的数据加时间戳；以及立刻传输该数据，该数据是无缓冲的，使得该数据似乎已在时间上更早(或更晚)发送。
31.根据实施例，代替对时间戳进行时间补偿或作为对在网络中执行的其他时间补偿的补充，调整源时间或制作节点本地时钟，例如，负责生成视频帧的摄像机的参考源时钟，即，用corr因子或可选地corr因子减去视频帧时间长度t
frame
的倍数对时钟时间tclock进行时间补偿，以进一步进行时间补偿以相对于接收数据流的本地工作室的例如本地生成的数据流的帧起始进行帧起始对齐。即，如果选择例如corr因子δmax，则将源时间调整为(tclock δmax-n*t
frame
)，这是有利的，因为不需要缓冲来自源的输出信号。当δmax》t
frame
时，使用n*t
frame
因子，并且该因子是可选的优化。
32.根据实施例，在所述接收节点处生成这样的经调整参考源时钟，并且使用比如ieee1588、ntp或其他网络时间传送协议等网络时间协议在网络上分布这样的经调整参考源时钟。
33.根据实施例，在制作地点处使用参考时钟和从接收节点接收的corr因子来生成这样的经调整参考源时钟。
34.根据该方法的实施例，独立数据流中的每一个是现场内容流或预录制的内容流中的一个。
35.根据本发明的方面，提供了一种分布网络中的节点，该节点包括用于执行根据本发明构思的方法的如处理器、电路系统、存储器等装置。
36.根据实施例，wan制作网络中的网关包括用于执行如本文中针对一个或多个接收器描述的方法的方法如处理器、电路系统、存储器等装置。
37.根据实施例，提供了一种接收工作室处理装备，例如，视频切换器，该接收工作室
处理装备包括用于执行如本文所描述的方法的如处理器、电路系统、存储器等装置。
38.根据本发明的方面，提供了一种软件模块，该软件模块适于当由计算机处理器执行时执行根据本发明构思的方法，该软件模块有利地提供简单实施方式和解决方案的可扩展性。
39.本发明方法的实施例优选地借助于以下各项在分布、媒体内容提供方或通信系统中实施：用于以软件形式发信号和提供数据传送的软件模块、现场可编程门阵列(fpga)、专用集成电路(asic)或者适于执行本发明的方法、云服务或虚拟机中的实施方式(图表中未示出)的其他合适的设备或可编程单元。软件模块和/或数据传送模块可以集成在包括合适的处理装置和存储器装置的节点中，或者可以在包括合适的处理装置和存储器装置并且被布置用于与现有节点互连的外部设备中实施。
40.当研究以下详细披露内容、附图和所附权利要求时，本发明的进一步的目标、特征和优点将变得清楚。本领域的技术人员认识到，可以组合本发明的不同特征来产生除了下文中描述的实施例之外的实施例。
附图说明
41.本发明的上述以及附加目标、特征和优点将通过参考附图对本发明的优选实施例进行的以下说明性且非限制性详细说明更好地被理解，在附图中，相同的附图标记将用于相似的元件，其中：
42.图1是展示根据本发明构思的实施例的远程到中央媒体制作系统的示意性框图；
43.图2是根据本发明构思的实施例的依据独立延迟聚合组确定的网络延迟的示意性展示；
44.图3是本发明构思的示例实施例的示意性展示；
45.图4是本发明构思的示例实施例的示意性展示；
46.图5是本发明构思的示例实施例的示意性展示；
47.图6是经调整参考源时钟的示意性展示，该经调整参考源时钟用于从远程制作地点生成和发送流以优化接收节点处的延迟以避免帧缓冲；并且
48.图7是展示分布式媒体制作系统的示意性框图，其中，在不同的地点处执行制作的不同部分。
49.所有附图都是示意性的，不一定按比例绘制，并且通常仅示出为了阐明本发明必要的部件，其中，可以省略或仅仅建议其他部件。
具体实施方式
50.图1是示意性地展示用于例如体育赛事的现场或预录制的远程到中央制作的ip类型的远程媒体制作系统100的框图，鉴于此，将用与下文进一步讨论的示例实施例相关联的附加细节来描述本发明构思的各方面。
51.图1中示出的远程媒体制作系统100包括制作工作室110以及与一个或多个会场地点(即，体育场、本地工作室、驻扎在体育场外面的移动报告团队(未示出))处的不同位置和/或子赛事相对应的远程制作节点120、130、140和150。远程制作节点120、130、140和150各自分别包括多个源设备：例如摄像机122、132、142和152；录音机123、133、143和153；以及
处理/收发器装备124、134、144、154，这些处理/收发器装备用于在网络50上将包括视频、音频和辅助数据(anc)的数据流在相同或不同的通信链路上从远程制作节点120、130、140和150中的每一个传输到制作工作室110(或广播中心)。对接收节点(例如，比如本地tv工作室等广播位置)，该网络可以是固定网络(例如，lan、wan、互联网)、无线网络(例如，蜂窝式数据网络)、或这些网络类型的某个组合。网络50不需要是专用网络，而是可以与其他服务共享该网络。控制指令和其他数据可以进一步在网络上从制作工作室110被传输到远程制作节点120、130、140和150。因此，会场(可选地，rbc(未示出))处的远程制作节点120、130、140、150和制作工作室110与携载所有视频、音频和数据信号的网络50互连。制作工作室110包含将tv制作归到一起所需要的制作装备111的主要部分，如例如用于重放、编辑、远程制作节点处的摄像机的摄像机控制、音频和视频制作的处理装备。
52.通常由放置在赛事地点处的不同位置和子赛事处的多个摄像机122、132、142和152以及录音机123、133、143和153来捕获赛事，并且每个摄像机和/或麦克风取决于相关联源生成与包含例如音频数据、视频数据、元数据等、协议和内容的其赛事捕获相对应的单独ip信号，该单独ip信号在网络上在链路(路径)中作为独立数据流从一个或多个制作节点传送到制作工作室或其他接收节点(网关或处理节点)。
53.在如本文描述的远程制作系统中，比如摄像机、麦克风等源设备通常从共用主源得到定时参考(时间参考t
ref
)，使得所有源设备中的内部时钟的定时被准确地同步。基于例如精确时间协议(ptp)或gps等的协议可以用于这样的时钟同步。
54.替代性地，在制作节点处使用发生器锁定仪器来生成视频信号以进一步传送到制作工作室，然后使视频信号谐振(syntonized)。谐振(syntonized)视频信号是频率锁定的，但是由于网络中的延迟(因例如由于通过网络的不同路径长度产生的传播延迟、在路由器中在路径中的处理延迟和排队延迟以及源节点处的传输延迟导致的)，同步信号将在电视系统中的独立点处展现有差异的相位。调制解调器视频装备(例如，具有多个视频输入的制作切换器)可以在其输入上包括可变延迟以补偿一些相位差异，并对所有输入信号定时以达到相位重合。
55.根据本发明构思，借助于用于在ip网络中进行远程媒体制作的所披露方法处理网络中的数据流的不同延迟的问题。可以在至少一个接收节点中实施对一组独立链路的延迟聚合(lset)的监测，该至少一个接收节点在这里由制作工作室110表示，但还可以指代网关。该接收节点包括能够监测该组独立数据流和对应延迟(lset)的合适的逻辑、电路系统、接口和代码，使得可以基于独立延迟聚合来确定网络偏移。独立延迟中的每一个可以由包括以下各项的非详尽清单中的任一项或组合引起：链路延迟、通过一个或多个网络节点的缓冲延迟、编码、处理/格式转换(例如，mpeg编码转换)等。依据延迟聚合，确定至少一个网络延迟校正因子，即corr因子，由此选择并利用至少一个corr因子来对在独立链路上传输的数据进行时间补偿。corr因子可以互换的被称为网络偏移校正因子或共用网络偏移。通过以下各项来优选地执行对数据进行时间补偿：操纵时间戳；对数据包中包含的时间戳重新加戳；或在数据流的数据包中添加时间戳。可选地，除了提供这样的时间补偿或时间调整，还可以缓冲数据以提供被转发到制作工作室110中的信号的所需对齐。
56.在图2中，在条形图中呈现了不同流和/或可能流群组的数目n个独立延迟，这些延迟是通过监测在网络上从至少一个制作节点传输到接收节点的对应媒体流而得到的。应认
识到，独立延迟的分组可以由来自同一体育场的群组形成，但该分组也可以是通过另一制作/处理设施或云/数据中心的群组内的子群组。
57.可以使用在接收侧处使用的相同时钟(例如，经由gps或网络同步方法)基于独立数据流中包括的时间戳来确定独立延迟，并且可以连续地或周期性地监测这些延迟，后者对降低资源要求可以是有利的。独立数据流中的每个时间戳表示在要传输给接收节点的特定数据包的传输和创建时刻的参考时间t
ref
的值，并且可以与在接收节点处接收相同数据包的时刻的接收时间相比较(条件是接收节点具有相同参考时间t
ref
)。
58.取决于测量延迟的位置，特定数据流的延迟可以包括由数据压缩、声音处理和云处理引起的延迟。依据所监测的聚合，确定至少一个网络偏移校正(corr)因子，例如，平均延迟值(δaverage)、最小延迟值(δmin)、最大延迟值(δmax)、最佳延迟值(δopt)以及优选地在群组基础上选择的在最小值与最大值(或分别最小范围与最大范围)之间的预定边际值内。
59.根据本发明构思的实施例，依据所监测的聚合，基于至少一个群组的构思来确定至少一个corr因子，下文进一步详细地描述该群组构思。该至少一个corr因子选自平均延迟值、群组的δaverage、最小延迟值、群组的δmin、最大延迟值、群组的δmax、最佳延迟值、群组的δopt以及可选地在群组基础上选择的在最小值与最大值之间的预定边际值内。
60.最佳延迟和/或最大边际值和最小边际值可以通过计算或估计corr因子值中的一个来确定，或当利用边际值时需要基于经验进行设置。可以基于分析例如传入流量的数据包延迟变化来应用机器学习。根据该方法的实施例，利用监督式机器学习通过以下方式来确定最佳延迟和/或最大边际值和最小边际值：基于远程制作和/或网络系统的模型来建构预测数据分析算法，并且基于证据(例如，在存在不确定性的情况下先前在lset中针对特定群组监测到的图案)做出预测。监督式学习算法采用已知输入数据集，即，先前在lset中针对特定群组监测到的图案以及对该输入数据的已知响应(输出)。然后训练该模型以为对新数据的响应生成合理预测。该算法可以被设计为估计最佳延迟和/或最小边际值、最大边际值。
61.再次参考图1，现在考虑所展示的媒体制作系统100覆盖盛大的体育赛事。如先前所解释的，提供来自体育赛事的信号的源设备在这里由视频摄像机、录音机等来表示。一组特定的源设备(例如，在制作节点130处的源设备132、133、和134)与被指派覆盖总赛事的特定部分(即第一子赛事)(例如，覆盖在溜冰场中进行的曲棍球比赛)的第一群组相关联，而其他源设备(例如，制作节点140的源设备142到144)与致力于覆盖花样滑冰(即，第二子赛事)的第二群组相关联，并且还有其他源设备(例如，制作节点120处的源设备122到124)与致力于本地赛事工作室的第三群组相关联。同时，视频摄像机122和132与表示例如特定摄像机技术的第四群组相关联，也就是说，与第一群组相关联的源设备中的所有或一些源设备和/或与第二群组相关联的源设备中的所有或一些源设备可以与例如第三群组或第四群组相关联。例如，可以在专门的地点处理覆盖同一体育场的信号/设备的子群组，如在特定的地理上分开的地点处进行音频处理，并且在云服务中自动地处理anc数据，其中，云服务位置可以位于任何地方。然后，考虑到一个且同一体育场群组的两个子群组的不同传送延迟和处理时间，需要确定在家庭工作室处的corr因子。也就是说，/独立/延迟的聚合监测与几个预定群组中的至少一个群组相关联。预定群组选自包括以下各项的非详尽清单：特定
制作节点、特定子赛事、媒体流(比如视频流、音频流、元数据/anc流、音频-视频流)的类型、制作节点/接收节点的特定技术和地理区域。这些群组可以被进一步布置为分层群组，例如，与体育场1相对应的群组.1、与来自体育场1的音频相对应的群组1.1、与来自体育场1的uhd相对应的群组1.2、与来自体育场1的慢动作相对应的群组1.3等。
62.移除最小wan延迟偏移
63.现在参考图3，展示了根据本发明构思的实施例的媒体分布系统200。三个远程制作节点s1、s2和s3经由网络50与接收节点r互连，该接收节点可以是网关或处理中心，通过该接收节点接收来自相应制作节点s1、s2和s3的数据流m1、m2和m3，并用基于确定的corr因子的时间补偿给这些数据流加时间戳，并且随后将这些数据流在到达制作工作室之前重新传输(图3中未示出)。替代性地，不存在网关，而是在工作室处发生重新加戳。
64.在制作节点中的每一个处，最初用以下时间给来自记录特定时刻的源设备的数据包(可选地，分别具有相同或相关的特定序列号)加时间戳：
65.t
stamp1,2,3
＝t
ref at moment n
＝tn。
66.当在接收节点r处接收时，数据包中的每一个具有通过网络的单独延迟t
d1
、t
d2
、t
d3
。在确定链路延迟聚合组的最小延迟δmin(例如，t
d2
《t
d1
《t
d3
＝》δmin＝t
d2
)时，选择校正因子corr因子。为了对媒体流中的每一个进行时间补偿，在接收器r处用网络偏移时间补偿的时间来给相应数据包重新加戳：
67.t
restamp1
＝tn t
d1-δmin＝tn t
d1-t
d2
68.t
restamp2
＝tn t
d2-δmin＝tn t
d2-t
d2
＝tn69.t
restamp3
＝tn t
d3-δmin＝tn t
d3-t
d2
70.然后，将数据包中的每一个转发到制作工作室中/重新传输到制作工作室，其中，数据包中的一个的时间戳指示未经历通过网络50的任何延迟并且其余数据包似乎具有通过网络的更小的链路延迟。根据新时间戳，数据包似乎已通过移除通过网络的最小延迟被“复原”。这使得目的地装备能够通过使用工作室中的链路偏移来负责吸收最小延迟与最大延迟之间的任何差异，条件是工作室装备能够吸收最小延迟与最大延迟之间的差异。该方法优化从体育场到工作室的延迟。
71.根据另一个场景，且根据本发明构思的实施例，如上文在制作节点s1到s3中的每一个处，用以下时间给来自记录特定时刻的源设备的数据包(可选地，分别具有相同或相关的特定序列号)加时间戳：
72.t
stamp1,2,3
＝t
ref at moment n
＝tn。
73.当在接收节点r处接收时，数据包中的每一个具有通过网络的单独链路延迟t
d1
、t
d2
、t
d3
，依据该单独链路延迟来确定被选择为例如最大延迟δmax的网络校正因子。为了对媒体流进行时间补偿，在接收器r处用网络偏移时间补偿的时间来给每个数据包重新加戳：
74.t
restamp1
＝tn δmax
75.t
restamp2
＝tn δmax
76.t
restamp3
＝tn δmax
77.然后，将数据包中的每一个直接转发到制作工作室中/重新传输到制作工作室，并且现在似乎已经历了通过网络50的相同延迟δmax。
78.根据本发明构思的实施例，不是给数据包重新加戳(或结合某种重新加戳)，而是
接收节点r被布置为具有缓冲能力，并且通过以下各项来执行在r(即，网关或接收节点)处对数据进行时间补偿：缓冲在数据流中接收的数据；以及在基于corr因子通过例如添加网络校正因子(例如，t δmax)而补偿的时间将经缓冲的数据转发到接收器或转发到处理工作室。网络校正因子优选地被选择为在预定边际值内的最优、最大值。
79.现在参考图4考虑本发明构思的另一个场景和实施例，其中展示了根据本发明构思的实施例的媒体分布系统300。远程制作节点s4经由网络50与接收节点r1互连，该接收节点可以是网关或处理中心，通过该接收节点接收来自至少一个源设备的数据流m1a、m1b和m1c。数据流m1a、m1b和m1c在这里表示视频、音频和anc数据流，这些数据流在源处被加时间戳，并被传输到接收节点r1进行重新加戳，然后被进一步转发到制作工作室中/传输到制作工作室(图4中未示出)。例如，可以将比如音频等流群组发送到中间地点(附图中未示出)进行处理，然后发送到目的地点r1进行所谓的分布式制作。中间地点也可以是可以进行制作处理的数据中心(私有云或公共云)。如在先前示例中，在制作节点处，表示视频、音频和anc的数据包由单独时间戳来表示：
80.t
stamp1a,1b,1c
＝t
ref at moment n
＝tn。
81.当在接收节点r1处接收时，数据包中的每一个具有通过网络的单独延迟t
d1a
、t
d1b
、t
d1c
，依据该单独延迟确定被选择为例如最大延迟δmax的网络校正因子。为了对媒体流进行时间补偿，在接收器r处用网络偏移时间补偿的时间来给每个数据包重新加戳：
82.t
restamp1a
＝tn δmax
83.t
restamp1b
＝tn δmax
84.t
restamp1c
＝tn δmax
85.然后，将数据包中的每一个直接重新传输到制作工作室，并且现在似乎已经历了通过网络50的相同延迟δmax。
86.分布式制作
87.根据如参考图5最好地展示的本发明构思的实施例，本发明构思涉及分布式远程制作。在图5中，展示了示例实施例，其中，媒体分布系统400包括远程制作节点s4，该远程制作节点经由网络50与接收节点r1(在这里是制作工作室)、接收节点r2(是云处理中心)以及接收节点r3(是音频处理中心)互连，通过这些接收节点接收来自至少一个源设备的数据流m1a、m1b和m1c，并可选地分别对这些数据流进行时间补偿。数据流m1a、m1b和m1c(可以是数据流群组)在这里分别表示视频、音频和anc数据流，这些数据流在源设备处在制作节点s1中被加时间戳，并传输到接收节点r1、r2或r3中的一个进行时间补偿和/或处理，并可选地进一步传输到制作工作室r1。如在上文的先前示例中，在制作节点s4处，表示视频、音频和anc的数据包由单独时间戳t
stamp1a,1b,1c
＝t
ref at moment n
＝tn来表示。也可以在没有远程制作构思的情况下进行分布式制作。在这种情况中，使用几个地点来进行制作的不同部分。工作室可以位于一个地点中，视频制作是在另一个地点中进行的，音频制作在第三个地点中进行的，并且配字幕和元数据被处理为云服务。
88.最初，在制作节点s4处可选地压缩视频流m1a，然后经由网络50将该视频流直接发送到制作工作室r1。然后，视频流m1a的总延迟总计达到从制作地点s4到制作工作室r1的传播延迟加上压缩/解压缩的时间以及可选地在制作工作室r1中的进一步处理时间，而对于音频流m1b，总延迟包括从制作地点s4到音频处理中心r3和制作工作室r1的传播延迟加上
用于音频处理的时间，并且对于anc数据流m1c，总延迟包括从制作地点s4到云处理中心r3和制作工作室r1的传播延迟加上用于云处理的时间。可以在制作工作室r1处计算corr因子，在该制作工作室中，也可以执行基于依据聚合延迟确定的corr因子进行的时间补偿。为了协调三个子群组(视频、音频和anc)之间的时间戳，通常对子群组的最长延迟(例如，音频的延迟)感兴趣。因此，然后可以将传入的corr因子选择为δmax，借此对所有子群组进行时间补偿以协调与同一群组相关联(即，属于制作)的视频、音频和anc数据流。
89.图7展示了如图1中示出的远程媒体制作系统100，该远程媒体制作系统进一步包括在远程设备中操作的分布式制作设施112。分布式制作工作室112包含处理音频和视频制作的选定数据流所需要的制作装备113的一部分。分布式制作设施112从制作节点接收数据流的子集m3'，并在本地处理它们，然后将它们发送到主要制作设施110或直接发送到分布中枢。如果数据流要被再次处理或与在制作设施110中处理的其他数据流合并，则将流m3处理为接收节点110中的其他传入流。
90.源时间操纵
91.根据该方法的实施例，对数据进行时间补偿的步骤包括：在接收节点处，确定网络校正因子(corr因子)；以及然后将corr因子作为反馈发送到对应制作节点。制作节点被布置为从接收节点接收反馈corr因子并且通过在至少一个源设备处用本地时间戳给数据加时间戳来对传出数据流进行时间补偿，该本地时间戳是通过添加被选择为例如δmax[(t δmax)]的corr因子并且立刻传输数据来补偿的。因此，执行(多个)数据流的传输而不缓冲数据流。图6是经调整参考源时钟的使用的示意性展示，该经调整参考源时钟用于从远程制作地点生成和发送流以优化接收节点处的延迟以避免帧缓冲。在本地工作室处，监测来自制作地点的数据流的独立延迟聚合，并且确定网络延迟校正因子，例如在该特定时刻的最大延迟δmax。将网络延迟校正因子传递到远程地点，即，制作地点。然后，通过网络延迟校正因子δmax调整用于从远程制作地点生成和发送流的参考源时钟t
ref
，使得用时间t'
remote
＝t δmax来给数据流加时间戳以优化随后在本地工作室处接收的流的感受到的延迟。因此，在接收时间t
receive
处，在本地工作室处以t'＝12:00:00 δmax加时间戳的所接收数据的所接收帧起始在时间上与在t＝12:00:00(所接收流的时间戳)创建的本地数据的帧起始对齐，这使得可以避免帧缓冲。通过连续地(或以预定间隔)监测所接收数据流的独立延迟聚合并确定选定corr因子，例如δmax，可以调整传递到制作地点的corr因子以反映网络的当前状况。
[0092]
处置错误
[0093]
根据本发明构思的实施例，除了在接收节点(例如，网关)中对数据流进行时间补偿，该方法还进一步包括：监测正在用选定网络corr因子进行时间补偿的群组的lset中的传入数据流的时间戳；以及将该群组的传入数据流中的后续时间戳进行比较以识别该群组的传入数据流的时间戳的突然改变。通过确定当前选定的corr因子是否小于本地偏移时间，通常约5ms，可以发现网络中的错误，并且如果网络中存在错误，则选择用于补偿错误的新的网络corr因子。对于视频流，为了处置错误，帧的跳过或重复对于补偿错误可能是必要的。