使用双信标差值实现的多路视频自适应同步方法和装置与流程

1.本发明属于无线通信终端显示技术领域，具体涉及了一种使用双信标差值实现的多路视频自适应同步方法和装置。


背景技术：

2.现在广告设备已经非常普及，在办公楼电梯或者办公大厅等公众场所都安装了各类视频终端设备。设备可用于循环播放各类商业或公益广告，很多场合中为了视觉效果需要实现位于同一地点的多台设备同步播放本地同样的多段视频或图片，这类设备通常作为广告机产品使用。现有的多路视频同步技术方案大多采用同步中心所设置的一个固定时间轴进行周期性的同步，被同步的设备端通过本地当前播放视频的帧时间与中心的时间戳进行比较并调整播放时间，从而达到同步的目的。这种简单的同步方式在同步周期较短时容易出现视频播放卡顿，因为频繁的进行视频快进或倒退造成的；而同步周期太长又容易造成不同视频播放端播放延迟，存在较多问题。
3.部分改进方法使用了比较阈值来减少卡顿问题，但是固定阈值的使用本身不具备自适应性，在不同分辨率不同大小的视频播放中阈值通常需要根据具体情况进行调整，未调整时仍然会存在上述无阈值播放的问题。
4.专利文件《视频同步方法、服务器端视频同步装置、客户端视频同步装置》(公开号：113170217a)提出了一种视频同步方法，这种方法可能存在网络对时的延迟问题，造成视频滞后的问题。专利文件《一种音视频同步调整方法和装置》(公开号：110225385b)提出一种音视频同步的方法，但是该发明不涉及多视频同步播放。专利文件《分布式视频同步显示系统及视频同步显示方法、存储介质》(公开号：113453053a)提出利用预设精密时钟同步协议使各输入节点、输出节点记录的同步时间戳同步，但对于精密时钟的使用会推高产品成本。
5.文献《多路视频同步播放控制的实现》提出一种本地视频播放同步方法，使用的技术是公共时间戳同步法。
6.在网络上公开的局域网udp广播视频同步方法(网址链接为：https://blog.csdn.net/mythace/article/details/52253198)给出了一种使用udp局域网广播/组播的同步方式，它使用一台中心机对外定时广播当前中心设备的视频播放时间，让其他节点根据该时间进行同步调整节点上的视频播放时间达到同步目的。经过测试发现这种方式在播放高清视频时，当中心发送的同步时间间隔比较短的情况下，由于节点进行同步时视频解码播放有延迟，造成经常会在节点设备上看到设备卡顿情况，这是因为视频同步时跳转播放引起的；而且udp广播本身存在较高的丢包率，同步效果会打折扣。。


技术实现要素：

7.本发明的目的在于针对现有技术存在的不足，提供了一种使用双信标差值实现的多路视频自适应同步方法和装置。本发明采用的三段式时间同步法具备动态性，能自适应
不同类型的视频播放场合，具有以往固定阈值方法所没有的动态调整特性，弥补了现有技术方案的不足，能达到减少播放延迟，减少视频卡顿的效果。
8.为了实现上述目的，本发明采用了以下技术方案：
9.一种使用双信标差值实现的多路视频自适应同步方法，首先布置两台微型信标中心模块和若干视频终端，然后所述两台微型信标中心模块分别定时以标准的ibeacon帧格式对外广播用于同步的帧数据，位于广播区域的所有视频终端接收所述两台微型信标中心模块发送的同步帧数据并且采用三段式时间同步法实现多路视频同步播放。
10.作为本发明进一步说明，所述对外广播用于同步的帧数据的内容中携带了当前视频播放的文件信息以及同步时间戳。
11.作为本发明进一步说明，所述ibeacon帧格式如下表：
[0012][0013]
[0014]
其中的uuid段，即偏移9至24的16个字节用作自定义消息内容，使用大端格式存储。
[0015]
作为本发明进一步说明，所述magic number：包含两字节，第9、10两个字节，用于区别这个广播包以及其他设备发送的广播包；
[0016]
所述信标序号：第11个字节，用于标识该包是双信标中哪一个发送出来的数据；
[0017]
所述当前广播帧序号：由第12～15四个字节通过大端格式组成，用于区分广播包顺序；
[0018]
所述同步时间戳：包括第16～19四个字节，大端格式组合，用于视频播放终端的同步时间；
[0019]
所述广播时间间隔：包括20，21两个字节，大端格式，单位是秒，标识了该信标广播的时间间隔；
[0020]
所述第22～24字节是保留位，预留可作他用。
[0021]
作为本发明进一步说明，所述三段式时间同步法包括：
[0022]
所述两台微型信标中心模块分别为主信标a和参考信标b，主信标a以时间间隔t对外广播用于同步的帧数据，参考信标b以时间间隔t对外广播用于同步的帧数据，且t》2t；
[0023]
将主信标a的每个广播的时间间隔t分为三段，其中：第一段时间长度为信标中心模块b的时间间隔t，第二段时间长度为可忽略的视频播放时间，第三段时间长度t0为需要延迟播放的时间；
[0024]
设定ts为每段主信标a发送帧数据的起始时间；
[0025]
视频播放时pts1距离本段主信标发送间隔起始时间的差值为δt1＝t
pts1-ts，同理δt2＝t
pts2-ts，依次类推得到：
[0026]
δti＝t
ptsi-ts；
[0027]
根据已知条件t和t，t0的计算公式如下：
[0028][0029]
其中，n是记录下的最近几次pts数据，n是自然数，即(注意，这里假设是采集10次数据，这里的10是经过测试得到的一个最优值，不同场合可以进行相应调整)；
[0030]
视频播放刚开始的时候没有任何pts数据，此时n＝0，也就是说当n＝0时可得到：
[0031][0032]
注意到步骤一中已有条件t》2t，可推断出t0＞0，所以在这种情况下能保证计算t0时其值是不会小于0的；
[0033]
由于视频的加载缓冲特性，视频像素越清晰视频加载渲染越耗时，绝大多数情况当n很大时有：
[0034]
[0035]
带入上面计算t0的公式可得到：
[0036][0037]
也就是说当n较大时，t0也是大于0的，因此该算法能保证计算得到的t0是一个正数，可用于下述的程序逻辑中；这里可以看出三段式中t0和t-t-t0都是具有动态性的，根据历史视频播放效果进行自适应的调整；
[0038]
由信标参数t、t，并通过上述理论算法计算出t0值后，就可以实现视频播放同步程序了，通过三个时间段t0、(t-t-t0)、t与视频终端当前播放视频的t
pts
进行比较，得到当前需要执行的操作。
[0039]
在视频解码播放时，每次pts视频渲染前计算出t0值，然后根据当前t
pts
判断位于t、t0或者(t-t-t0)之中，处于不同区域执行不同的视频处理方法。
[0040]
当视频需要延迟播放时，延迟时间计算公式如下：
[0041]
t
delay
＝t
pts-ts-t。
[0042]
本发明还提供了一种使用双信标差值实现的多路视频自适应同步装置，包括两台微型信标中心模块和若干视频终端；所述装置采用如上所述多路视频自适应同步方法实现多路视频同步播放。
[0043]
作为本发明进一步说明，所述微型信标中心模块基于esp32模组定制，设有wifi/蓝牙双模模组用于实现ibeacon格式广播的发送。
[0044]
终端播放设备采用小米系列电视(android系统)进行视频播放。目前也有部分定制化的android设备专门用作视频广告设备。
[0045]
本发明的优点：
[0046]
本发明相对现有技术来说，使用了双信标时间差进行视频播放同步，通过精细化的算法使得同步效果更为准确并且快速；动态算法的使用减少了视频卡顿现象。项目实际使用测试效果很好，肉眼感觉不到明显播放延迟和卡顿。。
附图说明
[0047]
图1为本发明中所述装置的架构示意图。
[0048]
图2为本发明中所述三段式时间同步法的时间同步过程示例图。
[0049]
图3为本发明中所述三段式时间同步法的同步算法程序流程图。
[0050]
图4为本发明中所述方法的应用效果场景图。
具体实施方式
[0051]
下面结合附图对本发明进一步说明。
[0052]
实施例1：
[0053]
一种使用双信标差值实现的多路视频自适应同步装置，如图1所示，包括两台微型信标中心模块和若干视频终端；所述装置采用所述多路视频自适应同步方法实现多路视频同步播放。
[0054]
所述微型信标中心模块基于esp32模组定制，设有wifi/蓝牙双模模组用于实现
ibeacon格式广播的发送。
[0055]
终端播放设备采用小米系列电视(android系统)进行视频播放。目前也有部分定制化的android设备专门用作视频广告设备。
[0056]
实施例2：
[0057]
实施例1所述装置采用的使用双信标差值实现的多路视频自适应同步方法，首先布置两台微型信标中心模块和若干视频终端，然后所述两台微型信标中心模块分别定时以标准的ibeacon帧格式对外广播用于同步的帧数据，位于广播区域的所有视频终端接收所述两台微型信标中心模块发送的同步帧数据并且采用三段式时间同步法实现多路视频同步播放。
[0058]
所述对外广播用于同步的帧数据的内容中携带了当前视频播放的文件信息以及同步时间戳。所述ibeacon帧格式如下表：
[0059]
[0060][0061]
其中的uuid段，即偏移9至24的16个字节用作自定义消息内容，使用大端格式存储。
[0062]
所述magic number：包含两字节，第9、10两个字节，用于区别这个广播包以及其他设备发送的广播包；
[0063]
所述信标序号：第11个字节，用于标识该包是双信标中哪一个发送出来的数据；
[0064]
所述当前广播帧序号：由第12～15四个字节通过大端格式组成，用于区分广播包顺序；
[0065]
所述同步时间戳：包括第16～19四个字节，大端格式组合，用于视频播放终端的同步时间；
[0066]
所述广播时间间隔：包括20，21两个字节，大端格式，单位是秒，标识了该信标广播的时间间隔；
[0067]
所述第22～24字节是保留位，预留可作他用。
[0068]
所述三段式时间同步法包括：
[0069]
所述两台微型信标中心模块分别为主信标a和参考信标b，主信标a以时间间隔t对外广播用于同步的帧数据，参考信标b以时间间隔t对外广播用于同步的帧数据，且t》2t；
[0070]
如图2所示，将主信标a的每个广播的时间间隔t分为三段，其中：第一段时间长度为信标中心模块b的时间间隔t，第二段时间长度为可忽略的视频播放时间，第三段时间长度t0为需要延迟播放的时间；
[0071]
设定ts为每段主信标a发送帧数据的起始时间；
[0072]
视频播放时pts1距离本段主信标发送间隔起始时间的差值为δt1＝t
pts1-ts，同理δt2＝t
pts2-ts，依次类推得到：
[0073]
δti＝t
ptsi-ts；
[0074]
根据已知条件t和t，t0的计算公式如下：
[0075][0076]
其中，n是记录下的最近几次pts数据，n是自然数，即t
ptsi
(1≤i≤n)；
[0077]
视频播放刚开始的时候没有任何pts数据，此时n＝0，也就是说当n＝0时可得到：
[0078][0079]
注意到步骤一中已有条件t》2t，可推断出t0＞0，所以在这种情况下能保证计算t0时其值是不会小于0的；
[0080]
由于视频的加载缓冲特性，视频像素越清晰视频加载渲染越耗时，绝大多数情况当n很大时有：
[0081][0082]
带入上面计算t0的公式可得到：
[0083][0084]
也就是说当n较大时，t0也是大于0的，因此该算法能保证计算得到的t0是一个正数，可用于下述的程序逻辑中；这里可以看出三段式中t0和t-t-t0都是具有动态性的，根据历史视频播放效果进行自适应的调整；
[0085]
由信标参数t、t，并通过上述理论算法计算出t0值后，就可以实现视频播放同步程序了，通过三个时间段t0、(t-t-t0)、t与视频终端当前播放视频的t
pts
进行比较，得到当前需要执行的操作。
[0086]
如图3所示，在视频解码播放时，每次pts视频渲染前计算出t0值，然后根据当前t
pts
判断位于t、t0或者(t-t-t0)之中，处于不同区域执行不同的视频处理方法。
[0087]
当视频需要延迟播放时，延迟时间计算公式如下：
[0088]
t
delay
＝t
pts-ts-t。
[0089]
将上述实施例1的所述装置和实施例2的所述方法应用到本公司智慧广告屏项目当中，在多屏广告播放测试中获得很好的展示效果，没有让人感到明显的播放延迟或卡顿现象。能很好在多台设备上同帧播放同一段广告视频，在播放高清视频的情况下也取得了很好效果。目前改技术方案在省电信公司大厅作为宣传广告机使用中(如图4所示)。
[0090]
显然，上述实施例仅仅是为了清楚的说明本发明所作的举例，而并非对本发明实施的限定。对于所属技术领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动；这里无需也无法对所有的实施方式予以穷举；而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围之中。