一种多摄像头无线wifi帧对齐同步方法与装置与流程
本发明涉及视频帧对齐,尤其涉及一种多摄像头无线wifi帧对齐同步方法与装置。
背景技术:
1、随着多摄像头协同采集在多视角视频分析、动作捕捉及三维重建等场景中的应用不断增加,不同摄像头之间的视频帧时间一致性成为影响后续数据处理质量的重要因素。现有多摄像头同步方式通常依赖网络授时结果直接调整客户端时钟,或者根据单次、少量网络时间交互结果确定客户端与服务端之间的时间偏差。然而,在wifi无线网络环境中,数据包传输容易受到网络拥塞、排队等待及传输时延波动等因素影响,使不同探测数据包对应的往返时延存在明显差异,进而导致基于普通时间探测结果获得的时间偏差不稳定。同时,不同摄像头本地时钟还可能存在晶振漂移,使已经完成同步的客户端时钟随着运行时间增加再次产生时间偏差。
2、现有时钟校正方式若直接对正在录制的摄像头时钟进行跳变调整,容易造成前后视频帧时间戳不连续甚至发生时间回退,难以保证连续视频帧时间关系的稳定性;仅依靠单一网络时间探测通道进行同步,在网络拥塞或探测结果异常时,也缺少独立时间参考进行一致性校验。另一方面,现有多摄像头同步通常侧重系统时钟层面的对齐,未进一步考虑视频帧实际曝光时刻以及卷帘快门不同图像行曝光时间存在差异的问题,使系统时钟已经同步的情况下,不同摄像头对应图像内容仍可能存在帧级时间偏差。
3、因此,如何提供一种多摄像头无线wifi帧对齐同步方法与装置是本领域技术人员亟需解决的问题。
技术实现思路
1、本发明的一个目的在于提出一种多摄像头无线wifi帧对齐同步方法与装置,本发明通过四时间戳探测、最小时延筛选、离群剔除及晶振漂移拟合,提高无线授时精度;结合时间跳变校正、时钟频率前馈补偿和wifi信标帧tsf一致性校验,保持客户端时间轴连续稳定,并通过曝光中点映射和卷帘快门逐行补偿,提高多摄像头视频帧及帧内时间对齐精度。
2、根据本发明实施例的一种多摄像头无线wifi帧对齐同步方法,包括如下步骤:
3、步骤一:建立多摄像头无线统一授时网络,确定统一时间基准,发送多个无线时间探测数据包,并生成多组四时间戳探测数据;
4、步骤二:对所述多组四时间戳探测数据执行组内最小时延筛选,生成时间偏差样本序列;
5、步骤三:对所述时间偏差样本序列进行组间离群样本剔除和时钟漂移拟合,联合确定当前时间修正量和晶振漂移率,得到客户端时钟同步参数;
6、步骤四:根据客户端时钟同步参数判断当前授时客户端所处的同步阶段,分别进行时间跳变校正和时钟频率前馈补偿,生成客户端同步时间轴;
7、步骤五:基于所述客户端同步时间轴,获取授时服务端周期广播的wifi信标帧tsf时间,并与客户端时钟同步参数进行一致性校验,生成客户端统一时间轴;
8、步骤六:确定各摄像头采集视频帧曝光时间信息的曝光中点时刻,并映射至客户端统一时间轴,生成各摄像头的视频帧同步时间戳序列;
9、步骤七:基于所述视频帧同步时间戳序列,计算视频帧行时间偏移参数,对卷帘快门曝光时间进行逐行时间补偿,生成多摄像头帧级时间状态序列。
10、可选的,所述步骤一具体为:
11、将wifi热点设备设置为授时服务端,将多个摄像头设置为授时客户端;
12、各授时客户端通过wifi局域网连接所述授时服务端,并以授时服务端时钟作为统一相对时间基准;
13、各授时客户端按照预设探测周期向授时服务端分组发送多个无线时间探测数据包,记录客户端发送时刻、服务端接收时刻、服务端响应时刻和客户端接收时刻,生成多组四时间戳探测数据。
14、可选的,所述步骤二具体为:
15、基于所述多组四时间戳探测数据,读取各无线时间探测数据包对应的客户端发送请求时刻t1、服务端收到请求时刻t2、服务端回复响应时刻t3和客户端收到回复时刻t4;
16、计算客户端与授时服务端之间的总交互时长及服务端处理时长,并通过二者作差得到各无线时间探测数据包对应的往返时延;
17、根据四时间戳之间的时间差关系计算各无线时间探测数据包对应的原始时间偏差;
18、针对每一无线时间探测组,对组内多个无线时间探测数据包的往返时延进行比较,将往返时延最小的无线时间探测数据包确定为目标探测数据包,并保留其对应的原始时间偏差;
19、获取各目标探测数据包对应的客户端本地时间,将客户端本地时间与原始时间偏差建立关联,并按照各无线时间探测组的探测时间先后顺序进行排列,生成时间偏差样本序列。
20、可选的,所述步骤三具体为:
21、对各时间偏差样本进行组间离群样本检测,根据原始时间偏差的异常程度剔除偏差最大的离群样本,或者对时间偏差样本进行初始拟合并计算各样本对应的残差,将残差超过预设残差阈值的样本确定为离群样本并剔除,得到保留时间偏差样本集合;
22、以保留时间偏差样本集合中各样本对应的客户端本地时间作为自变量,以对应的原始时间偏差作为因变量,通过最小二乘法进行线性回归,得到时间偏差变化函数;
23、获取当前授时客户端的客户端本地时间,并输入所述时间偏差变化函数,计算当前授时客户端相对于授时服务端统一相对时间基准的当前时间偏差;
24、将所述当前时间偏差确定为当前时间修正量;
25、提取时间偏差变化函数的变化斜率,根据所述变化斜率表征授时客户端时钟相对于授时服务端时钟随时间累积的时间偏差变化速度,并确定客户端晶振漂移率;
26、将所述当前时间修正量与客户端晶振漂移率进行关联,生成客户端时钟同步参数。
27、可选的,所述步骤四具体为:
28、根据授时客户端的视频录制状态判断其处于录制前同步阶段或正式录制同步阶段;
29、当处于录制前同步阶段时,将当前时间修正量的绝对值与预设同步范围进行比较;
30、在当前时间修正量超出预设同步范围时,根据当前时间修正量对授时客户端当前时钟执行时间跳变校正,并重新获取校正后的当前时间修正量,直至当前时间修正量进入预设同步范围,完成录制前时间对齐;
31、当进入正式录制同步阶段后,停止采用时间跳变方式修改当前时钟,根据当前时间修正量的方向确定时钟累计速率调节方向;
32、在授时客户端时钟落后时提高单位时间内的时钟累计增量,在授时客户端时钟超前时降低单位时间内的时钟累计增量;
33、根据客户端晶振漂移率确定授时客户端时钟相对于授时服务端时钟的固有快慢变化趋势,并设置相反方向的时钟频率前馈补偿量,将其叠加至当前时间修正量对应的时钟累计速率调节过程;
34、基于经反馈调节和前馈补偿后的授时客户端时钟持续生成递增同步时间值,形成连续单调的客户端同步时间轴。
35、可选的,所述步骤五具体为:
36、基于客户端同步时间轴,使授时客户端持续监听授时服务端周期广播的wifi信标帧;
37、提取各wifi信标帧携带的tsf时间值,并记录对应的客户端本地接收时间,将二者建立对应关系,生成tsf时间观测样本;
38、按照接收时间先后顺序排列连续多个tsf时间观测样本,计算tsf时间值与客户端本地接收时间之间的时间差;
39、根据所述时间差及其随时间的变化确定客户端本地时间相对于授时服务端tsf时间的辅助时间偏差和辅助漂移率;
40、将四时间戳探测得到的当前时间修正量和客户端晶振漂移率分别与辅助时间偏差和辅助漂移率进行比较,确定四时间戳探测通道与tsf时间观测通道之间的时间估计差异;
41、当所述时间估计差异未超过预设一致性阈值时,根据两个通道时间估计结果的方差确定融合权重,对当前时间修正量与辅助时间偏差以及客户端晶振漂移率与辅助漂移率分别进行加权融合,得到融合时间修正量和融合漂移率;
42、当时间估计差异超过预设一致性阈值时,舍弃当前四时间戳探测结果并重新采集四时间戳探测数据;
43、当四时间戳探测通道因网络拥塞不可用时,根据辅助时间偏差和辅助漂移率维持时间同步关系;
44、基于融合时间修正量和融合漂移率或tsf时间观测结果更新客户端同步时间轴,生成客户端统一时间轴。
45、可选的,所述步骤六具体为:
46、在各摄像头进行视频采集过程中,按照视频帧的采集先后顺序获取各视频帧对应的曝光开始时刻和曝光持续时间;
47、针对每一视频帧,将曝光持续时间的1/2与曝光开始时刻相加,确定当前视频帧的曝光中点时刻;
48、根据当前摄像头对应的客户端本地时间与客户端统一时间轴之间的时间对应关系,将所述曝光中点时刻映射至客户端统一时间轴,得到当前视频帧在统一相对时间基准下对应的曝光中点同步时刻;
49、将所述曝光中点同步时刻确定为当前视频帧的视频帧同步时间戳;
50、按照各视频帧的采集时间先后顺序,对同一摄像头连续采集视频帧对应的视频帧同步时间戳进行排列,并分别对参与同步的各摄像头执行所述曝光中点确定和统一时间轴映射处理,生成各摄像头的视频帧同步时间戳序列。
51、可选的,所述步骤七具体为:
52、确定采用卷帘快门的目标摄像头,并获取目标摄像头各视频帧对应的逐行扫描顺序和行读出时序;
53、针对每一视频帧,按照逐行扫描顺序对各图像行进行排列,根据各图像行对应的行号、相邻图像行之间的时间间隔以及当前视频帧的曝光中点时刻,确定各图像行对应的实际曝光时刻;
54、分别计算各图像行实际曝光时刻与当前视频帧曝光中点时刻之间的时间差,将所述时间差确定为对应图像行的行时间偏移;
55、按照图像行排列顺序对各行时间偏移进行组合,生成当前视频帧的视频帧行时间偏移参数;
56、将所述视频帧行时间偏移参数与当前视频帧对应的视频帧同步时间戳建立索引关联,用于表征当前视频帧内部各图像行相对于曝光中点同步时刻的时间位置关系;
57、按照视频帧采集时间先后顺序,对同一摄像头连续视频帧对应的视频帧同步时间戳和视频帧行时间偏移参数进行排列,生成多摄像头帧级时间状态序列。
58、根据本发明实施例的一种多摄像头无线wifi帧对齐同步装置,包括如下模块:
59、无线授时模块,用于建立多摄像头无线统一授时网络,确定统一时间基准,发送多个无线时间探测数据包,并生成多组四时间戳探测数据;
60、偏差筛选模块,用于对所述多组四时间戳探测数据执行组内最小时延筛选,生成时间偏差样本序列;
61、漂移拟合模块,用于对所述时间偏差样本序列进行组间离群样本剔除和时钟漂移拟合,联合确定当前时间修正量和晶振漂移率,得到客户端时钟同步参数;
62、时钟校正模块:根据客户端时钟同步参数判断当前授时客户端所处的同步阶段,分别进行时间跳变校正和时钟频率前馈补偿,生成客户端同步时间轴;
63、tsf校验模块,用于基于所述客户端同步时间轴,获取授时服务端周期广播的wifi信标帧tsf时间,并与客户端时钟同步参数进行一致性校验,生成客户端统一时间轴;
64、帧时标定模块,用于确定各摄像头采集视频帧曝光时间信息的曝光中点时刻,并映射至客户端统一时间轴,生成各摄像头的视频帧同步时间戳序列;
65、逐行补偿模块,用于基于所述视频帧同步时间戳序列,计算视频帧行时间偏移参数,对卷帘快门曝光时间进行逐行时间补偿,生成多摄像头帧级时间状态序列。
66、本发明的有益效果是:
67、本发明通过建立以wifi热点设备为授时服务端、多个摄像头为授时客户端的无线统一授时网络,使各摄像头能够在统一相对时间基准下进行时间同步;通过对多组四时间戳探测数据执行组内最小时延筛选,优先保留受无线传输排队和时延波动影响较小的目标探测数据包,从而提高时间偏差样本的有效性和稳定性;进一步对时间偏差样本序列进行组间离群样本剔除和时钟漂移拟合,同时获得当前时间修正量与客户端晶振漂移率,使同步过程不仅能够修正当前已经形成的时间偏差,还能够反映客户端时钟随运行时间产生的持续漂移趋势。
68、根据不同视频录制阶段分别采用时间跳变校正和时钟频率前馈补偿,在录制前快速完成时间对齐,在正式录制过程中通过连续调节时钟累计速率维持同步,可避免直接跳变造成的视频帧时间戳回退,保证客户端同步时间轴连续单调。通过引入wifi信标帧tsf时间观测结果,并与四时间戳探测得到的客户端时钟同步参数进行一致性校验和融合,可在四时间戳探测结果受到网络拥塞影响时及时识别异常,并在探测通道暂时不可用时利用tsf时间观测结果维持时间同步关系,提升无线环境下同步过程的连续性和鲁棒性。
69、将各视频帧的曝光中点时刻映射至客户端统一时间轴,使视频帧同步时间戳更加贴近实际成像时刻,并进一步根据卷帘快门逐行扫描顺序和行读出时序计算视频帧行时间偏移参数,对不同图像行的曝光时间差异进行补偿,从而将系统时钟层面的同步进一步转化为视频帧及帧内图像行层面的时间对齐,提升多摄像头帧级时间状态的一致性和多视角数据处理的可靠性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com