数据分层同步方法、系统、及存储介质与流程

摘要: 本申请属于车载数据回灌与仿真,特别是涉及一种数据分层同步方法、系统、及存储介质。背景技术:1、智能驾驶系统开发过程中,需要对实车采集的视频和can报文数据进行回...
数据分层同步方法、系统、及存储介质与流程

本申请属于车载数据回灌与仿真,特别是涉及一种数据分层同步方法、系统、及存储介质。

背景技术:

1、智能驾驶系统开发过程中,需要对实车采集的视频和can报文数据进行回灌仿真。回灌的核心挑战是保证回灌后视频帧与can报文之间的同步关系与原始采集时一致,只有精确还原同步关系,才能准确复现事故场景、验证算法效果。

2、现有的同步方法通常采用单一粒度的处理策略,例如采用帧级粒度计算补偿量,或采用固定时间间隔进行全局线性映射。这些方法在处理不同规模的偏差时存在效率和精度的矛盾:使用大粒度进行粗略对齐时效率高但精度不足,无法消除帧级误差;直接使用小粒度进行精细处理时计算量大、效率低,长时间录像的处理耗时可能达到分钟级别。因此亟需一种多粒度的处理策略,能够同时高效处理这些不同尺度的偏差。

技术实现思路

1、针对现有技术中存在的上述技术问题,本申请提供了一种数据分层同步方法、系统、及存储介质。通过建立一套多粒度渐进式同步策略,在保证帧级同步精度的前提下,提高同步处理效率,使长时间录像的同步处理时间显著缩短,解决现有单一粒度同步方法在处理多尺度偏差时效率与精度难以兼顾的问题。

2、为了实现上述目的,本申请采用的第一个技术方案是:提供一种数据分层同步方法,包括:将回灌后视频帧与can报文之间的同步过程分为相应的从最粗粒度层同步开始依次细化时间同步精度的多个粒度层同步;从最粗粒度层开始,依次判断当前视频帧与can报文之间的同步对应关系是否为帧级对应;在当前视频帧与can报文之间的同步对应关系不是帧级对应的情况下,将视频帧和can报文按当前层级的预设时间间隔等分为至少一个当前层级时间窗口的视频帧和至少一个当前层级时间窗口的can报文;根据当前层级的时间同步精度,确定当前层级视频特征与相对应的当前层级视频特征提取方法,并根据当前层级视频特征提取方法,提取每个当前层级时间窗口的视频帧的视频特征和每个当前层级时间窗口的can报文的视频特征;计算每个当前层级时间窗口的视频帧的视频特征与相对应的can报文中每个当前层级时间窗口的can报文的视频特征之间的特征偏差;在满足当前层级预设时序约束的前提下,将特征偏差最小的当前层级时间窗口的视频帧与当前层级时间窗口的can报文进行一一对应,形成新的视频帧与can报文之间的同步对应关系。

3、可选的,在当前视频帧与can报文之间的同步对应关系不是帧级对应的情况下,将视频帧和can报文按当前层级的预设时间间隔等分为至少一个当前层级时间窗口的视频帧和至少一个当前层级时间窗口的can报文,还包括:在当前视频帧与can报文之间的同步对应关系是帧级对应的情况下,根据当前视频帧与can报文之间的同步对应关系,生成视频帧与can报文的最终同步映射表。

4、可选的,在当前视频帧与can报文之间的同步对应关系不是帧级对应的情况下,将视频帧和can报文按当前层级的预设时间间隔等分为至少一个当前层级时间窗口的视频帧和至少一个当前层级时间窗口的can报文,包括:根据不同场景的特征偏差自适应调整预设时间间隔。

5、可选的,根据当前层级视频特征提取方法,提取每个当前层级时间窗口的视频帧的视频特征和每个当前层级时间窗口的can报文的视频特征,包括:对当前层级时间窗口的视频帧的视频特征与当前层级时间窗口的can报文的视频特征进行至少一个当前层级时间窗口的并行提取。

6、可选的,计算每个当前层级时间窗口的视频帧的视频特征与相对应的can报文中每个当前层级时间窗口的can报文的视频特征之间的特征偏差,包括:对当前层级时间窗口的视频帧的视频特征与相对应的can报文中当前层级时间窗口的can报文的视频特征之间的特征偏差进行至少一个当前层级时间窗口的并行计算。

7、可选的,在满足当前层级预设时序约束的前提下,将特征偏差最小的当前层级时间窗口的视频帧与当前层级时间窗口的can报文进行一一对应,形成新的视频帧与can报文之间的同步对应关系,包括:在满足当前层级预设时序约束的前提下,并行至少一个当前层级时间窗口进行特征偏差最小的当前层级时间窗口的视频帧与当前层级时间窗口的can报文之间的一一对应。

8、可选的,当前层级预设时序约束包含时间序列单调性约束和时间邻近约束中至少一者。

9、可选的,当前层级视频特征包含统计特征、信号变化特征、帧级时间偏移特征中至少一者,在当前层级视频特征为统计特征的情况下,相对应的当前层级视频特征提取方法包含光流法和运动能量法。

10、本申请采用的第二个技术方案是:提供一种数据分层同步系统,包括:同步过程分层模块,用于将回灌后视频帧与can报文之间的同步过程分为相应的从最粗粒度层同步开始依次细化时间同步精度的多个粒度层同步;同步过程结束判断模块,用于从最粗粒度层开始,依次判断当前视频帧与can报文之间的同步对应关系是否为帧级对应;时间窗口划分模块,用于在当前视频帧与can报文之间的同步对应关系不是帧级对应的情况下,将视频帧和can报文按当前层级的预设时间间隔等分为至少一个当前层级时间窗口的视频帧和至少一个当前层级时间窗口的can报文;视频特征提取模块,用于根据当前层级的时间同步精度,确定当前层级视频特征与相对应的当前层级视频特征提取方法,并根据当前层级视频特征提取方法,提取每个当前层级时间窗口的视频帧的视频特征和每个当前层级时间窗口的can报文的视频特征;特征偏差计算模块,用于计算每个当前层级时间窗口的视频帧的视频特征与相对应的can报文中每个当前层级时间窗口的can报文的视频特征之间的特征偏差;同步匹配模块,用于在满足当前层级预设时序约束的前提下,将特征偏差最小的当前层级时间窗口的视频帧与当前层级时间窗口的can报文进行一一对应,形成新的视频帧与can报文之间的同步对应关系。

11、本申请采用的第三个技术方案是:提供一种计算机可读存储介质,其存储有计算机指令,其中计算机指令被操作以以执行方案一中的数据分层同步方法。

12、本申请技术方案可以达到的有益效果是:采用多级粒度渐进式处理策略,替代单一粒度的"一刀切"方法,在保证帧级同步精度的同时大幅提高处理效率;每层粒度采用适配该尺度的特征提取和匹配算法,充分发挥各层优势。

1.一种数据分层同步方法,其特征在于,包括:

2.根据权利要求1所述的数据分层同步方法,其特征在于,所述在所述当前所述视频帧与所述can报文之间的同步对应关系不是帧级对应的情况下,将所述视频帧和所述can报文按当前层级的预设时间间隔等分为至少一个所述当前层级时间窗口的视频帧和至少一个所述当前层级时间窗口的can报文,还包括:

3.根据权利要求1所述的数据分层同步方法,其特征在于,所述在当前所述视频帧与所述can报文之间的同步对应关系不是帧级对应的情况下,将所述视频帧和所述can报文按当前层级的预设时间间隔等分为至少一个所述当前层级时间窗口的视频帧和至少一个所述当前层级时间窗口的can报文,包括:

4.根据权利要求1所述的数据分层同步方法,其特征在于,所述根据所述当前层级视频特征提取方法,提取每个所述当前层级时间窗口的视频帧的视频特征和每个所述当前层级时间窗口的can报文的视频特征,包括:

5.根据权利要求1所述的数据分层同步方法,其特征在于,所述计算每个所述当前层级时间窗口的视频帧的视频特征与相对应的所述can报文中每个所述当前层级时间窗口的can报文的视频特征之间的特征偏差,包括:

6.根据权利要求1所述的数据分层同步方法,其特征在于,所述在满足当前层级预设时序约束的前提下,将所述特征偏差最小的所述当前层级时间窗口的视频帧与所述当前层级时间窗口的can报文进行一一对应,形成新的所述视频帧与所述can报文之间的同步对应关系,包括:

7.根据权利要求1所述的数据分层同步方法,其特征在于,

8.根据权利要求1所述的数据分层同步方法,其特征在于,

9.一种分层揭示的数据传输系统,其特征在于,包括:

10.一种计算机可读存储介质,其存储有计算机指令,其中所述计算机指令被操作以执行权利要求1-8任一项所述的数据分层同步方法。