一种驾驶视频片段标注方法、系统、设备及存储介质与流程
本技术涉及自动驾驶数据质量控制,具体涉及一种驾驶视频片段标注方法、系统、设备及存储介质。
背景技术:
1、随着量产aeb(autonomous emergency braking)从规则阈值驱动向模型增强、数据闭环驱动演进,训练数据质量成为影响模型表现和安全边界的关键因素。现有自动驾驶数据标注方案多关注单帧目标框、语义分割、点云目标轨迹或图像目标漏标错标检测。现有的如自动驾驶数据处理系统可对数据包有效性、标签数据、点云标注和检测结果进行管理;基于iou(intersection over union)的多算法标注结果检验方法可通过多个目标检测算法辅助定位漏标和错标;自动驾驶数据的自动标注方案可通过4d场景重建生成自动标注结果。
2、尽管这些现有技术提高了通用自动驾驶数据的标注效率和质量控制能力,但在针对aeb端到端模型训练所需的复杂监督信号方面存在局限性。aeb端到端模型训练不仅需要识别目标是否存在及其位置是否准确,还需要在一个完整的驾驶视频片段(clip)层面理解驾驶风险事件的全局逻辑、逐帧风险的演化过程以及不同风险涉及对象之间的优先级关系。而针对自动驾驶数据的标签标注容易出现的不一致问题,将导致aeb端到端模型的学习目标混乱,从而影响aeb端到端模型在aeb控制中的控制效果。
技术实现思路
1、有鉴于此,本技术提供一种驾驶视频片段标注方法、系统、设备及存储介质。旨在解决或者部分解决背景技术中存在的问题。
2、本技术第一方面提供了一种驾驶视频片段标注方法,所述方法包括:
3、获得驾驶视频片段的事件级标签、帧级标签以及目标级标签,事件级标签用于指示所述驾驶视频片段中的驾驶风险事件,所述驾驶风险事件具有多个风险阶段,所述事件级标签包括不同的所述风险阶段对应的关键发展时刻及与所述驾驶风险事件对应的主要风险涉及对象;帧级标签用于指示所述驾驶视频片段中不同视频帧所处的目标风险阶段及每一单个视频帧中分布的风险涉及对象的整体风险信息;所述目标级标签用于指示所述每一单个视频帧中分布的风险涉及对象的比较风险信息;
4、将所述事件级标签、所述帧级标签和所述目标级标签中每两个不同级别标签确定为一个待检测级别标签组;
5、对每个所述待检测级别标签组中两个不同级别标签进行对比检测,得到各自对应的交叉检测结果;
6、在任一级别标签与其他各个级别标签的交叉检测结果均通过的情况下,确定所述任一级别标签为有效级别标签;
7、通过各个所述有效级别标签对所述驾驶视频片段进行标注。
8、可选的,在待检测级别标签组为所述事件级标签和所述帧级标签,且所述事件级标签中的关键发展时刻包括风险起始时刻、风险峰值时刻和风险解除时刻,以及,所述帧级标签中的目标风险阶段包括风险形成阶段、制动干预阶段和风险解除阶段的情况下,对所述待检测级别标签组中两个不同级别标签进行对比检测,得到对应的交叉检测结果,包括:
9、计算所述风险起始时刻与所述风险形成阶段的起始帧时刻之间的第一差值;
10、确定所述第一差值是否位于第一容差范围;
11、在所述第一差值位于所述第一容差范围的情况下,确定针对所述风险起始时刻和所述风险形成阶段的起始帧时刻的交叉检测通过;
12、计算所述风险峰值时刻与所述制动干预阶段的起始帧时刻之间的第二差值;
13、确定所述第二差值是否位于第二容差范围;
14、在所述第二差值位于所述第二容差范围的情况下,确定针对所述风险峰值时刻和所述制动干预阶段的起始帧时刻的交叉检测通过;
15、计算所述风险解除时刻与所述风险解除阶段的起始帧时刻之间的第三差值;
16、确定所述第三差值是否位于第三容差范围;
17、在所述第三差值位于所述第三容差范围的情况下,确定针对所述风险解除时刻和所述风险解除阶段的起始帧时刻的交叉检测通过;
18、根据各个检测结果,得到所述事件级标签与所述帧级标签之间的交叉检测结果。
19、可选的,在待检测级别标签组为所述事件级标签和所述目标级标签,且所述目标级标签中的比较风险信息包括风险涉及对象的风险得分,和/或,各个风险涉及对象各自在驾驶视频片段中的整体分布占比的情况下,对所述待检测级别标签组中两个不同级别标签进行对比检测,得到对应的交叉检测结果,包括:
20、获取所述目标级标签中目标风险涉及对象在所述驾驶视频片段中的整体分布占比,所述目标风险涉及对象是目标级标签中与所述主要风险涉及对象相同的对象;
21、在所述目标风险涉及对象在所述驾驶视频片段中的整体分布占比最大时,确定针对所述主要风险涉及对象的交叉检测通过;和/或
22、检测所述目标级标签中风险得分最高的风险涉及对象与所述主要风险涉及对象是否相同;
23、在相同的情况下,确定针对所述主要风险涉及对象的交叉检测通过;
24、根据各个检测结果,得到所述事件级标签与所述目标级标签之间的交叉检测结果。
25、可选的,在待检测级别标签组为所述帧级标签和所述目标级标签,且所述帧级标签中的整体风险信息包括各个风险涉及对象的风险高低;所述目标级标签中的比较风险信息包括各个风险涉及对象的风险高低的情况下,对所述待检测级别标签组中两个不同级别标签进行对比检测,得到对应的交叉检测结果,包括:
26、获取同一驾驶视频帧的帧级标签标注结果和目标级标签标注结果;其中,该两个标注结果中分别记录有所述驾驶视频帧内按风险高低排序的前预设数量的风险涉及对象;
27、检测两个风险高低排序中同一排序位置处的风险涉及对象是否一致;
28、在每个排序位置处的风险涉及对象均一致的情况下,确定针对所述驾驶视频帧的风险涉及对象的交叉检测通过;
29、根据对驾驶视频片段中每个驾驶视频帧的风险涉及对象的交叉检测,得到所述帧级标签与所述目标级标之间的交叉检测结果。
30、可选的,在对每个所述待检测级别标签组中两个不同级别标签进行对比检测,得到各自对应的交叉检测结果之后,所述方法还包括:
31、在事件级标签对应的交叉检测结果未通过时,发起该交叉检测结果中事件级检测未通过标签的事件级复核请求;
32、响应于所述事件级复核请求,获取与所述事件级检测未通过标签关联的标注数据及对应的驾驶视频片段,并展示在用户终端的人工复核界面中进行人工复核;
33、在获取到来自所述用户终端的事件级标签复核结果后,在帧级标签对应的交叉检测结果未通过时,发起该交叉检测结果中帧级检测未通过标签的帧级复核请求;
34、响应于所述帧级复核请求,获取与所述帧级检测未通过标签关联的标注数据及对应的驾驶视频片段,并展示在用户终端的人工复核界面中进行人工复核;
35、在获取到来自所述用户终端的帧级标签复核结果后,在目标级标签对应的交叉检测结果未通过时,发起该交叉检测结果中目标级检测未通过标签的目标级复核请求;
36、响应于所述目标级复核请求,获取与所述目标级检测未通过标签关联的标注数据及对应的驾驶视频片段,并展示在用户终端的人工复核界面中进行人工复核;
37、基于获得的来自所述用户终端针对每一级别标签的复核结果,将经复核后的每一级别标签确定为对应的有效级别标签。
38、可选的,在对每个所述待检测级别标签组中两个不同级别标签进行对比检测,得到各自对应的交叉检测结果之后,所述方法还包括:
39、在事件级标签对应的交叉检测结果未通过时,发起该交叉检测结果中事件级检测未通过标签的事件级复核请求;
40、响应于所述事件级复核请求,获取与所述事件级检测未通过标签关联的标注数据及对应的驾驶视频片段,并展示在用户终端的人工复核界面中进行人工复核;
41、在事件级标签复核结果中包括对关键发展时刻的复核时,利用复核后的事件级标签中的关键发展时刻,修正帧级标签中对应的帧级检测未通过标签;
42、在帧级标签对应的针对风险涉及对象的交叉检测结果未通过时,发起该交叉检测结果中帧级检测未通过标签的帧级复核请求;
43、响应于所述帧级复核请求,获取与所述帧级检测未通过标签关联的标注数据及对应的驾驶视频片段,并展示在用户终端的人工复核界面中进行人工复核;
44、在帧级标签复核结果中包括对风险涉及对象的复核时,利用复核后的帧级标签中的风险涉及对象,修正帧级标签中对应的目标级检测未通过标签。
45、可选的,所述方法还包括:
46、利用携带多个有效级别标签的驾驶视频片段,对神经网络模型进行训练,得到风险检测模型;
47、将目标驾驶视频片段输入所述风险检测模型,得到风险检测结果。
48、本技术第二方面提供了一种驾驶视频片段标注系统,包括:
49、数据获取模块,用于获得驾驶视频片段的事件级标签、帧级标签以及目标级标签,事件级标签用于指示所述驾驶视频片段中的驾驶风险事件,所述驾驶风险事件具有多个风险阶段,所述事件级标签包括不同的所述风险阶段对应的关键发展时刻及与所述驾驶风险事件对应的主要风险涉及对象;帧级标签用于指示所述驾驶视频片段中不同视频帧所处的目标风险阶段及每一单个视频帧中分布的风险涉及对象的整体风险信息;所述目标级标签用于指示所述每一单个视频帧中分布的风险涉及对象的比较风险信息;
50、检测模块,用于将所述事件级标签、所述帧级标签和所述目标级标签中每两个不同级别标签确定为一个待检测级别标签组;以及,用于对每个所述待检测级别标签组中两个不同级别标签进行对比检测,得到各自对应的交叉检测结果;
51、有效级别标签确定模块,用于在任一级别标签与其他各个级别标签的交叉检测结果均通过的情况下,确定所述任一级别标签为有效级别标签;
52、标注模块,用于通过各个所述有效级别标签对所述驾驶视频片段进行标注。
53、本技术第三方面提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行时实现本技术第一方面所述的一种驾驶视频片段标注方法中的步骤。
54、本技术第四方面提供了一种计算机可读存储介质,存储有计算机程序/指令,该计算机程序/指令被处理器执行时实现本技术第一方面所述的一种驾驶视频片段标注方法中的步骤。
55、本技术提供的一种驾驶视频片段标注方法具有以下优点:
56、本技术提供的该驾驶视频片段标注方法,首先获得驾驶视频片段的事件级标签、帧级标签以及目标级标签,事件级标签用于指示驾驶视频片段中的驾驶风险事件,驾驶风险事件具有多个风险阶段,事件级标签包括不同的风险阶段对应的关键发展时刻及与驾驶风险事件对应的主要风险涉及对象;帧级标签用于指示驾驶视频片段中不同视频帧所处的目标风险阶段及每一单个视频帧中分布的风险涉及对象的整体风险信息;目标级标签用于指示每一单个视频帧中分布的风险涉及对象的比较风险信息;
57、将事件级标签、帧级标签和目标级标签中每两个不同级别标签确定为一个待检测级别标签组;对每个待检测级别标签组中两个不同级别标签进行对比检测,得到各自对应的交叉检测结果;在任一级别标签与其他各个级别标签的交叉检测结果均通过的情况下,确定任一级别标签为有效级别标签;通过各个有效级别标签对驾驶视频片段进行标注。
58、本技术的该方法通过引入交叉检测步骤,利用其他级别标签作为参照对当前待检测级别标签进行验证,能够有效识别并隔离逻辑冲突的标签,确保最终添加的多级别标签在时间轴和语义上具备内在一致性,从而提升aeb端到端模型训练数据的可用性和可靠性,进而使得训练得到的aeb端到端模型能够更准确地进行风险感知和aeb控制。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com