智能驾驶道路测试数据内容检索方法和系统与流程

1.本发明涉及智能驾驶及adas领域，特别是涉及一种智能驾驶道路测试数据内容检索方法，以及一种智能驾驶道路测试数据内容检索系统。


背景技术：

2.智能驾驶是汽车领域的一项研究热点，国内外学者都对智能驾驶进行了较多的研究，各个企业对智能驾驶研发投入了大量人力物力，智能驾驶道路测试是面向量产前的工作重点，大量的道路测试数据源源不断地提供给算法开发团队做数据训练，可以对于算法工程师也增加了一种额外的工作，因为不是所有数据都有训练价值，那么算法工程师就需要从海量的数据中检索到对于算法有价值的数据，而最难检索的就是智能驾驶道路测试时产生的视频数据。视频数据中可供检索的内容主要是行为和事件，算法工程师需要通过这两个内容的检索将需要的视频数据检索出来。
3.基于视频的行为检测技术归因于深度学习技术近两年的发展和提高，特别是基于卷积神经网络(cnn)的多种网络结构给视频行为检测领域带来了革命性的突破，现有不同的视频行为检测方法，有基于手工方法提取特征的，有基于卷积神经网络提出特征的，也有两者结合的。基于视频的事件检索也是计算机视觉中一个热点，现在使用最多的是模式识别方法、状态事件模型、语义事件模型和基于敏感度的哈希算法模型来检索视频中的事件。
4.然而，当前对以上两个视频内容的检索方法均可统一在对视频中特征和敏感度的提取上，这仍然是按照人类的分析方法来检索数据，其中的特征和敏感度也直接或者间接来自于人类的判断，这会妨碍计算机的检索效率。


技术实现要素：

5.在发明内容部分中引入了一系列简化形式的概念,该简化形式的概念均为本领域现有技术简化，这将在具体实施方式部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。
6.本发明要解决的技术问题是提供一种基于智能驾驶道路测试数据通过计算机深度自学习能提高智能驾驶道路测试视频数据检索效率的智能驾驶道路测试数据内容检索方法。
7.本发明还提供了一种基于智能驾驶道路测试数据通过计算机深度自学习能提高智能驾驶道路测试视频数据检索效率的智能驾驶道路测试数据内容检索系统。
8.为解决上述技术问题，本发明提供智一种能驾驶道路测试数据内容检索方法，包括以下步骤：
9.s1，基于时间同步采集路测数据，测试数据包括：测试车辆视频及车载传感器数据和测试车辆控制信号；
10.s2，基于测试数据建立路测数据库；
11.s3，根据路测数据库中视频数据实际分类定期训练更新，形成用于识别指定行为和指定事件的计算机深度自学习识别网络；
12.s4，在路测数据库中检索出测试车辆控制信号中的指定异常信号对应的路测数据，利用所述计算机深度自学习识别网络对指定异常信号对应的路测数据中的视频数据进行分类并利用检索到的路测数据进行标注；
13.对道路测试数据进行检索，如果直接检索视频数据则会占用大量系统资源，检索效率低并且由于视觉技术的限制，很可能会造成误检。因此，本发明首先检索出车辆指定异常信号(控制信号如刹车和转向信号变化剧烈和异常)的道路测试数据，然后使用训练好的端到端识别模型对视频进行分类，使用测试集数据进行标注，通过视频检索实现视频对视频的检索，直观的展现检索结果对于指定异常信号可以直接从被测试车辆获得，相对视频检索能极大的节省资源，提高效率；
14.s5，路测数据库中人工抽样检测没有检索到的路测数据，判断是否存在遗漏指定异常信号对应的路测数据，若存在将遗漏路测数据添加到路测数据库中。
15.s6，若执行新的道路测试则重复执行上述步骤。
16.可选择的，进一步改进所述的智能驾驶道路测试数据内容检索方法，计算机深度自学习识别网络是卷积神经网络。
17.可选择的，进一步改进所述的智能驾驶道路测试数据内容检索方法，实施步骤s3时，定期训练更新包括：
18.定期增加视频数量，不增加视频类别，改变网络最后的logits层后，增加视频数量，增加视频类别。
19.可选择的，进一步改进所述的智能驾驶道路测试数据内容检索方法，实施步骤s3时，使用双流网格结构检索视频中的指定行为信息，同时使用端到端事件信息检索模型来检索视频中的指定事件信息。
20.双流网络结构是通过两个网络分支分别计算图像的rgb信息和光流信息，rgb图像提供空间信息，包括图片中对象类别和位置信息；光流图像提供帧间的时间维度信息。两个分支网络结构相同，在它们的最后使用直接加和求平均或svm的方式融合两个分支的结果，作为分类的最终得分。
21.端到端/end-to-end是深度学习中的一个概念，能应于于智能驾驶领域，简单来说是直接将车身视觉、传感器等等采集到的信号，比如路灯信号、有没有行人等，输入到一个统一的神经网络系统，再做出预测、输出诸如方向盘转弯多少角度、该踩油门幅度多少等汽车下一步应做的动作。
22.本发明还提供了一种智能驾驶道路测试数据内容检索系统，包括：
23.采集模块，其基于时间同步采集路测数据，测试数据包括：测试车辆视频及车载传感器数据和测试车辆控制信号；
24.路测数据库，其用于存储采集模块采集的路测数据；
25.识别模块，其根据实际分类对路测数据库的视频数据进行定期训练更新，形成用于识别指定行为和指定事件的计算机深度自学习识别网络；
26.检索模块，其用于在路测数据库中检索出测试车辆控制信号中的指定异常信号对应的路测数据，利用所述计算机深度自学习识别网络对指定异常信号对应的路测数据中的
视频数据进行分类并利用检索到的路测数据进行标注；
27.抽样模块，其用于抽样检测路测数据库中没有检索到的路测数据，判断是否存在指定异常信号对应的路测数据，若存则将该路测数据添加到路测数据库中。
28.可选择的，进一步改进所述的智能驾驶道路测试数据内容检索系统，还包括：
29.控制模块，若执行新的道路测试，则其控制上述各模块在形成新路测数据库后重新进行检索。
30.可选择的，进一步改进所述的智能驾驶道路测试数据内容检索系统，计算机深度自学习识别网络是卷积神经网络。
31.可选择的，进一步改进所述的智能驾驶道路测试数据内容检索系统，定期训练更新包括：
32.定期增加视频数量，不增加视频类别，改变网络最后的logits层后，增加视频数量，增加视频类别。
33.可选择的，进一步改进所述的智能驾驶道路测试数据内容检索系统，识别模块使用双流网格结构检索视频中的指定行为信息，同时使用端到端事件信息检索模型来检索视频中的指定事件信息。
34.本发明工作原理如下：
35.基于时间同步采集路测数据，测试数据包括：测试车辆视频及车载传感器数据和测试车辆控制信号；这些路测数据记录和保存时是按照一个时间轴来操作的，保证了不同来源的数据在一个测试场景下的统一；然后将测试数据保存在一个统一的存储系统中建立路测数据库；根据路测数据库中视频数据实际分类定期训练更新，形成用于识别指定行为和指定事件的计算机深度自学习识别网络；在路测数据库中检索出测试车辆控制信号中的指定异常信号对应的路测数据，利用所述计算机深度自学习识别网络对指定异常信号对应的路测数据中的视频数据进行分类并利用检索到的路测数据进行标注。进而通过检索实现对定异常信号对应视频快速、准确检索，直观的展现检索结果。相应的，在路测数据中人工抽样检测没有检索到的路测数据，判断是否存在遗漏指定异常信号对应的路测数据，若存在将遗漏路测数据添加到路测数据库中。对新的道路测试则重复执行上述步骤。
36.本发明基于车辆控制信号中的指定异常信号检索获得其对应路测视频，相对通过视频逐一检索的技术方案能大幅节省系统资源，提高检索效率和检索准确性。
附图说明
37.本发明附图旨在示出根据本发明的特定示例性实施例中所使用的方法、结构和/或材料的一般特性，对说明书中的描述进行补充。然而，本发明附图是未按比例绘制的示意图，因而可能未能够准确反映任何所给出的实施例的精确结构或性能特点，本发明附图不应当被解释为限定或限制由根据本发明的示例性实施例所涵盖的数值或属性的范围。下面结合附图与具体实施方式对本发明作进一步详细的说明：
38.图1是本发明原理示意图。
具体实施方式
39.以下通过特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明
书所公开的内容充分地了解本发明的其他优点与技术效果。本发明还可以通过不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点加以应用，在没有背离发明总的设计思路下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。本发明下述示例性实施例可以多种不同的形式来实施，并且不应当被解释为只限于这里所阐述的具体实施例。应当理解的是，提供这些实施例是为了使得本发明的公开彻底且完整，并且将这些示例性具体实施例的技术方案充分传达给本领域技术人员。
40.第一实施例；
41.本发明提供一种智能驾驶道路测试数据内容检索方法，包括以下步骤：
42.s1，基于时间同步采集路测数据，测试数据包括：测试车辆视频及车载传感器数据和测试车辆控制信号；
43.s2，基于测试数据建立路测数据库；
44.s3，根据路测数据库中视频数据实际分类定期训练更新，形成用于识别指定行为和指定事件的计算机深度自学习识别网络；
45.s4，在路测数据库中检索出测试车辆控制信号中的指定异常信号对应的路测数据，利用所述计算机深度自学习识别网络对指定异常信号对应的路测数据中的视频数据进行分类并利用检索到的路测数据进行标注；
46.s5，路测数据库中人工抽样检测没有检索到的路测数据，判断是否存在遗漏指定异常信号对应的路测数据，若存在将遗漏路测数据添加到路测数据库中。
47.s6，若执行新的道路测试则重复执行上述步骤。
48.第二实施例；
49.参考图1所示，本发明提供一种智能驾驶道路测试数据内容检索方法，包括以下步骤：
50.s1，基于时间同步采集路测数据，测试数据包括：测试车辆视频及车载传感器数据和测试车辆控制信号；
51.s2，基于测试数据建立路测数据库；
52.s3，根据路测数据库中视频数据实际分类定期增加视频数量，不增加视频类别，改变网络最后的logits层后，增加视频数量，增加视频类别，形成用于识别指定行为和指定事件的卷积神经网络；使用双流网格结构检索视频中的指定行为信息，同时使用端到端事件信息检索模型来检索视频中的指定事件信息；
53.s4，在路测数据库中检索出测试车辆控制信号中的指定异常信号对应的路测数据，利用所述计算机深度自学习识别网络对指定异常信号对应的路测数据中的视频数据进行分类并利用检索到的路测数据进行标注；
54.s5，路测数据库中人工抽样检测没有检索到的路测数据，判断是否存在遗漏指定异常信号对应的路测数据，若存在将遗漏路测数据添加到路测数据库中。
55.s6，若执行新的道路测试则重复执行上述步骤。
56.第三实施例；
57.本发明提供一种智能驾驶道路测试数据内容检索系统，包括：
58.采集模块，其基于时间同步采集路测数据，测试数据包括：测试车辆视频及车载传
感器数据和测试车辆控制信号；
59.路测数据库，其用于存储采集模块采集的路测数据；
60.识别模块，其根据实际分类对路测数据库的视频数据进行定期训练更新，形成用于识别指定行为和指定事件的计算机深度自学习识别网络；
61.检索模块，其用于在路测数据库中检索出测试车辆控制信号中的指定异常信号对应的路测数据，利用所述计算机深度自学习识别网络对指定异常信号对应的路测数据中的视频数据进行分类并利用检索到的路测数据进行标注；
62.抽样模块，其用于抽样检测路测数据库中没有检索到的路测数据，判断是否存在指定异常信号对应的路测数据，若存则将该路测数据添加到路测数据库中。
63.第四实施例；
64.本发明提供一种智能驾驶道路测试数据内容检索系统，包括：
65.采集模块，其基于时间同步采集路测数据，测试数据包括：测试车辆视频及车载传感器数据和测试车辆控制信号；
66.路测数据库，其用于存储采集模块采集的路测数据；
67.识别模块，其根据实际分类对路测数据库的视频数据进行定期训练更新，形成用于识别指定行为和指定事件的计算机深度自学习识别网络；
68.检索模块，其用于在路测数据库中检索出测试车辆控制信号中的指定异常信号对应的路测数据，利用所述计算机深度自学习识别网络对指定异常信号对应的路测数据中的视频数据进行分类并利用检索到的路测数据进行标注；
69.抽样模块，其用于抽样检测路测数据库中没有检索到的路测数据，判断是否存在指定异常信号对应的路测数据，若存则将该路测数据添加到路测数据库中；
70.控制模块，若执行新的道路测试，则其控制上述各模块在形成新路测数据库后重新进行检索。
71.第五实施例；
72.本发明提供一种智能驾驶道路测试数据内容检索系统，包括：
73.采集模块，其基于时间同步采集路测数据，测试数据包括：测试车辆视频及车载传感器数据和测试车辆控制信号；
74.路测数据库，其用于存储采集模块采集的路测数据；
75.识别模块，其根据实际分类对路测数据库的视频数据定期增加视频数量，不增加视频类别，改变网络最后的logits层后，增加视频数量，增加视频类别，形成用于识别指定行为和指定事件的卷积神经网络，使用双流网格结构检索视频中的指定行为信息，同时使用端到端事件信息检索模型来检索视频中的指定事件信息；
76.检索模块，其用于在路测数据库中检索出测试车辆控制信号中的指定异常信号对应的路测数据，利用所述计算机深度自学习识别网络对指定异常信号对应的路测数据中的视频数据进行分类并利用检索到的路测数据进行标注；
77.抽样模块，其用于抽样检测路测数据库中没有检索到的路测数据，判断是否存在指定异常信号对应的路测数据，若存则将该路测数据添加到路测数据库中；
78.控制模块，若执行新的道路测试，则其控制上述各模块在形成新路测数据库后重新进行检索。
79.除非另有定义，否则这里所使用的全部术语(包括技术术语和科学术语)都具有与本发明所属领域的普通技术人员通常理解的意思相同的意思。还将理解的是，除非这里明确定义，否则诸如在通用字典中定义的术语这类术语应当被解释为具有与它们在相关领域语境中的意思相一致的意思，而不以理想的或过于正式的含义加以解释。
80.以上通过具体实施方式和实施例对本发明进行了详细的说明，但这些并非构成对本发明的限制。在不脱离本发明原理的情况下，本领域的技术人员还可做出许多变形和改进，这些也应视为本发明的保护范围。