一种车辆信息的检测方法、模型训练方法、装置及车辆与流程

造成影响，进而降低了自动驾驶过程的安全性。
44.为了解决以上问题，本技术实施例提供了一种车辆信息的检测方法、模型训练方 法、装置及车辆。利用检测模型同时实现对目标车辆的属性信息、位置信息以及状态 信息等车辆信息的检测，相较于现有的基于车辆局部位置特征的检测方法，利用对车辆 属性信息和位置信息进行检测的模型来实现对车辆状态信息的检测，提升了检测的精确 度，进而提升了自动驾驶过程的安全性。此外，该方法在对车辆属性信息和位置信息进 行检测的模型的基础上增加并行分支，以检测目标车辆的状态信息，通过共享基础特 征，使用单个检测模型完成推理，运算复杂度低，既能够提升检测得到的车辆状态信息 的准确性，还降低了检测车辆状态信息所占用资源以及耗时。
45.为了使本技术领域的人员更清楚地理解本技术方案，下面将结合本技术实施例中 的附图，对本技术实施例中的技术方案进行描述。
46.本技术说明中的“第一”、“第二”等用词仅用于描述目的，而不能理解为指示或 暗示相对重要性或者隐含指明所指示的技术特征的数量
47.在本技术中，除非另有明确的规定和限定，术语“连接”应做广义理解，例如，“连 接”可以是固定连接，也可以是可拆卸连接，或成一体；可以是直接连接，也可以通 过中间媒介间接连接。
48.本技术实施例提供了一种车辆信息的检测方法，下面结合附图具体说明。
49.参见图2，该图为本技术实施例提供的一种车辆信息的检测方法的流程图。
50.s201：获取包括目标车辆的图像。
51.本技术实施例中，目标车辆为进行自动驾驶的车辆行驶道路前方的其它车辆。
52.在一种可能的实现方式中，进行自动驾驶的车辆可以通过行车相机获取包括目标 车辆的图像，具体的，通过行车相机进行视频拍摄，从拍摄的视频中截取视频帧以获 取图像。
53.s202:利用检测模型和图像，确定目标车辆的属性信息、位置信息以及状态信息， 检测模型中确定属性信息、位置信息以及状态信息时共用主干网络，主干网络用于提 取目标车辆在图像中的特征。
54.本技术实施例中，目标车辆的属性信息包括但不限于目标车辆的车辆类别、车辆 颜色、车辆大小或车辆型号。属性信息反映目标车辆的自身特征，可以影响到后续的 路径规划、实时决策和行车控制。例如根据图像中目标车辆的具体所占像素，以及目 标车辆的大小和类别，可以确定出目标车辆相对于进行自动驾驶的车辆的坐标，或者 确定出目标车辆相对于进行自动驾驶的车辆的位置。
55.目标车辆的位置信息，也即目标车辆在图像中的位置，目标车辆一般用矩形框标 识，因此此处目标车辆的位置信息，也可以理解为是包括目标车辆的矩形框在图像中 的位置。
56.目标车辆的状态信息，也即目标车辆相对于进行自动驾驶的车辆的视角所处的状 态。具体的，目标车辆的状态信息包括但不限于目标车辆被背景物完全遮挡车轮及以 上、目标车辆位于图像边缘且被截断、车辆未被遮挡或车辆被目标物遮挡。
57.其中，背景物为位于行驶道路外的物体，包括但不限于建筑、绿化带、树木、交 通设施等。
标的输出结果。由于车辆的坐标是以回归的形式进行输出，因此损失函数可以选择为 smoothl1函数。
93.第三分支4033中，首先包括全连接层，然后进行损失函数优化，最后得到状态信 息的输出结果。由于车辆的状态信息是以分类的形式进行输出，因此损失函数可以选 择为softmax函数。
94.本技术实施例还引入了fpn，用于提升目标车辆的特征提取时的精确度，下面具 体说明。
95.fpn主要解决的是特征检测中的多尺度问题，在基本不增加原有模型计算量的情 况下，通过简单的网络连接改变，提升对小目标的检测性能。
96.基于聚类算法生成检测先验框，同时在结合fpn时可以采用两层图像金字塔的方 式实现对目标车辆的特征的检测。
97.参见图5，该图为本技术实施例提供的一种图像金字塔的示意图。
98.下面说明一种可能的实现方式。
99.首先对图像41进行缩放以获取第一目标图像51，第一目标图像51满足第一预设 像素尺寸。
100.以图像41的中心为中心截取第二目标图像，第二目标图像满足第二预设像素尺寸。
101.对第二目标图像进行缩放以获取第三目标图像52，第三目标图像52满足第一预 设像素尺寸。
102.利用得到的第一目标图像51和第三目标图像52进行目标车辆的特征检测。
103.也即利用第一目标图像51用于对较大的目标车辆的特征进行提取，利用第二目标 图像52对较小的目标车辆的特征进行提取，进而同时保证大小车辆的检测精度。
104.综上所述，本技术实施例提供的方法，相较于现有的基于车辆局部位置特征的检测 方法，利用对车辆属性信息或位置信息进行检测的模型来实现对车辆状态信息的检测， 提升了检测的精确度，进而提升了自动驾驶过程的安全性。此外，该方法在对车辆属性 信息和位置信息进行检测的模型的基础上增加并行分支，以检测目标车辆的状态信息， 通过共享基础特征，使用单个检测模型完成推理，运算复杂度低，既能够提升检测得 到的车辆状态信息的准确性，还降低了检测车辆状态信息所占用资源以及耗时。并且还 可以通过增加fpn网络进一步提升了检测的精确度。
105.为了使本领域技术人员能够更清晰地理解本技术方法中应用的检测模型，下面简 要说明该模型的训练方法。
106.首先获取不同场景下行车相机拍摄的图片，为了提升训练的效果，需要采集不同 拍摄条件下的图像，增加训练数据的多样化。其中，不同拍摄条件包括不同的车道条 件、不同的天气条件以及不同的时间戳条件。
107.不同的车道条件，影响图像的视角与形变程度，不同的天气条件和时间戳条件， 影响图像的清晰程度以及明暗程度等。以封闭矩形的方式对图像进行标注，目标框严 格贴合目标车辆本体，同时标注目标车辆的多个子类属性。
108.以目标车辆的属性信息为车辆类别为例，则车辆类别中可以包含卡车、公交车和 小轿车等。目标车辆的状态信息中包括车辆被背景物完全遮挡车轮及以上、车辆位于 图像
边缘且被截断、车辆未被遮挡或车辆被目标物遮挡。
109.当确定目标车辆对应的状态信息包括多种时，多种状态信息的优先级如下：
110.车辆被背景物完全遮挡车轮及以上，高于车辆被目标物遮挡，高于车辆位于图像 边缘且被截断。
111.以yolov3算法为核心，搭建检测模型的框架。
112.基于聚类算法生成检测先验框，融合高、低层特征进行多尺度输出
113.同时，为了解决小目标车辆的检测问题，使用两层图像金字塔的方式检测小目标 车辆。
114.添加并行分支共享特征提取网络的正样本对应的特征，将检测分支的正样本特征 作为各并行分支的输入，得到每一个分支的输出结果。
115.整个网络结构共有三个支路，每条支路对应多个首尾连接的全连接层，分别对应 目标车辆位置、目标车辆类别和状态信息三个任务。
116.检测模型训练时，基于pytorch深度学习训练框架，使用分布式训练的方式，结合 各并行分支输出的结果，以及对应的目标匹配框的状态信息标签、车辆位置和车辆类 别标签的差异，逐层反传至多任务并行卷积神经网络，完成参数的更新和模型的迭代 训练。
117.其中，目标车辆的类别信息和状态信息以分类的形式进行输出，引入softmax损 失函数进行优化。
118.目标车辆的位置信息以回归的形式进行输出，引入smoothl1损失函数进行优化。
119.由于对主干网络和各并行的识别分支的训练是同步进行的，这大大提升了模型的 训练速度。
120.基于以上实施例提供的车辆信息的检测方法，本技术实施例还提供了一种车辆信 息的检测装置，下面结合具体实现方式进行说明。
121.参见图6，该图为本技术实施例提供的一种车辆信息的检测装置的示意图。
122.图示装置包括获取单元601和检测单元602。
123.其中，获取单元601用于获取包括所述目标车辆的图像。
124.目标车辆为进行自动驾驶的车辆行驶道路前方的其它车辆。
125.在一种可能的实现方式中，进行自动驾驶的车辆可以通过行车相机获取包括目标 车辆的图像，获取单元601从行车相机获取图像对应的数据。
126.检测单元602用于利用检测模型和所述图像，确定所述目标车辆的属性信息、位 置信息以及状态信息，所述检测模型中确定所述属性信息、所述位置信息以及所述状 态信息时共用主干网络，所述主干网络用于提取所述目标车辆在所述图像中的特征。
127.本技术实施例中，目标车辆的属性信息包括但不限于目标车辆的车辆类别、车辆 颜色、车辆大小或车辆型号。属性信息反映目标车辆的自身特征，可以影响到后续的 路径规划、实时决策和行车控制。
128.目标车辆的位置信息，也即目标车辆在图像中的位置，目标车辆一般用矩形框标 识，因此此处目标车辆的位置信息，也可以理解为是包括目标车辆的矩形框在图像中 的位置。
129.目标车辆的状态信息，也即目标车辆相对于进行自动驾驶的车辆的视角所处的状 态。具体的，目标车辆的状态信息包括但不限于目标车辆被背景物完全遮挡车轮及以 上、
目标车辆位于图像边缘且被截断、车辆未被遮挡或车辆被目标物遮挡。
130.其中，背景物为位于行驶道路外的物体，包括但不限于建筑、绿化带、树木、交 通设施等。
131.目标物为位于行驶道路内的物体，可以为车辆或者行人等，本技术实施例不作具 体限定。
132.该检测模型为卷积神经网络模型，能够从图像中获取确定车辆信息所需要的特征 类型，通过深度学习实现了对车辆信息的实时检测和输出。
133.检测模型的主干网络(backbone)为检测模型中用来做特征提取的网络，一般是用 于前端提取图像信息，生成特征图，供后面的网络使用。
134.该装置的检测单元利用检测模型同时实现对目标车辆的属性信息、位置信息以及 状态信息等车辆信息的检测，相较于现有的基于车辆局部位置特征的检测方法，利用对 车辆属性信息和位置信息进行检测的模型来实现对车辆状态信息的检测，提升了检测的 精确度，进而提升了自动驾驶过程的安全性。此外，在对车辆属性信息和位置信息进行 检测的模型的基础上增加并行分支，以检测目标车辆的状态信息，通过共享基础特征， 使用单个检测模型完成推理，运算复杂度低，既能够提升检测得到的车辆状态信息的准 确性，还降低了检测车辆状态信息所占用资源以及耗时。
135.下面结合具体的实现方式进行说明。
136.参见图7，该图为本技术实施例提供另一种车辆信息的检测装置的示意图。
137.图示车辆信息的检测装置与以上图6的区别在于，还包括：图像处理单元603。
138.其中，图像处理单元603用于对所述图像采集数据进行预处理操作，所述预处理 操作包括缩放，还包括裁剪、翻转或色彩变化中的一种或多种。
139.所述检测单元602具体用于利用所述检测模型和所述预处理操作后的图像，确定 所述目标车辆的属性信息、位置信息以及状态信息。
140.在一些实施例中，主干网络包括特征图金字塔网络fpn，所述fpn用于提升目标 车辆的特征提取时的精确度。
141.在一些实施例中，识别模型为yolov3。
142.车辆信息的检测装置包括处理器和存储器，上述获取单元、图像处理单元和检测 单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单 元来实现相应的功能。
143.处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个 或以上，通过调整内核参数来实现对车辆信息的检测。
144.本技术实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实 现该车辆信息的检测方法。
145.本技术实施例提供了一种处理器，所述处理器用于运行程序，其中，程序运行时 执行车辆信息的检测方法。
146.本技术实施例提供了一种电子设备，电子设备包括至少处理器、以及与处理器连 接的至少存储器和总线。
147.其中，处理器、存储器通过总线完成相互间的通信，处理器用于调用存储器中的 程序指令，以执行上述的车辆信息的检测方法。
148.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程 图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的 每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供 这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处 理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理 器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多 个方框中指定的功能的装置。
149.在一个典型的配置中，设备包括一个或多个处理器(cpu)、存储器和总线。设备还 可以包括输入/输出接口、网络接口等。
150.存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/ 或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)，存储器包括至少一 个存储芯片。存储器是计算机可读介质的示例。
151.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法 或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他 数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存 储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、 只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存 技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、 磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存 储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑 可读媒体(transitory media)，如调制的数据信号和载波。
152.基于以上实施例提供的车辆信息的检测装置，本技术实施例还提供了一种车辆， 下面结合附图具体说明。
153.参见图8，该图为本技术实施例提供的一种车辆的示意图。
154.该车辆800包括车辆信息的检测装置801和拍摄装置802。
155.其中，拍摄装置802用于拍摄得到包括目标车辆的图像，并将图像传输至车辆信 息的检测装置801。
156.拍摄装置801可以为车辆的行车相机。
157.关于车辆信息的检测装置801的具体实现方式可以参见以上实施例中的相关说明， 本技术实施例在此不再赘述。
158.本技术实施例提供的车辆可以为汽油车、柴油车或者新能源车辆，本技术实施例 不作具体限定。
159.综上所述，该车辆能够对运行道路上的其它车辆的车辆状态进行准确及时的检测， 进而使得路径规划、实时决策和行车控制更加合理安全，提升了自动驾驶过程中的安 全性。
160.应当理解，在本技术中，“至少一个(项)”是指一个或者多个，“多个”是指两个 或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，
ꢀ“
a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a， b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少 一项(个)”或其类似表
达，是指这些项中的任意组合，包括单项(个)或复数项(个) 的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a 和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
161.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部 分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。以上所描述 的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元及模块可以是或者 也可以不是物理上分开的。另外，还可以根据实际的需要选择其中的部分或者全部单 元和模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情 况下，即可以理解并实施。
162.以上所述仅是本技术的具体实施方式，应当指出，对于本技术领域的普通技术人 员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润 饰也应视为本技术的保护范围。