一种车辆检测方法、装置、边缘设备和存储介质与流程

1.本发明属于人工智能技术领域，特别是涉及一种车辆检测方法、装置、边缘设备和存储介质。


背景技术：

2.人工智能技术已经与人们的日常生活息息相关。在交通监控系统中，车辆检测与车辆重识别已经变成了非常重要的基础任务。车辆检测可以从图像中检测出车辆，车辆重识别可以起到对目标车辆进行定位、监管的作用。车辆重识别的应用广泛，如目标车辆搜索、跨境车辆跟踪、交通行为分析、自动收费系统、停车场入口、车辆计数等等。随着深度神经网络的兴起和大型数据集的提出，提升车辆重识别的准确度成为近年来计算机视觉和多媒体领域的研究热点。
3.在目前实际应用中，车辆检测及其相关应用(比如车辆重识别)的网络结构具有参数量大和运行速度慢的特点，并不适用于算力资源有限的边缘设备(比如摄像头)。


技术实现要素：

4.本发明实施例提出一种车辆检测方法、装置、边缘设备和存储介质。
5.本发明实施例的技术方案如下：
6.一种车辆检测方法，所述方法由边缘设备执行，包括：
7.基于包含车辆的原始图像提取第一图像特征图；
8.基于所述第一图像特征图生成第二图像特征图，其中所述第二图像特征图的感受野大于所述第一图像特征图的感受野；
9.对所述第一图像特征图和所述第二图像特征图执行特征融合处理，以生成特征融合处理后的第三图像特征图；
10.基于所述第三图像特征图检测所述车辆。
11.在一种示范性实施例中，所述基于所述第一图像特征图生成第二图像特征图包括：
12.将所述第一图像特征图输入空间金字塔池化网络以生成所述第二图像特征图，所述金字塔池化网络包含多个卷积核以及拼接部分，其中每个卷积核适配于将所述第一图像特征图转换为具有各自的感受野的各自的图像特征图，所述拼接部分适配于将所述多个卷积核各自提供的、所述各自的图像特征图和所述第一图像特征图拼接为所述第二图像特征图。
13.在一种示范性实施例中，所述对所述第一图像特征图和所述第二图像特征图执行特征融合处理包括：
14.将所述第一图像特征图和所述第二图像特征图输入特征金字塔网络以执行特征融合操作，所述特征金字塔网络包含下采样部分和上采样部分，其中所述下采样部分和所述上采样部分之间具有横向连接，所述下采样部分适配于对所述第一图像特征图和所述第
二图像特征图执行下采样处理以生成包含高层特征的特征层，所述上采样部分适配于对所述特征层执行上采样处理。
15.在一种示范性实施例中，所述基于所述第三图像特征图检测所述车辆包括：基于所述第三图像特征图，输出所述车辆的中心点的位置。
16.在一种示范性实施例中，所述方法还包括下列中的至少一个：
17.对所述中心点的位置进行校准；
18.预测以所述校准后的中心点为中心的检测框的宽度和高度；
19.确定适配于重识别所述车辆的车辆特征。
20.在一种示范性实施例中，所述基于所述第三图像特征图检测所述车辆为：在网络输出层的第一部分中，基于所述第三图像特征图输出所述车辆的中心点的位置；
21.所述方法还包括：
22.在所述网络输出层的第二部分中，对所述中心点的位置进行校准；
23.在所述网络输出层的第三部分中，预测以所述校准后的中心点为中心的检测框的宽度和高度；
24.在所述网络输出层的第四部分中，确定适配于重识别所述车辆的车辆特征；
25.其中基于损失函数l
total
对包含所述金字塔池化网络、所述特征金字塔网络和所述网络输出层的整体网络进行训练，其中网络输出层的整体网络进行训练，其中
26.其中l
heat
为中心点损失函数；l
off
为中心点校准损失函数；l
size
为检测框的宽度和高度的损失函数；l
th
为确定车辆特征的损失函数；e是自然对数的底数；w1为第一预设权值，w2为第二预设权值。
27.一种车辆检测装置，所述装置包含在边缘设备中，包括：
28.提取模块，被配置为基于包含车辆的原始图像提取第一图像特征图；
29.生成模块，被配置为基于所述第一图像特征图生成第二图像特征图，其中所述第二图像特征图的感受野大于所述第一图像特征图的感受野；
30.融合模块，被配置为对所述第一图像特征图和所述第二图像特征图执行特征融合处理，以生成特征融合处理后的第三图像特征图；
31.检测模块，被配置为基于所述第三图像特征图检测所述车辆。
32.在一种示范性实施例中，所述生成模块，被配置为将所述第一图像特征图输入空间金字塔池化网络以生成所述第二图像特征图，所述金字塔池化网络包含多个卷积核以及拼接部分，其中每个卷积核适配于将所述第一图像特征图转换为具有各自的感受野的各自的图像特征图，所述拼接部分适配于将所述多个卷积核各自提供的、所述各自的图像特征图和所述第一图像特征图拼接为所述第二图像特征图。
33.在一种示范性实施例中，所述融合模块，被配置为将所述第一图像特征图和所述第二图像特征图输入特征金字塔网络以执行特征融合操作，所述特征金字塔网络包含下采样部分和上采样部分，其中所述下采样部分和所述上采样部分之间具有横向连接，所述下采样部分适配于对所述第一图像特征图和所述第二图像特征图执行下采样处理以生成包
含高层特征的特征层，所述上采样部分适配于对所述特征层执行上采样处理。
34.在一种示范性实施例中，所述检测模块，被配置为基于所述第三图像特征图，输出所述车辆的中心点的位置。
35.在一种示范性实施例中，所述检测模块，还被配置为执行下列中的至少一个：
36.对所述中心点的位置进行校准；
37.预测以所述校准后的中心点为中心的检测框的宽度和高度；
38.确定适配于重识别所述车辆的车辆特征。
39.在一种示范性实施例中，所述检测模块，被配置为在网络输出层的第一部分中，基于所述第三图像特征图输出所述车辆的中心点的位置；在所述网络输出层的第二部分中，对所述中心点的位置进行校准；在所述网络输出层的第三部分中，预测以所述校准后的中心点为中心的检测框的宽度和高度；在所述网络输出层的第四部分中，确定适配于重识别所述车辆的车辆特征；该装置还包括：
40.训练模块，被配置为基于损失函数l
total
对包含所述金字塔池化网络、所述特征金字塔网络和所述网络输出层的整体网络进行训练，其中字塔网络和所述网络输出层的整体网络进行训练，其中
41.其中l
heat
为中心点损失函数；l
off
为中心点校准损失函数；l
size
为检测框的宽度和高度的损失函数；l
th
为确定车辆特征的损失函数；e是自然对数的底数；w1为第一预设权值，w2为第二预设权值。
42.一种边缘设备，包括：
43.存储器；
44.处理器；
45.其中所述存储器中存储有可被所述处理器执行的应用程序，用于使得所述处理器执行如上任一项所述的车辆检测方法。
46.一种计算机可读存储介质，其中存储有计算机可读指令，该计算机可读指令用于执行如上任一项所述的车辆检测方法。
47.从上述技术方案可以看出，在本发明实施例中，基于包含车辆的原始图像提取第一图像特征图；基于第一图像特征图生成第二图像特征图，其中第二图像特征图的感受野大于第一图像特征图的感受野；对第一图像特征图和第二图像特征图执行特征融合处理，以生成特征融合处理后的第三图像特征图；基于第三图像特征图检测车辆。可见，本发明实施例融合不同层次的网络特征，优化网络结构以有利于边缘侧，显著减少了参数量和运行速度，适用于算力资源有限的边缘设备。
附图说明
48.图1为本发明实施例的车辆检测方法的示范性流程图。
49.图2为本发明实施例的骨干网络的处理示意图。
50.图3为本发明实施例的空间金字塔池化(spp)结构的处理示意图。
51.图4为本发明实施例的特征金字塔网络(fpn)结构的处理示意图。
52.图5为本发明实施例的车辆检测和重识别的处理示意图。
53.图6为本发明实施例的车辆检测装置的结构图。
54.图7为本发明具有存储器-处理器架构的、车辆检测装置的示范性结构图。
55.图8为本发明的车辆检测装置的示范性结构图。
具体实施方式
56.为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。
57.为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。
58.为了描述上的简洁和直观，下文通过描述若干代表性的实施方式来对本发明的方案进行阐述。实施方式中大量的细节仅用于帮助理解本发明的方案。但是很明显，本发明的技术方案实现时可以不局限于这些细节。为了避免不必要地模糊了本发明的方案，一些实施方式没有进行细致地描述，而是仅给出了框架。下文中，“包括”是指“包括但不限于”，“根据
……”
是指“至少根据
……
，但不限于仅根据
……”
。由于汉语的语言习惯，下文中没有特别指出一个成分的数量时，意味着该成分可以是一个也可以是多个，或可理解为至少一个。
59.以下，对本公开实施例涉及的术语进行解释说明。
60.车辆检测：检测图像中车辆的位置，是车辆分析中的关键步骤，是后续进行车型识别、车标识别、车牌识别、车辆特征识别等的基础。
61.车辆重识别(reid)：在一堆车辆中确定哪些车辆是同一辆车。
62.锚框(anchor base)检测：在锚框检测中，物体检测问题通常都被建模成对候选区域进行分类和回归的问题。在单阶段检测器中，候选区域是通过滑窗方式产生的锚框；在两阶段检测器中，候选区域是rpn生成的提案(proposal)，不过rpn仍然对滑窗方式生成的锚框进行分类和回归。
63.不含锚框(anchor free)的检测：在不含锚框的检测中，主要通过以下两类表示检测框：(1)、基于关键点的检测算法：先检测目标左上角和右下角点，再通过角点组合形成检测框；(2)、基于中心的检测算法：直接检测物体的中心区域和边界信息，将分类和回归解耦为两个子网格。
64.骨干(backbone)网络：用来执行特征提取的网络，一般用于前端提取图片信息，生成供后面网络使用的特征图(feature map)。比如，可以实施为vggnet或resnet等。
65.头部(head)网络：获取网络输出内容的网络，利用之前提取的特征做出预测。
66.脖颈(neck)网络：布置在骨干网络和头部网络之间，为了更好地利用骨干网络提取的特征。
67.感受野(receptive field)：在卷积神经网络中，感受野的定义是卷积神经网络每一层输出的特征图上的像素点在输入图片上映射的区域大小。通俗地说，特征图上的一个点对应输入图上的区域。
68.考虑到目前边缘设备计算能力有限，无法有效执行车辆检测及其相关应用(比如无法同时开启车辆检测和重识别的网络)的缺陷，本发明实施例对网络结构进行重新优化设计，选择更有利于边缘侧的网络结构，整合检测和重识别两个网络，使一次推理就可以得到检测和重识别这两个部分的信息，显著减少了计算量。
69.本发明实施方式优选采用centernet作为参照物(baseline)进行改进。centernet结构简单，对不同的硬件设备有很强的适应能力。现有技术中通常采用的锚框检测网络不适合提取特征。在锚框检测网络中，物体可能被多个锚框负责并进行检测，导致严重的网络模糊性。在检测密集目标的时候，物体之间的目标框有很高的重合度，这时候目标框里的信息基本上包含周围多个目标，不利于特征提取，而基于中心点的方式可以减少这种情况。另外，对于边缘设备来说，cpu侧计算压力大且不同芯片对不同结构采取的处理方式不一样(例如工业界常用的ssd和yolov3)，难以统一效果，而centernet作为一阶段不含锚框的检测网络且没有非极大值抑制(non maximum suppression，nms)后处理，可以减少cpu侧的压力，网络没有特殊结构，对部署更加友好。
70.图1为本发明实施例的车辆检测方法的示范性流程图。该方法由边缘设备执行。
71.如图1所示，该方法包括：
72.步骤101：基于包含车辆的原始图像提取第一图像特征图。
73.在这里，原始图像可以为包含在边缘设备中的摄像头所拍摄获取的，也可以是从其它图像源(比如，云端)获取的。
74.在这里，可以利用骨干网络从原始图像提取第一图像特征图。其中，骨干网络可以实施为对边缘侧友好的mobilenet网络(比如，mobilenet v2)。mobilenet采用深度可分离卷积和反残差结构，在保证精度的情况下，显著减少参数量。可选地，骨干网络还可以实施为alexnet、vgg或resnet等。
75.图2为本发明实施例的骨干网络的处理示意图。在图2中，骨干网络实施为mobilenet v2网络。
76.在图2中：左边子图为步进(stride)等于1时的骨干网络的处理图，右边子图为stride等于2时的骨干网络的处理图。其中：当stride等于1时，逐个元素地(elementwise)求和(sum)以将输入和输出特征连接；当stride等于2时，没有连接输入和输出特征的快速连接(short cut)。卷积之后通常会接修正线性单元(rectified linear unit，relu)以执行非线性激活。如图2所示，在mobilenet中使用relu6。在relu6中，限制最大输出为6，这是为了在低精度的移动端设备也能有很好的数值分辨率。
77.步骤102：基于第一图像特征图生成第二图像特征图，其中第二图像特征图的感受野大于第一图像特征图的感受野。
78.在一般的cnn结构中，在卷积层后面通常连接着全连接层。全连接层的特征数是固定的，所以在网络输入的时候，固定输入的大小(fixed-size)。但在现实中，输入的图像尺寸总是不能满足要求，通常处理手段包括裁剪(crop)和拉伸(warp)，然而图像的纵横比(ratio aspect)和输入图像的尺寸会被改变，从而扭曲原始图像。空间金字塔池化(spatial pyramid pooling，spp)能很好解决该图像扭曲问题。
79.在一个示范性实施方式中，步骤102中基于第一图像特征图生成第二图像特征图包括：将第一图像特征图输入spp网络以生成第二图像特征图，spp网络包含多个卷积核以及拼接部分，其中每个卷积核适配于将第一图像特征图转换为具有各自的感受野的各自的图像特征图，拼接部分适配于将多个卷积核各自提供的、各自的图像特征图和第一图像特征图拼接为所述第二图像特征图。
80.图3为本发明实施例的spp结构的处理示意图。
81.如图3所示，16(长)*16(宽)*256(维度)的输入图像(相当于第一图像特征图)，各自经过3*3卷积核、5*5卷积核和7*7卷积核之后，分别得到3*3*256的特征图、5*5*256的特征图和7*7*256的特征图。然后，将3*3*256的特征图、5*5*256的特征图、7*7*256的特征图和原始输入的16*16*256的特征图组合为16*16*1024的特征图(相当于第二图像特征图)。
82.以上示范性描述了基于第一图像特征图生成第二图像特征图的典型实例，本领域技术人员可以意识到，这种描述仅是示范性的，并不用于限定本发明实施方式的保护范围。
83.步骤103：对第一图像特征图和第二图像特征图执行特征融合处理，以生成特征融合处理后的第三图像特征图。
84.特征金字塔网络(feature pyramid network，fpn)在目标检测中融入了特征金字塔，提高了目标检测的准确率，尤其体现在小物体的检测上。fpn自然地利用卷积神经网络(convolutional neural networks，cnn)层级特征的金字塔形式，同时生成在所有尺度上都具有强语义信息的特征金字塔。fpn结构包括自顶向下(top-down)结构和横向连接，以此融合具有高分辨率的浅层特征和具有丰富语义信息的深层特征，实现了从单尺度的单张输入图像，快速构建在所有尺度上都具有强语义信息的特征金字塔，同时不产生明显的代价。
85.在一个示范性实施方式中，步骤103对第一图像特征图和第二图像特征图执行特征融合处理包括：将第一图像特征图和第二图像特征图输入fpn网络以执行特征融合操作，fpn网络包含下采样部分和上采样部分，其中下采样部分和上采样部分之间具有横向连接，下采样部分适配于对第一图像特征图和第二图像特征图执行下采样处理以生成包含高层特征的特征层，上采样部分适配于对特征层执行上采样处理。
86.图4为本发明实施例的fpn结构的处理示意图。在图4中，下采样部分41和上采样部分42之间具有横向连接。下采样部分41可以对输入特征图执行下采样处理以生成包含高层特征的特征层；上采样部分42可以对包含高层特征的特征层执行上采样处理。
87.在fpn结构中，下采样部分41具有自底而上的特点，即网络训练的前向传播过程，特征图尺寸越来越小，选择每个阶段的最后一层输出作为分类和回归参考特征图。上采样部分42具有自顶向下的特点：把高层特征图进行上采样(比如最近邻上采样)，然后把该特征横向连接至前一层特征，因此高层特征得到加强，从而可以利用底层的定位细节信息。
88.上采样部分42和下采样部分41具有横向连接。前一层的特征图经过卷积核的卷积处理，通过像素间的加法予以连接。重复迭代该过程，直至生成精细的特征图。得到精细的特征图之后，用卷积核再去卷积已经融合的特征图，消除上采样的混叠效应，以生成最后需要的特征图。
89.步骤104：基于第三图像特征图检测车辆。
90.在一个示范性实施方式中，步骤104中基于第三图像特征图检测车辆包括：基于第三图像特征图，输出车辆的中心点的位置。
91.在一个示范性实施方式中，该方法还包括下列中的至少一个：
92.(1)、对中心点的位置进行校准；
93.(2)、预测以校准后的中心点为中心的检测框的宽度和高度；
94.(3)、确定适配于重识别车辆的车辆特征。
95.在一个示范性实施方式中，步骤104中基于第三图像特征图检测车辆包括：在网络输出层的第一部分中，基于第三图像特征图输出所述车辆的中心点的位置；该方法还包括：
在网络输出层的第二部分中，对中心点的位置进行校准；在网络输出层的第三部分中，预测以校准后的中心点为中心的检测框的宽度和高度；在网络输出层的第四部分中，确定适配于重识别车辆的车辆特征；其中基于损失函数l
total
对包含金字塔池化网络、特征金字塔网络和网络输出层的整体网络进行训练，其中输出层的整体网络进行训练，其中其中l
heat
为中心点损失函数；l
off
为中心点校准损失函数；l
size
为检测框的宽度和高度的损失函数；l
th
为确定车辆特征的损失函数；e是自然对数的底数；w1为第一预设权值，w2为第二预设权值。
96.图5为本发明实施例的车辆检测和重识别的处理示意图。
97.首先获取车辆图像；然后将图像输入到骨干网络中提取图像特征；接着，通过spp和fpn结构结合上下层语义特征，再将经过处理的特征分别通过不同的输出分支以得到车辆的位置信息和特征信息等。可以将骨干网络实施为边缘侧更友好的mobilenet v2，采用深度可分离卷积和反残差结构在保证精度的情况下，显著减少参数量。
98.而且，本发明实施例针对脖颈网络的改进包括：现有技术的网络中没有脖颈网络部分，本发明则在脖颈网络部分主要执行增强特征部分的融合。考虑到特征重识别网络部分不能仅包含高层网络中的语义信息，也要适度包含低层网络中的颜色、纹理扥信息，所以多层特征融合是有必要的。本发明实施例先采用spp通过不同大小的卷积核得到不同感受野大小相同的特征图，再把这些特征图进行拼接，在其后再接fpn模块，fpn模块是为了自然地利用cnn层级特征的金字塔形式，同时生成在所有尺度上都具有强语义信息的特征金字塔。fpn的结构实现了从单尺度的单张输入图像，快速构建在所有尺度上都具有强语义信息的特征金字塔，同时不产生明显的代价。在fpn结构中，顶层特征通过上采样和低层特征融合，最后在输出的底层上进行预测。
99.本发明实施例针对头部网络的改进包括：输出可以包含如下四个部分，(1)、中心点的位置(heatmap)部分，大小为(w/4,h/4,1)，其中w和h分别为网络输入的宽和高，输出类别物体中心点的位置；(2)、校准(offset)部分，大小为(w/4,h/4,2)，对heatmap的输出进行精炼，提高定位准确度；(3)、检测框的宽度和高度(height&width)部分，大小为(w/4,h/4,2)，预测以校准后的中心点为中心的检测框的宽和高；(4)、车辆特征(re-id embedding)部分，形状为(h，w，128)，也就是每个车辆分别用128维向量表征。
100.关于损失函数(loss)部分，可以改进采用多任务不确定损失结合多个任务。
101.(1)、中心点的类别损失函数l
heat
采用交叉熵损失的延伸(focal loss)函数，其中α和β是focal loss的超参数，n是图像的关键点数量，用于将所有的正样本focal loss标准化为1。
[0102][0103]
比如，在实际使用中，取α和β分别为2和4。focal loss主要是为了解决one-stage目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重，也可理解为一种困难样本挖掘。其中n代表输出heatmap特征图中像素点的个数，y
xyc
为实际的类别，为预测类别的概率值。
[0104]
(2)、关于中心的偏置损失l
off
：因为对图像进行了四次下采样，这样的特征图重新映射到原始图像上的时候会带来精度误差，因此对于每一个中心点，额外采用了一个偏置去补偿它。所有类的中心点共享同一个偏置，这个偏置值(offset)用l1损失函数来训练。
[0105][0106]
其中r＝4；是预测出来的偏置；n代表输出的偏置特征图中像素点的个数，p代表目标框的中心点，代表的整数值，那么则代表由于下采样取整带来的偏差值。
[0107]
(3)、关于目标大小的损失l
size
：为了减少回归的难度，使用l1损失函数作为预测值。
[0108][0109]
与之前的l
off
损失一样，n代表输出宽高特征图中像素点的个数，sk为实际目标的大小，为预测目标的大小。
[0110]
(4)、关于车辆reid损失l
th
：难样本三元组损失(后续用trihard损失函数表示)是三元组损失的改进版。传统的三元组随机从训练数据中抽样三张图片，这样的做法虽然比较简单，但是大部分抽样出的都是简单易区分的样本对。如果大量训练的样本对都是简单的样本对，不利于网络学习到更好的表征。已经发现用更难的样本去训练网络能够提高网络的泛化能力，而采样难样本对的方法很多。trihard损失的核心思想是：对于每一个训练batch，随机挑选p个id的行人，每个行人随机挑选k张不同的图片，即一个batch含有p
×
k张图片。之后对于batch中的每一张图片a，可以挑选一个最难的正样本和一个最难的负样本和a组成一个三元组。
[0111][0112]
其中α是人为设定的阈值参数。trihard损失计算a和batch中的每一张图片在特征空间的欧式距离d，然后选出与a距离最远(最不像)的正样本p和距离最近(最像)的负样本n来计算三元组损失。
[0113]
由于检测分支更注重深层的语义特征，而车辆重识别部分更需要一些浅层的纹理颜色等浅层信息，本发明实施例在网络结构上进行了多层的特征融合去结合不同层次的特征。在网络损失部分不能简单的直接把检测和重识别部分相加，会导致网络过分偏向于其中的某一个任务，采用多任务不确定损失方法来进行结合各个分支自适应调整每个任务的权重。
[0114]
因此，总的损失函数l
total
如下所示。
[0115]
其中w1，w2为自适应权重。
[0116]
举例说明训练过程。网络训练的时候采用30万张监控场景下数据，其中每张图片都包含所有清晰车辆的位置信息，有1/3的数据同时包含了车辆的标识信息。训练中如果图
像不包含标识信息，那么对应与标识分支的部分参数就不进行更新。在整个数据集上训练120个周期，最终测试结果检测部分平均准确度(average precision，ap)达到89.9，车辆重识别部分rank-1的平均准确率为93.5。网络测试采用512*256的输入时，在边缘设备上的运行时间为30毫秒(ms)，相比于采用yolov3 resnet18这两个网络推理节省约50ms，在提升速度的同时还减少了硬件设备的消耗，对算力有限的边缘设备更加友好。
[0117]
图6为本发明实施例的车辆检测装置的结构图。该装置600包含在边缘设备中，该装置600包括：
[0118]
提取模块601，被配置为基于包含车辆的原始图像提取第一图像特征图；
[0119]
生成模块602，被配置为基于第一图像特征图生成第二图像特征图，其中第二图像特征图的感受野大于第一图像特征图的感受野；
[0120]
融合模块603，被配置为对第一图像特征图和第二图像特征图执行特征融合处理，以生成特征融合处理后的第三图像特征图；
[0121]
检测模块604，被配置为基于第三图像特征图检测车辆。
[0122]
在一个示范性实施方式中，生成模块602，被配置为将第一图像特征图输入空间金字塔池化网络以生成第二图像特征图，金字塔池化网络包含多个卷积核以及拼接部分，其中每个卷积核适配于将第一图像特征图转换为具有各自的感受野的各自的图像特征图，拼接部分适配于将多个卷积核各自提供的、各自的图像特征图和第一图像特征图拼接为第二图像特征图。
[0123]
在一个示范性实施方式中，融合模块603，被配置为将第一图像特征图和第二图像特征图输入特征金字塔网络以执行特征融合操作，特征金字塔网络包含下采样部分和上采样部分，其中下采样部分和上采样部分之间具有横向连接，下采样部分适配于对第一图像特征图和第二图像特征图执行下采样处理以生成包含高层特征的特征层，上采样部分适配于对特征层执行上采样处理。
[0124]
在一个示范性实施方式中，检测模块604，被配置为基于第三图像特征图，输出车辆的中心点的位置。
[0125]
在一个示范性实施方式中，检测模块604，还被配置为执行下列中的至少一个：对中心点的位置进行校准；预测以校准后的中心点为中心的检测框的宽度和高度；确定适配于重识别车辆的车辆特征。
[0126]
在一个示范性实施方式中，检测模块604，被配置为在网络输出层的第一部分中，基于第三图像特征图输出车辆的中心点的位置；在网络输出层的第二部分中，对中心点的位置进行校准；在网络输出层的第三部分中，预测以校准后的中心点为中心的检测框的宽度和高度；在网络输出层的第四部分中，确定适配于重识别车辆的车辆特征；该装置600还包括：训练模块606，被配置为基于损失函数l
total
对包含金字塔池化网络、特征金字塔网络和网络输出层的整体网络605进行训练，其中输出层的整体网络605进行训练，其中其中l
heat
为中心点损失函数；l
off
为中心点校准损失函数；l
size
为检测框的宽度和高度的损失函数；l
th
为确定车辆特征的损失函数；e是自然对数的底数；w1为第一预设权值，w2为第二预设权值。
[0127]
图7为本发明具有存储器-处理器架构的、车辆检测装置的示范性结构图。
[0128]
如图7所示，车辆检测装置包括：处理器701；存储器702；其中存储器702中存储有可被处理器701执行的应用程序，用于使得处理器701执行如上实施例的车辆检测方法。
[0129]
其中，存储器702具体可以实施为电可擦可编程只读存储器(eeprom)、快闪存储器(flash memory)、可编程程序只读存储器(prom)等多种存储介质。处理器501可以实施为包括一或多个中央处理器或一或多个现场可编程门阵列，其中现场可编程门阵列集成一或多个中央处理器核。具体地，中央处理器或中央处理器核可以实施为cpu、mcu或数字信号处理器(dsp)。
[0130]
图8为本发明的车辆检测装置的示范性结构图。通常，车辆检测装置800为边缘设备，包括：处理器801和存储器802。
[0131]
处理器801可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器801可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field-programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器(central processing unit，cpu)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器801可以在集成有图像处理器(graphics processing unit，gpu)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器801还可以包括ai处理器，该ai处理器用于处理有关机器学习的计算操作。比如，ai处理器可以实施为神经网络处理器。
[0132]
存储器802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。
[0133]
在一些实施例中，存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器801所执行以实现本公开中各个实施例提供的车辆检测方法。在一些实施例中，车辆检测装置800还可选包括有：外围设备接口803和至少一个外围设备。处理器701、存储器702和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地，外围设备包括：射频电路804、触摸显示屏805、摄像头组件806、音频电路807、定位组件808和电源809中的至少一种。
[0134]
外围设备接口803可被用于将输入/输出(input/output，i/o)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施例中，处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上；在一些其他实施例中，处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
[0135]
射频电路804用于接收和发射射频(radio frequency，rf)信号，也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路804包括：天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它终端进行
通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或无线保真(wireless fidelity，wi-fi)网络。在一些实施例中，射频电路804还可以包括近距离无线通信(near field communication，nfc)有关的电路，本公开对此不加以限定。
[0136]
显示屏805用于显示用户界面(user interface，ui)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时，显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时，显示屏805还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏805可以为一个，设置在车辆检测装置800的前面板；在另一些实施例中，显示屏805可以为至少两个，分别设置在车辆检测装置800的不同表面或呈折叠设计；在一些实施例中，显示屏805可以是柔性显示屏，设置在车辆检测装置800的弯曲表面上或折叠面上。甚至，显示屏805还可以设置成非矩形的不规则图形，也即异形屏。显示屏805可以采用液晶显示屏(liquid crystal display，lcd)、有机发光二极管(organic light-emitting diode，oled)等材质制备。
[0137]
摄像头组件806用于采集图像或视频。可选地，摄像头组件806包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及虚拟现实(virtual reality，vr)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
[0138]
音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器801进行处理，或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在车辆检测装置800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路807还可以包括耳机插孔。
[0139]
定位组件808用于定位车辆检测装置800的当前地理位置，以实现导航或基于位置的服务(location based service，lbs)。定位组件808可以是基于美国的全球定位系统(global positioning system，gps)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
[0140]
电源809用于为车辆检测装置800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时，该可充电电池可以支持有线充电或无线充电。
[0141]
本领域技术人员可以理解，上述的结构并不构成对车辆检测装置800的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
[0142]
需要说明的是，上述各流程和各结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。各模块的划分仅仅是为了便于描述采用的功能上的划分，实际实现时，一个模块可以分由多个模块实现，多个模块的功能也可以由同一个模块实现，这些模块可以位于同一个设备中，也可以位于不同的设备中。
[0143]
各实施方式中的硬件模块可以以机械方式或电子方式实现。例如，一个硬件模块可以包括专门设计的永久性电路或逻辑器件(如专用处理器，如fpga或asic)用于完成特定的操作。硬件模块也可以包括由软件临时配置的可编程逻辑器件或电路(如包括通用处理器或其它可编程处理器)用于执行特定操作。至于具体采用机械方式，或是采用专用的永久性电路，或是采用临时配置的电路(如由软件进行配置)来实现硬件模块，可以根据成本和时间上的考虑来决定。
[0144]
本发明还提供了一种机器可读的存储介质，存储用于使一机器执行如本技术方法的指令。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施方式的功能的软件程序代码，且使该系统或者装置的计算机(或cpu或mpu)读出并执行存储在存储介质中的程序代码。此外，还可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作。还可以将从存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的cpu等来执行部分和全部实际操作，从而实现上述实施方式中任一实施方式的功能。
[0145]
用于提供程序代码的存储介质实施方式包括软盘、硬盘、磁光盘、光盘(如cd-rom、cd-r、cd-rw、dvd-rom、dvd-ram、dvd-rw、dvd rw)、磁带、非易失性存储卡和rom。可选择地，可以由通信网络从服务器计算机或云上下载程序代码。
[0146]
在本文中，“示意性”表示“充当实例、例子或说明”，不应将在本文中被描述为“示意性”的任何图示、实施方式解释为一种更优选的或更具优点的技术方案。为使图面简洁，各图中的只示意性地表示出了与本发明相关部分，而并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”并不表示将本发明相关部分的数量限制为“仅此一个”，并且“一个”不表示排除本发明相关部分的数量“多于一个”的情形。在本文中，“上”、“下”、“前”、“后”、“左”、“右”、“内”、“外”等仅用于表示相关部分之间的相对位置关系，而非限定这些相关部分的绝对位置。
[0147]
以上，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。