交通目标检测模型训练和目标检测方法及边缘计算设备与流程

1.本公开涉及智能交通领域，具体涉及路侧设备感知技术，尤其涉及一种交通目标检测模型训练和目标检测方法及边缘计算设备。


背景技术：

2.目标检测是计算机视觉中一个重要的基础研究领域，其主要工作是对图像中感兴趣对象在位置定位，以及对该对象所属类别的分类。在卷积神经网络模型出现之前，目标检测的主要研究方法是通过手动方式提取图像中目标对象检测所需要的特征信息，而基于深度学习的目标检测器凭借其出色的特征提取能力，迅速成为了目标检测领域新的研究方向。目标检测是人脸识别、行人识别、异常行为监控、无人驾驶以及智能机器人等人工智能相关领域研究和应用的基础。


技术实现要素：

3.本公开提供了一种交通目标检测模型训练和目标检测方法及边缘计算设备。
4.根据本公开的一方面，提供了一种交通目标检测模型的训练方法，包括：
5.提取交通样本图像在不同尺度下的目标特征图；
6.针对每个所述目标特征图，对所述目标特征图进行多种感受野的目标检测，获取每种所述感受野对应的至少一种目标检测框；
7.根据每个所述目标特征图的所述目标检测框和真值检测框，获取交通目标检测模型的损失函数；
8.基于所述损失函数对所述交通目标检测模型进行调整，以生成训练好的交通目标检测模型。
9.根据本公开的另一方面，提供了一种交通目标检测方法，包括：
10.获取待检测交通目标图像；
11.将所述交通目标图像输入到训练好的交通目标检测模型中，以对所述交通目标图像进行多种感受野的目标检测，获取每种所述感受野对应的至少一种目标检测框；
12.其中，所述交通目标检测模型采用所述交通目标检测模型的训练方法进行训练。
13.根据本公开的另一方面，提供了另一种交通目标检测方法，包括：
14.获取待检测交通目标图像，并提取所述交通目标图像在不同尺度下的目标特征图；
15.针对每个目标特征图，对所述目标特征图进行多种感受野的目标检测，获取每种所述感受野对应的至少一种目标检测框。
16.根据本公开的另一方面，提供了一种交通目标检测模型的训练装置，包括：
17.特征提取模块，用于提取交通样本图像在不同尺度下的目标特征图；
18.第一获取模块，用于针对每个目标特征图，对所述目标特征图进行多种感受野的目标检测，获取每个所述感受野对应的至少一种目标检测框；
19.第二获取模块，用于根据每个所述目标特征图的所述目标检测框和真值检测框，获取交通目标检测模型的损失函数；
20.训练模块，用于基于所述损失函数对所述交通目标检测模型进行调整，以生成训练好的交通目标检测模型。
21.根据本公开的另一方面，提供了一种交通目标检测装置，包括：
22.获取模块，用于获取待检测交通目标图像；
23.检测模块，用于将所述交通目标图像输入到训练好的交通目标检测模型中，以对所述交通目标图像进行多种感受野的目标检测，获取每种所述感受野对应的至少一种目标检测框；
24.其中，所述目标检测模型采用所述目标检测的训练方法进行训练。
25.根据本公开的另一方面，提供了一种交通目标检测装置，包括：
26.特征提取模块，用于获取待检测交通目标图像，并提取所述交通目标图像在不同尺度下的目标特征图；
27.检测模块，用于针对每个目标特征图，对所述目标特征图进行多种感受野的目标检测，获取每种所述感受野对应的至少一种目标检测框。
28.根据本公开的另一方面，提供了一种电子设备，包括：
29.至少一个处理器；以及
30.与所述至少一个处理器通信连接的存储器；其中，
31.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行交通目标检测模型训练和目标检测方法。
32.根据本公开的另一方面，一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行交通目标检测模型训练和目标检测方法。
33.根据本公开的另一方面，一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行交通目标检测模型训练和目标检测方法的步骤。
34.根据本公开的另一方面，一种边缘计算设备，包括所述的电子设备。
35.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
36.附图用于更好地理解本方案，不构成对本公开的限定。其中：
37.图1是根据本公开一个实施例的交通目标检测模型的训练方法的流程图；
38.图2是根据本公开另一个实施例的交通目标检测模型的训练方法的流程图；
39.图3是根据本公开一个实施例的交通目标检测模型的结构示意图图；
40.图4是根据本公开一个实施例的特征融合网络的结构示意图；
41.图5是根据本公开另一个实施例的交通目标检测模型的训练方法的流程图；
42.图6是根据本公开一个实施例的多感受野检测网络的结构示意图；
43.图7是根据本公开一个实施例的目标检测框和真值检测框的示意图；
44.图8是根据本公开另一个实施例的交通目标检测模型的训练方法的流程图；
45.图9是根据本公开一个实施例的交通目标检测方法的流程示意图；
46.图10是根据本公开一个实施例的另一种交通目标检测方法的流程示意图；
47.图11是根据本公开另一个实施例的另一种交通目标检测方法的流程示意图；
48.图12是根据本公开一个实施例的交通目标检测模型的训练装置的结构示意图；
49.图13是根据本公开一个实施例的交通目标检测装置的结构示意图；
50.图14是根据本公开一个实施例的另一种交通目标检测装置的结构示意图；
51.图15是用来实现本公开实施例的交通目标检测模型的训练方法的电子设备的框图。
具体实施方式
52.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
53.下面参考附图描述本公开实施例的交通目标检测模型训练和目标检测方法、装置、电子设备、存储介质及边缘计算设备。
54.路侧感知就是利用摄像机、毫米波雷达、激光雷达等传感器，并结合路侧边缘计算，其最终目的是实现对该路段的交通参与者、路况等的瞬时智能感知。
55.路侧感知能拓展自动驾驶车辆和驾驶员感知范围，并通过车对外的信息交换(vehicle to everything，v2x)车路协同技术实现人-车-路-云的一体化运行监测，第一时间发现道路通行异常，实现车路协同、车云协同，区域路云协同等智能应用，满足自动驾驶车辆、社会车辆智能出行需求，同时它能使监管机构变得更加高效灵活，从而建立一个响应速度更快、更加灵活的监管环境。
56.本公开实施例提供的交通目标检测模型训练和目标检测方法，可以由电子设备来执行，该电子设备可为车载电脑等，此处不做任何限定。
57.在本公开实施例中，电子设备中可以设置有处理组件、存储组件和驱动组件。可选的，该驱动组件和处理组件可以集成设置，该存储组件可以存储操作系统、应用程序或其他程序模块，该处理组件通过执行存储组件中存储的应用程序来实现本公开实施例提供的交通目标检测模型的训练方法。
58.图1为本公开实施例提供的一种交通目标检测模型的训练方法的流程示意图。
59.本公开实施例的交通目标检测模型的训练方法，还可由本公开实施例提供的活体检测装置执行，该装置可配置于电子设备中，以实现提取交通样本图像在不同尺度下的目标特征图，并针对每个目标特征图，对目标特征图进行多种感受野的目标检测，获取每种感受野对应的至少一种目标检测框，而后根据每个目标特征图的目标检测框和真值检测框，获取交通目标检测模型的损失函数，并基于损失函数对交通目标检测模型进行调整，以生成训练好的交通目标检测模型。该训练好的交通目标检测模型能够实现不同尺度下的多感受野的交通目标检测，从而实现细粒度尺度的交通目标检测，并提升了交通目标检测的效果。
60.作为一种可能的情况，本公开实施例的交通目标检测模型的训练方法还可以在服
务器端执行，该服务器可以为云服务器，可以在云端执行该交通目标检测模型的训练方法。
61.如图1所示，该交通目标检测模型的训练方法，可包括：
62.步骤101，提取交通样本图像在不同尺度下的目标特征图。
63.其中，交通目标检测模型可为直接多目标检测(single shot multi box detector，ssd)、精细直接多目标检测(single-shot refinement neural network for object detection，refinedet)、基于针对移动端视觉应用的高效卷积神经网络的直接多目标检测(mobilenet based single shot multi box detector，mobilenet-ssd)、统一实时目标检测(you only look once:unified,real-time object detection，yolo)等基础目标检测模型中的一种。
64.在本公开实施例中，可将交通样本图像输入至交通目标检测模型，由交通目标检测模型对该交通样本图像进行特征提取，以提取该交通样本图像在不同尺度(例如，13*13*255、26*26*255和52*52*255等)下的目标特征图。
65.步骤102，针对每个目标特征图，对目标特征图进行多种感受野的目标检测，获取每种感受野对应的至少一种目标检测框。
66.其中，感受野表示卷积神经网络每一层输出的特征图(feature map)上的像素点在输入图像上映射的区域大小。感受野的值越大表示其能接触到的原始图像范围就越大，也意味着可能蕴含更为全局、语义层次更高的特征，而感受野值越小则表示其所包含的特征越趋向于局部和细节。
67.可选地，在交通目标检测模型提取到不同尺度下的目标特征图后，可对每个目标特征图进行多种感受野的目标检测，以获取该目标特征图每种感受野对应的至少一种目标检测框。
68.步骤103，根据每个目标特征图的目标检测框和真值检测框，获取交通目标检测模型的损失函数。其中，每个目标特征图的真值检测框可以预先标记好的。
69.可选地，在获取到每个目标特征图的目标检测框后，对于每个目标特征图，可获取该目标特征图在不同感受野下的真值检测框。本公开实施例中，一个目标检测框对应有一个真值检测框，针对每个目标特征图，获取目标检测框与对应的真值检测框之间的差异，基于每个目标检测框对应的差异，可得到任一目标特征图的对应的损失函数，以此可得到所有尺度下的目标特征图对应的损失函数，而后可将所有尺度下的目标特征图对应的损失函数进行融合处理，例如，加权求和，以得到交通目标检测模型的损失函数。
70.步骤104，基于损失函数对交通目标检测模型进行调整，以生成训练好的交通目标检测模型。
71.可选地，在获取到交通目标检测模型的损失函数后，可基于损失函数对交通目标检测模型进行调整，并对调整后的交通目标检测模型进行下一次的训练，直到交通目标检测模型收敛后结束训练，并生成最终的交通目标检测模型。
72.在本公开实施例中，首先提取交通样本图像在不同尺度下的目标特征图，然后针对每个目标特征图，对目标特征图进行多种感受野的目标检测，获取每种感受野对应的至少一种目标检测框，并根据每个目标特征图的目标检测框和真值检测框，获取交通目标检测模型的损失函数，最后基于损失函数对交通目标检测模型进行调整，以生成训练好的交通目标检测模型。通过本公开实施例的交通目标检测模型的训练方法训练好的交通目标检
测模型，能够实现不同尺度下的多感受野的交通目标检测，从而实现细粒度尺度的交通目标检测，并提升了交通目标检测的效果。
73.为了清楚说明上一实施例，在本公开的一个实施例中，如图2所示，提取交通样本图像在不同尺度下的目标特征图，可包括：
74.步骤201，对交通样本图像进行特征提取，获取不同尺度下的候选特征图。
75.可选地，参见图3，可将交通样本图像输入至交通目标检测模型的骨干网络中，通过该骨干网络对该交通样本图像进行特征提取，以获取到不同尺度(例如，c5、c4和c3)下的候选特征图。其中，骨干网络可为残差网络(residual network，resnet)、一种稠密卷积神经网络(dense convolutional network，densenet)和inception网络等卷积网络中的一种。
76.步骤202，获取与任一尺度的候选特征图在尺度上相邻且大于任一尺度的相邻候选特征图。
77.步骤203，响应于任一尺度的候选特征图存在相邻候选特征图，则将任一尺度的候选特征图与相邻候选特征图进行特征融合，生成任一尺度的目标特征图。
78.在本公开实施例中，在获取到与任一尺度的候选特征图在尺度上相邻且大于任一尺度的相邻候选特征图后，若该候选特征图存在相邻候选特征图，则可通过特征融合网络将该候选特征图与相邻候选特征图进行特征融合，以生成目标特征图。
79.其中，参见图3，交通目标检测模型可包括特征融合网络，该特征融合网络可对候选特征图进行特征融合处理。
80.需要说明的是，尺度最小的候选特征图不进行特征融合处理。
81.可选地，在对交通样本图像进行特征提取的过程中，若以交通样本图像的尺度为基准单位，并分别以8倍、16倍和32倍的倍数对该交通样本图像进行下采样(缩小尺度)，然后将经过下采样后的交通样本图像进行特征提取，则可得到c3、c4和c5尺度下的候选特征图，其中，c3和c4的相邻，c3大于c4，且c3为c4的2倍；c4和c5相邻，c4大于c5，且c4为c5的2倍。参见图4，可将c5、c4和c3尺度下的候选特征图输入到特征融合网络，进行特征融合处理。由于c5最小，不满足上述条件，c5尺度下的候选特征图不进行特征融合，而c4和c3满足上述条件，c4和c3尺度下的候选特征图可进行特征融合。
82.具体地，c5尺度下的候选特征图经过三层卷积核的卷积后，生成c5尺度下的目标特征图，而后可将该目标特征图以2倍倍数进行上采样(放大尺度)处理，并在经过上采样处理后与c4尺度下的候选特征图进行特征融合，生成c4尺度下的特征融合图像，该特征融合图像在经过三层卷积核的卷积后，生成c4尺度下的目标特征图，而后可将该目标特征图以2倍倍数进行上采样(放大尺度)处理，并在经过上采样处理后与c3尺度下的候选特征图进行特征融合，生成c3尺度下的特征融合图像，该特征融合图像在经过三层卷积核的卷积后，生成c3尺度下的目标特征图。
83.本公开实施例将不同尺度的候选特征图进行特征融合，能够进一步加强高层语义和底层语义特征之间的关联。
84.在获取到不同尺度下的目标特征图后，可通过多感受野检测网络对不同尺度下的目标特征图进行多种感受野的目标检测，在本公开的一个实施例中，如图5所示，获取每种感受野对应的目标检测框，可包括：
85.步骤501，将不同尺度下的目标特征图输入各自的多感受野检测网络中。
86.在本公开实施例中，交通目标检测模型可包括多感受野检测网络(可为多个)，每个尺度对应一个多感受野检测网络。可选地，参见图3，交通目标检测模型包括多感受野检测网络d5、多感受野检测网络d4和多感受野检测网络d3，其中，尺度c5对应着多感受野检测网络d5，尺度c4对应的多感受野检测网络d4，尺度c3对应着多感受野检测网络d3。
87.需要说明的是，每个多感受野检测网络可以相同，也可以不相同。
88.步骤502，由每个感受野检测分支分别对目标特征图进行目标检测，以输出每个感受野检测分支对应的感受野特征图，并对感受野特征图进行目标检测，以输出每种感受野检测分支对应的至少一种目标检测框。
89.在本公开实施例中，多感受野检测网络可包括多个感受野检测分支，每个感受野检测分支对应有一种感受野。其中，每个感受野检测分支可包括两个卷积层，不同的感受野检测分支中第一个卷积层的卷积核大小不同，用于确定感受野检测分支的感受野大小，其中，卷积核越大，感受野越大，卷积核越小，感受野越小。第一个卷积层用于对目标特征图进行卷积处理，以输出感受野特征图，第二个卷积层用于对感受野特征图进行卷积处理，以输出至少一种目标检测框。
90.其中，参见图6，多感受野检测网络可包括感受野检测分支g1、感受野检测分支g2和感受野检测分支g3，可将分别将感受野检测分支g1、感受野检测分支g2和感受野检测分支g3对应的感受野称为感受野h1、感受野h2和感受野h3。
91.可选地，可将每个目标特征图输入到自身尺度对应的多感受野检测网络中，由该多感受野检测网络中的每个感受野检测分支进行目标检测，在进行目标检测的过程中，首先通过感受野检测分支的第一个卷积层对目标特征图卷积处理，输出感受野特征图，然后通过感受野检测分支的第二卷积层对感受野特征图进行卷积处理，输出至少一种目标检测框。
92.在一些实现中，参见图7，可将分别将c5、c4和c3尺度下的目标特征图输入多感受野检测网络d5、d4和d3中，分别由感受野检测分支g1、g2和g3对c5、c4和c3尺度下的目标特征图进行目标检测，以输出g1、g2和g3对应感受野特征图，而后分别对g1、g2和g3对应感受野特征图进行目标检测，以输出c5、c4和c3尺度下三种不同感受野(h1、h2和h3)分别对应的至少一种目标检测框。需要说明的是，图7中只示例性示出了一种目标检测框，该目标检测框可为一种或多种。
93.本公开实施例通过多个感受野检测分支对不同尺度下的目标特征图进行目标检测，实现了不同尺度下的多感受野的目标检测，从而实现了细粒度尺度的目标检测，提升了目标检测的效果。
94.进一步地，在本公开的一个实施例中，如图8所示，根据每个目标特征图的目标检测框和真值检测框，获取交通目标检测模型的损失函数，可包括：
95.步骤801，针对任一目标特征图，获取属于同一感受野的目标检测框与真值检测框，并获取目标检测框和真值检测框之间的误差值。
96.其中，参见图7，真值检测框可以是预先标记好的。
97.可选地，对于c5尺度下的目标特征图，可获取感受野检测网络d5中的感受野检测分支g1输出的目标检测框，即感受野h1对应的目标检测框，并获取感受野h1对应的真值检
测框，然后根据该目标检测框和真值检测框获取该目标检测框和真值检测框之间的误差值，以此，可获取到c5尺度下的感受野h2和感受野h3对应的目标检测框和真值检测框之间误差值，以及可获取到c4尺度下感受野h1、感受野h2和感受野h3对应的目标检测框和真值检测框之间误差值，以及可获取到c3尺度下感受野h1、感受野h2和感受野h3对应的目标检测框和真值检测框之间误差值。
98.步骤802，根据多种感受野的误差值，得到任一目标特征图对应的子损失函数。
99.在本公开实施例中，目标检测框可包括待检测对象的预测类别，真值检测框可包括待检测对象的标签类别，可根据预测类别和标签类别获取预测类别和标签类别之间的误差值。针对任一感受野，可将该感受野对应的目标检测框和真值检测框之间的误差值与预测类别和标签类别之间的误差值相加，得到该感受野的误差值，以此可得到每一种感受野的误差值。
100.对于任一尺度下的特征图，可将该尺度下的多种感受野的误差值进行融合处理(例如，加权求和)，以得到该尺度下的目标特征图对应的子损失函数，以此可得到不同尺度下的目标特征图对应的子损失函数。
101.可选地，可将c5尺度下的感受野h1、感受野h2和感受野h3的误差值进行融合处理，得到c5尺度下的目标特征图的子损失函数f5；可将c4尺度下的感受野h1、感受野h2和感受野h3的误差值进行融合处理，得到c4尺度下的目标特征图的子损失函数f4；可将c3尺度下的感受野h1、感受野h2和感受野h3的误差值进行融合处理，得到c3尺度下的目标特征图的子损失函数f3。
102.步骤803，根据每个目标特征图的子损失函数，得到交通目标检测模型的损失函数。
103.可选地，在获取到每个目标特征图的子损失函数后，可将所有子损失函数进行融合处理(例如，加权求和)，以得到交通目标检测模型的损失函数。
104.在一些实现中，可将子损失函数f1、子损失函数f2和子损失函数f3进行融合处理，以得到交通目标检测模型的损失函数。
105.本公开实施例根据每个目标特征图的子损失函数，得到交通目标检测模型的损失函数，能够对交通目标检测模型的训练提供更好的调整依据。
106.图9为本公开实施例提供的一种交通目标检测方法的流程示意图。
107.本公开实施例的交通目标检测方法，可由本公开实施例提供的交通目标检测装置执行，该装置可配置与电子设备中，以实现获取待检测交通目标图像，并将交通目标图像输入到训练好的交通目标检测模型中，以对交通目标图像进行多种感受野的目标检测，获取每种感受野对应的至少一个目标检测框，从而能够实现不同尺度下的多感受野的交通目标检测，进而实现细粒度尺度的交通目标检测，并提升了交通目标检测的效果。
108.作为一种可能的情况，本公开实施例的交通目标检测方法还可以在服务器端执行，该服务器可以为云服务器，可以在云端执行该交通目标检测模型的训练方法。
109.如图9所示，该交通目标检测方法，可包括：
110.步骤901，获取待检测交通目标图像。其中，待检测交通目标图像可预先存储于服务器的存储空间中，以便于需要时调取使用。
111.步骤902，将交通目标图像输入到训练好的交通目标检测模型中，以对交通目标图
像进行多种感受野的目标检测，获取每种感受野对应的至少一种目标检测框。其中，交通目标检测模型可采用前述交通目标检测模型的训练方法进行训练，并将训练好的交通目标检测模型存储于服务器的存储空间中，以便于需要时调取使用。
112.可选地，服务器可从自身的存储空间中调取(获取)待检测交通目标图像和训练好的交通目标检测模型，并将该待检测交通目标图像输入到该交通目标检测模型中，从而通过该交通目标检测模型对该交通目标图像进行多个感受野的目标检测，以得到(获取)该交通目标检测模型输出的每种感受野对应的至少一种目标检测框。
113.在本公开实施例中，首先获取待检测交通目标图像，而后将交通目标图像输入到训练好的交通目标检测模型中，以对交通目标图像进行多种感受野的目标检测，获取每种感受野对应的至少一种目标检测框，从而能够实现不同尺度下的多感受野的交通目标检测，进而实现细粒度尺度的交通目标检测，并提升了交通目标检测的效果。
114.图10为本公开实施例提供的另一种交通目标检测方法的流程示意图。
115.本公开实施例的交通目标检测方法，可由本公开实施例提供的交通目标检测装置执行，该装置可配置与电子设备中，以实现获取待检测交通目标图像，并将交通目标图像输入到训练好的交通目标检测模型中，以对交通目标图像进行多种感受野的目标检测，获取每种感受野对应的至少一种目标检测框，从而能够实现不同尺度下的多感受野的交通目标检测，进而实现细粒度尺度的交通目标检测，并提升了交通目标检测的效果。
116.作为一种可能的情况，本公开实施例的交通目标检测方法还可以在服务器端执行，该服务器可以为云服务器，可以在云端执行该交通目标检测模型的训练方法。
117.如图10所示，该交通目标检测方法，可包括：
118.步骤1001，获取待检测交通目标图像，并提取交通目标图像在不同尺度下的目标特征图。其中，待检测交通目标图像可预先存储于服务器的存储空间中，以便于需要时调取使用。
119.在本公开实施例中，服务器可从自身的存储空间中调取待检测交通目标图像，而后基于预设的特征提取策略对该待检测交通目标图像进行特征提取，以得到不同尺度下目标特征图。其中，预设的特征提取策略可根据需求进行确定。
120.步骤1002，针对每个目标特征图，对目标特征图进行多种感受野的目标检测，获取每种感受野对应的至少一种目标检测框。
121.其中，感受野表示卷积神经网络每一层输出的特征图(feature map)上的像素点在输入图像上映射的区域大小。感受野的值越大表示其能接触到的原始图像范围就越大，也意味着可能蕴含更为全局、语义层次更高的特征，而感受野值越小则表示其所包含的特征越趋向于局部和细节。
122.可选地，在提取到不同尺度下的目标特征图后，可对任一目标特征图进行多种感受野的目标检测，以获取该目标特征图在每种感受野下的目标检测框。
123.在本公开实施例中，首先获取待检测交通目标图像，并提取交通目标图像在不同尺度下的目标特征图，而后针对每个目标特征图，对目标特征图进行多种感受野的目标检测，获取每种感受野对应的至少一种目标检测框，从而能够实现不同尺度下的多感受野的交通目标检测，进而实现细粒度尺度的交通目标检测，并提升了交通目标检测的效果。
124.为了清楚说明上一实施例，在本公开的一个实施例中，如图11所示，提取交通目标
图像在不同尺度下的目标特征图，可包括：
125.步骤1101，对交通目标图像进行特征提取，获取不同尺度下的候选特征图。
126.在本公开实施例中，可通过图像特征提取模型对待检测交通目标图像进行特征提取，以提取该交通目标图像在不同尺度下的目标特征图。其中，图像特征提取模型可为前述交通目标检测模型的训练方法训练好的交通目标检测模型，此处不做任何限定，并将其存储于服务器的存储空间中，以便于需要时调取使用。
127.可选地，服务器可从自身的存储空间中调出(获取)待检测交通目标图像和图像特征提取模型，并将该待检测交通目标图像输入到该图像特征提取模型，从而通过该图像特征提取模型对该待检测交通目标图像进行特征提取，以得到该图像特征提取模型输出的该待检测交通目标图像在不同尺度下的候选特征图。
128.可选地，可通过图像特征提取工具(例如，插件等)提取待检测交通目标图像的特征，以得到该待检测交通目标图像在不同尺度下的候选特征图。
129.步骤1102，获取与任一尺度的候选特征图在尺度上相邻且大于任一尺度的相邻候选特征图。
130.步骤1103，响应于任一尺度的候选特征图存在相邻候选特征图，则将任一尺度的候选特征图与相邻候选特征图进行特征融合，生成任一尺度的目标特征图。
131.在本公开实施例中，在获取到与任一尺度的候选特征图在尺度上相邻且大于任一尺度的相邻候选特征图后，若该候选特征图存在相邻候选特征图，则可通过特征融合网络将该候选特征图与相邻候选特征图进行特征融合，以生成目标特征图。需要说明的是，尺度最小的候选特征图不进行特征融合处理。
132.其中，特征融合网络可预先存储于服务器的存储空间中，以便于需要时调取使用。应说明的是，该实施例中所描述的特征融合网络可以是前述交通目标检测的训练方法训练好的模型中的特征融合网络，此处不做任何限定。
133.可选地，服务器可从自身的存储空间中调取(获取)特征融合网络，并将上述候选特征图输入特征融合网络，从而通过该特征融合网络将该候选特征图与相邻候选特征图进行特征融合，以得到该特征融合网络输出目标特征图，以此可得到任一尺度的目标特征图。
134.需要说明的是，特征融合网络的具体特征融合过程可参见上述步骤202和步骤203中的描述，此处不再赘述。
135.本公开实施例将不同尺度的候选特征图进行特征融合，能够进一步加强高层语义和底层语义特征之间的关联。
136.进一步地，在本公开的一个实施例中，对目标特征图进行多种感受野的目标检测，获取每种感受野对应的至少一种目标检测框，包括：针对每个目标特征图，对目标特征图进行多组卷积处理，以输出每个感受野对应的至少一种目标检测框。其中，每组卷积处理包括两次卷积处理，不同组中的第一次卷积操作的卷积核大小不同，且每组卷积处理对应着一个感受野。
137.在本公开实施例中，每个目标特征图对应多组卷积核，每组卷积核对应一个感受野，可对目标特征图一组卷积处理。其中，每组卷积核包括两个卷积核，每个卷积核可进行一次卷积处理，不同组的卷积核的第一个卷积核大小不同。
138.可选地，针对每个目标特征图，可通过其对应的多组卷积核对该目标特征图进行
多组卷积处理，每组卷积核对该目标特征图进行两次卷积后，可输出至少一种目标检测框，以此可得到(获取)每个感受野对应的至少一种目标检测框。
139.本公开实施例通过对目标特征图进行多组卷积处理，能够得到多个感受野的目标检测框，从而能够对待检测图像进行多感受野的目标检测。
140.图12为本公开实施例提供的一种交通目标检测模型的训练装置的结构示意图。
141.本公开实施例的交通目标检测装置，可配置于电子设备中，以实现提取交通样本图像在不同尺度下的目标特征图，并针对每个目标特征图，对目标特征图进行多种感受野的目标检测，获取每种感受野对应的至少一种目标检测框，而后根据每个目标特征图的目标检测框和真值检测框，获取交通目标检测模型的损失函数，并基于损失函数对交通目标检测模型进行调整，以生成训练好的交通目标检测模型。该训练好的交通目标检测模型能够实现不同尺度下的多感受野的交通目标检测，从而实现细粒度尺度的交通目标检测，并提升了交通目标检测的效果。
142.如图12所示，该交通目标检测装置1200，可包括特征提取模块1210、第一获取模块1220、第二获取模块1230和训练模块1240。
143.其中，特征提取模块1210，用于提取交通样本图像在不同尺度下的目标特征图。
144.其中，交通目标检测模型可为ssd、refinedet、mobilenet-ssd、yolo等基础目标检测模型中的一种。
145.在本公开实施例中，可将交通样本图像输入至交通目标检测模型，通过特征提取模块1210对该交通样本图像进行特征提取，以提取该交通样本图像在不同尺度(例如，13*13*255、26*26*255和52*52*255等)下的目标特征图。
146.第一获取模块1220，用于针对每个目标特征图，对所述目标特征图进行多个感受野的目标检测，获取每个所述感受野对应的同样大小的至少一个目标检测框。
147.其中，感受野表示卷积神经网络每一层输出的特征图(feature map)上的像素点在输入图像上映射的区域大小。感受野的值越大表示其能接触到的原始图像范围就越大，也意味着可能蕴含更为全局、语义层次更高的特征，而感受野值越小则表示其所包含的特征越趋向于局部和细节。
148.可选地，在特征提取模块1210提取到不同尺度下的目标特征图后，可通过第一获取模块1220对每个目标特征图进行多种感受野的目标检测，以获取该目标特征图每种感受野对应的至少一种目标检测框。
149.第二获取模块1230，根据每个目标特征图的目标检测框和真值检测框，获取交通目标检测模型的损失函数。其中，每个目标特征图的真值检测框可以预先标记好的。
150.可选地，在第一获取模块1220获取到每个目标特征图的目标检测框后，对于每个目标特征图，可通过第二获取模块1230获取该目标特征图在不同感受野下的真值检测框，本公开中，目标检测框对应有真值检测框，针对每个目标特征图，获取目标检测框与对应的真值检测框之间的差异，基于每个目标检测框对应的差异，进而得到该任一目标特征图的对应的损失函数，以此可得到所有尺度下的目标特征图对应的损失函数，而后可将所有尺度下的目标特征图对应的损失函数进行融合处理，例如，加权求和，以得到交通目标检测模型的损失函数。
151.训练模块1240，用于基于损失函数对交通目标检测模型进行调整，以生成训练好
的交通目标检测模型。
152.可选地，在第二获取模块1230获取到交通目标检测模型的损失函数后，可通过训练模块1240基于损失函数对交通目标检测模型进行调整，并对调整后的交通目标检测模型进行下一次的训练，直到交通目标检测模型收敛后结束训练，并生成最终的交通目标检测模型。
153.在本公开的一个实施例中，第一获取模块1220，还用于：对交通样本图像进行特征提取，获取不同尺度下的候选特征图；获取与任一尺度的候选特征图在尺度上相邻且大于任一尺度的相邻候选特征图；响应于任一尺度的候选特征图存在相邻候选特征图，则将任一尺度的候选特征图与相邻候选特征图进行特征融合，生成任一尺度的目标特征图。
154.在本公开的一个实施例中，交通目标检测模型包括多感受野检测网络，每个尺度对应一个多感受野网络，第一获取模块1220，还用于：将不同尺度下的目标特征图输入各自的多感受野检测网络中，其中，多感受野检测网络包括多个感受野检测分支，每个感受野检测分支对应有一种感受野；由每个感受野检测分支分别对目标特征图进行特征提取，以得到感受野检测分支对应的感受野特征图，并对感受野特征图进行目标检测，以输出每种感受野检测分支对应的至少一种目标检测框。
155.在本公开的一个实施例中，感受野检测分支包括两个卷积层，不同的感受野检测分支中第一个卷积层的卷积核大小不同，用于确定感受野检测分支的感受野大小。
156.需要说明的是，前述对一种交通目标检测模型的训练方法实施例的解释说明也适用于该实施例的交通目标检测模型的训练装置，此处不再赘述。
157.在本公开实施例中，首先通过特征提取模块提取交通样本图像在不同尺度下的目标特征图，然后针对每个目标特征图，通过第一获取模块对目标特征图进行多种感受野的目标检测，获取每种感受野对应的至少一种目标检测框，并第二获取模块根据每个目标特征图的目标检测框和真值检测框，获取交通目标检测模型的损失函数，最后通过训练模块基于损失函数对交通目标检测模型进行调整，以生成训练好的交通目标检测模型。通过本公开实施例的交通目标检测模型的训练方法训练好的交通目标检测模型，能够实现不同尺度下的多感受野的交通目标检测，从而实现细粒度尺度的交通目标检测，并提升了交通目标检测的效果。
158.图13为本公开实施例提供的一种交通目标检测装置的结构示意图。
159.本公开实施例的交通目标检测装置，可配置于电子设备中，以实现获取待检测交通目标图像，并将交通目标图像输入到训练好的交通目标检测模型中，以实现对交通目标图像进行多种感受野的目标检测，获取每种感受野对应的至少一种目标检测框，从而能够实现不同尺度下的多感受野的交通目标检测，进而实现细粒度尺度的交通目标检测，并提升了交通目标检测的效果。
160.如图13所示，该交通目标检测装置1300，包括：获取模块1310和检测模块1320。
161.其中，获取模块1310，用于获取待检测交通目标图像。其中，待检测交通目标图像可预先存储于服务器的存储空间中，以便于需要时调取使用。
162.在本公开实施例中，获取模块1310可从服务器的存储空间中调取待检测交通目标图像，而后基于预设的特征提取策略对该待检测交通目标图像进行特征提取，以得到不同尺度下目标特征图。其中，预设的特征提取策略可根据需求进行确定。
163.检测模块1320，针对每个目标特征图，对目标特征图进行多种感受野的目标检测，获取每种感受野对应的至少一种目标检测框。
164.其中，感受野表示卷积神经网络每一层输出的特征图(feature map)上的像素点在输入图像上映射的区域大小。感受野的值越大表示其能接触到的原始图像范围就越大，也意味着可能蕴含更为全局、语义层次更高的特征，而感受野值越小则表示其所包含的特征越趋向于局部和细节。
165.可选地，在提取到不同尺度下的目标特征图后，可对任一目标特征图通过检测模块1320进行多种感受野的目标检测，以获取该目标特征图在每种感受野下的目标检测框。
166.本公开的交通目标检测装置，通过获取模块获取待检测交通目标图像，并通过检测模块将交通目标图像输入到训练好的交通目标检测模型中，以实现对交通目标图像进行多种感受野的目标检测，获取每种感受野对应的至少一种目标检测框，从而能够实现不同尺度下的多感受野的交通目标检测，进而实现细粒度尺度的交通目标检测，并提升了交通目标检测的效果。
167.图14为本公开实施例提供的另一种交通目标检测装置的结构示意图。
168.本公开实施例的交通目标检测装置，可配置于电子设备中，以实现获取待检测交通目标图像，并提取交通目标图像在不同尺度下的目标特征图，以及针对每个目标特征图，对目标特征图进行多种感受野的目标检测，获取每种感受野对应的至少一种目标检测框，从而能够实现不同尺度下的多感受野的交通目标检测，进而实现细粒度尺度的交通目标检测，并提升了交通目标检测的效果。
169.如图14所示，该交通目标检测装置1400，包括：特征提取模块1410和检测模块1420。
170.其中，特征提取模块1410，用于获取待检测交通目标图像，并提取交通目标图像在不同尺度下的目标特征图。其中，待检测交通目标图像可预先存储于服务器存储空间中，以便于调取使用。
171.在本公开实施例中，特征提取模块1410可从服务器的存储空间中调取待检测交通目标图像，而后基于预设的特征提取策略对该待检测交通目标图像进行特征提取，以得到不同尺度下目标特征图。其中，预设的特征提取策略可根据需求进行确定。
172.检测模块1420，用于针对每个目标特征图，对目标特征图进行多种感受野的目标检测，获取每种感受野对应的至少一种目标检测框。
173.其中，感受野表示卷积神经网络每一层输出的特征图(feature map)上的像素点在输入图像上映射的区域大小。感受野的值越大表示其能接触到的原始图像范围就越大，也意味着可能蕴含更为全局、语义层次更高的特征，而感受野值越小则表示其所包含的特征越趋向于局部和细节。
174.可选地，在特征提取模块1410提取到不同尺度下的目标特征图后，可通过检测模块1420对任一目标特征图进行多种感受野的目标检测，以获取该目标特征图在每种感受野对应的至少一种目标检测框。
175.在本公开的一个实施例中，特征提取模块1410，还用于：对交通目标图像进行特征提取，获取不同尺度下的候选特征图；
176.获取与任一尺度的候选特征图在尺度上相邻且大于任一尺度的相邻候选特征图；
177.响应于任一尺度的候选特征图存在相邻候选特征图，则将任一尺度的候选特征图与相邻候选特征图进行特征融合，生成任一尺度的目标特征图。
178.在本公开的一个实施例中，检测模块1420，还用于：针对每个目标特征图，对目标特征图进行多组卷积处理，以输出每个感受野对应的同样大小的至少一个目标检测框；其中，每组卷积处理包括两次卷积处理，不同组中的第一次卷积操作的卷积核大小不同。
179.需要说明的是，前述对另一种交通目标检测的方法实施例的解释说明也适用于该实施例的交通目标检测模型的训练装置，此处不再赘述。
180.本公开实施例的交通目标检测装置，通过特征提取模块获取待检测交通目标图像，并提取交通目标图像在不同尺度下的目标特征图，以及针对每个目标特征图，通过检测模块对目标特征图进行多种感受野的目标检测，获取每种感受野对应的至少一种目标检测框，从而能够实现不同尺度下的多感受野的交通目标检测，进而实现细粒度尺度的交通目标检测，并提升了交通目标检测的效果。
181.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
182.图15示出了可以用来实施本公开的实施例的示例电子设备1500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
183.如图15所示，设备1500包括计算单元1501，其可以根据存储在只读存储器(rom)1502中的计算机程序或者从存储单元1508加载到随机访问存储器(ram)1503中的计算机程序，来执行各种适当的动作和处理。在ram 1503中，还可存储设备1500操作所需的各种程序和数据。计算单元1501、rom 1502以及ram 1503通过总线1504彼此相连。输入/输出(i/o)接口1505也连接至总线1504。
184.设备1500中的多个部件连接至i/o接口1505，包括：输入单元1506，例如键盘、鼠标等；输出单元1507，例如各种类型的显示器、扬声器等；存储单元1508，例如磁盘、光盘等；以及通信单元1509，例如网卡、调制解调器、无线通信收发机等。通信单元1509允许设备1500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
185.计算单元1501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1501的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元1501执行上文所描述的各个方法和处理，例如交通目标检测模型训练和目标检测方法。例如，在一些实施例中，交通目标检测模型训练和目标检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1508。在一些实施例中，计算机程序的部分或者全部可以经由rom 1502和/或通信单元1509而被载入和/或安装到设备1500上。当计算机程序加载到ram 1503并由计算单元1501执行时，可以执行上文描述的交通目标检测模型训练和目标检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元1501可以通过其他任何适当的方式(例如，借助
于固件)而被配置为执行交通目标检测模型训练和目标检测方法。
186.根据本公开的实施例，本公开还提供了一种边缘计算设备，包括上述电子设备。
187.可选的，边缘计算设备可以是路侧设备、路侧计算设备、路侧计算单元(road side computing unit,rscu)等。
188.可选的，边缘计算设备除了包括电子设备，还可以包括通信部件等，电子设备可以和通信部件一体集成，也可以分体设置。电子设备可以获取感知设备(如路侧相机)的数据，例如图片和视频等，从而进行图像视频处理和数据计算，再经由通信部件向云控平台传送处理和计算结果。可选的，电子设备自身也可以具备感知数据获取功能和通信功能，例如是ai相机，电子设备可以直接基于获取的感知数据进行图像视频处理和数据计算，再向云控平台传送处理和计算结果。
189.可选的，云控平台在云端执行处理，云控平台包括的电子设备可以获取感知设备(如路侧相机)的数据，例如图片和视频等，从而进行图像视频处理和数据计算；云控平台也可以称为车路协同管理平台、v2x平台、云计算平台、中心系统、云端服务器等。
190.本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
191.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
192.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
193.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
194.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来
将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
195.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、互联网和区块链网络。
196.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
197.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
198.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。