一种基于车载相机的目标相似性评分计算方法及系统与流程

1.本发明涉及智能驾驶技术领域，具体涉及一种基于车载相机的目标相似性评分计算方法、多目标跟踪方法、多目标匹配方法及系统、电子设备、计算机可读存储介质。


背景技术：

2.随着自动驾驶技术的快速发展和移动硬件处理能力的不断提升，计算机视觉在自动驾驶领域中得到不断的应用并逐渐发挥出愈加重要的作用。
3.为了增加车辆对周围环境的感知能力，越来越多的相机被安装在车身的不同位置，以尽可能多的获取不同角度和范围下的目标和环境，从而帮助车辆实现自动变道、自动跟车、自动避障等功能。多个相机带来的问题之一就是如何解决目标之间的匹配和跟踪，其中，匹配指当同一个目标同时出现在多个相机的视野内时，需要在空间上确定多个相机所观测到的目标身份的唯一性，跟踪指目标时域即不同时刻的身份仍然具有唯一性。因此，在多相机下的多目标匹配和跟踪系统中，如何在时域和空域对目标进行相似性匹配逐渐成为自动驾驶领域中的关键技术之一。
4.相关技术中，通过对每路当前视频帧图像，将该路当前视频帧图像的检出目标与该路上一视频帧图像的检出目标进行匹配的方式，对每路视频帧图像中的目标进行跟踪，并通过计算三维位置坐标之差以及外观相似性的方式，确定外观相似性较高且三维位置相近的两个目标为同一目标，达到对多路视频帧中的目标进行匹配的目的。
5.该方法通过投影矩阵计算目标的三维坐标，测距精准度受目标检测结果、相机标定结果以及目标实际距离影响，存在较大误差，难以进行有效匹配。当车辆等较大体积目标进入两个相机的重叠区域时，目标在每个相机中均不会完整出现，对于这种不完整出现在画面中的跨相机目标，该方法并未给出有效的匹配办法。受不同相机安装角度、光照变化和遮挡情况影响，同一目标在不同相机中的外观可能存在较大差异，同样难以进行有效匹配。
6.在另一相关技术中，采用多个相机从不同的固定角度同步采集场景图像，获取目标在不同姿态下的观测信息；采用基于深度卷积网络的目标检测器对各个图像中的目标进行检测，输出目标检测结果；采用深度卷积神经网络提取各个图像的全局特征图，并根据目标检测结果在全局特征图上提取目标对应位置的局部特征图，得到目标的外观向量；对相机进行编码，生成包含观测视角信息的视角向量；根据目标在图像坐标系下对应的目标检测框位置生成目标的位置向量；将外观向量、视角向量和位置向量进行向量融合，并经过变换后生成目标表示向量；采用三元组数据集对深度卷积神经网络进行训练，学习用于重识别的目标表示向量；其中，在训练过程中，采用离线挖掘和在线挖掘相结合的方法生成和更新三元组数据集；采用约束层次聚类方法对各个图像中目标对应的学习后的目标表示向量进行聚类，实现跨相机目标重识别。
7.采用神经网络对外观向量、视角向量和位置向量的融合数据进行训练和聚类的方法，需要依靠大量数据标注并且推理比较耗费时间和系统资源，很难同时满足精准度和实时性的要求。
8.在另一相关技术中，多相机系统中，每个相机都维护周围所有可能发生跨相机运动的邻居相机的目标信息，并根据每个目标的历史运动轨迹预测目标可能的运动方向，即判断目标将要出现的下一个相机。通过计算两个相机目标之间在空间，时间和颜色上的匹配度，对目标进行匹配跟踪。
9.该方法提出通过空间、时间和颜色信息计算匹配度，但是并未给出详细计算方法，并且颜色信息容易受到光照和目标姿态变化的影响在另一相关技术中，造成目标匹配失效。
10.综上，目前主流的匹配方法主要利用目标的外观信息(包括颜色、纹理、形状等)，能够在很大程度上表达目标的特点。但是，目标的外观常常会受很多外在因素的影响，如光照、姿态、遮挡等，因而这种方法存在很大的不稳定性。另外，对于有些目标(如同类型的车辆)，个体之间的外观比较相似、差异很小，这常常会使得外观信息在区分它们时失效，从而很难或者根本无法通过外观模型实现匹配跟踪。


技术实现要素：

11.有鉴于此，本发明的目的在于提供一种基于车载相机的目标相似性评分计算方法、多目标跟踪方法、多目标匹配方法及系统、电子设备、计算机可读存储介质，以解决现有技术中利用目标的外观信息进行目标间相似性匹配，带来的匹配效果差的问题。
12.根据本发明实施例的第一方面，提供一种基于车载相机的目标相似性评分计算方法，包括：
13.确定待匹配的第一目标和第二目标，所述第一目标和第二目标存在于不同的相机图像中；
14.分别计算所述第一目标和第二目标属于同一车道的约束性评分，及，所述第一目标和第二目标的交并比评分；
15.根据所述约束性评分及交并比评分，确定所述第一目标和第二目标的相似性评分。
16.优选地，所述确定待匹配的第一目标和第二目标，包括：
17.若进行时域内多目标跟踪，将相邻时刻不同相机图像中的目标，确定为第一目标和第二目标；和/或，
18.若进行多相机多目标匹配，将同一时刻出现在相机重叠视野内的目标，确定为第一目标和第二目标。
19.优选地，所述计算所述第一目标和第二目标属于同一车道的约束性评分，包括：
20.计算第一目标属于任一车道的第一概率；
21.计算第二目标属于同一车道的第二概率；
22.根据所述第一概率和第二概率，计算所述第一目标和第二目标属于同一车道的约束性评分。
23.优选地，所述计算第一目标属于任一车道的第一概率，包括：
24.根据预设检测模型，从相机图像中检测出第一目标的3d框和车道线；
25.将所述3d框的接地点和车道线从图像坐标系映射到车辆坐标系，得到第一目标在车辆坐标下的位姿；所述位姿为所述3d框的至少三个接地点的坐标；
26.根据第一目标的位姿及车道线坐标，计算所述第一概率。
27.优选地，所述计算第二目标属于同一车道的第二概率，包括：
28.若进行时域内多目标跟踪，根据上一时刻第二目标的跟踪结果，估算当前时刻第二目标的位姿，并根据估算出的位姿，计算所述第二概率；
29.和/或，
30.若进行多相机多目标匹配，所述第二概率和第一概率计算方法相同。
31.优选地，所述计算所述第一目标和第二目标的交并比评分，包括：
32.分别确定当前时刻顶视图下第一目标的角点坐标和第二目标的角点坐标；
33.计算第一目标的各角点与第一车辆坐标系的原点所述构成的三角形的面积，将最大面积所对应的三角形确定为第一最大三角形；
34.计算第二目标的各角点与第二车辆坐标系的原点所述构成的三角形的面积，将最大面积所对应的三角形确定为第二最大三角形；
35.将所述第一最大三角形和第二最大三角形的交并比作为所述第一目标和第二目标的交并比评分。
36.优选地，所述分别确定当前时刻顶视图下第一目标的角点坐标和第二目标的角点坐标，包括：
37.若进行时域内多目标跟踪，根据第一目标在当前时刻的位姿，计算当前时刻顶视图下第一目标的角点坐标；根据第二目标在上一时刻的位姿及车辆运动模型，估算当前时刻顶视图下第二目标的角点坐标；和/或，
38.若进行多相机多目标匹配，根据第一目标在当前时刻的位姿，计算当前时刻顶视图下第一目标的角点坐标；根据第二目标在当前时刻的位姿，计算当前时刻顶视图下第二目标的角点坐标。
39.优选地，所述方法，还包括：
40.若进行时域内多目标跟踪，将当前时刻当前车辆的几何中心点确定为第一车辆坐标系的原点；将根据上一时刻当前车辆的几何中心点及车辆运动模型，预估出的当前时刻当前车辆的几何中心点，确定为第二车辆坐标系的原点；和/或，
41.若进行多相机多目标匹配，第一车辆坐标系的原点和第二车辆坐标系的原点相同，皆为当前时刻当前车辆的几何中心点。
42.优选地，所述根据所述约束性评分及交并比评分，确定所述第一目标和第二目标的相似性评分，包括：
43.根据预设权重，对所述约束性评分和交并比评分进行加权求和，得到所述第一目标和第二目标的相似性评分。
44.根据本发明实施例的第二方面，提供一种基于车载相机的多目标跟踪方法，包括：
45.上述的基于车载相机的目标相似性评分计算方法。
46.优选地，所述方法，还包括：
47.将第一目标作为基准目标，将第二目标作为待匹配目标；
48.计算第一目标和所有第二目标的相似性评分；
49.判断所述相似性评分是否大于阈值，若是，存储到评分结果列表中，否则，判定第一目标和当前的第二目标不匹配，舍弃当前的相似性评分。
50.对评分结果列表中的相似性评分进行排序，取最高相似性评分所对应的第二目标作为跟踪结果。
51.根据本发明实施例的第三方面，提供一种基于车载相机的多目标匹配方法，包括：
52.上述的基于车载相机的目标相似性评分计算方法。
53.优选地，所述方法，还包括：
54.将第一目标作为基准目标，将第二目标作为待匹配目标；
55.计算第一目标和所有第二目标的相似性评分；
56.判断所述相似性评分是否大于阈值，若是，存储到评分结果列表中，否则，判定第一目标和当前的第二目标不匹配，舍弃当前的相似性评分。
57.对评分结果列表中的相似性评分进行排序，取最高相似性评分所对应的第二目标作为匹配结果。
58.根据本发明实施例的第四方面，提供一种基于车载相机的目标相似性评分计算系统，包括：
59.确定模块，用于确定待匹配的第一目标和第二目标，所述第一目标和第二目标存在于不同的相机图像中；
60.计算模块，用于分别计算所述第一目标和第二目标属于同一车道的约束性评分，及，所述第一目标和第二目标的交并比评分；
61.所述确定模块，还用于根据所述约束性评分及交并比评分，确定所述第一目标和第二目标的相似性评分。
62.根据本发明实施例的第五方面，提供一种电子设备，其特征在于，包括：
63.通信模块、处理器和存储器，其中，所述存储器中存储有程序指令；
64.所述处理器用于执行存储器中存储的程序指令，执行上述的方法。
65.根据本发明实施例的第六方面，提供一种计算机可读存储介质，其上存储有可擦写的计算机程序；
66.当所述计算机程序在计算机设备上运行时，使得所述计算机设备执行上述的方法。
67.本发明的实施例提供的技术方案可以包括以下有益效果：
68.通过分别计算待匹配的第一目标和第二目标属于同一车道的约束性评分及第一目标和第二目标的交并比评分，确定所述第一目标和第二目标的相似性评分，相比现有技术，本发明提供的技术方案，由于考虑到了车道信息，对待匹配的第一目标和第二目标在空间上的相对关系进行了约束，可以有效提高相似性评分计算准确率，提高目标匹配准确度，减少定位误差。
69.再者，由于本发明提供的技术方案，舍弃了对目标外观信息的考量，所以有效避免了现有技术中，由于目标外观信息受很多外在因素的影响而不稳定带来的匹配准率度不高或者外观信息区别度不大带来的匹配失效的问题。
70.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
71.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
72.图1是根据一示例性实施例示出的一种基于车载相机的目标相似性评分计算方法的流程图；
73.图2是根据一示例性实施例示出的通过预设检测算法从相机图像中检测出目标的3d框和车道线的效果示意图；
74.图3是根据一示例性实施例示出的将3d框的接地点和车道线映射到车辆坐标系的效果示意图；
75.图4是根据一示例性实施例示出的目标出现在车道线之间的示意图；
76.图5是根据一示例性实施例示出的目标从t1到t2时刻的位置变化示意图；
77.图6是根据一示例性实施例示出的第一目标和第二目标正交比计算示意图；
78.图7是根据一示例性实施例示出的一种基于车载相机的多目标跟踪方法的流程图；
79.图8是根据一示例性实施例示出的一种基于车载相机的多目标匹配方法的流程图；
80.图9是根据一示例性实施例示出的一种基于车载相机的目标相似性评分计算系统的示意框图。
具体实施方式
81.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
82.需要说明的是，本发明各实施例所提及的“当前车辆”是指“车载相机所在的车辆”。优选地，所述第一目标和第二目标定义为车辆，但在某些特殊的应用场景下，也可以将第一目标和第二目标定义为车道上的各种静态障碍物和/或动态障碍物，例如，绿化树、标识牌、泥坑、石头、动物等。
83.实施例一
84.图1是根据一示例性实施例示出的一种基于车载相机的目标相似性评分计算方法的流程图，如图1所示，该方法包括：
85.步骤s11、确定待匹配的第一目标和第二目标，所述第一目标和第二目标存在于不同的相机图像中；
86.步骤s12、分别计算所述第一目标和第二目标属于同一车道的约束性评分，及，所述第一目标和第二目标的交并比评分；
87.步骤s13、根据所述约束性评分及交并比评分，确定所述第一目标和第二目标的相似性评分。
88.需要说明的是，本实施例提供的技术方案适用的应用场景包括但不限于：车辆的自动驾驶、辅助驾驶等。本实施例提供的技术方案在实际使用时，可以加载在当前车辆的中
控系统中使用，也可以加载在电子设备中使用；所述电子设备包括但不限于：车载电脑和外接计算机设备。
89.在某些应用场景下，所述第一目标和第二目标可以存在于不同时刻拍摄的相机图像中；在另外一些应用场景下，所述第一目标和第二目标还可以存在于相同时刻不同相机拍摄的相机图像中。
90.所述车载相机的数量至少为一个。
91.当车载相机的数量仅为一个时，本实施例提供的技术方案，可以用来计算相同时刻不同相机图像中的各目标的相似性评分，实现时域内目标间的相似性评分计算；
92.当车载相机的数量至少为两个时，本实施例提供的技术方案，不仅可以用来计算相同时刻不同相机图像中各目标的相似性评分，实现空间域目标间的相似性评分计算，还可以计算不同时刻相机图像中各目标的相似性评分，实现时域内目标间的相似性评分计算；所述不同时刻之间的时间间隔可以根据用户需要进行设置，例如，可以设置为10ms、20ms、1s等。
93.在具体实践中，所述步骤s11中“确定待匹配的第一目标和第二目标”，包括：
94.若进行时域内多目标跟踪，将相邻时刻相机图像中的目标，确定为第一目标和第二目标；和/或，
95.若进行多相机多目标匹配，将同一时刻出现在相机重叠视野内的目标，确定为第一目标和第二目标。
96.假设当前车辆的车载相机有a、b、c、d四个，当前时刻为8:00，上一时刻为7:59。
97.若进行时域内多目标跟踪，包括：
98.分别获取7:59和8:00时各车载相机拍摄的相机图像；
99.将从8:00拍摄的相机图像中检测出的目标作为第一目标，将从7:59拍摄的相机图像中检测出的目标进行8:00时刻的位姿预测，得到的预测目标作为第二目标；先任意选一个第一目标作为基准目标，将第二目标作为待匹配目标，计算第一目标和所有第二目标的相似性评分；然后轮换下一个第一目标，重复上述计算。
100.若进行多相机多目标匹配，包括：
101.获取8:00时各车载相机拍摄的相机图像；
102.将从8:00拍摄的相机图像中检测出的目标，任意选一个作为第一目标，将其他相机图像中的目标作为第二目标，将第一目标作为基准目标，将第二目标作为待匹配目标，计算第一目标和所有第二目标的相似性评分；然后轮换下一个第一目标，重复上述计算。
103.为了便于理解本实施例提供的技术方案，现对步骤12中分别计算第一目标和第二目标属于同一车道的约束性评分，及，所述第一目标和第二目标的交并比评分，解释说明如下：
104.一、计算第一目标和第二目标属于同一车道的约束性评分
105.1、计算第一目标属于任一车道的第一概率，包括：
106.(1)标定所有车载相机，获取每个相机的内参矩阵m1及外参矩阵m2，以确定每个相机的投影矩阵p＝m1*m2。
107.可以理解的是，相机标定是从车辆坐标系转换为相机坐标系，再由相机坐标系转换为图像坐标系的过程，也就是求最终的投影矩阵p的过程。
108.(2)根据预设检测模型(例如，卷积神经网络模型)，从相机图像中检测出第一目标的3d框和车道线(参见图2所示)。
109.(3)通过所述投影矩阵，将所述3d框的接地点(例如图2中p1、p2、p3点)和车道线从图像坐标系映射到车辆坐标系，得到第一目标在车辆坐标下的位姿；所述位姿为所述3d框的至少三个接地点的坐标：
110.假设任一点在图像坐标系下的坐标为(x，y)，在车辆坐标系下的坐标为(x，y，z)，根据相机成像原理将3d框的接地点和车道线从图像坐标系映射到车辆坐标系，得到第一目标的位姿(参见图3所示)。
111.可以理解的是，位姿有多种描述方式，本实施例的技术方案采用的是所述3d框的至少三个接地点的坐标。根据三个接地点的坐标，可以计算出目标的其他位姿信息，例如：尺寸(宽度和长度)、航向角及几何中心点坐标等。
112.在具体实践中，不论是采用目标的哪些位姿信息，只要能实现本发明的发明构思，都属于本发明的保护范围。
113.以下给出根据三个接地点的坐标，计算出目标的其他位姿信息的示例。需要说明的是，以下计算公式只是示例，若采用其他公式或如下公式的变形实现目标位姿信息的计算，都在本发明的保护范围内。
114.以接地点为图2中p1、p2、p3点为例，可以通过如下公式进行计算：
115.目标宽度w：
116.目标长度l：
117.目标的几何中心点坐标：
118.目标航向角θ：
119.以目标为车辆为例，θ定义为目标车辆的车头方向与车辆坐标系x轴正方向夹角，取值范围为[0，2π]。
[0120]
(5)根据车道线在车辆坐标系下的坐标，计算车道宽度k，k＞0；
[0121]
假设l
j
表示j车道线和j 1车道线构成的车道，车道l
j
的宽度为：
[0122]
k＝|x
j 1
‑
x
j
|，其中，x
j 1
、x
j
分别为j 1车道线和j车道线的横坐标，j≥0。
[0123]
(6)根据所述第一目标的位姿及车道宽度，计算所述第一概率。
[0124]
设第一目标为t
(i,j,k)
(i,j,k＝0,1,2...)，其中i表示相机编号，j表示车道线编号，表示目标id；参见图4，计算第一目标属于车道l
j
的第一概率为：
[0125][0126]
其中，
△
x表示目标的几何中心点与距离最近的车道线的水平距离，k表示车道l
j
的宽度。
[0127]
2、计算第二目标属于同一车道的第二概率，包括：
[0128]
若进行多相机多目标匹配，所述第二概率和第一概率计算方法相同。
[0129]
若进行时域内多目标跟踪，计算第二目标属于同一车道的第二概率，包括：
[0130]
(1)根据上一时刻第二目标的跟踪结果，估算当前时刻第二目标的位姿。
[0131]
将上一时刻第二目标的跟踪结果(包括：目标位置、尺寸、航向角等信息)，输入到卡尔曼滤波器中，得到第二目标在车辆坐标系下x方向和y方向的线速度[v
x
,v
y
]，同时计算上一时刻t1和当前时刻t2的时间差d
t
＝t2‑
t1；
[0132]
假设第二目标的几何中心点坐标在t1时刻为(x，y)，则根据车辆运动模型可以计算得到第二目标的几何中心点在t2时刻的预测坐标(x
′
，y
′
)；同理，可以计算出第二目标的其他点在t2时刻的预测坐标，进而得到t2时刻第二目标的预测位姿(参见图5所示)。
[0133]
(2)根据估算出的位姿，计算第二目标属于同一车道的第二概率。
[0134]
根据第二目标的几何中心点的预测坐标，计算出几何中心点与距离最近的车道线的水平距离；而车道宽度可以直接取上一时刻的计算结果，这样参照第一概率的计算公式，可以计算出第二目标属于同一车道的第二概率。
[0135]
3、根据所述第一概率和第二概率，计算所述第一目标和第二目标属于同一车道的约束性评分。
[0136]
无论是进行时域内多目标跟踪，还是进行多相机多目标匹配，在已知第一概率p
(i,j,k)
和第二概率p
(i
′
，j
′
，k
′
)
的前提下，计算第一目标t
(i,j,k)
和第二目标t
(i
′
，j
′
，k
′
)
属于同一车道的约束性评分，皆为：
[0137]
参见图4，定义：当δx<w/2时，第一目标t
(i,j,k)
靠近车道线j；当δx>k
‑
w/2时，第一目标t
(i,j,k)
靠近车道线j 1，且概率为1
‑
p
(i,j,k)
；当w/2<＝δx<＝k
‑
w/2时，第一目标t
(i,j,k)
属于l
j
车道，且概率为p
(i,j,k)
；
[0138]
当δx<w/2时，第二目标t
(i
′
，j
′
，k
′
)
靠近车道线j；当δx>k
‑
w/2时，第二目标t
(i
′
，j
′
，k
′
)
靠近车道线j 1，且概率为1
‑
p
(i
′
，j
′
，k
′
)
；当w/2<＝δx<＝k
‑
w/2时，第二目标t
(i
′
，j
′
，k
′
)
属于l
j
车道，且概率为p
(i
′
，j
′
，k
′
)
；
[0139]
则待匹配的第一目标t
(i,j,k)
和第二目标t
(i
′
，j
′
，k
′
)
属于同一车道的约束性评分为：
[0140][0141]
二、计算第一目标和第二目标的交并比评分
[0142]
1、确定当前时刻顶视图下第一目标的角点坐标和第二目标的角点坐标。
[0143]
无论是进行时域内多目标跟踪，还是进行多相机多目标匹配，根据第一目标在当前时刻的位姿，计算当前时刻顶视图下第一目标的角点坐标。
[0144]
参见图3，已知角点p1、p2、p3点坐标，根据p1、p2、p3点坐标还原出角点p4的坐标。
[0145]
若进行时域内多目标跟踪，根据第二目标在上一时刻的位姿，估算当前时刻顶视图下第二目标的角点坐标：
[0146]
假设车辆坐标系下，第二目标在上一时刻t1的角点坐标为(x，y)，根据车辆运动模型可以得到第二目标在t2时刻的角点坐标(x
′
，y
′
)；其中，[v
x
,v
y
]分别为第二目标在x方向和y方向的线速度，通过将上一时刻第二目标的跟踪结果输入到卡尔曼滤波器估算得到。
[0147]
若进行多相机多目标匹配，当前时刻顶视图下第一目标的角点坐标和第二目标的角点坐标确定方法相同。
[0148]
2、计算第一目标的各角点与第一车辆坐标系的原点所述构成的三角形的面积，将最大面积所对应的三角形确定为第一最大三角形；
[0149]
计算第二目标的各角点与第二车辆坐标系的原点所述构成的三角形的面积，将最大面积所对应的三角形确定为第二最大三角形。
[0150]
若进行时域内多目标跟踪，将当前时刻当前车辆的几何中心点确定为第一车辆坐标系的原点；将根据上一时刻当前车辆的几何中心点坐标及车辆运动模型，估算出的当前时刻当前车辆的几何中心点，确定为第二车辆坐标系的原点：
[0151]
假设当前时刻为t2，上一时刻为t1，获取t2时刻当前车辆的线速度v和角速度w；假设当前车辆在t1时刻的几何中心点坐标为(x，y)，根据车辆运动模型计算出几何中心点(x，y)在t2时刻相对t1时刻的位移[dx，dy]，[dx，dy]对应的坐标点即为第二车辆坐标系的原点。
[0152]
参见图5所示，当前车辆在t1时刻的几何中心点为o，第二目标的角点为p1、p2、p3、p4，估算出的当前车辆在t2时刻的几何中心点为o’，第二目标的角点为p1’、p2’、p3’、p4’。
[0153]
由于第二目标的角点p1’、p2’、p3’、p4’的坐标是已知的，那么各个角点p1’、p2’、p3’、p4’与第二车辆坐标系的原点o’所构成的三角形的面积也是可以求出来的。假设角点p1’、p3’和第二车辆坐标系的原点o’所述构成的三角形
△
o’p1’
p3’
的面积最大(参见图5所示)，那么三角形
△
o’p1’
p3’
即为第二最大三角形。
[0154]
3、将所述第一最大三角形和第二最大三角形的交并比作为所述第一目标和第二目标的交并比评分。
[0155]
以进行多相机多目标匹配为例，参见图6，第一车辆坐标系的原点和第二车辆坐标系的原点相同，皆为当前时刻当前车辆的几何中心点o。
[0156]
假设第一目标的角点p1、p3和车辆坐标系的原点o所述构成的三角形
△
op1p3的面积最大，第二目标的角点p1’
、p2’
和车辆坐标系的原点o所述构成的三角形
△
op1’
p2’
的面积最大，那么交并比评分s
o
为：
[0157][0158]
步骤13中，根据所述约束性评分及交并比评分，确定所述第一目标和第二目标的相似性评分，具体为：
[0159]
根据预设权重δ，对所述约束性评分s
l
和交并比评分s
o
进行加权求和，得到第一目
标和第二目标的相似性评分：
[0160]
s＝δ
·
s
l
(1
‑
δ)
·
s
o
，其中δ表示预设权重，取值范围为[0,1]。
[0161]
可以理解的是，本实施例提供的技术方案，通过分别计算待匹配的第一目标和第二目标属于同一车道的约束性评分及第一目标和第二目标的交并比评分，确定所述第一目标和第二目标的相似性评分，相比现有技术，本实施例提供的技术方案，由于考虑到了车道信息，对待匹配的第一目标和第二目标在空间上的相对关系进行了约束，可以有效提高相似性评分计算准确率，提高目标匹配准确度，减少定位误差。
[0162]
再者，由于本实施例提供的技术方案，舍弃了对目标外观信息的考量，所以有效避免了现有技术中，由于目标外观信息受很多外在因素的影响而不稳定带来的匹配准率度不高或者外观信息区别度不大带来的匹配失效的问题。
[0163]
进一步地，由于当目标不完整出现在相机视野时，预设检测模型也能在相机图像上标识出一个大致的3d框用于后续的相似性计算，解决了现有技术中目标不完整出现在相机视野时导致的目标漏匹配和误匹配问题，提高了目标匹配精准度，用户体验度好、满意度高。
[0164]
实施例二
[0165]
根据一示例性实施例示出的一种基于车载相机的多目标跟踪方法，该方法包括：上述实施例一所述的基于车载相机的目标相似性评分计算方法。
[0166]
图7是根据一示例性实施例示出的一种基于车载相机的多目标跟踪方法的流程图，如图7所示，该方法包括：
[0167]
步骤s21、对车载相机进行标定，获取相机的投影矩阵；
[0168]
步骤s22、根据预设检测模型，从相机图像中检测出第一目标的3d框和车道线；并通过所述投影矩阵，将3d框的接地点和车道线映射到车辆坐标系；
[0169]
步骤s23、将相邻时刻不同相机图像中的目标，分别确定为第一目标和第二目标；
[0170]
步骤s24、根据第一目标的位姿和车道线坐标，计算第一目标属于任一车道的第一概率，及第一目标的角点与第一车辆坐标系的原点所构成的第一最大三角形；
[0171]
步骤s25、根据上一时刻第二目标的跟踪结果及车辆运动模型，估算当前时刻当前车辆及第二目标的位姿，并根据估算出的位姿，计算所述第二概率及第二目标的角点与第二车辆坐标系的原点所构成的第二最大三角形；
[0172]
步骤s26、根据所述第一概率和第二概率，计算所述第一目标和第二目标属于同一车道的约束性评分；将所述第一最大三角形和第二最大三角形的交并比作为所述第一目标和第二目标的交并比评分；
[0173]
步骤s27、根据预设权重，对所述约束性评分和交并比评分进行加权求和，得到所述第一目标和第二目标的相似性评分。
[0174]
需要说明的是，本实施例提供的技术方案适用的应用场景包括但不限于：车辆的自动驾驶、辅助驾驶等。本实施例提供的技术方案在实际使用时，可以加载在当前车辆的中控系统中使用，也可以加载在电子设备中使用；所述电子设备包括但不限于：车载电脑和外接计算机设备。
[0175]
本实施例提供的技术方案，车载相机的数量至少为一个。本实施例各步骤的实现方式可参见实施例一中的相关介绍，本实施例不再赘述。
[0176]
在具体实践中，本实施例提供的技术方案，还可以包括：
[0177]
将第一目标作为基准目标，将第二目标作为待匹配目标；
[0178]
计算第一目标和所有第二目标的相似性评分；
[0179]
判断所述相似性评分是否大于阈值(所述阈值根据用户需要进行设置，或者根据实验数据或者历史经验值设置)，若是，存储到评分结果列表中，否则，判定第一目标和当前的第二目标不匹配，舍弃当前的相似性评分。
[0180]
对评分结果列表中的相似性评分进行排序，取最高相似性评分所对应的第二目标作为跟踪结果。
[0181]
可以理解的是，本实施例提供的技术方案，通过分别计算待匹配的第一目标和第二目标属于同一车道的约束性评分及第一目标和第二目标的交并比评分，确定所述第一目标和第二目标的相似性评分，相比现有技术，本实施例提供的技术方案，由于考虑到了车道信息，对待匹配的第一目标和第二目标在空间上的相对关系进行了约束，可以有效提高相似性评分计算准确率，提高目标匹配准确度，减少定位误差。
[0182]
再者，由于本实施例提供的技术方案，舍弃了对目标外观信息的考量，所以有效避免了现有技术中，由于目标外观信息受很多外在因素的影响而不稳定带来的匹配准率度不高或者外观信息区别度不大带来的匹配失效的问题。
[0183]
进一步地，由于当目标不完整出现在相机视野时，预设检测模型也能在相机图像上标识出一个大致的3d框用于后续的相似性计算，解决了现有技术中目标不完整出现在相机视野时导致的目标漏匹配和误匹配问题，提高了目标匹配精准度，用户体验度好、满意度高。
[0184]
实施例三
[0185]
根据一示例性实施例示出的一种车载相机的多目标匹配方法，该方法包括：上述实施例一所述的基于车载相机的目标相似性评分计算方法。
[0186]
图8是根据一示例性实施例示出的一种基于车载相机的车载相机的多目标匹配方法的流程图，如图8所示，该方法包括：
[0187]
步骤s31、对车载相机进行标定，获取相机的投影矩阵；
[0188]
步骤s32、根据各车载相机的位置和姿态，计算相邻两个车载相机的视野重叠区域，并在相机图像上标记边界线；
[0189]
步骤s33、根据预设检测模型，从相机图像中检测出第一目标的3d框和车道线；并通过所述投影矩阵，将3d框的接地点和车道线映射到车辆坐标系；
[0190]
步骤s34、将同一时刻出现在相机重叠视野内的目标，分别确定为第一目标和第二目标；
[0191]
步骤s35、根据第一目标的位姿和车道线坐标，计算第一目标属于任一车道的第一概率，及第一目标的角点与第一车辆坐标系的原点所构成的第一最大三角形；
[0192]
步骤s36、根据第二目标的位姿和车道线坐标，计算第二目标属于任一车道的第二概率，及第二目标的角点与第二车辆坐标系的原点所构成的第二最大三角形；
[0193]
步骤s37、根据所述第一概率和第二概率，计算所述第一目标和第二目标属于同一车道的约束性评分；将所述第一最大三角形和第二最大三角形的交并比作为所述第一目标和第二目标的交并比评分；
[0194]
步骤s38、根据预设权重，对所述约束性评分和交并比评分进行加权求和，得到所述第一目标和第二目标的相似性评分。
[0195]
需要说明的是，本实施例提供的技术方案适用的应用场景包括但不限于：车辆的自动驾驶、辅助驾驶等。本实施例提供的技术方案在实际使用时，可以加载在当前车辆的中控系统中使用，也可以加载在电子设备中使用；所述电子设备包括但不限于：车载电脑和外接计算机设备。
[0196]
需要说明的是，本实施例提供的技术方案，车载相机的数量至少为两个。步骤s32中根据各车载相机的位置和姿态计算相邻两个车载相机的视野重叠区域属于现有技术，本实施例不再赘述。
[0197]
步骤s34中确定“当前时刻出现在相机重叠视野内的目标”，一般根据各车载相机的位姿和目标的位姿进行计算确定，属于现有技术，本实施例不再赘述。本实施例其他各步骤的实现方式可参见实施例一中的相关介绍，本实施例不再赘述。
[0198]
在具体实践中，本实施例提供的技术方案，还可以包括：
[0199]
将第一目标作为基准目标，将第二目标作为待匹配目标；
[0200]
计算第一目标和所有第二目标的相似性评分；
[0201]
判断所述相似性评分是否大于阈值(所述阈值根据用户需要进行设置，或者根据实验数据或者历史经验值设置)，若是，存储到评分结果列表中，否则，判定第一目标和当前的第二目标不匹配，舍弃当前的相似性评分。
[0202]
对评分结果列表中的相似性评分进行排序，取最高相似性评分所对应的第二目标作为匹配结果。
[0203]
可以理解的是，本实施例提供的技术方案，通过分别计算待匹配的第一目标和第二目标属于同一车道的约束性评分及第一目标和第二目标的交并比评分，确定所述第一目标和第二目标的相似性评分，相比现有技术，本实施例提供的技术方案，由于考虑到了车道信息，对待匹配的第一目标和第二目标在空间上的相对关系进行了约束，可以有效提高相似性评分计算准确率，提高目标匹配准确度，减少定位误差。
[0204]
再者，由于本实施例提供的技术方案，舍弃了对目标外观信息的考量，所以有效避免了现有技术中，由于目标外观信息受很多外在因素的影响而不稳定带来的匹配准率度不高或者外观信息区别度不大带来的匹配失效的问题。
[0205]
进一步地，由于当目标不完整出现在相机视野时，预设检测模型也能在相机图像上标识出一个大致的3d框用于后续的相似性计算，解决了现有技术中目标不完整出现在相机视野时导致的目标漏匹配和误匹配问题，提高了目标匹配精准度，用户体验度好、满意度高。
[0206]
实施例四
[0207]
图9是根据一示例性实施例示出的一种基于车载相机的目标相似性评分计算系统100的示意框图，如图9所示，该系统100包括：
[0208]
确定模块101，用于确定待匹配的第一目标和第二目标，所述第一目标和第二目标存在于不同的相机图像中；
[0209]
计算模块102，用于分别计算所述第一目标和第二目标属于同一车道的约束性评分，及，所述第一目标和第二目标的交并比评分；
[0210]
所述确定模块101，还用于根据所述约束性评分及交并比评分，确定所述第一目标和第二目标的相似性评分。
[0211]
需要说明的是，本实施例提供的技术方案适用的应用场景包括但不限于：车辆的自动驾驶、辅助驾驶等。本实施例提供的技术方案在实际使用时，可以加载在当前车辆的中控系统中使用，也可以加载在电子设备中使用；所述电子设备包括但不限于：车载电脑和外接计算机设备。
[0212]
需要说明的是，由于本实施例各模块的实现方式可参见实施例一中的相关介绍，本实施例不再赘述。
[0213]
可以理解的是，本实施例提供的技术方案，通过分别计算待匹配的第一目标和第二目标属于同一车道的约束性评分及第一目标和第二目标的交并比评分，确定所述第一目标和第二目标的相似性评分，相比现有技术，本实施例提供的技术方案，由于考虑到了车道信息，对待匹配的第一目标和第二目标在空间上的相对关系进行了约束，可以有效提高相似性评分计算准确率，提高目标匹配准确度，减少定位误差。
[0214]
再者，由于本实施例提供的技术方案，舍弃了对目标外观信息的考量，所以有效避免了现有技术中，由于目标外观信息受很多外在因素的影响而不稳定带来的匹配准率度不高或者外观信息区别度不大带来的匹配失效的问题。
[0215]
实施例五
[0216]
根据一示例性实施例示出的一种电子设备，包括：
[0217]
通信模块、处理器和存储器，其中，所述存储器中存储有程序指令；
[0218]
所述处理器用于执行存储器中存储的程序指令，执行如实施例一所述的方法；和/或，执行如实施例二所述的方法；和/或，执行实施例三所述的方法。
[0219]
需要说明的是，所述电子设备包括但不限于：车载电脑和外接的计算机设备。通信模块包括但不限于：有线通信模块和无线通信模块，例如：wcdma、gsm、cdma和/或lte通讯模块、zigbee模块、蓝牙模块、wi
‑
fi模块等。
[0220]
处理器包括但不限于：cpu、单片机、plc控制器、fpga控制器等。
[0221]
存储器可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)和/或高速缓存存储器；还可以包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。存储器可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
[0222]
可以理解的是，本实施例提供的技术方案，通过分别计算待匹配的第一目标和第二目标属于同一车道的约束性评分及第一目标和第二目标的交并比评分，确定所述第一目标和第二目标的相似性评分，相比现有技术，本实施例提供的技术方案，由于考虑到了车道信息，对待匹配的第一目标和第二目标在空间上的相对关系进行了约束，可以有效提高相似性评分计算准确率，提高目标匹配准确度，减少定位误差。
[0223]
再者，由于本实施例提供的技术方案，舍弃了对目标外观信息的考量，所以有效避免了现有技术中，由于目标外观信息受很多外在因素的影响而不稳定带来的匹配准率度不高或者外观信息区别度不大带来的匹配失效的问题。
[0224]
实施例六
[0225]
根据一示例性实施例示出的一种计算机可读存储介质，其上存储有可擦写的计算
机程序；
[0226]
当所述计算机程序在计算机设备上运行时，使得所述计算机设备执行如实施例一所述的方法；和/或，执行如实施例二所述的方法；和/或，执行实施例三所述的方法。
[0227]
本实施例公开的计算机可读存储介质包括但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0228]
可以理解的是，本实施例提供的技术方案，通过分别计算待匹配的第一目标和第二目标属于同一车道的约束性评分及第一目标和第二目标的交并比评分，确定所述第一目标和第二目标的相似性评分，相比现有技术，本实施例提供的技术方案，由于考虑到了车道信息，对待匹配的第一目标和第二目标在空间上的相对关系进行了约束，可以有效提高相似性评分计算准确率，提高目标匹配准确度，减少定位误差。
[0229]
再者，由于本实施例提供的技术方案，舍弃了对目标外观信息的考量，所以有效避免了现有技术中，由于目标外观信息受很多外在因素的影响而不稳定带来的匹配准率度不高或者外观信息区别度不大带来的匹配失效的问题。
[0230]
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
[0231]
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
[0232]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
[0233]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0234]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0235]
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模
块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0236]
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0237]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0238]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。