基于多角度的目标识别方法、系统、电子设备及存储介质

1.本技术涉及图像识别技术领域，特别涉及一种基于多角度的目标识别方法、系统、电子设备及存储介质。


背景技术：

2.图像识别技术及其应用在近年来发展迅速，图像识别技术使用计算机对图像进行处理，完成目标检测、图像分类等任务，广泛应用于监控系统、机器人、遥感监测等领域。在自动驾驶等领域，图像识别技术被用于感知周围环境中的特定种类的目标群体。为了充分地感知周围环境，图像识别系统可能需要拍摄多个角度的照片，从中寻找多个目标。在一些特定的限制条件下，如在设备计算能力有限的情况下，简便的实现多角度多目标图像识别的方法有助于保证图像识别工作的效率。
3.相关技术中，使用两个摄像头，根据两个摄像头拍摄到的图像利用图像拼接技术生成一张图像，再对生成的图像进行图像识别寻找目标，从而达到较宽视野范围的多目标图像识别目的。
4.然而，相关技术中图像拼接一般需要使用特征检测和特征匹配技术或机器学习技术，增大了多角度目标识别所需的计算量，增加了实现难度和对硬件水平的需求。


技术实现要素：

5.本技术提供一种基于多角度的目标识别方法、系统、电子设备及存储介质，以解决相关技术中首先进行图像拼接，再对拼接后的图像进行目标识别，增大了多角度目标识别所需的计算量，增加了实现难度和对硬件水平的需求等问题。
6.本技术第一方面实施例提供一种基于多角度的目标识别方法，包括以下步骤：采集目标场景中多个目标物体不同视角的图像；识别所述不同视角的图像中多个目标物体的位置，根据所述多个目标物体的位置和所述不同视角的图像采集点信息计算所述多个目标物体与所述图像采集点的相对位置关系；根据所述相对位置关系确定所述多个目标物体的重叠位置，并合并所述重叠位置对应的目标物体的位置，得到所述目标场景中多个目标物体的识别结果。
7.可选地，在本技术的一个实施例中，所述识别所述不同视角的图像中多个目标物体的位置，包括：识别所述不同视角的图像的色彩特征；将所述色彩特征与所述多个目标物体的色彩特征进行对比，得到所述不同视角的图像中多个目标物体的位置，并通过多个标注框标注所述多个目标物体的位置。
8.可选地，在本技术的一个实施例中，所述根据所述多个目标物体的位置和所述不同视角的图像采集点信息计算所述多个目标物体与所述图像采集点的相对位置关系，包括：根据所述图像采集点的焦距和所述多个目标物体的标注框高度计算所述多个目标物体与所述图像采集点的距离；根据所述图像采集点的焦距和所述多个目标物体的标注框的水平位置计算所述多个目标物体与所述图像采集点的角度；根据所述多个目标物体与所述图
像采集点的距离和所述多个目标物体与所述图像采集点的角度计算所述多个目标物体与所述图像采集点的相对位置关系。
9.可选地，在本技术的一个实施例中，所述根据所述相对位置关系确定所述多个目标物体的重叠位置，包括：根据所述相对位置关系计算所述不同视角的图像中所述标注框间的距离信息，将所述标注框间的距离信息小于预设距离阈值的标注框作为所述多个目标物体的重叠位置。
10.可选地，在本技术的一个实施例中，所述根据所述相对位置关系确定所述多个目标物体的重叠位置，包括：检测所述多个目标物体与所述图像采集点的角度和距离；将所述角度和距离均满足换算关系的所述目标物体的标注框作为所述多个目标物体的重叠位置。
11.本技术第二方面实施例提供一种基于多角度的目标识别系统，包括：至少两个相机，用于采集目标场景中多个目标物体不同视角的图像；发送模块，用于发送所述相机采集的不同视角的图像；处理模块，用于接收所述不同视角的图像，并识别所述不同视角的图像中多个目标物体的位置，根据所述多个目标物体的位置和所述不同视角的图像采集点信息计算所述多个目标物体与所述图像采集点的相对位置关系，根据所述相对位置关系确定所述多个目标物体的重叠位置，并合并所述重叠位置对应的目标物体的位置，得到所述目标场景中多个目标物体的识别结果。
12.可选地，在本技术的一个实施例中，所述相机为多目相机或单目相机。
13.可选地，在本技术的一个实施例中，所述处理模块进一步用于，识别所述不同视角的图像的色彩特征；将所述色彩特征与所述多个目标物体的色彩特征进行对比，得到所述不同视角的图像中多个目标物体的位置，并通过多个标注框标注所述多个目标物体的位置。
14.可选地，在本技术的一个实施例中，所述处理模块进一步用于，根据所述图像采集点的焦距和所述多个目标物体的标注框高度计算所述多个目标物体与所述图像采集点的距离；根据所述图像采集点的焦距和所述多个目标物体的标注框的水平位置计算所述多个目标物体与所述图像采集点的角度；根据所述多个目标物体与所述图像采集点的距离和所述多个目标物体与所述图像采集点的角度计算所述多个目标物体与所述图像采集点的相对位置关系。
15.可选地，在本技术的一个实施例中，所述处理模块，进一步用于，根据所述相对位置关系计算所述不同视角的图像中所述标注框间的距离信息，将所述标注框间的距离信息小于预设距离阈值的标注框作为所述多个目标物体的重叠位置。
16.可选地，在本技术的一个实施例中，所述处理模块，进一步用于，检测所述多个目标物体与所述图像采集点的角度和距离；将所述角度和距离均满足换算关系的所述目标物体的标注框作为所述多个目标物体的重叠位置。
17.本技术第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以执行如上述实施例所述的基于多角度的目标识别方法。
18.本技术第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以执行如上述实施例所述的基于多角度的目标识别方法。
19.由此，本技术至少具有如下有益效果：
20.通过采集目标场景中多个目标物体不同视角的图像，识别不同视角的图像中多个目标物体的位置并计算多个目标物体与图像采集点的相对位置关系，根据相对位置关系确定多个目标物体的重叠位置，并合并重叠位置对应的目标物体的位置，得到目标场景中多个目标物体的识别结果。通过整合朝向不同角度的摄像头获取的信息，使得覆盖的视野范围更宽，采用先进行目标检测和定位，再对目标信息进行整合的工作流程，相比使用图像拼接技术计算成本更低。由此，解决了相关技术中首先进行图像拼接，再对拼接后的图像进行目标识别，增大了多角度目标识别所需的计算量，增加了实现难度和对硬件水平的需求等问题。
21.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
22.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
23.图1为根据本技术实施例提供的一种基于多角度的目标识别方法的流程示意图；
24.图2为根据本技术实施例提供的两个相机的安装角度和视角范围示意图；
25.图3为根据本技术实施例提供的图像识别流程图；
26.图4为根据本技术实施例提供的目标合并流程图；
27.图5为根据本技术实施例提供的基于多角度的目标识别方法示例图；
28.图6为根据本技术实施例提供的一种基于多角度的目标识别系统的方框示意图；
29.图7为申请实施例提供的电子设备的结构示意图。
30.附图标记说明：至少两个相机-100、发送模块-200、处理模块-300、存储器-701、处理器-702、通信接口-703。
具体实施方式
31.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
32.下面参考附图描述本技术实施例的一种基于多角度的目标识别方法、系统、电子设备及存储介质。针对上述背景技术中心提到的问题，本技术提供了一种基于多角度的目标识别方法，在该方法中，采集目标场景中多个目标物体不同视角的图像；识别不同视角的图像中多个目标物体的位置，根据多个目标物体的位置和不同视角的图像采集点信息计算多个目标物体与图像采集点的相对位置关系；根据相对位置关系确定多个目标物体的重叠位置，并合并重叠位置对应的目标物体的位置，得到目标场景中多个目标物体的识别结果。由此，解决了相关技术中首先进行图像拼接，再对拼接后的图像进行目标识别，增大了多角度目标识别所需的计算量，增加了实现难度和对硬件水平的需求等问题。
33.具体而言，图1为本技术实施例所提供的一种基于多角度的目标识别方法的流程示意图。
34.如图1所示，该基于多角度的目标识别方法包括以下步骤：
35.在步骤s101中，采集目标场景中多个目标物体不同视角的图像。
36.为了能够确定多个目标物体的位置，在接收到目标识别指令后，本技术的实施例可以采集目标场景中多个目标物体不同视角的图像。作为一种可能实现的方式，如图2所示，本技术的实施例可以通过安装在不同角度的两个相机拍摄不同角度的照片，其中，两个相机的拍摄角度可以有重合。摄像头视角范围用阴影表示，视角范围边界用点画线表示。
37.需要说明的是，在本技术的实施例中，相机可以为双目相机或单目相机或其他可以采集图像的相机等，对此，本领域技术人员可以根据实际需求进行设置，不作具体限定。
38.在步骤s102中，识别不同视角的图像中多个目标物体的位置，根据多个目标物体的位置和不同视角的图像采集点信息计算多个目标物体与图像采集点的相对位置关系。
39.在相关技术中，采集到的不同视角的多张图像后，首先进行图像拼接，由于图像拼接一般需要使用特征检测和特征匹配技术或机器学习技术，增大了多角度目标识别所需的计算量，增加了实现难度和对硬件水平的需求该方式。因此，在本技术的实施例中，首先识别多视角图像中的多个目标物体，减少后续多角度目标时间的计算量。
40.在识别不同视角的图像中的目标物体时，本技术的实施例可以利用目标检测算法进行检测，通过标注框标注目标物体的位置。需要说明的是，其他的识别图像中的目标物体位置的方法对本技术的实施例同样适用，对此，不作具体限定。
41.可以理解的是，不同视角的图像间存在一定的位置关系，例如，并列分布的a、b、c三个物体，通过相机分别采集两个角度的图像，其中，第一个视角包含a和b，第二个视角包括b和c，由已知的采集角度的信息可知，以及图像中目标物体的位置关系，可以得到a物体位于c物体的左方，进一步的可以得到多个目标物体与图像采集点的相对位置关系。
42.可选地，在本技术的一个实施例中，识别不同视角的图像中多个目标物体的位置，包括：识别不同视角的图像的色彩特征；将色彩特征与多个目标物体的色彩特征进行对比，得到不同视角的图像中多个目标物体的位置，并通过多个标注框标注多个目标物体的位置。
43.作为一种具体的目标识别方法，本技术的实施例可以利用色彩特征识别目标物体。在本技术的实施例中，目标物体可以具有一定的色彩标识，图像中的目标表现为具有特定颜色和高度宽度比的矩形，图像识别使用基于颜色识别的方法实现。如图3所示，首先将图像信息转换为hsv(hue，saturation，value，颜色模型)颜色表示法表示的颜色矩阵，筛选出满足色调、明度和饱和度限制范围的图像区域。其次，使用开运算和闭运算操作处理图像矩阵以降低环境噪声干扰，并使用边框寻找算法找到图中色块的边框。接下来对边框面积进行排序，划出每个边框所在的矩形区域位置。利用位置、高度宽度比等特征筛选这些边框，直到已识别出图中所有满足筛选条件的目标区域。最后得到每个目标区域在图片中的位置、高度和宽度。
44.可选地，在本技术的一个实施例中，根据多个目标物体的位置和不同视角的图像采集点信息计算多个目标物体与图像采集点的相对位置关系，包括：根据图像采集点的焦距和多个目标物体的标注框高度计算多个目标物体与图像采集点的距离；根据图像采集点的焦距和多个目标物体的标注框的水平位置计算多个目标物体与图像采集点的角度；根据多个目标物体与图像采集点的距离和多个目标物体与图像采集点的角度计算多个目标物体与图像采集点的相对位置关系。
45.在本技术的实施例中，实际的目标高度已知，目标与拍摄者在同一个水平面上运动。本技术的实施例使用小孔成像原理并对畸变进行修正，根据摄像头焦距和图像识别得到的目标区域高度计算目标与摄像头的实际距离，根据摄像头焦距和图像识别得到的目标区域水平位置计算出目标相对摄像头的方向。根据目标与摄像头的相对方位和摄像头的位置与朝向计算目标与拍摄者的相对位置关系。
46.在实际执行过程中，对每一个目标区域使用上述方法计算得到该目标相对拍摄者的角度和距离，可以将角度、距离信息保存在一个列表中，便于后续调用。
47.在步骤s103中，根据相对位置关系确定多个目标物体的重叠位置，并合并重叠位置对应的目标物体的位置，得到目标场景中多个目标物体的识别结果。
48.可以理解的是，本技术的实施例根据相对位置关系确定多个目标物体的位置是否符合合并条件，若符合合并条件，则合并目标物体位置，从而得到多个目标物体的识别结果，通过先进行目标检测和定位，再对目标信息进行整合的工作流程，相比使用图像拼接技术计算成本更低，便于实现。
49.可选地，在本技术的一个实施例中，根据相对位置关系确定多个目标物体的重叠位置，包括：根据相对位置关系计算不同视角的图像中标注框间的距离信息，将标注框间的距离信息小于预设距离阈值的标注框作为多个目标物体的重叠位置。
50.具体地，在不同视角的图像中，可能存在重复的目标物体，例如上述实施例中的b物体，在两张图像中均存在，因此，在图像识别时，需要将重复的物体进行合并。在本技术的实施例中，得到多个目标物体的相对位置关系后，根据相对位置关系计算不同视角的图像中标注框间的距离信息，在标注框间的距离信息小于一定阈值时，可以判定两个标注框内的目标物体为同一物体，因此，可以合并该标注框对应的物体。其中，预设距离阈值的大小可以根据实际情况进行设定，例如，根据实际环境或相机的采集误差等，不作具体限定。
51.可选地，在本技术的一个实施例中，根据相对位置关系确定多个目标物体的重叠位置，包括：检测多个目标物体与图像采集点的角度和距离；将角度和距离均满足换算关系的目标物体的标注框作为所述多个目标物体的重叠位置。
52.具体地，与上述标注框距离检测有所不同，本技术的实施例还可以检测目标物体与图像采集点的角度和距离信息，直接根据角度和距离信息，判断两个物体是否为同一物体。可以理解的是，在上述实施例中得到了目标物体与图像采集点的相对位置关系，包括角度信息和距离信息，以上述实施例中的b物体为例，得到b物体在第一个视角和第二个视角中的角度和距离信息，根据采集角度的信息，进行计算，可以得到第一个视角中的b物体转换到第二个视角中的角度和距离，即为第二个视角中b物体的角度和距离信息，由此，可以判定第一个视角和第二个视角中的两个b物体为同一目标物体。
53.在本技术的实施例中，可能识别到的目标有两种。如图4所示，对相机拍摄到的图片中识别出的目标信息分别列表。遍历相机1识别到的目标列表，逐个检查其中目标列表的每条目标信息，在相机2识别到的目标列表中查找是否有与该目标相同种类，且满足重复位置条件的目标。若有满足条件的同类目标，则程序判断两个摄像头重复识别到同一目标，并且合并两个目标，添加到合并后的目标位置列表中。其中，重叠位置条件设置为两个目标角度范围有重合，或者中心角度之差小于某固定值，或者距离小于某固定值。
54.本领域技术人员应该理解到的是，目标合并的方法是保持目标类型不变，取相机
识别出的目标范围取并集计算左右边界和中心角度，将相机识别到的目标距离的几何平均值作为合并后的目标距离。没有被判断为重复识别的目标直接添加到合并后的列表中。
55.需要说明的是，目标识别的实现有多种方法，包括基于机器学习的目标检测算法，基于相关滤波等原理的目标跟踪算法等等，不进行具体限定。
56.目标识别结果和目标位置的信息有多种可能的表示方法，比如圆形的目标区域可用中心位置和半径表示，目标相对观测者的位置可由以观测者为参考的直角坐标系表示等。
57.在合并目标过程中，判断两张照片中的目标是否为同一目标的判断标准可更改，可以是图像识别得到的特征足够接近等。
58.下面将通过一个具体的实现方式对本技术的基于多角度的目标识别方法进行说明，如图5所示，包括以下步骤：
59.1)拍照：通过相机1和2拍摄多个目标物体不同视角的两张图片。
60.2)图像识别：对两张照片分别进行识别，获取目标在图像中的位置信息。
61.3)位置计算：使用图像识别得到的目标在图像中的位置信息和拍摄图片所用摄像头的位置和朝向信息，计算得到目标和拍摄者的实际相对位置。
62.4)合并目标：合并两个摄像头拍摄到的目标信息，特别是合并两个摄像头重复识别的目标信息。
63.根据本技术实施例提出的基于多角度的目标识别方法，通过采集目标场景中多个目标物体不同视角的图像，识别不同视角的图像中多个目标物体的位置并计算多个目标物体与图像采集点的相对位置关系，根据相对位置关系确定多个目标物体的重叠位置，并合并重叠位置对应的目标物体的位置，得到目标场景中多个目标物体的识别结果。通过整合朝向不同角度的摄像头获取的信息，使得覆盖的视野范围更宽，采用先进行目标检测和定位，再对目标信息进行整合的工作流程，相比使用图像拼接技术计算成本更低。由此，解决了相关技术中首先进行图像拼接，再对拼接后的图像进行目标识别，增大了多角度目标识别所需的计算量，增加了实现难度和对硬件水平的需求等问题。
64.其次参照附图描述根据本技术实施例提出的一种基于多角度的目标识别系统。
65.图6是本技术实施例的一种基于多角度的目标识别系统的方框示意图。
66.如图6所示，该基于多角度的目标识别系统10包括：至少两个相机100、发送模块200和处理模块300。
67.其中，至少两个相机100，用于采集目标场景中多个目标物体不同视角的图像。发送模块200，用于发送相机采集的不同视角的图像。处理模块300，用于接收不同视角的图像，并识别不同视角的图像中多个目标物体的位置，根据多个目标物体的位置和不同视角的图像采集点信息计算多个目标物体与图像采集点的相对位置关系，根据相对位置关系确定多个目标物体的重叠位置，并合并重叠位置对应的目标物体的位置，得到目标场景中多个目标物体的识别结果。
68.可选地，在本技术的一个实施例中，相机为多目相机或单目相机。
69.可选地，在本技术的一个实施例中，处理模块300进一步用于，识别不同视角的图像的色彩特征；将色彩特征与多个目标物体的色彩特征进行对比，得到不同视角的图像中多个目标物体的位置，并通过多个标注框标注多个目标物体的位置。
70.可选地，在本技术的一个实施例中，处理模块300进一步用于，根据图像采集点的焦距和多个目标物体的标注框高度计算多个目标物体与图像采集点的距离；根据图像采集点的焦距和多个目标物体的标注框的水平位置计算多个目标物体与图像采集点的角度；根据多个目标物体与图像采集点的距离和多个目标物体与图像采集点的角度计算多个目标物体与图像采集点的相对位置关系。
71.可选地，在本技术的一个实施例中，处理模块300，进一步用于，根据相对位置关系计算不同视角的图像中标注框间的距离信息，将标注框间的距离信息小于预设距离阈值的标注框作为多个目标物体的重叠位置。
72.可选地，在本技术的一个实施例中，处理模块300，进一步用于，检测多个目标物体与图像采集点的角度和距离；将角度和距离均满足换算关系的目标物体的标注框作为多个目标物体的重叠位置。
73.需要说明的是，前述对一种基于多角度的目标识别方法实施例的解释说明也适用于该实施例的一种基于多角度的目标识别系统，此处不再赘述。
74.根据本技术实施例提出的一种基于多角度的目标识别系统，通过采集目标场景中多个目标物体不同视角的图像，识别不同视角的图像中多个目标物体的位置并计算多个目标物体与图像采集点的相对位置关系，根据相对位置关系确定多个目标物体的重叠位置，并合并重叠位置对应的目标物体的位置，得到目标场景中多个目标物体的识别结果。通过整合朝向不同角度的摄像头获取的信息，使得覆盖的视野范围更宽，采用先进行目标检测和定位，再对目标信息进行整合的工作流程，相比使用图像拼接技术计算成本更低。由此，解决了相关技术中首先进行图像拼接，再对拼接后的图像进行目标识别，增大了多角度目标识别所需的计算量，增加了实现难度和对硬件水平的需求等问题。
75.图7为本技术实施例提供的电子设备的结构示意图。该电子设备可以包括：
76.存储器701、处理器702及存储在存储器701上并可在处理器702上运行的计算机程序。
77.处理器702执行程序时实现上述实施例中提供的基于多角度的目标识别方法。
78.进一步地，电子设备还包括：
79.通信接口703，用于存储器701和处理器702之间的通信。
80.存储器701，用于存放可在处理器702上运行的计算机程序。
81.存储器701可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
82.如果存储器701、处理器702和通信接口703独立实现，则通信接口703、存储器701和处理器702可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(industry standard architecture，简称为isa)总线、外部设备互连(peripheral component，简称为pci)总线或扩展工业标准体系结构(extended industry standard architecture，简称为eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
83.可选的，在具体实现上，如果存储器701、处理器702及通信接口703，集成在一块芯片上实现，则存储器701、处理器702及通信接口703可以通过内部接口完成相互间的通信。
84.处理器702可能是一个中央处理器(central processing unit，简称为cpu)，或者
是特定集成电路(application specific integrated circuit，简称为asic)，或者是被配置成实施本技术实施例的一个或多个集成电路。
85.本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上的基于多角度的目标识别方法。
86.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或n个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
87.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“n个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
88.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更n个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
89.应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，n个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
90.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。