图像处理方法及装置、电子设备、计算机可读存储介质与流程

1.本技术涉及图像处理技术领域，具体涉及一种图像处理方法及装置、电子设备、计算机可读存储介质。


背景技术：

2.随着图像处理技术的快速发展，如今在倒车影像或者自动驾驶中，通常需要采集车辆周围的图像信息，进而通过相应的图像处理技术识别出图像中的现实对象，进而车辆的控制器可以根据识别到的现实对象控制车辆进行移动，以避免车辆与现实对象碰撞。
3.但是在实践中发现，传统的图像处理技术通常采用融合算法对采集到的现实场景的点云信息和图像信息进行融合，并根据融合结果对图像中的现实对象进行标定，但是由于在融合的过程中点云信息和图像信息难以同步，从而将导致大量的原始信息丢失，进而导致后续的标定质量较差。


技术实现要素：

4.本技术实施例公开了一种图像处理方法及装置、电子设备、计算机可读存储介质，能够提高针对现实场景中的各个现实对象的标定信息的标定质量。
5.本技术实施例第一方面公开一种图像处理方法，所述方法包括：
6.获取目标场景的三维坐标信息，以及所述目标场景的二维坐标信息；
7.将所述三维坐标信息包括的各个三维坐标转换为第一极坐标，及将所述二维坐标信息包括的各个第一二维坐标转换为第二极坐标，所述第一极坐标对应的参考坐标系和所述第二极坐标对应的参考坐标系相同；
8.为目标第一极坐标对应的现实对象添加标识信息，所述标识信息包括目标第二极坐标对应的类别信息，所述类别信息用于描述所述目标第二极坐标对应的现实对象所属的类别，所述目标第二极坐标的极角与所述目标第一极坐标的极角相匹配，所述目标第一极坐标是所述第一极坐标中对应有现实对象的第一极坐标，所述目标第二极坐标是对应有类别信息的第二极坐标。
9.作为一种可选的实施方式，在本技术实施例第一方面中，所述三维坐标信息为三维点云信息，所述将所述三维坐标信息包括的各个三维坐标转换为第一极坐标，包括：
10.将所述三维坐标信息包括的各个三维坐标投影至直角坐标系中，以得到各个所述三维坐标在所述直角坐标系中对应的第二二维坐标；
11.将各个所述第二二维坐标转换为对应的第一极坐标。
12.作为一种可选的实施方式，在本技术实施例第一方面中，所述二维坐标信息为二维图像信息，将所述二维坐标信息包括的各个第一二维坐标转换为第二极坐标，包括：
13.将所述二维坐标信息转换为鸟瞰图，以得到所述二维坐标信息包括的各个第一二维坐标在所述鸟瞰图中对应的第三二维坐标；
14.将所述各个第三二维坐标转换为对应的第二极坐标。
15.作为一种可选的实施方式，在本技术实施例第一方面中，所述将所述二维坐标信息转换鸟瞰图，包括：
16.根据所述二维坐标信息包括的各个第一二维坐标、尺度因子以及逆透视变换矩阵，确定各个所述第一二维坐标在鸟瞰图中对应的第三二维坐标，以得到所述二维坐标信息对应的鸟瞰图。
17.作为一种可选的实施方式，在本技术实施例第一方面中，在所述为目标第一极坐标对应的对象添加标识信息之前，所述方法还包括：
18.确定所述鸟瞰图中存在的各个现实对象对应的类别信息，并确定所述各个现实对象对应的第二极坐标，所述类别信息用于描述所述第二极坐标对应的现实对象所属的类别。
19.作为一种可选的实施方式，在本技术实施例第一方面中，所述为目标第一极坐标对应的对象添加标识信息，包括：
20.若存在与目标第一极坐标相匹配的目标第二极坐标，则将所述目标第二极坐标对应的类别信息作为所述目标第一极坐标对应的现实对象的标识信息；
21.若不存在与目标第一极坐标相匹配的目标第二极坐标，则确定所述目标第一极坐标对应的现实对象为未知对象。
22.作为一种可选的实施方式，在本技术实施例第一方面中，
23.所述三维坐标信息包括通过三维激光雷达获取到的目标场景的三维点云信息，所述二维坐标信息包括通过二维摄像装置获取到的所述目标场景的二维图像信息，所述三维激光雷达的信息采集端与所述二维摄像装置的信息采集端的朝向相同；
24.或者，所述三维坐标信息包括通过三维摄像装置获取到的目标场景的三维图像信息，所述二维坐标信息包括通过二维激光雷达获取到的所述目标场景的二维点云信息，所述二维激光雷达的信息采集端与所述三维摄像装置的信息采集端的朝向相同。
25.本技术实施例第二方面公开一种图像处理装置，所述装置包括：
26.获取单元，用于获取目标场景的三维坐标信息，以及所述目标场景的二维坐标信息；
27.转换单元，用于将所述三维坐标信息包括的各个三维坐标转换为第一极坐标，及将所述二维坐标信息包括的各个第一二维坐标转换为第二极坐标，所述第一极坐标对应的参考坐标系和所述第二极坐标对应的参考坐标系相同；
28.添加单元，用于为目标第一极坐标对应的现实对象添加标识信息，所述标识信息包括目标第二极坐标对应的类别信息，所述类别信息用于描述所述目标第二极坐标对应的现实对象所属的类别，所述目标第二极坐标的极角与所述目标第一极坐标的极角相匹配，所述目标第一极坐标是所述第一极坐标中对应有现实对象的第一极坐标，所述目标第二极坐标是对应有类别信息的第二极坐标。
29.本技术实施例第三方面公开一种电子设备，包括：
30.存储有可执行程序代码的存储器；
31.与所述存储器耦合的处理器；
32.所述处理器调用所述存储器中存储的所述可执行程序代码，执行本技术实施例第一方面公开的图像处理方法。
33.本技术实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本技术实施例第一方面公开的图像处理方法。
34.本技术实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本技术实施例第一方面的任意一种方法的部分或全部步骤。
35.本技术实施例第六方面公开一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本技术实施例第一方面的任意一种方法的部分或全部步骤。
36.与相关技术相比，本技术实施例具有以下有益效果：
37.本技术实施例中，可以获取同一目标场景的三维坐标信息和二维坐标信息，进而可以将三维坐标信息包括的各个三维坐标转换为第一极坐标，并将二维坐标信息包括的第一二维坐标转换为第二极坐标；进一步地，可以为第一极坐标中对应有现实对象的目标第一极坐标对应的对象添加标识信息，该标识信息可以包括极角与目标第一极坐标相匹配的目标第二极坐标对应的类别信息，该类别信息用于描述目标第二极坐标对应的现实对象所属的类别。其中，转换后的第一极坐标和第二极坐标对应的参考坐标系是相同的，所以后续在为目标第一极坐标对应的对象添加标识信息时，就能够在同一极坐标系下对三维坐标信息和二维坐标信息进行融合，解决了三维坐标信息和二维坐标信息难以同步的问题，进而避免了融合过程中丢失原始信息的情况，从而后续可以更加准确地确定出现实场景中的各个现实对象的位置、类别等标定信息，提高了针对现实场景中的各个对象的标定信息的标定质量。
附图说明
38.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
39.图1是本技术实施例公开的一种图像处理方法的流程示意图；
40.图2a是本技术实施例公开的一种数据采集装置的设置示意图；
41.图2b是本技术实施例公开的一种二维坐标转换极坐标的示意图；
42.图3是本技术实施例公开的另一种图像处理方法的流程示意图；
43.图4a是本技术实施例公开的一种二维坐标信息转换鸟瞰图的示意图；
44.图4b是本技术实施例公开的一种语义分割结果示意图；
45.图5是本技术实施例公开的又一种图像处理方法的流程示意图；
46.图6是本技术实施例公开的一种图像处理装置的结构示意图；
47.图7是本技术实施例公开的一种电子设备的结构示意图。
具体实施方式
48.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本
申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
49.需要说明的是，本技术的说明书和权利要求书中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同的对象，而不是用于描述特定顺序。本技术实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
50.本技术实施例公开了一种图像处理方法及装置、电子设备、计算机可读存储介质，能够提高针对现实场景中的各个现实对象的标定信息的标定质量。
51.下面将结合具体实施例对本技术技术方案进行详细说明。
52.为了更加清楚地说明本技术实施例公开的一种图像处理方法及装置、电子设备、计算机可读存储介质。首先介绍适用于该方法的应用场景。可选的，该方法可以应用于无人驾驶、倒车影像等领域中，在此不作限定。
53.在相关技术中，无人车辆的数据采集装置在采集到无人车辆前方的三维坐标信息及二维坐标信息之后，无人车辆的处理器会直接对三维坐标信息和二维坐标信息执行融合处理，并根据融合结果对图像中的现实对象进行标定。但是在实践中发现，由于数据采集装置采集的三维坐标信息(例如：三维点云信息)和二维坐标信息(例如：二维图像信息)分别对应的参考坐标系不同，所以导致三维坐标信息和二维坐标信息难以同步，从而将导致大量的原始信息丢失，进而导致后续的标定质量较差。
54.而采用本技术实施例提供的方法，无人车辆的数据采集装置在采集到无人车辆前方的三维坐标信息及二维坐标信息之后，无人车辆的处理器可以先将三维坐标信息和二维坐标信息包括的自然坐标转换到同一极坐标系下，进而在同一极坐标系下将三维坐标信息和二维坐标信息进行融合，从而解决了参考坐标系不同的多种信息难以同步的问题，进而避免了融合过程中丢失原始信息的情况，可以更加准确地确定出现实场景中的各个现实对象的位置、类别等标定信息；进一步可选的，处理器可以将标定信息反馈给无人车辆的控制器，以使得无人车辆的控制器控制无人处理避开障碍物进行行驶。
55.基于此，以下对本技术实施例公开的图像处理方法进行介绍。
56.请参阅图1，图1是本技术实施例公开的一种图像处理方法的流程示意图。该方法可以应用于处理器，例如图像处理器，本技术实施例以处理器为例进行说明，不应对本技术实施例构成限定。可选的，该方法可以包括以下步骤：
57.102、获取目标场景的三维坐标信息，以及目标场景的二维坐标信息。
58.本技术实施例中，目标场景可以包括各种现实场景，例如：工厂、仓库或者公路等，在此不作限定。处理器可以通过数据采集设备获取目标场景对应的三维坐标信息，以及同一目标场景的二维坐标信息。
59.可选的，三维坐标信息对应的参考坐标系与二位坐标信息对应的参考坐标系可以是不相同；在另一些可选的实施例中，三维坐标信息对应的参考坐标系与二位坐标信息对应的参考坐标系可以是相同的，在此不作限定。
60.作为一种可选的实施方式，数据采集设备可以包括激光雷达和摄像装置；可选的，激光雷达可以包括三维激光雷达，用于获取目标场景的三维点云信息，摄像装置可以包括
二维摄像装置，用于获取目标场景的二维图像信息。
61.其中，激光雷达是通过向目标场景发射激光，进而根据反射回来的激光进行成像的设备，通过激光雷达可以采集到目标场景的三维点云信息。三维点云信息是指目标表面特征的海量点数据的集合，本技术实施例中的三维点云信息可以是指目标场景中各个现实对象的表面特征的点数据的集合。摄像装置可以包括单目摄像头、双目摄像头等光学摄像头，在此不作限定。进而可以通过摄像装置采集目标场景的光学二维图像信息。
62.在另一种可选的实施例中，激光雷达可以包括二维激光雷达，用于获取目标场景的二维点云信息，摄像装置可以包括三维摄像装置，用于获取目标场景的三维图像信息。
63.请参阅图2a，图2a是本技术实施例公开的一种数据采集装置的设置示意图。可选的，激光雷达200的信息采集端210，与摄像装置220的信息采集端230的朝向可以是相同的，从而可以分别通过激光雷达200和摄像装置220采集到同一目标场景。
64.需要说明的是，图2a仅是为了方便说明作出的图示，并不对激光雷达和摄像装置的相对位置进行限定，在另一些可选的实施例中，激光雷达200和摄像装置220还可以是左右排列的，在此不作限定。
65.可选的，目标场景的三维坐标信息和二维坐标信息可以是数据采集设备在同一时刻分别采集到的，从而可以避免三维坐标信息和二维坐标信息中包括的目标场景不一致，进而影响后续的标定质量。举例来说，若激光雷达在第一时刻采集了目标场景的三维坐标信息，而在第一时刻目标场景中存在一辆货车，即三维坐标信息中包括货车；摄像装置在第二时刻采集了目标场景的二维坐标信息，而货车在第二时刻已经驶离了目标场景，所以二维坐标信息中不包括货车。对此三维坐标信息和二维坐标信息中的信息不一致，进而后续在标定中就难以确定目标场景中是否存在货车，从而将影响后续的标定质量。
66.对此实施上述方法，可以保证三维坐标信息和二维坐标信息中的目标场景一致，从而可以提高后续的标定质量。
67.在另一些可选的实施方式中，处理器还可以通过其他设备(例如：其他车辆、用户设备等)获取目标场景的三维坐标信息，以及目标场景的二维坐标信息，在此不作限定。
68.实施上述方法，可以在数据采集设备发生故障无法正常采集三维坐标信息和二维坐标信息的情况下，依旧可以通过其他设备获取三维坐标信息和二维坐标信息，从而提高了该方法的兼容性。
69.104、将三维坐标信息包括的各个三维坐标转换为第一极坐标，及将二维坐标信息包括的各个第一二维坐标转换为第二极坐标。
70.本技术实施例中，处理器可以先将三维坐标信息包括的各个三维坐标先转换为第二二维坐标，进而将各个第二二维坐标转换为第一极坐标。
71.其中，第一极坐标是极坐标系中的坐标点，极坐标系是在平面内取一个定点o，叫做极点，进而引一条射线ox，叫做极轴，再选定一个长度单位和角度的正方向。进而对于平面内的任意一点m，可以用r表示线段om的长度，称为极径；θ表示从ox到om的角度，称为极角。
72.请参阅图2b，图2b是本技术实施例公开的一种二维坐标转换极坐标的示意图。其中，现实对象a在直角坐标系中对应的二维坐标为(xa，ya)，而现实对象a在极坐标系中对应的极坐标为(ra，θa)。
73.同理的，处理器还可以将二维坐标信息包括的各个第一二维坐标转换为第二极坐标。
74.可选的，第一极坐标对应的参考坐标系与第二极坐标对应的参考坐标系可以是相同的，从而方便后续根据第一极坐标和第二极坐标，对三维坐标信息和二维坐标信息进行融合，避免了融合过程中丢失原始信息的情况。
75.106、为目标第一极坐标对应的现实对象添加标识信息。
76.可以理解的是，目标场景包括各种现实对象，例如：车辆、行人或者未知障碍物等，在此不作限定。目标场景包括的各种现实对象在极坐标系中分别对应一个第一极坐标，进而可以通过第一极坐标确定各个现实对象的位置。
77.进一步地，处理器可以通过图像识别技术，确定出二维坐标信息包括的各种现实对象所属的类别，并确定各个现实对象对应的第二极坐标，以将各个第二极坐标对应的现实对象，与各个现实对象对应的类别信息联系起来。
78.进一步地，处理器可以将极角相匹配的目标第一极坐标和目标第二极坐标匹配起来，若目标第二极坐标存在对应的用于描述现实对象的类别信息，则将目标第二极坐标对应的类别信息作为目标第一极坐标对应的现实对象的标识信息；而若与目标第一极坐标相匹配的目标第二极坐标不存在类别信息，则确定目标第一极坐标对应的现实对象为未知对象。
79.通过上述的信息融合过程，可以确定出目标场景中各个现实对象的位置以及类别信息，从而提高了针对现实场景中的各个对象的标定信息的标定质量。
80.实施上述各实施例公开的方法，可以获取同一目标场景的三维坐标信息和二维坐标信息，进而可以将三维坐标信息包括的各个三维坐标转换为第一极坐标，并将二维坐标信息包括的第一二维坐标转换为第二极坐标；进一步地，可以为第一极坐标中对应有现实对象的目标第一极坐标对应的对象添加标识信息，该标识信息可以包括极角与目标第一极坐标相匹配的目标第二极坐标对应的类别信息，该类别信息用于描述目标第二极坐标对应的现实对象所属的类别。可见，实施本技术实施例，能够将三维坐标信息和二维坐标信息包括的坐标转换到极坐标系下，进而可以在极坐标系下将三维坐标信息和二维坐标信息进行融合，以避免在融合过程中丢失原始信息，进而后续可以更加准确地确定出现实场景中的各个现实对象的位置、类别等标定信息，提高了针对现实场景中的各个对象的标定信息的标定质量。
81.请参阅图3，图3是本技术实施例公开的另一种图像处理方法的流程示意图。该方法可以应用于处理器，例如图像处理器，本技术实施例以处理器为例进行说明，不应对本技术实施例构成限定。可选的，该方法可以包括以下步骤：
82.302、获取目标场景的三维坐标信息，以及目标场景的二维坐标信息。
83.304、将三维坐标信息包括的各个三维坐标转换为第一极坐标，及将二维坐标信息包括的各个第一二维坐标转换为第二极坐标。
84.作为一种可选的实施方式，处理器可以将三维坐标信息包括的各个三维坐标投影到直角坐标系中，以得到各个三维坐标在直角坐标系中对应的第二二维坐标。可选的，直角坐标系可以是与水平地面平行的水平直角坐标系，三维坐标信息为三维点云信息。
85.进一步地，处理器可以根据各个第二二维坐标以及以下公式1，确定各个第二二维
坐标对应的第一极坐标，即：
[0086][0087]
θ1＝arctan(y2/x2)
[0088]
其中，r1表示第一极坐标的极径，θ1表示第一极坐标的极角，x2表示第二二维坐标的横坐标，y2表示第二二维坐标的纵坐标。
[0089]
在实践中发现，将三维坐标转换为极坐标的难度较大，对此实施上述方法，可以先通过投影的方式将三维坐标信息包括的各个三维坐标投影至直角坐标系中，以得到各个所述三维坐标在所述直角坐标系中对应的第二二维坐标，进而后续可以直接通过上述的公式1将各个第二二维坐标转换为第一极坐标，从而降低了该方法的实施难度。
[0090]
作为一种可选的实施方式，处理器可以先将采集的二维坐标信息转换为鸟瞰图，以得到二维坐标信息包括的各个第一二维坐标在鸟瞰图中对应的第三二维坐标；进而处理器可以将各个第三二维坐标转换为对应的第二极坐标其中，二维坐标信息为二维图像信息。
[0091]
其中，鸟瞰图是根据透视原理，用高视点透视法从高处某一点俯视地面起伏绘制成的立体图。即在空中俯视某一地区所看到的图像。
[0092]
请参阅图4a，图4a是本技术实施例公开的一种二维坐标信息转换鸟瞰图的示意图。由于摄像装置的拍摄方向通常是水平的，所以采集到的二维坐标信息410通常为目标场景的正视图，而通过正视图难以确定目标场景中各个现实对象的位置，进而难以确定出各个现实对象的极坐标。对此，处理器可以将二维坐标信息410转换为鸟瞰图420，由于各个现实对象在鸟瞰图420中的位置容易确定，进而方便处理器确定出二维坐标信息包括的各个现实对象的第二极坐标和所属的类别。
[0093]
需要说明的是，图4a仅是方便说明作出的示例，不应对本技术实施例构成限定。
[0094]
可选的，处理器将各个第三二维坐标转换为对应的第二极坐标的方式，可以与上述的将各个第二二维坐标转换为对应的第一极坐标的方式相同或者类似，在此不再赘述。
[0095]
实施上述方法，处理器可以先将二维坐标信息转换为鸟瞰图，而由于在鸟瞰图中各个现实对象的极坐标及类别更容易确定，进而方便后续确定鸟瞰图中各个现实对象的极坐标和所属的类别。
[0096]
作为一种可选的实施方式，处理器可以根据逆透视原理将二维坐标信息转换为鸟瞰图。可选的，处理器可以根据二维坐标信息包括的各个第一二维坐标、尺度因子以及逆透视变换矩阵，确定出各个第一二维坐标在鸟瞰图中对应的第三二维坐标，以得到二维坐标信息对应的鸟瞰图。
[0097]
可选的，处理器可以根据二维坐标信息包括的各个第一二维坐标以及以下的公式2确定出各个第一二维坐标在鸟瞰图中对应的第三二维坐标，以得到二维坐标信息对应的鸟瞰图，即：
[0098][0099]
其中，(x3/w
′
,y3/w
′
)表示第三二维坐标，(x1,y1)表示第一二维坐标，w及w
′
表示尺
度因子，表示逆透视变换矩阵。
[0100]
可选的，
[0101]
其表示图像线性变换；
[0102]
t2＝[a
13 a
23
]，其用于产生图像透视变换；
[0103]
t3＝[a
31 a
32
]，其表示图像平移。
[0104]
实施上述方法，处理器可以通过逆透视变换原理将二维坐标信息转换为鸟瞰图，该转换方法实施难度较低，从而可以降低该方法的实施难度及降低实施成本。
[0105]
306、确定鸟瞰图中存在的各个现实对象对应的类别信息，并确定各个现实对象对应的第二极坐标。
[0106]
本技术实施例中，处理器可以对鸟瞰图执行基于深度学习的语义分割处理，以确定出鸟瞰图中存在的各个现实对象对应的类别信息。
[0107]
可选的，处理器可以通过机器学习训练出分类模型，进而通过分类模型确定出鸟瞰图中存在的各个现实对象对应的类别信息，该类别信息用于描述鸟瞰图中各个现实对象所属的类别，例如：车辆、行人或者未知障碍物等，在此不作限定。其中，分类模块可以是根据大量的鸟瞰图样本训练得到的，在此不作限定。
[0108]
请参阅图4b，图4b是本技术实施例公开的一种语义分割结果示意图。其中，处理器可以先根据二维坐标信息a、二维坐标信息b和二维坐标信息c确定出鸟瞰图d，进而分类模型可以通过不同的颜色标签对鸟瞰图d中存在的各个现实对象进行标记，其中，不用颜色标签对应的不同的类别信息。例如：鸟瞰图d中的灰色、白色可以分别代表不同的类别信息。
[0109]
需要进一步说明的是，图4b仅是为了方便说明作出的图示，不应对本技术实施例构成限定。
[0110]
作为一种可选的实施方式，该处理器可以搭载与无人车辆上，包括无人叉车，该无人叉车用于运输货物。进而可选的，若鸟瞰图中存在未能够识别出类别信息的目标现实对象，则与无人车辆的控制系统建立通信连接，并通过控制系统获取当前时间段内无人车辆被分配的目标任务，并根据目标任务确定无人车辆当前的工作环境及工作内容，并根据工作环境和工作内容进一步确定目标现实对象对应的类别信息。
[0111]
可选的，若无人车辆的工作环境为家具仓库，工作内容是运输家具，则可以根据家具仓库及运输家具确定目标现实对象是否为家具。可选的，处理器可以通过识别目标现实对象的二维坐标信息，进而与家具进行匹配，确定目标现实对象是否为家具，若为家具，则可以进一步确定属于的家具类型。
[0112]
实施上述方法，处理器还可以根据无人车辆的工作环境和工作内容进一步确定未能够识别到类别信息的目标现实对象所属的类别信息，从而提高了该方法的灵活性。
[0113]
进一步地，处理器可以确定各个已经确定出类别信息的各个现实对象对应的第二极坐标；进而方便后续根据极坐标进行信息融合。
[0114]
308、为目标第一极坐标对应的现实对象添加标识信息。
[0115]
实施上述各实施例公开的方法，能够将三维坐标信息和二维坐标信息包括的坐标转换到极坐标系下，进而可以在极坐标系下将三维坐标信息和二维坐标信息进行融合，以更加准确地确定出现实场景中的各个现实对象的位置、类别等标定信息，从而提高了针对现实场景中的各个对象的标定信息的标定质量；以及，可以先将三维坐标信息包括的各个三维坐标转换第二二维坐标，进而方便将三维坐标信息包括的各个坐标转换到极坐标系中，以得到三维坐标信息包括的各个三维坐标对应的极坐标，从而提高了该方法的灵活性；以及，可以先将二维坐标信息转换为鸟瞰图，而由于在鸟瞰图中各个现实对象的极坐标及类别更容易确定，进而方便后续确定鸟瞰图中各个现实对象的极坐标和所属的类别；以及，可以通过逆透视变换原理将二维坐标信息转换为鸟瞰图，该转换方法实施难度较低，从而可以降低该方法的实施难度及降低实施成本。
[0116]
请参阅图5，图5是本技术实施例公开的又一种图像处理方法的流程示意图。该方法可以应用于处理器，例如图像处理器，本技术实施例以处理器为例进行说明，不应对本技术实施例构成限定。可选的，该方法可以包括以下步骤：
[0117]
502、通过激光雷达获取目标场景的三维坐标信息，以及通过摄像装置获取目标场景的二维坐标信息。
[0118]
作为一种可选的实施方式，处理器可以通过内参标定方法对摄像装置的内参进行标定，以将摄像装置的拍摄效果调整至最佳。可选的，内参标定方法可以包括棋盘格标定方法等，在此不作限定。
[0119]
作为另一种可选的实施方式，处理器在通过摄像装置获取目标场景的二维坐标信息之后，可以对二维坐标信息进行去畸变处理，以方便后续根据二维坐标信息进行信息融合。
[0120]
504、将三维坐标信息包括的各个三维坐标转换为第一极坐标，及将二维坐标信息包括的各个第一二维坐标转换为第二极坐标。
[0121]
506、为目标第一极坐标对应的现实对象添加标识信息。
[0122]
作为一种可选的实施方式，处理器可以将第一极坐标中对应有现实对象的多个目标第一极坐标组成第一序列，例如(目标第一极坐标a、目标第一极坐标b
…
目标第一极坐标n)；以及将第二极坐标中对应有类别信息的多个目标第二极坐标组成第二序列，例如(目标第二极坐标a、目标第二极坐标b
…
目标第二极坐标n)。
[0123]
进而处理器可以对第一序列和第二序列中的极坐标进行匹配，若在第二序列中存在与目标第一极坐标相匹配的目标第二极坐标，则将该目标第二极坐标对应的类别信息作为目标第一极坐标对应的现实对象的标识信息。
[0124]
若第二序列中不存在与目标第一极坐标相匹配的目标第二极坐标，则确定该目标第一极坐标对应的现实对象为未知对象。
[0125]
可选的，处理器可以根据角度偏差最小原则对第一序列和第二序列中的极坐标进行匹配。即若目标第一极坐标的极角和目标第二极坐标的极角之间的差值小于或等于角度阈值(该阈值可以由开发人员根据大量的开发经验设定)，则确定目标第一极坐标和目标第二极坐标相匹配；若目标第一极坐标的极角和目标第二极坐标的极角之间的差值大于角度阈值，则确定目标第一极坐标和目标第二极坐标不匹配。可选的，若目标第一极坐标的极角
和目标第二极坐标的极角相等，则确定目标第一极坐标和目标第二极坐标相匹配；若目标第一极坐标的极角和目标第二极坐标的极角不相等，则确定目标第一极坐标和目标第二极坐标不匹配，在此不作限定。
[0126]
可以理解的是，处理器可能并不能完全识别出鸟瞰图中所有现实对象的类别信息，对此上述第二序列中可能仅包括部分能够识别出类别的现实对象对应的第二极坐标。但是第一序列中包括的是鸟瞰图中所有现实对象的第一极坐标，所以第一序列中目标第一极坐标的数量可能大于或等于第二序列中包括的第二极坐标的数量。对此，若能够匹配到目标第二极坐标的目标第一极坐标，则说明该目标第一极坐标对应的现实对象处理器能够识别到类别信息，而对于不能够匹配到目标第二极坐标的目标第一极坐标，则说明该目标第一极坐标对应的现实对象处理器不能够识别到类别信息。
[0127]
作为一种可选的实施方式，处理器可以获取未能够匹配到目标第二极坐标的目标第一极坐标对应的现实对象的目标二维坐标信息，并将目标二维坐标信息发送至云端服务器，进而云端服务器可以识别目标二维坐标信息中包括的现实对象的目标轮廓；进而将目标轮廓与标准轮廓模板进行匹配，以确定出与目标轮廓相匹配的目标标准轮廓模板，并将该目标标准轮廓模板对应的类别信息反馈给处理器，进而处理器将该目标标准轮廓模板对应的类别信息，作为该未能够匹配到目标第二极坐标的目标第一极坐标对应的现实对象的标识信息。
[0128]
举例来说，未能够匹配到目标第二极坐标的目标第一极坐标对应的现实对象的目标轮廓匹配到目标标准轮廓模板对应的类别信息为电动车，则可以将电动车作为该目标第一极坐标对应的现实对象的标识信息。
[0129]
实施上述方法，处理器还可以在未能够确定出目标场景中某一个现实对象的类别信息时，将该现实对象对应的目标二维坐标信息发送给云端服务器，以使得云端服务器确定该现实对象对应的类别信息，从而提高了该方法的灵活性。
[0130]
作为一种可选的实施方式，处理器还可以通过数据采集装置采集目标场景的热红外图像，进而可以根据热红外图像确定目标场景中各个现实对象的温度；进一步地，若第二序列中不存在与目标第一极坐标相匹配的目标第二极坐标，则确定根据热红外图像确定目标第一极坐标对应的现实对象对应的目标温度信息；若现实对象对应的目标温度信息大于或等于第一温度阈值(该温度阈值可以由开发人员根据大量的开发经验设定的，也以是用户根据使用需求设定的，在此不作限定)，则确定目标第一极坐标对应的现实对象为危险对象；若现实对象对应的目标温度信息小于或等于第二温度阈值，则确定目标第一极坐标对应的现实对象为安全对象，第二温度阈值小于第一温度阈值。
[0131]
实施上述方法，可以进一步根据热红外图像确定目标场景中的未知对象是否为危险对象，从而提高了针对现实场景中的各个对象的标定信息的标定质量。
[0132]
实施上述各实施例公开的方法，能够将三维坐标信息和二维坐标信息包括的坐标转换到极坐标系下，进而可以在极坐标系下将三维坐标信息和二维坐标信息进行融合，以更加准确地确定出现实场景中的各个现实对象的位置、类别等标定信息，从而提高了针对现实场景中的各个对象的标定信息的标定质量；以及，可以在未能够确定出目标场景中某一个现实对象的类别信息时，将该现实对象对应的目标二维坐标信息发送给云端服务器，以使得云端服务器确定该现实对象对应的类别信息，从而提高了该方法的灵活性。
[0133]
请参阅图6，图6是本技术实施例公开的一种图像处理装置的结构示意图。该装置可以应用于处理器，例如图像处理器，本技术实施例以处理器为例进行说明，不应对本技术实施例构成限定。可选的，该装置可以包括获取单元602、转换单元604和添加单元606，其中：
[0134]
获取单元602，用于获取目标场景的三维坐标信息，以及目标场景的二维坐标信息；
[0135]
转换单元604，用于将三维坐标信息包括的各个三维坐标转换为第一极坐标，及将二维坐标信息包括的各个第一二维坐标转换为第二极坐标，第一极坐标对应的参考坐标系和第二极坐标对应的参考坐标系相同；
[0136]
添加单元606，用于为目标第一极坐标对应的现实对象添加标识信息，标识信息包括目标第二极坐标对应的类别信息，类别信息用于描述目标第二极坐标对应的现实对象所属的类别，目标第二极坐标的极角与目标第一极坐标的极角相匹配，目标第一极坐标是第一极坐标中对应有现实对象的第一极坐标，所述目标第二极坐标是对应有类别信息的第二极坐标。
[0137]
实施上述装置，可以获取同一目标场景的三维坐标信息和二维坐标信息，进而可以将三维坐标信息包括的各个三维坐标转换为第一极坐标，并将二维坐标信息包括的第一二维坐标转换为第二极坐标；进一步地，可以为第一极坐标中对应有现实对象的目标第一极坐标对应的对象添加标识信息，该标识信息可以包括极角与目标第一极坐标相匹配的目标第二极坐标对应的类别信息，该类别信息用于描述目标第二极坐标对应的现实对象所属的类别。可见，实施本技术实施例，能够将三维坐标信息和二维坐标信息包括的坐标转换到极坐标系下，进而可以在极坐标系下将三维坐标信息和二维坐标信息进行融合，以避免在融合过程中丢失原始信息，进而后续可以更加准确地确定出现实场景中的各个现实对象的位置、类别等标定信息，提高了针对现实场景中的各个对象的标定信息的标定质量。
[0138]
作为一种可选的实施方式，三维坐标信息为三维点云信息，转换单元604，还用于将三维坐标信息包括的各个三维坐标投影至直角坐标系中，以得到各个三维坐标对应的第二二维坐标；以及，将各个第二二维坐标转换为对应的第一极坐标。
[0139]
实施上述装置，可以先将三维坐标信息包括的各个三维坐标转换第二二维坐标，进而方便将三维坐标信息包括的各个坐标转换到极坐标系中，以得到三维坐标信息包括的各个三维坐标对应的极坐标，从而提高了该方法的灵活性。
[0140]
作为一种可选的实施方式，二维坐标信息为二维图像信息转换单元604，还用于将二维坐标信息转换为鸟瞰图，以得到二维坐标信息包括的各个第一二维坐标在鸟瞰图中对应的第三二维坐标；以及，将各个第三二维坐标转换为对应的第二极坐标。
[0141]
实施上述装置，可以先将二维坐标信息转换为鸟瞰图，而由于在鸟瞰图中各个现实对象的极坐标及类别更容易确定，进而方便后续确定鸟瞰图中各个现实对象的极坐标和所属的类别。
[0142]
作为一种可选的实施方式，转换单元604，还用于根据二维坐标信息包括的各个第一二维坐标、尺度因子以及逆透视变换矩阵，确定各个第一二维坐标在鸟瞰图中对应的第三二维坐标，以得到二维坐标信息对应的鸟瞰图。
[0143]
实施上述装置，可以通过逆透视变换原理将二维坐标信息转换为鸟瞰图，该转换
方法实施难度较低，从而可以降低该方法的实施难度及降低实施成本。
[0144]
作为一种可选的实施方式，图6所示的装置还可以包括未图示的确定单元，其中：
[0145]
确定单元，用于在为目标第一极坐标对应的对象添加标识信息之前，确定鸟瞰图中存在的各个现实对象对应的类别信息，并确定各个现实对象对应的第二极坐标，类别信息用于描述第二极坐标对应的现实对象所属的类别。
[0146]
实施上述装置，可以通过鸟瞰图提前识别出现实场景中各个现实对象的类别信息，进而方便后续根据极坐标进行信息融合，从而提高了针对现实场景中的各个对象的标定信息的标定质量。
[0147]
作为一种可选的实施方式，添加单元606，还用于在与目标第一极坐标相匹配的目标第二极坐标存在对应的类别信息时，将类别信息作为目标第一极坐标对应的现实对象的标识信息；以及，在与目标第一极坐标相匹配的目标第二极坐标不存在类别信息，则确定目标第一极坐标对应的现实对象为未知对象。
[0148]
实施上述装置，可以对能够识别到类别信息的现实对象添加对应的类别信息，而对于未能够识别到类别信息的现实对象确定未未知对象，从而提高了针对现实场景中的各个对象的标定信息的标定质量。
[0149]
作为一种可选的实施方式，获取单元602，还用于通过三维激光雷达获取目标场景的三维点云信息，以及通过二维摄像装置获取目标场景的二维图像信息，三维激光雷达的信息采集端与二维摄像装置的信息采集端的朝向相同；
[0150]
或者，通过二维激光雷达获取目标场景的二维点云信息，以及通过三维摄像装置获取目标场景的三维图像信息，二维激光雷达的信息采集端与三维摄像装置的信息采集端的朝向相同。
[0151]
实施上述装置，可以使得激光雷达和摄像装置分别采集到同一目标场景的三维坐标信息和二维坐标信息，从而方便后续根据极坐标进行信息融合，从而提高了针对现实场景中的各个对象的标定信息的标定质量。
[0152]
请参阅图7，图7是本技术实施例公开的一种电子设备的结构示意图。如图7所示，该电子设备可以包括：
[0153]
存储有可执行程序代码的存储器701；
[0154]
与存储器701耦合的处理器702；
[0155]
其中，处理器702调用存储器701中存储的可执行程序代码，执行上述各实施例公开的图像处理方法。
[0156]
本技术实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行上述各实施例公开的图像处理方法。
[0157]
本技术实施例还公开一种应用发布平台，其中，应用发布平台用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。
[0158]
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本技术的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，
说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本技术所必须的。
[0159]
在本技术的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0160]
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0161]
另外，在本技术各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0162]
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本技术的各个实施例上述方法的部分或全部步骤。
[0163]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(read-only memory，rom)、随机存储器(random access memory，ram)、可编程只读存储器(programmable read-only memory，prom)、可擦除可编程只读存储器(erasable programmable read only memory，eprom)、一次可编程只读存储器(one-time programmable read-only memory，otprom)、电子抹除式可复写只读存储器(electrically-erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
[0164]
以上对本技术实施例公开的一种图像处理方法及装置、电子设备、计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。