图像处理方法和装置与流程

1.本技术涉及图像处理领域，具体可以应用于智能驾驶、自动驾驶或者无人驾驶等，并且更具体地，涉及一种图像处理方法和装置。


背景技术：

2.在进行图像分析时，图像质量的好坏直接影响识别算法的设计与效果的精度，因此在图像分析(特征提取、分割、匹配和识别等)前，需要进行预处理。图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性、最大限度地简化数据，从而改进特征提取、图像分割、匹配和识别的可靠性。
3.对摄像头采集的初始图像进行预处理操作时，依次进行平移、转置、镜像、旋转、仿射变换、逆透视变换(inverse perspective transformation，ipm)、镜头畸变校正(lens distortion correction，ldc)、分辨率调整等中的多种预处理操作。对初始图像进行预处理的过程中，产生大量的中间计算结果，占用内存或其他存储器的存储资源。


技术实现要素：

4.本技术提供一种图像处理方法和装置，能够降低图像预处理对资源的占用。
5.第一方面，提供一种图像处理方法，包括：获取至少一个初始图像；根据所述至少一个初始图像以及第一映射关系，得到预处理后的第一预处理图像，所述至少一个初始图像与所述第一预处理图像的像素位置之间存在第一映射关系，所述第一映射关系对应于多种预处理方式。
6.通过利用第一映射关系对初始图像进行预处理，使得预处理得到的第一预处理图像与初始图像的像素位置之间存在第一映射关系，避免了中间数据的产生和存储，减小了对存储资源的占用。
7.结合第一方面，在一些可能的实现方式中，所述根据所述至少一个初始图像以及第一映射关系，得到预处理后的第一预处理图像，包括：根据所述第一映射关系，对所述至少一个初始图像中位于至少一个兴趣区域roi中第一roi的第一区域图像进行预处理，以得到所述第一预处理图像。
8.通过对位于第一roi中的图像进行预处理，降低需要进行预处理的数据量，降低预处理所需的时间。
9.结合第一方面，在一些可能的实现方式中，所述至少一个roi的数量为多个，所述第一roi对应于所述第一映射关系，所述方法还包括：采用与第二roi对应的映射关系对所述至少一个初始图像中位于所述第二roi中的第二区域图像进行预处理，所述第二roi为所述至少一个roi中所述第一roi之外的roi。
10.如果后续图像处理对图像预处理提出了多种需求，即需要经过不同的预处理方式得到的初始图像的预处理结果，则roi的数量可以是多个，每个roi可以对应于一种对预处理方式的需求。采用与每个roi对应于映射关系进行预处理，提供了一种更加灵活的图像处
理方式。
11.应当理解，每个roi可以对应于一种映射关系。每个roi可以均利用初始图像与预处理图像中像素位置的映射关系进行预处理。当每个roi均需要进行多种预处理方式的预处理时，对位于每个roi的区域图像均采用映射的方式进行预处理，避免了对每种预处理方式产生的中间数据的存储，减少了对存储资源的占用。
12.每个roi可以仅包括一个连续的区域，也可以相互分离的多个连续区域。
13.结合第一方面，在一些可能的实现方式中，所述至少一个初始图像来自车载摄像装置，每个所述roi的位置是根据所述车辆的行驶状态获取的。
14.根据车辆的行使状态调整roi的位置，避免由于车辆行驶状态变化导致初始图像位于roi的区域图像的预处理结果不满足后续图像处理的需求。
15.结合第一方面，在一些可能的实现方式中，所述第一映射关系包括多个子映射关系，每个所述子映射关系对应于所述第一roi中的一个子区域，所述根据所述第一映射关系，对所述至少一个初始图像中位于至少一个兴趣区域roi中第一roi的第一区域图像进行预处理，包括：根据所述多个子映射关系，对所述至少一个初始图像中位于每个所述子区域的图像并行进行预处理。
16.第一映射关系包括多个子映射关系，利用子映射关系对该子映射关系对应的每个区域中的初始图像并行进行预处理。从而，在并行处理以减小图像预处理的时间的同时，避免了对初始图像的划分，使得对于初始图像的并行预处理更为简便。
17.结合第一方面，在一些可能的实现方式中，所述第一映射关系包括多个子映射关系，每个所述子映射关系对应于一个子区域，所述根据所述至少一个初始图像以及第一映射关系，得到预处理后的第一预处理图像，包括：根据所述多个子映射关系，对所述至少一个初始图像中位于每个所述子区域的图像并行进行预处理。
18.第一映射关系包括多个子映射关系，利用子映射关系对该子映射关系对应的每个区域中的初始图像并行进行预处理。从而，在并行处理以减小图像预处理的时间的同时，避免了对初始图像的划分，使得对于初始图像的并行预处理更为简便。
19.结合第一方面，在一些可能的实现方式中，所述多种预处理方式包括仿射变换、逆透视变换ipm、镜头畸变校正ldc、几何变换中的至少一种。应当理解，多种预处理方式还可以包括其他的方式。
20.结合第一方面，在一些可能的实现方式中，所述至少一个初始图像来自车载摄像装置，所述方法还包括：获取需求信息，所述需求信息用于指示所述多种预处理方式；根据所述需求信息，生成所述第一映射关系。
21.根据需求信息，生成第一映射关系。一方面，使得第一映射关系的确定更为灵活；另一方面，无需存储大量映射关系，仅在需要时生成所需的第一映射关系即可，减小了对存储资源的占用。
22.第二方面，提供一种图像处理的装置，包括获取模块和处理模块，所述获取模块用于获取至少一个初始图像；所述处理模块用于根据所述至少一个初始图像以及第一映射关系，得到预处理后的第一预处理图像，所述至少一个初始图像与所述第一预处理图像的像素位置之间存在第一映射关系，所述第一映射关系对应于多种预处理方式。
23.结合第二方面，在一些可能的实现方式中，所述处理模块具体用于，根据所述第一
vehicle，agv)、或无人运输车。
附图说明
39.图1是一种图像处理系统的示意性结构图。
40.图2是一种图像处理方法的示意性流程图。
41.图3是本技术实施例提供的一种图像处理方法的示意性流程图。
42.图4是本技术实施例提供的一种图像处理系统的示意性结构图。
43.图5是本技术实施例提供的一种图像处理方法的示意图。
44.图6是一种图像存储格式的示意图。
45.图7是本技术实施例提供的映射关系表。
46.图8是本技术实施例提供的一种图像处理装置的示意性结构图。
47.图9是本技术实施例提供的另一种图像处理装置的示意性结构图。
具体实施方式
48.下面将结合附图，对本技术中的技术方案进行描述。
49.智能驾驶技术依靠计算机视觉、雷达、监控装置和全球定位系统等协同合作，让机动车辆可以在不需要人类主动操作或者需要部分人类操作干预的情况下，实现自动驾驶或者辅助驾驶。智能驾驶的车辆使用各种计算系统来帮助将乘客或者货物从一个位置运输到另一位置。一些智能驾驶车辆可能要求来自操作者(诸如，领航员、驾驶员、或者乘客)的一些初始输入或者连续输入。智能驾驶车辆准许操作者从手动模操作式切换到自动驾驶模式或者介于两者之间的模式。由于自动驾驶技术无需人类来驾驶机动车辆，所以理论上能够有效避免人类的驾驶失误，减少交通事故的发生，且能够提高公路的运输效率。因此，自动驾驶等智能驾驶技术越来越受到重视。
50.手动模操作式与自动驾驶模式之间的模式可以称为辅助驾驶模式。辅助驾驶模式下，机动车辆的行使不完全依赖人类的主动操作。自动驾驶与辅助驾驶的实现依赖于智能驾驶技术的发展。
51.智能驾驶技术包括感知、决策、控制等阶段。在感知阶段，可以接收周围环境信息，并根据周围环境信息了解认知所处的环境。在决策阶段，可以利用感知阶段输出的信息，对交通参与者的行为进行预测，从而对自车进行行为决策。在控制阶段，可以根据决策阶段的输出计算车辆的横向加速度和纵向加速度，控制自车行驶。
52.周围环境信息可以包括车载摄像装置采集的图像。在感知阶段，可以通过对车载摄像装置采集的图像进行处理。
53.在对图像进行特征提取、分割、匹配和识别等图像分析时，初始图像质量的好坏直接影响分析算法的设计与分析结果的精度，因此在图像分析前，需要对图像进行预处理。图像预处理的主要目的是消除图像中的噪声等无关的信息，并增强有效信息的可检测性、最大限度地简化数据，从而改进特征提取、图像分割、匹配和识别的可靠性。
54.图1是一种图像处理系统的示意性结构图。
55.图像处理系统100包括预处理模块110和处理模块120。预处理模块110和处理模块120的功能可以通过至少一个处理器实现。
56.预处理模块110用于对初始图像进行预处理。
57.初始图像可以是至少一个摄像头采集的图像。如图1中所示的初始图像，可以是设置在车辆上的前视摄像头采集的。
58.预处理模块110可以对初始图像进行平移、转置、镜像、旋转、仿射变换、逆透视变换(inverse perspective transformation，ipm)、镜头畸变校正(lens distortion correction，ldc)、分辨率调整等中的一种或多种操作。
59.仿射变换用于对图像中每个点的坐标进行线性变换，还可以将线性变换后的坐标平移一定距离。通过仿射变换，图像可以绕任意中心旋转任意角度。
60.在自动驾驶、辅助驾驶等智能驾驶领域中，车道线的检测非常重要。在前视摄像头拍摄的图像中，由于透视效应的存在，本来平行的车道线等物体，在图像中有相交的趋势。而逆透视变换可以消除这种透视效应。通过ipm可以得到初始图像中的物体沿竖直向下方向的投影(即正投影)。
61.透镜由于制造精度以及组装工艺的偏差会引入畸变，导致原始图像的失真。镜头的畸变分为径向畸变和切向畸变两类。径向畸变就是沿着透镜半径方向分布的畸变，产生原因是光线在原理透镜中心的地方比靠近中心的地方更加弯曲。切向畸变是由于透镜本身与相机传感器平面(成像平面)或图像平面不平行而产生的，这种情况多是由于透镜被粘贴到镜头模组上的安装偏差导致。通过ldc可以减小甚至消除透镜引起的图像失真。
62.如图1中所示的预处理后的图像，是经过ldc得到的。
63.处理模块120可以对预处理后的图像进行进一步处理。
64.例如，在自动驾驶领域，预处理后的图像将发送到后端的处理模块120。处理模块120对预处理后的图像进行识别，确定预处理后的图像中的人、车辆、车道线、交通指示标识等。
65.一般情况下，不同类型目标的识别可以使用不同的神经网络模型。图1所示的处理结果以识别车辆为例进行说明。
66.当初始图像需要经过多种预处理方式的处理才能得到所需的预处理后的图像时，预处理模块110依次采用多种预处理方式对初始图像进行预处理，并需要在每种预处理方式的处理完成后，对该预处理方式得到的数据进行存储。
67.如图2所示是一种图像处理方法的示意性流程图。
68.很多车辆都设置有车载环视系统，即通过安装在车身四周的至少四个摄像头，通过一系列的图像预处理得到一张环视的逆透视映射(inverse perspective mapping，ipm)图(即鸟瞰图、俯视图)，在泊车等场景中对于司机提供辅助。
69.可以采用鱼眼摄像头进行初始图像的采集。鱼眼摄像头的方位视场角达到360
°
，俯仰视场角可以达到90
°
，可以实现大范围无死角的监控。
70.具体地，安装在车身上的四路鱼眼摄像头采集初始图像，预处理模块110可以对每个鱼眼摄像头采集的初始图像分别进行镜头畸变的校正、逆透视变换，之后对该多个初始图像的透视变换之后的结果进行图像拼接，从而得到环视图，环视图即为预处理图像。
71.对图像的镜头畸变校正、逆透视变换等多种预处理方式中的每种预处理方式，均可以通过矩阵运算或根据该预处理方式处理前后图像中像素之间的映射关系进行映射等方法实现。预处理模块110依次进行多种预处理方式，并在完成每种预处理方式后生成经过
该预处理方式对应的预处理结果。
72.以车辆靠道路右侧行驶为例，在车辆需要侧向停车时，可以根据车辆右侧的环境情况确定车辆的停车路线。可以对预处理后得到的环视图中右侧区域进行图像检测。
73.按照预处理的流程，对初始图像依次进行多种预处理方式的处理，由于处理器的性能受限，图像的预处理过程较慢。另外，除预处理的流程中最后的预处理方式，每经过一种预处理方式对应的处理，会产生一些中间计算结果，占用内存或其他存储器的存储资源。
74.为了解决上述问题，本技术实施例提供了一种图像预处理的方法，能够减少图像预处理对资源的占用。
75.图3是本技术实施例提供的一种图像处理方法的示意性流程图。
76.在s210，获取至少一个初始图像。
77.可以接收其他设备发送的至少一个初始图像。也可以在存储器中读取该至少一个初始图像。
78.每个初始图像可以是一个摄像装置采集得到的。每个摄像装置采集初始图像后，将初始图像传输并存储在存储器中。
79.需要说明的是，该至少一个初始图像中的一个或多个也可以是对摄像装置采集得到的图像进行初步的处理得到的。例如，可以对摄像装置采集得到的图像进行至少一种预处理方式的预处理，以得到至少一个初始图像。本技术不对初始图像的获取方式进行限定，以后续能够根据映射关系进行预处理为准。
80.在s220，根据所述至少一个初始图像以及第一映射关系，得到预处理后的第一预处理图像，所述至少一个初始图像与所述第一预处理图像的像素位置之间存在第一映射关系，所述第一映射关系对应于多种预处理方式。
81.第一映射关系对应的多种预处理方式可以包括仿射变换、ipm、ldc、几何变换等中的一种或多种。应当理解，多种预处理方式还可以包括其他的方式。几何变换包括平移、转置、镜像、旋转、分辨率调整等中的至少一个。
82.也就是说，利用第一映射关系，对初始图像进行处理，可以实现经过该多种预处理方式进行处理后得到的结果。
83.通过s210至s220，利用第一映射关系实现对至少一个初始图像的预处理，无需分别针对每种预处理方式进行运算，避免了对每种预处理方式产生的中间数据的存储，减少了对存储资源的占用。
84.可以获取需求信息，需求信息用于指示所述多种预处理方式。可以根据需求信息，生成第一映射关系。需求信息可以用于指示后续图像处理的对该多种预处理方式的需求。
85.当后续图像处理对预处理方式的需求变化时，用于进行后续图像处理的装置可以生成需求信息，并传输至用于执行s210至s220的图像处理装置。
86.根据需求信息，生成第一映射关系。一方面，使得第一映射关系的确定更为灵活；另一方面，无需存储大量映射关系，仅在需要时生成所需的第一映射关系即可，减小了对存储资源的占用。
87.其中，可以对每张初始图像的全部区域进行预处理，或者，也可以仅对部分区域进行预处理。
88.进一步，还可以根据所述第一映射关系，对所述至少一个初始图像中位于至少一
个兴趣区域(region of interest，roi)中第一roi的第一区域图像进行预处理，以得到所述第一预处理图像。
89.通过对位于第一roi中的图像进行预处理，降低需要进行预处理的数据量，降低预处理所需的时间。应当理解，第一roi为初始图像中的部分区域。
90.对于车载摄像装置采用的初始图像，人、车辆、车道线、交通指示标识等在初始图像中的位置区域存在差异。在车辆需要对不同类型的目标进行检测时，可以仅对初始图像中每类目标对应的roi中的图像进行预处理。
91.可选的，多个roi可以对应于相同的预处理方式。或者，多个roi可以与多个预处理方式具有一一对应关系。又或者，多个roi中可以存在至少两个roi对应不同的预处理方式。对于每个roi，可以采用与该roi对应的预处理方式对该roi中的区域图像进行预处理。
92.如果后续图像处理仅需要对初始图像的预处理结果中的部分区域进行处理，可以确定该部分区域对应的初始图像中的roi。仅对初始图像位于roi中的区域图像进行预处理，减小需要进行预处理的数据，节约处理资源，减小处理时间。
93.如果后续图像处理对图像预处理提出了多种需求，即需要经过不同的预处理方式得到的初始图像的预处理结果，则roi的数量可以是多个，每个roi可以对应于一种对预处理方式的需求。
94.可以根据多个roi与多个映射关系的对应关系，采用所述每个roi对应的映射关系对至少一个初始图像位于该roi中的区域图像进行预处理。第一roi对应于第一映射关系，则根据所述第一映射关系对第一roi的第一区域图像进行预处理。
95.也就是说，可以采用与任一个或多个第二roi、或者每个第二roi对应的映射关系对所述至少一个初始图像中位于所述第二roi中的第二区域图像进行预处理，所述第二roi为所述至少一个roi中所述第一roi之外的roi。
96.应当理解，对于每个第二roi，采用该第二roi对应的第二映射关系对至少一个初始图像位于该第二roi中的第二区域图像进行预处理，可以得到第二预处理图像。至少一个初始图像与该第二预处理图像的像素位置之间存在该第二映射关系。
97.应当理解，每个roi可以对应于一种映射关系。每个roi可以均利用初始图像与预处理图像中像素位置的映射关系进行预处理。当每个roi均需要进行多种预处理方式的预处理时，对位于每个roi的区域图像均采用映射的方式进行预处理，避免了对每种预处理方式产生的中间数据的存储，减少了对存储资源的占用。
98.应当理解，每个roi可以仅包括一个连续的区域，也可以相互分离的多个连续区域。当多个roi采用相同的预处理方式时，该多个roi之间可以不存在重叠，避免对同一区域的重复处理，提高图像处理效率。当该多个roi采用不同的预处理方式时，该多个roi之间可以存在或不存在重叠。
99.对于多个roi中的区域图像的预处理，可以采用串行或并行的方式进行。采用并行的方式对多个roi中的区域图像进行预处理，可以减少图像预处理所需的时间。
100.所述初始图像可以来自车载摄像装置。可以是车载摄像装置采集的。也就是说，步骤s210至s220可以用于对车载摄像装置采集的初始图像进行预处理。对s220得到的预处理图像进一步进行的处理，可以是用于实现自动驾驶/辅助驾驶的图像识别、预测等功能。
101.所述至少一个roi可以是根据车辆的行驶状态确定的，用于进行初始图像采集的
车载摄像装置设置于该车辆上。与车辆处于水平行驶的情况相比，车辆处于上坡、下坡或颠簸状态时，车载摄像头采集初始图像的角度发生变化，需要各个类型的目标进行检测的区域发生变化。
102.不同的车辆行驶状态可以对应于roi不同的位置。
103.根据车辆的行使状态调整roi的位置，避免由于车辆行驶状态变化导致初始图像位于roi的区域图像的预处理结果不满足后续图像处理的需求。
104.可以获取行驶状态信息，行驶状态信息用于指示车辆的行驶状态信息。可以根据行驶状态信息，确定第一roi的位置。例如，不同的行驶状态信息可以对应于第一roi的不同位置。
105.应当理解，第一映射关系可以用于对初始图像中每个像素进行映射。在对至少一个初始图像中位于第一roi的第一区域图像进行预处理时，仅对第一区域图像中的各个像素进行映射。
106.或者，第一映射关系可以仅用于对第一roi中的各个像素进行映射。在车辆行驶状态变化时，可以根据需求信息，生成新的第一映射关系。
107.对于至少一个初始图像，可以采用串行或并行的方式进行预处理。
108.采用串行的方式进行预处理，可以理解为依次对至少一个初始图像中的各个像素进行处理。对于至少一个初始图像中每个待处理像素，可以利用第一映射关系，依次确定该待处理像素在第一预处理图像中的位置，从而生成第一预设图像。该待处理像素可以是至少一个roi中的像素。
109.采用并行处理的方式进行预处理，可以理解为同时对至少一个初始图像中的多个像素进行处理。可以利用第一映射关系，同时对至少一个初始图像中多个待处理像素在第一预处理图像中的位置进行确定。
110.通过并行的方式对至少一个初始图像进行预处理，可以减小图像预处理的时间，提高处理速率。为了实现并行的预处理过程，可以对至少一个初始图像的划分。每个初始图像按照某种格式存储在存储器中。将至少一个初始图像划分为多个图像块，可以理解为，将各个图像块以该格式进行存储。也就是说，在对至少一个初始图像进行划分时，需要对该至少一个初始图像进行拷贝，处理过程较为复杂。
111.或者，第一映射关系可以包括多个子映射关系，每个子映射关系对应于一个子区域。也就是说，每个子映射关系用于一个子区域中像素位置的映射关系。
112.可以根据该多个子映射关系，并行对该多个子区域中的初始图像进行预处理。从而，在并行处理以减小图像预处理的时间的同时，避免了对至少一个初始图像的划分，使得对于初始图像的并行预处理更为简便。
113.应当理解，对于至少一个初始图像位于每个roi中的区域图像，也可以采用并行的方式进行预处理。例如，对于第一roi，第一映射关系可以包括多个子映射关系，每个子映射关系对应于第一roi中的一个子区域。从而，可以根据该多个子映射关系，并行对至少一个初始图像位于第一roi中的多个子区域中的图像进行预处理。
114.本技术实施例提供的图像处理方法可以应用在自动驾驶或辅助驾驶领域，具体地，可以参见图4至图6的说明。初始图像可以是车载摄像头采集的。
115.本技术实施例提供的图像处理方法也可以应用在安防监控、vr设备、投影设备等
需要经过多种预处理方式进行图像处理的场景。
116.在安防监控场景中，需要对多个用于采集监控图像的摄像头采集的初始图像进行预处理。安装在超市的摄像头，主要针对超市门口，收银台等位置进行集中监测。可以对所有安防摄像头采集的初始图像统一进行预处理。对于多个摄像头采集的初始图像中的多个roi区域并行进行用于实现ldc、ipm的预处理，再将该多个roi区域预处理后的图像进行拼接和显示，提供有关人员观看。
117.通过对多个摄像头采集的初始图像中的多个roi区域并行进行预处理，可以提高处理效率。与多个处理器分别对一个摄像头采集的初始图像进行预处理的方式相比，由一个处理器统一对多个roi区域进行预处理，可以避免不同处理器的处理能力不同导致的对预处理后的初始图像进行拼接后的图像中不同区域的图像对应的时刻不完全相同。
118.对于vr设备、投影设备，一般需要对获取的初始图像进行分辨率的调整、放射变化等多种预处理方式。采用s210至s220对初始图像进行预处理，可以避免对每种预处理方式产生的中间数据的存储，减少了对存储资源的占用。
119.图4是本技术实施例提供的一种图像处理系统的示意性结构图。
120.图像处理系统300可以应用于自动驾驶、辅助驾驶等领域。图像处理系统300可以位于车辆中。
121.图像处理系统300包括第一处理模块310和第二处理模块320。
122.第一处理模块310接收摄像头采集的初始图像。
123.用于采集初始图像的摄像装置可以是车载摄像头。图4以设置在车辆上的前视摄像头采集的初始图像为例进行说明。前视摄像头实时进行图像采集以得到带有畸变的初始图像。
124.可以根据车辆的行驶状态确定多个roi的位置。
125.第一处理模块310获取初始图像之后，可以确定初始图像中位于该多个roi中每个roi的区域图像。对于每个roi中的区域图像，用于采用与该roi对应的像素位置的映射关系进行预处理，从而可以确定该roi中每个像素在作为预处理结果的预处理图像中的位置。并且，该对于多个roi中的区域图像的预处理可以并行进行。
126.经过第一处理模块310对初始图像的处理，可以得到每个roi对应的预处理图像。
127.第一处理模块310的预处理，可以实现对图像的仿射变换、逆透视变换、ldc、分辨率调整等中的一种或多种功能。
128.如图4所示，经过第一处理模块310对前视摄像头采集的初始图像的预处理，可以得到三个预处理图像，分别为图像1至图像3。
129.人、车辆、车道线、交通指示标识等目标在初始图像中的位置区域存在差异。例如，对于前视摄像头采集的初始图像(例如图4中所示的初始图像)，交通指示标识一般位于初始图像的靠上方区域，车辆一般位于预处理后的图像的中间区域，车道线一般位于预处理后的图像的靠下方的区域。
130.图像1对应的roi，是初始图像中人、车辆这类目标一般出现的区域；图像2对应的roi，是初始图像中车道线这类目标一般出现的区域；图像3对应的roi，是初始图像中交通指示标识这类目标一般出现的区域。
131.第二处理模块320对于不同类型的目标进行处理时，所需的图像的精度不同。例如
对于人、车辆这类目标所在区域的图像，需要的分辨率较高，以实现更为准确的车辆行驶规划；而对于车道线这类目标所在区域的图像，利用较低分辨率的图像即可实现车道线检测。
132.每个roi可以对应于第二处理模块320对图像的不同需求。
133.图像1实现了ldc和提高分辨率，也就是说，利用图像1对应的映射关系可以用于实现的预处理方式为ldc和提高分辨率。利用图像2对应的映射关系可以用于实现的预处理方式为ldc和降低分辨率。利用图像3对应的映射关系可以用于实现的预处理方式为ldc。
134.第二处理模块320用于对预处理后的图像进行进一步处理。第二处理模块320可以使用神经网络或者传统的计算机视觉的方法，对预处理后的图像进行目标检测、目标分类、测距等功能。
135.第一处理模块310可以位于图像信号处理器(image signal processor，isp)中。isp可以是相机等图像采集设备中处理器。
136.第二处理模块320可以使用中央处理器(central processing unit，cpu)、数字信号处理器(digital signal process，dsp)、图形处理器(graphics l processing unit，gpu)等中的一个或多个处理器。
137.映射关系可以以映射关系表的形式保存在存储器中。第一处理模块310可以在对于初始图像进行处理时使用该映射关系表。或者，映射关系也可以是映射函数或其他任何可以表示像素位置的对应关系的形式。
138.每个roi对应的映射关系，可以是根据该roi的后续图像相处理需要的每种预处理方式的映射关系确定的，或者，也可以是根据每种预处理方式对应的矩阵运算的参数确定的。
139.当某个roi的后续图像相处理需要进行多种预处理方式的处理时，利用初始图像与预处理后的图像中像素位置的映射关系对于初始图像进行处理，生成预处理后的图像，无需生成中间结果，减少生成的数据量，节约存储资源和处理资源。
140.在采用矩阵运算或其他方式的运算依次实现每种运算方式的情况下，为了避免一种组合的预处理过程中对初始图像产生干扰，从而影响其他组合对应的预处理，可以对应于每种组合对初始图像进行拷贝，但初始图像的拷贝占用较多的资源。
141.采用映射的方式进行预处理时，无需对初始图像的进行拷贝，减小对存储资源的占用。
142.像素位置的映射关系中可以保存有初始图像的每个像素在预处理图像中的坐标。第一处理模块310使用该映射关系表，并采用双线性插值等差值算法，可以确定预处理图像，具体地，可以参见图5的说明。
143.应当理解，摄像头采集初始图像后可以将初始图像存储在第一处理模块310对应的内存或其他存储器中。第一处理模块310生成的预处理图像可以存储在第一处理模块310对应的内存、第二处理模块320对应的内存或其他存储器中。
144.图5是本技术实施例提供的一种图像处理方法的示意图。
145.图像预处理过程，预处理图像中的每一个像素，可以理解为都来自于预处理前的初始图像中的像素，即初始图像与预处理图像中像素位置之间具有对应关系。
146.以相机畸变校正为例，畸变校正后的图片上的每一个像素点，都是通过相机拍摄后的畸变图上的像素点通过相机内参，畸变模型计算得到，具体的关系可以表示为：
147.(x',y')＝f(x,y)
148.其中，(x,y)用于表示初始图像中一个像素的坐标，(x',y')可以理解为预处理图像中的像素坐标，函数f用于表示映射关系。也就是说，预处理图像中的像素(x',y')与初始图像中的像素(x,y)的颜色相同。当x、y为整数时，x’和/或y’可能不是整数。可以在确定初始图像中每一个像素在预处理图像中的像素坐标后，可以通过双线性插值等差值算法，确定预处理图像中每个整数坐标表示的像素对应的颜色。
149.初始图像与预处理图像中像素具有对应关系可以表示为从初始图像到预处理图像的映射关系表。isp、gpu、cpu、dsp等处理器资源可以利用映射关系f，生成预处理图像。映射关系f可以是映射关系表，也就是说，可以通过查表的方式，得到预处理图像。
150.一张初始图形包含大量的像素(如分辨率为1920
×
1080的图像，包含2073600个像素)，依次对初始图像中的每个像素查询映射关系表以生成预处理图像的方式，依然需要占用较长的处理时间。
151.如图5所示，可以对初始图形的多个区域并行处理。图5以提高图像分辨率(也可以理解为图像的放大)为例进行说明。
152.映射关系表可以包括4个子映射关系，每个子映射关系对应于对于图5所示的初始图像中的四个区域a1至a4中的一个区域。从而，在生成预处理图像时，可以通过并行利用每个子映射关系，对区域a1至a4并行进行映射，分别生成预处理图像中区域b1至b4的图像。
153.对于更复杂一些的图像预处理操作，同样可以采用在查找映射关系表时并行利用该映射关系表中的多个子映射关系进行映射的方式进行预处理。生成预处理图像的过程中，如果映射关系表指示的预处理图像中的像素坐标不是整数，可以采用图像插值的方法生成预处理图像。
154.图像在内存中的存储方式有多种格式，图6以yuv格式进行说明。图像中的每一个像素包括y，u，v三种类型的数据组成。其中，y表示明亮度(luminance或luma)，也就是灰阶值；“u”和“v”表示的则是色度(chrominance或chroma)，作用是描述影像色彩及饱和度，用于指示像素的颜色。
155.以yuv格式在存储器中存储的图像，在存储器中图像中各个像素的y数据按照像素的顺序依次排列。在图像中所有像素的y数据之后，每个像素的u数据及v数据相邻，在存储器中按照像素的顺序依次排列。也就是说，在存储器中图像的所有像素的y数据之后，图像的u数据及v数据交错排列。
156.如果采用将yuv格式的初始图像划分为图像块的方式，实现对初始图像的并行预处理，需要将每个图像块存储为yuv格式的数据，之后对每个图像块进行预处理。
157.当采用多个子映射关系并行的预处理方式时，根据yuv格式，可以并行确定初始图像位于每个子映射关系对应的区域的图像数据在存储器中的存储位置，从而实现并行的图像预处理。
158.如图7所示为用于实现图5所示的提高初始图像的整体分辨率的预处理的映射关系表。
159.采用串行的图像预处理方式，可以理解为按照初始图像中各个像素的顺序查询映射关系表，以确定初始像素中每个像素在预处理图像中的位置。之后，按照预处理图像中像素的顺序，采用差值的方式，计算各个像素的颜色。
160.采用并向的图像预处理方式，可以同时对初始图像位于每个子映射关系对应的区域中的图像像素进行映射关系表的查询。
161.对于图5所示的用于提高初始图像的整体分辨率的预处理，利用4个子映射关系，分别确定初始图像位于每个子映射关系对应的区域的图像中的像素坐标在预处理图像中对应的坐标。4个子映射关系分别对应于区域a1至a4。之后，利用每个区域的y数据以及u、v数据，对每个区域采用差值等方式计算每个像素坐标为整数的位置处的颜色，从而可以并行的生成预处理图像中区域b1至b4的图像。
162.通过将像素位置的映射关系华为多个子映射，可以实现对初始图像的合理区域划分，采用并行处理的预处理方式，可以节省图像预处理所需的时间，并降低图像预处理的复杂度，节约计算资源，提高图像预处理的效率。
163.采用本技术实施例提供的图像处理方法，可以对图2所述图像处理过程进行优化。
164.在车辆需要进行侧方停车时，可以确定四路鱼眼摄像头采集初始图像中的roi区域，roi区域对应于环视图中用于表示车辆右侧的环境情况的图像。对roi区域中的图像查找映射关系表，以生成预处理后的右侧环境图像。该映射关系表用于表示四路鱼眼摄像头采集初始图像中的各个像素与环视图中各个像素之间的对应关系。
165.一方面，仅对初始图像中的roi区域的图像进行预处理，减少了需要进行预处理的数据量，提高处理效率。另一方面，通过映射关系表得到预处理图像，而无需分别进行镜头畸变的校正、逆透视变换等多种操作，提高了处理效率，也避免了中间数据的产生和存储，减少对处理资源和存储资源的占用。
166.上文结合图1至图7的描述了本技术实施例的图像处理方法，下面结合图8至图9，描述本技术实施例的图像处理装置。应理解，图像处理装置的描述与图像处理方法的描述相互对应，因此，未详细描述的部分可以参见前面对图像处理方法的说明。
167.图8是本技术实施例提供的一种图像处理装置的示意性结构图。
168.图像处理装置200包括获取模块2010和处理模块2020。
169.获取模块2010用于，获取至少一个初始图像。
170.处理模块2020用于，根据所述至少一个初始图像以及第一映射关系，得到预处理后的第一预处理图像，所述至少一个初始图像与所述第一预处理图像的像素位置之间存在第一映射关系，所述第一映射关系对应于多种预处理方式。
171.可选地，处理模块2020具体用于，根据所述第一映射关系，对所述至少一个初始图像中位于至少一个兴趣区域roi中第一roi的第一区域图像进行预处理，以得到所述第一预处理图像。
172.可选地，所述至少一个roi的数量为多个，所述第一roi对应于所述第一映射关系。
173.处理模块2020还用于，采用与任一个或多个、或者每个第二roi对应的映射关系对所述至少一个初始图像中位于所述第二roi中的第二区域图像进行预处理，所述第二roi为所述至少一个roi中所述第一roi之外的roi。
174.可选地，所述至少一个初始图像来自车载摄像装置，每个所述roi的位置是根据所述车辆的行驶状态获取的。
175.可选地，所述第一映射关系包括多个子映射关系，每个所述子映射关系对应于所述第一roi中的一个子区域。
176.处理模块2020具体用于，根据所述多个子映射关系，对所述至少一个初始图像中位于每个所述子区域的图像并行进行预处理。
177.可选地，所述第一映射关系包括多个子映射关系，每个所述子映射关系对应于一个子区域。
178.处理模块2020具体用于，根据所述多个子映射关系，对所述至少一个初始图像中位于每个所述子区域的图像并行进行预处理。
179.可选地，所述多种预处理方式包括仿射变换、逆透视变换ipm、镜头畸变校正ldc、几何变换中的至少一种。
180.可选地，获取模块2010还用于，获取需求信息，所述需求信息用于指示所述多种预处理方式；
181.处理模块2020还用于，根据所述需求信息，生成所述第一映射关系。
182.图9是本技术实施例提供的一种图像处理装置的示意性结构图。
183.图像处理装置3000包括至少一个存储器3010和至少一个处理器3020，所述至少一个存储器3010用于存储程序，所述至少一个处理器3020用于运行所述程序，以实现前文所述的方法。
184.具体地，处理器3020用于，获取至少一个初始图像。
185.处理器3020还用于，根据所述至少一个初始图像以及第一映射关系，得到预处理后的第一预处理图像，所述至少一个初始图像与所述第一预处理图像的像素位置之间存在第一映射关系，所述第一映射关系对应于多种预处理方式。
186.可选地，处理器3020具体用于，根据所述第一映射关系，对所述至少一个初始图像中位于至少一个兴趣区域roi中第一roi的第一区域图像进行预处理，以得到所述第一预处理图像。
187.可选地，所述至少一个roi的数量为多个，所述第一roi对应于所述第一映射关系。
188.处理器3020还用于，采用与任一个或多个、或者每个第二roi对应的映射关系对所述至少一个初始图像中位于所述第二roi中的第二区域图像进行预处理，所述第二roi为所述至少一个roi中所述第一roi之外的roi。
189.可选地，所述至少一个初始图像来自车载摄像装置，每个所述roi的位置是根据车辆的行驶状态获取的，所述车载摄像装置设置在所述车辆上。
190.可选地，所述第一映射关系包括多个子映射关系，每个所述子映射关系对应于所述第一roi中的一个子区域。
191.处理器3020具体用于，根据所述多个子映射关系，对所述至少一个初始图像中位于每个所述子区域的图像并行进行预处理。
192.可选地，所述第一映射关系包括多个子映射关系，每个所述子映射关系对应于一个子区域。
193.处理器3020具体用于，根据所述多个子映射关系，对所述至少一个初始图像中位于每个所述子区域的图像并行进行预处理
194.可选地，所述多种预处理方式包括仿射变换、逆透视变换ipm、镜头畸变校正ldc、几何变换中的至少一种。
195.可选地，处理器3020还用于，获取需求信息，所述需求信息用于指示所述多种预处
理方式
196.处理器3020还用于，根据所述需求信息，生成所述第一映射关系。
197.应理解，本技术实施例中的处理器可以为中央处理单元(central processing unit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
198.还应理解，本技术实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random access memory，ram)可用，例如静态随机存取存储器(static ram，sram)、动态随机存取存储器(dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synchlink dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，dr ram)。
199.上述各个附图对应的流程的描述各有侧重，某个流程中没有详述的部分，可以参见其他流程的相关描述。
200.本技术实施例还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质具有程序指令，当所述程序指令被直接或者间接执行时，使得前文中的方法得以实现。
201.本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算设备上运行时，使得计算设备执行前文中的方法，或者使得所述计算设备实现前文中的装置的功能。
202.本技术实施例还提供一种芯片系统，其特征在于，所述芯片系统包括至少一个处理器，当程序指令在所述至少一个处理器中执行时，使得前文中的方法得以实现。
203.本技术实施例还提供一种终端，包括前文所述的图像处理装置。
204.进一步，该终端可以为智能运输设备(车辆或者无人机)、智能家居设备、智能制造设备或者机器人等。该智能运输设备例如可以是自动导引运输车(automated guided vehicle，agv)、或无人运输车。
205.上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过
有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质。半导体介质可以是固态硬盘。
206.应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况，其中a、b可以是单数或者复数。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，但也可能表示的是一种“和/或”的关系，具体可参考前后文进行理解。
207.本技术中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a、b或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c或a-b-c，其中a、b、c可以是单个，也可以是多个。
208.应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
209.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
210.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
211.在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
212.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
213.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
214.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。
而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
215.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。