一种图像处理方法、装置、电子设备和存储介质与流程

1.本发明涉及计算机视觉技术领域，具体涉及一种图像处理方法、装置、电子设备和存储介质。


背景技术：

2.对自动驾驶系统来说，一个准确而鲁棒的标定系统非常关键，它决定了各个传感器输出的测量值的基准坐标系，在车辆运动过程中保证准确性和一致性。而路面不平整和自车的加减速，会造成自车相对地面姿态的变化。
3.通常会通过软件或硬件两个层面解决这个问题。硬件层面通常使用高精惯导定位传感器提供准确的位姿信息，这种方法通常比较昂贵。软件层面，通常使用特征点匹配的方法计算位姿变化，这种方式比较耗时。


技术实现要素：

4.为解决现有存在的技术问题，本发明实施例提供一种图像处理方法、装置、电子设备和存储介质。
5.为达到上述目的，本发明实施例的技术方案是这样实现的：
6.本发明实施例提供了一种图像处理方法，所述方法包括：
7.通过设置在行驶设备上的图像采集组件获得多帧道路图像；
8.利用相位相关法确定所述行驶设备在所述多帧道路图像中的两帧道路图像之间的姿态变化信息；
9.基于所述姿态变化信息和所述行驶设备的参考姿态信息确定所述行驶设备的姿态信息。
10.上述方案中，所述利用相位相关法确定所述行驶设备在所述多帧道路图像中的两帧道路图像之间姿态变化信息，包括：基于所述两帧道路图像中的感兴趣区域确定所述两帧道路图像之间的相位偏移信息；
11.基于所述相位偏移信息确定所述行驶设备在所述两帧道路图像之间的姿态变化信息。
12.上述方案中，每帧道路图像中的感兴趣区域采用以下方法确定：
13.确定每帧道路图像中的一个或多个感兴趣区域，所述一个或多个感兴趣区域中的至少一个感兴趣区域与地平线重叠和/或包括消失点。
14.上述方案中，所述感兴趣区域中不存在移动对象；或者，
15.移动对象占据所述感兴趣区域的比例小于或等于第一阈值。
16.上述方案中，在每帧道路图像中包括多个感兴趣区域的情况下，所述多个感兴趣区域至少包括第一感兴趣区域和第二感兴趣区域；
17.其中，所述第一感兴趣区域包括消失点。
18.上述方案中，所述第二感兴趣区域的尺寸小于所述第一感兴趣区域的尺寸。
19.上述方案中，所述第二感兴趣区域在所述第一感兴趣区域中，或者所述第二感兴趣区域在所述第一感兴趣区域外，或者所述第二感兴趣区域与所述第一感兴趣区域部分重叠。
20.上述方案中，所述基于所述两帧道路图像中的感兴趣区域确定所述两帧道路图像之间的相位偏移信息，包括：基于所述两帧道路图像中的每帧道路图像中的感兴趣区域确定所述两帧道路图像之间的相位偏移信息。
21.上述方案中，所述第一感兴趣区域中包括移动对象，所述基于所述两帧道路图像中的感兴趣区域确定所述两帧道路图像之间的相位偏移信息，包括：
22.基于所述两帧道路图像中的第二感兴趣区域确定所述两帧道路图像之间的相位偏移信息。
23.上述方案中，所述两帧道路图像中的每帧道路图像中的感兴趣区域包括移动对象，所述基于所述两帧道路图像中的感兴趣区域确定所述两帧道路图像之间的相位偏移信息，包括：基于所述两帧道路图像中的感兴趣区域确定所述两帧道路图像之间的第一相位偏移信息；
24.检测所述移动对象所在区域分别在所述两帧道路图像中的感兴趣区域中的比例，基于所述比例和所述第一相位偏移信息确定所述两帧道路图像之间的相位偏移信息。
25.上述方案中，每帧道路图像中包括多个感兴趣区域，所述基于所述两帧道路图像中的感兴趣区域确定所述两帧道路图像之间的相位偏移信息，包括：
26.基于所述两帧道路图像中的对应的每组感兴趣区域确定所述两帧道路图像之间的第二相位偏移信息，每组感兴趣区域中的各感兴趣区域分别在各自的道路图像中的位置是对应的；
27.从多个第二相位偏移信息中选择一个第二相位偏移信息作为所述两帧道路图像之间的相位偏移信息；或者，确定多个第二相位偏移信息中的中值相位变化信息，将所述中值相位变化信息确定为所述两帧道路图像之间的相位偏移信息；或者确定多个第二相位偏移信息的平均值，将所述平均值确定为所述两帧道路图像之间的相位偏移信息。
28.上述方案中，所述至少一个感兴趣区域关于地平线对称。
29.上述方案中，所述至少一个感兴趣区域的每条边的像素点为2的n次方；n为正整数。
30.上述方案中，所述基于所述至少两帧道路图像的两帧道路图像中的感兴趣区域确定所述两帧道路图像之间的相位偏移信息，包括：
31.分别提取所述两帧道路图像中感兴趣区域对应的子图像，获得第一子图像和第二子图像；
32.分别对所述第一子图像和所述第二子图像进行灰度处理，得到所述第一子图像对应的第一灰度图像和所述第二子图像对应的第二灰度图像；
33.分别对所述第一灰度图像和所述第二灰度图像进行傅里叶变换处理，对处理后的所述第一灰度图像和所述第二灰度图像中的对应的各像素点进行归一化交叉处理，得到处理后的图像；
34.对处理后的图像进行逆傅里叶变换处理，基于处理后的图像中各像素点的值确定峰值位置，基于所述峰值位置确定所述两帧道路图像之间的相位偏移信息。
35.上述方案中，所述方法还包括：基于所述姿态变化信息或所述行驶设备的姿态信息更新所述图像采集组件的标定信息。
36.本发明实施例还提供了一种图像处理装置，所述装置包括：获取单元、姿态偏移感应单元和姿态确定单元；其中，
37.所述获取单元，用于通过设置在行驶设备上的图像采集组件获得多帧道路图像；
38.所述姿态偏移感应单元，用于利用相位相关法确定所述行驶设备在所述多帧道路图像中的两帧道路图像之间姿态变化信息；
39.所述姿态确定单元，用于基于所述姿态变化信息和所述行驶设备的参考姿态信息确定所述行驶设备的姿态信息。
40.本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所述方法的步骤。
41.本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明实施例所述方法的步骤。
42.本发明实施例提供的图像处理方法、装置、电子设备和存储介质，所述方法包括：通过设置在行驶设备上的图像采集组件获得多帧道路图像；利用相位相关法确定所述行驶设备在所述多帧道路图像中的两帧道路图像之间的姿态变化信息；基于所述姿态变化信息和所述行驶设备的参考姿态信息确定所述行驶设备的姿态信息。采用本发明实施例的技术方案，通过相位相关法确定道路图像之间的姿态变化信息；相比于采用高精惯导定位传感器的方式，本实施例在能够获准确的位姿信息的情况下，降低成本；相比于采用特征点匹配的方式计算位姿信息的方式，本实施例能够减少计算量，且适用于单目视觉传感器。
附图说明
43.图1为本发明实施例的图像处理方法的流程示意图一；
44.图2为本发明实施例的图像处理方法中相位偏移信息的处理流程示意图；
45.图3为本发明实施例的图像处理方法中相位偏移信息的示意图；
46.图4为本发明实施例的图像处理装置的组成结构示意图一；
47.图5为本发明实施例的图像处理装置的组成结构示意图二；
48.图6为本发明实施例的电子设备的硬件组成结构示意图。
具体实施方式
49.下面结合附图及具体实施例对本发明作进一步详细的说明。
50.在本公开实施例中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的方法或者装置不仅包括所明确记载的要素，而且还包括没有明确列出的其他要素，或者是还包括为实施方法或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括该要素的方法或者装置中还存在另外的相关要素(例如方法中的步骤或者装置中的单元，例如的单元可以是部分电路、部分处理器、部分程序或软件等等)。
51.例如，本公开实施例提供的图像处理方法包含了一系列的步骤，但是本公开实施
例提供的图像处理方法不限于所记载的步骤，同样地，本公开实施例提供的图像处理装置包括了一系列模块，但是本公开实施例提供的装置不限于包括所明确记载的模块，还可以包括为获取相关信息、或基于信息进行处理时所需要设置的模块。
52.本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
53.本发明实施例提供了一种图像处理方法。图1为本发明实施例的图像处理方法的流程示意图一；如图1所示，所述方法包括：
54.步骤101：通过设置在行驶设备上的图像采集组件获得多帧道路图像；
55.步骤102：利用相位相关法确定所述行驶设备在所述多帧道路图像中的两帧道路图像之间的姿态变化信息；
56.步骤103：基于所述姿态变化信息和所述行驶设备的参考姿态信息确定所述行驶设备的姿态信息。
57.本实施例中，行驶设备可以是自动驾驶车辆、装载有高级辅助驾驶系统的车辆，机器人等。本实施例的图像处理方法应用于电子设备中，所述电子设备可以是车载设备，也可以是云平台或其他计算机设备。示例性的，车载设备可以是安装在车辆上的瘦客户机、厚客户机、基于微处理器的系统、小型计算机系统，等等，云平台可以是包括小型计算机系统或大型计算机系统的分布式云计算技术环境等等。
58.本实施例中，车载设备可以与车辆的传感器、定位装置等通信连接，车载设备可以通过通信连接获取车辆的传感器采集的数据、以及定位装置上报的地理位置信息等。示例性的，车辆的传感器可以是毫米波雷达、激光雷达、摄像头等设备中的至少一种；定位装置可以是基于以下至少一种定位系统的用于提供定位服务的装置：全球定位系统(gps，global positioning system)、北斗卫星导航系统或伽利略卫星导航系统。
59.在一个示例中，车载设备可以为高级辅助驾驶系统(adas，advanced driving assistant system)，adas设置在车辆上，adas可以从车辆的定位装置中获取车辆的实时位置信息，和/或，adas可以从车辆的传感器中获得表示车辆周围环境信息的图像数据、雷达数据等等。其中，可选地，adas可以将包括车辆的实时位置信息的车辆行驶数据发送至云平台，如此，云平台可以接收到车辆的实时位置信息和/或表示车辆周围环境信息的图像数据、雷达数据等等。
60.本实施例中，通过设置在行驶设备上的图像采集组件(即上述传感器，如摄像头)获得道路图像，图像采集组件伴随行驶设备的移动而实时采集车辆周围的道路图像或环境图像。
61.采用本发明实施例的技术方案，通过相位相关法确定道路图像之间的姿态变化信息；相比于采用高精惯导定位传感器的方式，本实施例在能够获准确的位姿信息的情况下，降低成本；相比于采用特征点匹配的方式计算位姿信息的方式，本实施例能够减少计算量，且适用于单目视觉传感器。
62.在本发明的一些可选实施例中，所述利用相位相关法确定所述行驶设备在所述多帧道路图像中的两帧道路图像之间的姿态变化信息，包括：基于所述两帧道路图像中的感
兴趣区域确定所述两帧道路图像之间的相位偏移信息；基于所述相位偏移信息确定所述行驶设备在所述两帧道路图像之间的姿态变化信息。
63.在图像处理领域，感兴趣区域(roi，region of interest)是从图像(即本实施例中的道路图像)中选择的一个区域，这个区域是图像分析或处理关注的重点。示例性的，可通过方形、圆、椭圆、不规则多边形等方式确定感兴趣区域。本实施例中以方形为例，确定道路图像中的感兴趣区域。
64.本实施例中，通过设置道路图像中的感兴趣区域(roi)，从而基于各道路图像中的感兴趣区域、通过相位相关法确定道路图像之间的相位偏移信息，进而根据相位偏移信息确定行驶设备在两帧道路图像之间的姿态变化信息，相比于采用特征点匹配的方式计算位姿信息的方式，本实施例能够大大减少计算量。
65.在一些可选实施例中，每帧道路图像中的感兴趣区域采用以下方法确定：确定每帧道路图像中的一个或多个感兴趣区域，所述一个或多个感兴趣区域中的至少一个感兴趣区域与地平线重叠和/或包括消失点。
66.本实施例中，在每帧道路图像中设置一个或多个感兴趣区域。其中，至少一个感兴趣区域与地平线重叠和/或包括消失点。示例性的，在道路图像中包括一个感兴趣区域的情况下，所述感兴趣区域与地平线重叠和/或包括消失点。在道路图像中包括多个感兴趣区域的情况下，每个感兴趣区域可均与地平线重叠和/或包括消失点。
67.可选地，多个感兴趣区域中的每个感兴趣区域也可以与其他至少一个感兴趣区域重叠。
68.其中，设置的感兴趣区域的尺寸以及长宽比可依据实际需要进行设置，本实施例中对此不做限定。
69.通常情况下，所述道路图像是由设置在行驶设备上的图像采集组件获得的，而行驶设备一般是在道路上行驶的，也即道路图像通常会包括道路上的车道线，而消失点表示实际道路中的平行线，如车道线或者道路边缘在道路图像中的视觉相交点。而本实施例中的感兴趣区域中包括所述消失点。
70.在一些可选实施例中，所述至少一个感兴趣区域关于地平线对称。
71.在一些可选实施例中，所述至少一个感兴趣区域的每条边的像素点为2的n次方；n为正整数。
72.为了便于图像处理，本实施例中，所述至少一个感兴趣区域的尺寸可采用图像处理容易处理的尺寸，例如在图像处理过程中包括快速傅里叶变换(fft，fast fourier transform)的情况下，所述至少一个感兴趣区域的每条边的像素点为2的n次方；n为正整数。
73.在一些可选实施例中，所述感兴趣区域中不存在移动对象；或者，移动对象占据所述感兴趣区域的比例小于或等于第一阈值。
74.本实施例中，选取的感兴趣区域中不包括移动对象，或者包括的移动对象占据感兴趣区域的比例较小，例如移动对象占据感兴趣区域的比例小于或等于第一阈值，这样使得计算出的两帧道路图像之间的相位偏移信息不受移动对象的影响或者受移动对象的影响较小，获得的相位偏移信息以及行驶设备的姿态偏移信息更为准确。其中，所述第一阈值的具体取值可根据实际情况设置，本实施例中对此不做限定。示例性的，移动对象具体可以
是道路图像中的其他行驶设备(如其他车辆)。
75.在一些可选实施例中，在每帧道路图像中包括多个感兴趣区域的情况下，所述多个感兴趣区域至少包括第一感兴趣区域和第二感兴趣区域；其中，所述第一感兴趣区域包括消失点。
76.在其他实施例中，所述第一感兴趣区域也可称为主感兴趣区域(main roi)，所述第二感兴趣区域也可称为辅感兴趣区域(auxiliary roi)。在不同的场景下，电子设备可依据两帧道路图像中的第一感兴趣区域和/或第二感兴趣区域，确定所述两帧道路图像之间的相位偏移信息。
77.可选地，所述第二感兴趣区域的尺寸小于所述第一感兴趣区域的尺寸。
78.可选地，所述第二感兴趣区域在所述第一感兴趣区域中，或者所述第二感兴趣区域在所述第一感兴趣区域外，或者所述第二感兴趣区域与所述第一感兴趣区域部分重叠。
79.在本发明的一些可选实施例中，所述基于所述两帧道路图像中的感兴趣区域确定所述两帧道路图像之间的相位偏移信息，包括：基于所述两帧道路图像中的每帧道路图像中的感兴趣区域确定所述两帧道路图像之间的相位偏移信息。
80.本实施例中，在所述感兴趣区域中不存在移动对象的情况下，或者，移动对象占据所述感兴趣区域的比例小于或等于第一阈值的情况下，也即两帧道路图像之间的相位偏移信息不受移动对象的影响或者受移动对象的影响较小的情况下，可以依据每帧道路图像中的感兴趣区域计算所述两帧道路图像之间的相位偏移信息。
81.在本发明的一些可选实施例中，所述第一感兴趣区域中存在移动对象，所述基于所述两帧道路图像中的感兴趣区域确定所述两帧道路图像之间的相位偏移信息，包括：基于所述两帧道路图像中的第二感兴趣区域确定所述两帧道路图像之间的相位偏移信息。
82.本实施例中，在第一感兴趣区域(如主感兴趣区域)中存在移动对象的情况下，由于第二感兴趣区域与第一感兴趣区域的部署位置的不同，第二感兴趣区域很可能不存在移动对象，依据两帧道路图像中的第二感兴趣区域(如辅感兴趣区域)确定所述两帧道路图像之间的相位偏移信息。在其他实施例中，在第一感兴趣区域(如主感兴趣区域)中不存在移动对象的情况下，可以仅依据第一感兴趣区域(如主感兴趣区域)确定所述两帧道路图像之间的相位偏移信息，或者也可依据第一感兴趣区域和第二感兴趣区域确定所述两帧道路图像之间的相位偏移信息。
83.在一些可选实施例中，在第一道路图像中的所述感兴趣区域包括移动对象的情况下，或者在第一道路图像中的所述感兴趣区域中、移动对象占据所述感兴趣区域的比例大于等于第二阈值的情况下，不采用所述第一道路图像确定所述第一道路图像与其他道路图像之间的相位偏移信息，即不采用所述第一道路图像确定所述第一道路图像与其他道路图像之间的相位偏移信息，也即所述第一道路图像不用于计算相位偏移信息，从而排除道路图像的感兴趣区域中的移动对象对计算得到的相位偏移信息的影响。
84.在一些可选实施例中，所述两帧道路图像中的每帧道路图像中的感兴趣区域存在移动对象，所述基于所述两帧道路图像中的感兴趣区域确定所述两帧道路图像之间的相位偏移信息，包括：基于所述两帧道路图像中的感兴趣区域确定所述两帧道路图像之间的第一相位偏移信息；检测所述移动对象所在区域分别在所述两帧道路图像中的感兴趣区域中的比例，基于所述比例和所述第一相位偏移信息确定所述两帧道路图像之间的相位偏移信
息。
85.本实施例中，在用于确定相位偏移信息的两帧道路图像中的感兴趣区域均存在移动对象的情况下，对计算出的两帧道路图像之间的相位偏移信息(这里记为第一相位偏移信息)进行校正，从而校正移动对象对计算得到的相位偏移信息的影响。示例性的，电子设备在基于两帧道路图像中的感兴趣区域计算出第一相位偏移信息后，检测感兴趣区域中的移动对象在感兴趣区域中的比例；例如可检测出移动对象的检测框，确定移动对象与感兴趣区域的重叠区域(移动对象可能较大，很可能出现移动对象并非全部在感兴趣区域中的情况)，进而确定该重叠区域与感兴趣区域的尺寸(或面积)的比例，基于所述比例和所述第一相位偏移信息确定所述两帧道路图像之间的相位偏移信息。
86.可选地，可将该比例与所述第一相位偏移信息相乘，得到所述两帧道路图像之间的相位偏移信息。
87.在一些可选实施例中，每帧道路图像中包括多个感兴趣区域，所述基于所述两帧道路图像中的感兴趣区域确定所述两帧道路图像之间的相位偏移信息，包括：基于所述两帧道路图像中的对应的每组感兴趣区域确定所述两帧道路图像之间的第二相位偏移信息，每组感兴趣区域中的各感兴趣区域分别在各自的道路图像中的位置是对应的；从多个第二相位偏移信息中选择一个第二相位偏移信息作为所述两帧道路图像之间的相位偏移信息；或者，确定多个第二相位偏移信息中的中值相位变化信息，将所述中值相位变化信息确定为所述两帧道路图像之间的相位偏移信息；或者确定多个第二相位偏移信息的平均值，将所述平均值确定为所述两帧道路图像之间的相位偏移信息。
88.本实施例中，在道路图像中包括多个感兴趣区域的情况下，例如道路图像1中包括三个感兴趣区域，道路图像2中包括对应的三个感兴趣区域。则道路图像1中每个感兴趣区域与道路图像2中对应的感兴趣区域均可形成一组感兴趣区域，每组感兴趣区域中的各感兴趣区域分别在各自的道路图像中的位置是对应的。而针对每组感兴趣区域，均可计算得到一个两帧道路图像之间的第二相位偏移信息。作为一种实施方式，可从多个第二相位偏移信息中选择一个第二相位偏移信息作为两帧道路图像之间的相位偏移信息，用于后续计算行驶设备的姿态信息。作为第二种实施方式，可确定多个第二相位偏移信息中的中值相位偏移信息，将所述中值相位变化信息确定为所述两帧道路图像之间的相位偏移信息；所述中值相位偏移信息，具体是将多个第二相位偏移信息按照由大到小或者由小到大进行排序，位于中间的第二相位偏移信息即为中值相位偏移信息。作为第三种实施方式，可对多个第二相位偏移信息进行加和后求平均值，将计算得到的平均值作为两帧道路图像之间的相位偏移信息。
89.在上述第三种实施方式中，在对多个第二相位偏移信息加和求平均值处理之前，所述方法还可以包括：从所述多个第二相位偏移信息中去除异常的第二相位偏移信息，对去除异常值后的第二相位偏移信息进行加和求平均值处理，得到两帧道路图像之间的相位偏移信息。其中，一般情况下，基于各感兴趣区域计算得到的第二相位偏移信息应该是相似的，也即各第二相位偏移信息之间的差值不会超过某阈值；则所述异常值可以是与任意第二相位偏移信息的差值超过该阈值的第二相位偏移信息，也即差异较大的第二相位偏移信息可作为该异常值，需要去除。
90.在本发明的一些可选实施例中，所述基于所述至少两帧道路图像的两帧道路图像
中的感兴趣区域确定所述两帧道路图像之间的相位偏移信息，包括：分别提取所述两帧道路图像中感兴趣区域对应的子图像，获得第一子图像和第二子图像；分别对所述第一子图像和所述第二子图像进行灰度处理，得到所述第一子图像对应的第一灰度图像和所述第二子图像对应的第二灰度图像；分别对所述第一灰度图像和所述第二灰度图像进行傅里叶变换处理，对处理后的所述第一灰度图像和所述第二灰度图像中的对应的各像素点进行归一化交叉处理，得到处理后的图像；对处理后的图像进行逆傅里叶变换处理，基于处理后的图像中各像素点的值确定峰值位置，基于所述峰值位置确定所述两帧道路图像之间的相位偏移信息。
91.其中，所述归一化交叉处理是指对傅里叶变换处理后的第一灰度图像和第二灰度图像中的各像素进行归一化处理，对归一化处理后的两个图像中的各像素计算交叉功率谱的过程。进而对处理后的图像进行逆傅里叶变换处理，这个过程也可称为归一化互相关过程。
92.示例性的，参照图2和图3所示，以两帧道路图像为例，假设每帧道路图像中均有一个感兴趣区域，如图像1中的矩形框区域为图像1的感兴趣区域，图像2的矩形区域为图像2的感兴趣区域，两个感兴趣区域分别在图像1和图像2中的位置和尺寸均相同，因此可以认为两帧道路图像中的感兴趣区域的位置和大小是对应的。
93.分别提取出图像1和图像2中的感兴趣区域(两个感兴趣区域可记为roi1和roi2)，分别将roi1和roi2转换为灰度图，得到灰度图1和灰度图2；可选地，可以分别在灰度图1和灰度图2应用窗口功能(例如汉宁窗(hanning window))，以减少边缘效果。分别对灰度图1和灰度图2处理后的结果进行傅里叶变换处理，例如是2d fft，或者离散傅里叶变换(dft，discrete fourier transform)，本示例中以fft(2d fft)为例进行说明。通过选取第二个结果(例如灰度图2对应的处理结果)进行复共轭(complex conjugate)，对处理后的灰度图1和灰度图2中的对应的各像素点进行归一化交叉(normalized cross)处理，具体是将傅里叶变换后的两个图像进行逐元素归一化处理，计算交叉功率谱。进一步地，对处理后的图像再通过进行逆傅里叶变换处理得到互相关图。其中，逆傅里叶变换处理例如可以是2d快速傅里叶逆变换(ifft，inverse fast fourier transform)，或者离散傅里叶逆变换(idft，inverse discrete fourier transform)，本示例中以ifft(2d ifft)为例进行说明。可选地，对互相关图进行fft移位(fft shift)以及图像顺序计数(poc，picture order count)反映(poc image)，通过搜索处理后的图像中各像素点的取值，找到最大值(也即峰值，如图3中的最后一张图的白色圆点)，这个过程可称为峰值位置搜索(peak position search)，确定峰值位置，该峰值位置的像素坐标表示两个图像之间的移动量(也可以称为两个图像中对应的消失点的偏移量)，也即表示两帧道路图像之间的相位偏移信息(或相位偏移量)。
94.可选地，通过从峰值位置附近的像素获取重心(或质心)，确定峰值位置质心(peak position centroid)，来执行子中心估计，这个过程可称为“子像素估计(或次像素估计)”或者“子中心估计(subcenter estimation)”，确定子像素相关位置(sub-pixel correlation position)。
95.可选地，感兴趣区域的尺寸可以是便于傅里叶变换处理的尺寸，例如感兴趣区域每侧的像素数量为2的n次方。示例性的，所述感兴趣区域的尺寸可以是1024*1024。可选地，也可通过对感兴趣区域进行尺寸缩小处理，例如缩小为256*256，以减少数据处理量。若对
感兴趣区域进行了尺寸缩小处理，则在得到峰值位置坐标后，也即得到两帧道路图像之间的相位偏移信息后，再基于缩小比例对相位偏移信息进行处理，以获得与图像1和图像2相同尺寸的相位偏移信息。
96.本实施例中，在确定两帧道路图像之间的相位偏移信息后，由于这种偏移是由行驶设备加速或减速行驶、或者由于路面不平整导致行驶设备与地面之间的姿态变化导致的，这种姿态变化表示行驶设备与地面之间的相对姿态变化，具体是俯仰姿态的变化；而上述相位偏移信息表示的是两个图像中对应的消失点的偏移量，这个偏移量一部分是由于行驶设备在水平方向的行驶造成的，另一部分则是由形式设备的俯仰姿态的变化造成的。则进一步地，电子设备需要根据上述相位偏移信息确定行驶设备的姿态变化信息。
97.示例性的，电子设备可根据转换关系对上述相位偏移信息进行转换，得到行驶设备的姿态变化信息。所述姿态变化信息具体是指行驶设备在竖直方向上的姿态变化信息(也可称为俯仰姿态变化信息)。
98.本实施例中，电子设备可预先确定参考姿态信息，所述参考姿态信息基于多帧历史道路图像确定。示例性的，上述多帧历史道路图像可以是行驶设备在平整路面上、采用匀速或近似匀速的方式行驶时采集到的道路图像，并基于上述多帧历史道路图像确定行驶设备的姿态信息，以该姿态信息作为参考姿态信息，或者也可称为行驶设备的基准姿态信息；后续通过本发明上述技术方案得到的姿态变化信息均以该参考姿态信息作为基准，通过将姿态变化信息(该信息可以是矢量)与参考姿态信息进行加和，得到行驶设备的姿态信息。
99.在本发明的一些可选实施例中，所述方法还包括：基于所述姿态变化信息或所述行驶设备的姿态信息更新所述图像采集组件的标定信息。
100.本实施例中，电子设备可基于所述姿态变化信息或所述行驶设备的姿态信息更新所述图像采集组件的标定信息，所述标定信息例如可以是单应性矩阵。更新后的标定信息用于鸟瞰图变换，包括车道线和/或目标对象等图像信息到鸟瞰信息的鸟瞰图变换。
101.基于上述实施例，本发明实施例还提供了一种图像处理装置。图4为本发明实施例的图像处理装置的组成结构示意图一；如图4所示，所述装置包括：获取单元21、姿态偏移感应单元22和姿态确定单元23；其中，
102.所述获取单元21，用于通过设置在行驶设备上的图像采集组件获得多帧道路图像；
103.所述姿态偏移感应单元22，用于利用相位相关法确定所述行驶设备在所述多帧道路图像中的两帧道路图像之间的姿态变化信息；
104.所述姿态确定单元23，用于基于所述姿态变化信息和所述行驶设备的参考姿态信息确定所述行驶设备的姿态信息。
105.在本发明的一些可选实施例中，所述姿态偏移感应单元22，用于基于所述两帧道路图像中的感兴趣区域确定所述两帧道路图像之间的相位偏移信息；基于所述相位偏移信息确定所述行驶设备在所述两帧道路图像之间的姿态变化信息。
106.在本发明的一些可选实施例中，所述获取单元21，还用于确定每帧道路图像中的一个或多个感兴趣区域，所述一个或多个感兴趣区域中的至少一个感兴趣区域与地平线重叠和/或包括消失点。
107.在本发明的一些可选实施例中，所述感兴趣区域中不存在移动对象；或者，移动对
象占据所述感兴趣区域的比例小于或等于第一阈值。
108.在本发明的一些可选实施例中，在每帧道路图像中包括多个感兴趣区域的情况下，所述多个感兴趣区域至少包括第一感兴趣区域和第二感兴趣区域；
109.其中，所述第一感兴趣区域包括消失点。
110.在本发明的一些可选实施例中，所述第二感兴趣区域的尺寸小于所述第一感兴趣区域的尺寸。
111.在本发明的一些可选实施例中，所述第二感兴趣区域在所述第一感兴趣区域中，或者所述第二感兴趣区域在所述第一感兴趣区域外，或者所述第二感兴趣区域与所述第一感兴趣区域部分重叠。
112.在本发明的一些可选实施例中，所述姿态偏移感应单元22，用于基于所述两帧道路图像中的每帧道路图像中的感兴趣区域确定所述两帧道路图像之间的相位偏移信息。
113.在本发明的一些可选实施例中，所述姿态偏移感应单元22，用于所述第一感兴趣区域中包括移动对象的情况下，基于所述两帧道路图像中的第二感兴趣区域确定所述两帧道路图像之间的相位偏移信息。
114.在本发明的一些可选实施例中，所述姿态偏移感应单元22，用于在所述两帧道路图像中的每帧道路图像中的感兴趣区域包括移动对象的情况下，基于所述两帧道路图像中的感兴趣区域确定所述两帧道路图像之间的第一相位偏移信息；检测所述移动对象所在区域分别在所述两帧道路图像中的感兴趣区域中的比例，基于所述比例和所述第一相位偏移信息确定所述两帧道路图像之间的相位偏移信息。
115.在本发明的一些可选实施例中，所述姿态偏移感应单元22，用于在每帧道路图像中包括多个感兴趣区域的情况下，基于所述两帧道路图像中的对应的每组感兴趣区域确定所述两帧道路图像之间的第二相位偏移信息，每组感兴趣区域中的各感兴趣区域分别在各自的道路图像中的位置是对应的；从多个第二相位偏移信息中选择一个第二相位偏移信息作为所述两帧道路图像之间的相位偏移信息；或者，确定多个第二相位偏移信息中的中值相位变化信息，将所述中值相位变化信息确定为所述两帧道路图像之间的相位偏移信息；或者确定多个第二相位偏移信息的平均值，将所述平均值确定为所述两帧道路图像之间的相位偏移信息。
116.在本发明的一些可选实施例中，所述至少一个感兴趣区域关于地平线对称。
117.在本发明的一些可选实施例中，所述至少一个感兴趣区域的每条边的像素点为2的n次方；n为正整数。
118.在本发明的一些可选实施例中，所述姿态偏移感应单元22，用于分别提取所述两帧道路图像中感兴趣区域对应的子图像，获得第一子图像和第二子图像；分别对所述第一子图像和所述第二子图像进行灰度处理，得到所述第一子图像对应的第一灰度图像和所述第二子图像对应的第二灰度图像；分别对所述第一灰度图像和所述第二灰度图像进行傅里叶变换处理，对处理后的所述第一灰度图像和所述第二灰度图像中的对应的各像素点进行归一化交叉处理，得到处理后的图像；对处理后的图像进行逆傅里叶变换处理，基于处理后的图像中各像素点的值确定峰值位置，基于所述峰值位置确定所述两帧道路图像之间的相位偏移信息。
119.在本发明的一些可选实施例中，如图5所示，所述装置还包括更新单元24，用于基
于所述姿态变化信息或所述行驶设备的姿态信息更新所述图像采集组件的标定信息。
120.本发明实施例中，所述装置应用于电子设备中。所述装置中的获取单元21、姿态偏移感应单元22、姿态确定单元23和更新单元24，在实际应用中均可由中央处理器(cpu，central processing unit)、数字信号处理器(dsp，digital signal processor)、微控制单元(mcu，microcontroller unit)或可编程门阵列(fpga，field－programmable gate array)实现。
121.需要说明的是：上述实施例提供的图像处理装置在进行图像处理时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
122.本发明实施例还提供了一种电子设备，图6为本发明实施例的电子设备的硬件组成结构示意图，如图6所示，所述电子设备包括存储器32、处理器31及存储在存储器32上并可在处理器31上运行的计算机程序，所述处理器31执行所述程序时实现本发明实施例所述图像处理方法的步骤。
123.可选地，所述电子设备还可包括用户接口33和网络接口34。其中，用户接口33可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
124.可选地，电子设备中的各个组件通过总线系统35耦合在一起。可理解，总线系统35用于实现这些组件之间的连接通信。总线系统35除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为总线系统35。
125.可以理解，存储器32可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(rom，read only memory)、可编程只读存储器(prom，programmable read-only memory)、可擦除可编程只读存储器(eprom，erasable programmable read-only memory)、电可擦除可编程只读存储器(eeprom，electrically erasable programmable read-only memory)、磁性随机存取存储器(fram，ferromagnetic random access memory)、快闪存储器(flash memory)、磁表面存储器、光盘、或只读光盘(cd-rom，compact disc read-only memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(ram，random access memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(sram，static random access memory)、同步静态随机存取存储器(ssram，synchronous static random access memory)、动态随机存取存储器(dram，dynamic random access memory)、同步动态随机存取存储器(sdram，synchronous dynamic random access memory)、双倍数据速率同步动态随机存取存储器(ddrsdram，double data rate synchronous dynamic random access memory)、增强型同步动态随机存取存储器(esdram，enhanced synchronous dynamic random access memory)、同步连接动态随机存取存储器(sldram，synclink dynamic random access memory)、直接内存总线随机存取存储器(drram，direct rambus random access memory)。本发明实施例描述的存储器32旨在包括但不限于这些和任意其它适合类型的存储器。
126.上述本发明实施例揭示的方法可以应用于处理器31中，或者由处理器31实现。处
理器31可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器31中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器31可以是通用处理器、dsp，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器31可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器32，处理器31读取存储器32中的信息，结合其硬件完成前述方法的步骤。
127.在示例性实施例中，电子设备可以被一个或多个应用专用集成电路(asic，application specific integrated circuit)、dsp、可编程逻辑器件(pld，programmable logic device)、复杂可编程逻辑器件(cpld，complex programmable logic device)、fpga、通用处理器、控制器、mcu、微处理器(microprocessor)、或其他电子元件实现，用于执行前述方法。
128.在示例性实施例中，本发明实施例还提供了一种计算机可读存储介质，例如包括计算机程序的存储器32，上述计算机程序可由电子设备的处理器31执行，以完成前述方法所述步骤。计算机可读存储介质可以是fram、rom、prom、eprom、eeprom、flash memory、磁表面存储器、光盘、或cd-rom等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
129.本发明实施例提供的计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所述的图像处理方法的步骤。
130.本技术所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
131.本技术所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
132.本技术所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
133.在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
134.上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
135.另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
136.本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过
程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
137.或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
138.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。