车辆周围环境图像处理设备和方法、监视系统与流程

1.本发明涉及一种用于车辆周围环境图像处理的处理设备和方法，还涉及一种车辆周围环境监视系统。


背景技术：

2.后视镜作为车辆的配件，可以使驾驶者看到车辆后方和侧方的情况。但是，后视镜能够投射的视角范围非常有限，而且无论后视镜位于车身两侧还是挡风玻璃中上部，这些位置都不便于驾驶员快速一瞥。
3.为了解决后视镜的上述问题，现有技术中出现了在车辆上采用后视照相机的解决方案，即，采用后视照相机提供后视功能，这样不仅能扩展驾驶员的视觉范围，还能为驾驶员省去为了观察后方或侧方情况所需的抬头或左右摆头的动作。但是，采用后视照相机捕捉车辆周围环境图像在环境光线不佳的情况下存在明显缺陷，因为在环境光线不佳的情况下后视照相机捕捉到的环境图像会非常模糊，这样驾驶员无法获知侧方或后方情况的准确信息，由此可能引起交通事故。


技术实现要素：

4.鉴于现有技术中的上述问题，本发明旨在提供一种用于处理车辆周围环境图像的处理方案以及一种车辆周围环境监视系统。
5.根据本发明第一方面的实施例，提供了一种用于车辆周围环境图像处理的处理设备，其被配置成：接收来自车载摄像头的车辆周围环境图像和来自车载光敏传感器的车辆周围环境光强；以及基于环境光强和从存储的参考图像集中选择的参考图像对环境图像进行分区域地处理，并将经处理的环境图像输出至车辆中的显示设备，其中，所述参考图像是基于环境光强在参考图像集中选择的，所述参考图像包含多个区域，并且各区域具有第一亮度阈值和小于第一亮度阈值的第二亮度阈值；将环境图像划分成与参考图像的多个区域在位置上一一对应的多个区域；在环境图像的一区域的亮度值大于参考图像的对应区域的第一亮度阈值时，将环境图像的该区域的亮度值降低；并且在环境图像的一区域的亮度值小于参考图像的对应区域的第二亮度阈值时，将环境图像的该区域的亮度值升高。
6.根据一可行实施方式，所述处理设备被配置成通过如下方式确定所述第一亮度阈值和所述第二亮度阈值：计算参考图像的各区域的亮度值；将参考图像的一区域的亮度值乘以第一系数以得到该区域的第一亮度阈值，所述第一系数大于1；以及将参考图像的一区域的亮度乘以第二系数以得到该区域的第二亮度阈值，所述第二系数小于1。
7.根据一可行实施方式，所述参考图像集包含在不同环境光强下拍摄的多幅参考图像；并且所述处理设备被配置成在参考图像集中选出与车辆周围环境光强最接近的拍摄环境光强所对应的参考图像，作为所述环境图像的参考图像。
8.根据一可行实施方式，所述参考图像集至少包含在白天阴天和夜间光照良好的环境下拍摄的参考图像。
9.根据一可行实施方式，在车辆具有多个车载摄像头的情况下，所述参考图像集包括针对各车载摄像头的多个参考图像集。
10.根据一可行实施方式，所述处理设备还被配置成确定环境图像的多个区域中的感兴趣区域，并且降低针对感兴趣区域的第一亮度阈值，并增大针对感兴趣区域的第二亮度阈值。
11.根据一可行实施方式，所述处理设备被配置成将以下区域确定为感兴趣区域：(1)环境图像的多个区域中的、亮度值高于第一亮度阈值达第一预定程度的区域；和(2)环境图像的多个区域中的、亮度值低于第二亮度阈值达第二预定程度的区域。
12.根据一可行实施方式，所述处理设备被配置成采用图像处理模型处理所述环境图像，将包含多个区域的环境图像作为模型输入，经所述图像处理模型处理后输出多个区域中的感兴趣区域。
13.根据一可行实施方式，所述图像处理模型为机器学习模型。
14.根据一可行实施方式，所述处理设备被配置成对于参考图像的一区域和环境图像的对应区域两者，采用相同的计算方式来计算区域亮度值。
15.根据一可行实施方式，所述处理设备被配置成通过以下至少一项来计算一区域的亮度值：(1)计算一区域的所有像素的灰度值的平均值，作为该区域的亮度值；(2)计算一区域的像素的灰度值高于第一预定值和/或低于第二预定值的像素数量与该区域总像素数量的百分比，并基于该百分比确定该区域的亮度值。
16.根据本发明第二方面的实施例，提供了一种车辆周围环境监视系统，包括车载摄像头，用于拍摄车辆周围环境图像；车载光敏传感器，用于感测车辆周围环境光强；如上所述的处理设备，与车载摄像头和光敏传感器通信连接，用于基于存储的参考图像集中选择的参考图像和环境光强处理环境图像，并输出经处理的环境图像；以及显示装置，与处理设备通信连接，用于在车辆中显示经处理的环境图像。
17.根据本发明第三方面的实施例，提供了一种用于车辆周围环境图像处理的方法，可选地，所述方法由如上所述的处理设备和/或如上所述的车辆周围环境监视系统执行，所述方法包括：接收来自车载摄像头的车辆周围环境图像和来自车载光敏传感器的车辆周围环境光强；以及基于环境光强和从存储的参考图像集中选择的参考图像对环境图像进行分区域地处理，并将经处理的环境图像输出至车辆中的显示设备，其中，所述参考图像是基于环境光强在参考图像集中选择的，所述参考图像包含多个区域，并且各区域具有第一亮度阈值和小于第一亮度阈值的第二亮度阈值；将环境图像划分成与参考图像的多个区域在位置上一一对应的多个区域；在环境图像的一区域的亮度值大于参考图像的对应区域的第一亮度阈值时，将环境图像的该区域的亮度值降低；并且在环境图像的一区域的亮度值小于参考图像的对应区域的第二亮度阈值时，将环境图像的该区域的亮度值升高。
18.由此可见，根据本发明的实施例，通过分区域地处理车辆周围环境图像，消除了由于环境光线过亮或过暗导致的图像局部过亮或局部过暗的问题，从而在车辆周围的环境光线不佳的情况下也能够为驾驶员提供清楚的车辆周围环境图像，有助于提升行车安全性。
附图说明
19.图1是根据本发明的可行实施方式的车辆周围环境监视系统的示意性框图，其包
括根据本发明的可行实施方式的处理设备。
20.图2示意性示出了根据本发明的可行实施方式的图像处理的示例性过程。
21.图3示意性示出了根据本发明的可行实施方式的确定第一亮度阈值和第二亮度阈值的示例性过程。
22.图4是根据本发明的可行实施方式的用于车辆周围环境图像处理的方法的流程图。
具体实施方式
23.以下，参考附图来描述本发明的一些实施方式。
24.图1是根据本发明的可行实施方式的车辆周围环境监视系统100，其主要包括车载摄像头10、光敏传感器20、处理设备30和显示设备40。以下介绍车辆周围环境监视系统100的各组成部分。
25.车载摄像头10设置于车辆上任何适合的位置，用于捕捉车辆周围的环境图像(以下简称环境图像)。车载摄像头10例如安装在车辆前部、车辆侧面、车身周围。车载摄像头10可以实现为前视摄像头、后视摄像头和环视摄像头中的一种或多种。车载摄像头10可以以替换车辆后视镜的形式安装在车辆上，也可以安装在具备后视镜的车辆上，即，在保留后视镜的基础上设置车载摄像头10。在一个实施例中，车载摄像头10安装在车辆后视镜的外壳中，用于捕捉本车后方和侧方的环境信息。车载摄像头10可以实现为多个，分别安装在车辆上的不同位置处。
26.光敏传感器20安装在车辆上，用于感测车辆周围环境光强(以下简称环境光强)。光敏传感器20可以设置于车辆上的任何地方。在一个实施例中，光敏传感器20可以设置成与车载摄像头10较为靠近，这样可以较为准确地感测车载摄像头10在捕捉环境图像时的环境光强。在车辆上具备多个车载摄像头的情况下，可以在每个车载摄像头附近处设置一光敏传感器，用于感测该车载摄像头捕捉环境图像所处环境的环境光强。
27.处理设备30与车载摄像头10和光敏传感器20通信连接，并接收来自车载摄像头10的环境图像和来自光敏传感器20的环境光强。处理设备30基于环境光强和参考图像对环境图像进行分区域地处理，并输出经处理的环境图像。
28.处理设备30可以设置在车辆的电子控制单元(ecu)中。处理设备30可以用硬件或者软件或者软件与硬件相结合的方式来实现。
29.对于硬件实现的部分，可以在一个或多个专用集成电路(asic)、数字信号处理器(dsp)、数据信号处理器件(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器、被设计以执行其功能的电子单元、或它们的组合中实现。
30.对于以软件实现的部分，可以借助于微代码、程序代码或代码段来实现，还可以将它们存储在诸如存储组件之类的机器可读存储介质中。
31.显示设备40与处理设备30通信连接，用于显示经处理的环境图像。显示设备40可以实现为能够在车辆中显示图像的多种设备，显示设备40接收来自处理设备30的经处理的环境图像并将该图像呈现给驾驶员。显示设备40例如可以实现为车辆的中控屏、或者平视显示器(hud)、或者驾驶员的智能设备(例如，平板电脑、智能手机)的显示屏。
32.以下，参照图2，描述根据本发明的实施例的图像处理的示例性过程200，该过程
200可以在处理设备30中执行。
33.处理设备30接收环境图像和环境光强(框210)。例如，处理设备30从车载摄像头10接收环境图像，并从光敏传感器20接收环境光强。
34.接着，处理设备30基于环境光强选择参考图像(框220)。
35.在一个实施例中，车辆的存储装置(未示出)中预先存储有参考图像集。参考图像集包含多幅参考图像，这些参考图像是在不同的环境光强下拍摄的，并标记有其所拍摄的环境光强。参考图像的拍摄场景例如包含白天阴天或者夜间照明良好这样具备参考意义的场景。处理设备30将接收到的环境光强与各参考图像的拍摄环境光强相比较，并将与接收到的环境光强最接近的(例如，两者差值最小的)拍摄环境光强所对应的参考图像确定为本次处理所用的参考图像，即，选定的参考图像。
36.另外，在车辆上配备有多个车载摄像头的情况下，可以具有针对各车载摄像头的多个参考图像集，在每次执行处理时，选择与捕捉环境图像的车载摄像头相应的参考图像集。
37.在选择了参考图像之后，处理设备30计算参考图像的各区域的第一亮度阈值和第二亮度阈值(框230)。
38.参考图像具有多个区域，各区域具有第一亮度阈值和第二亮度阈值，第二亮度阈值大于第二亮度阈值。图3示意性示出了用于确定第一亮度阈值和第二亮度阈值的一个示例性过程。
39.参见图3，将参考图像划分为多个区域(框232)。在一个实施例中，可以将参考图像均等地划分为多个区域(例如，4*4个区域)。在另一个实施例中，可以将图像边缘部分划分为面积较大的多个区域，并将图像中间部分划分为面积较小的多个区域。本发明对于参考图像的多个区域的具体划分方式不进行限定。
40.接着，处理设备30计算参考图像的各区域的亮度值(框234)。处理设备30可以采用多种方式来计算各区域的亮度值，并且，针对同一幅参考图像的不同区域，可以采用不同的计算方式来计算区域亮度值。以下介绍计算区域亮度值的两个实施例。
41.在计算区域亮度值的一个实施例中，计算一区域中所有像素的灰度值的平均亮度值，并将该平均亮度值作为该区域的亮度值。
42.在计算区域亮度值的另一个实施例中，统计该区域的像素的亮度值大于第一预定值和/或小于第二预定值的像素数量与该区域的总像素数量的百分比，并基于该百分比确定该区域的亮度值，例如，在预先设置的百分比-亮度值对照表(例如，该对照表中包含百分比区间与亮度值之间的对应关系)中查找出具有某百分比的区域的亮度值。
43.在该实施例中，第一预定值可以理解为一较高的亮度值，即，大于该预定值的亮度值的像素可能过亮。第二预定值可以理解为一较低的亮度值，即，小于该预定值的亮度值的像素可能过暗。
44.可以理解的是，对于同一区域，该区域可能所有像素均偏暗，也可能所有像素均偏亮，还可能一部分像素偏暗且另一部分像素偏亮。
45.接着，将计算出的参考图像的一区域亮度值乘以第一系数，该第一系数大于1，得到该区域的第一亮度阈值，即，用于判断环境图像相应区域是否过亮的阈值。将计算出的参考图像的一区域的亮度值乘以第二系数，第二系数小于1，得到该区域的第二亮度阈值，即，
用于判断环境图像的相应区是否过暗的阈值。
46.在确定出参考图像的多个区域以及各区域的第一亮度阈值和第二亮度阈值之后，处理设备30对环境图像进行分区域地处理。
47.处理设备30将环境图像划分为多个区域并计算各区域的亮度值(框240)。
48.在一个实施例中，将环境图像划分为与所选参考像的多个区域在图像位置上一一对应的多个区域，即，环境图像的区域数量与所选参考图像的区域数量相等，并且两者的区域在位置上一一对应。环境图像的各区域的亮度值的计算方式与所选参考图像的相应区域的亮度计算方式应当相同。例如，如果环境图像的一区域采用灰度均值的方式计算该区域的亮度值，则环境图像的相应区域也应当采用灰度均值的方式计算该区域的亮度值。
49.在获得了环境图像多个区域和各区域的亮度值之后，处理设备30识别出环境图像中的感兴趣区域(框250)。
50.感兴趣区域可以包含这样的区域，即，区域亮度值高于针对该区域的第一亮度阈值达第一预定程度(例如，30％)，或者低于针对该区域的第二亮度阈值达第二预定程度(例如，35％)的区域。第一预定程度和第二预定程度可以相等，也可以不相等。
51.感兴趣区域还可以包含预定对象的区域，例如，诸如车辆大灯之类的强光源区域，这样的强光源区域往往出现局部过亮的情况。
52.在一个实施例中，采用图像处理模型来处理环境图像。在该实施例中，将包含多个区域的环境图像作为模型输入，经图像处理模型处理后，输出多个区域中的感兴趣区域。图像处理模型可以实现为机器学习模型。该机器学习模型例如是经训练的机器学习模型，在训练过程中，将在各种光照环境下、由不同车载摄像头拍摄的大量环境图像作为样本来训练机器学习模型。
53.在识别出环境图像中的感兴趣区域之后，针对非感兴趣区域和感兴趣区域分别进行处理。
54.对于环境图像中的非感兴趣区域，基于计算出的第一亮度阈值和第二亮度阈值进行处理(框260)。对于环境图像的非感兴趣区域，在一区域的亮度值大于参考图像的相应区域(即，所选参考图像的在位置对应的区域)的第一亮度阈值的情况下，认为该区域过亮，降低该区域的亮度值，例如，降低至第一亮度阈值。在一区域的亮度值小于第二亮度阈值的情况下，认为该区域过暗，增大该区域的亮度值，例如，提升至第二亮度阈值。
55.对于环境图像中的感兴趣区域的处理，首先调节针对这些区域的第一亮度阈值和第二亮度阈值(框270)，以使得针对这些区域的亮度调节更加敏感和适中。例如，降低针对感兴趣区域的第一亮度阈值，并提高针对感兴趣区域的第二亮度阈值。在一种具体实现中，可以这样来调节第一亮度阈值，即，在采用参考图像的一区域亮度值乘以第一系数得到第一亮度值的情况下，降低第一系数(例如，将第一系数从原先的1.3降低为1.1)。类似地，可以通过升高第二系数(例如，将第二系数从原先的0.7升高为0.8)来调节第二亮度阈值。
56.接着，基于调整后的第一亮度阈值和第二亮度阈值处理环境图像中的感兴趣区域(框280)。针对环境图像的感兴趣区域，在一区域亮度值大于经调节的第一亮度阈值的情况下，降低该区域的亮度值，例如，降低至经调节的第一亮度阈值。在一区域亮度值小于经调节的第二亮度阈值的情况下，增大该区域的亮度值，例如，提升至经调节的第二亮度阈值。
57.在完成环境图像的分区域处理之后，处理设备30将经处理的环境图像输出给显示
设备40，以便在车辆中呈现给驾驶员(框390)。
58.图4示出了根据本发明的一个可行实施方式的用于车辆周围环境图像处理的方法300。方法300可以由如上所述的处理设备30和/或如上所述的系统100执行，因此，上述关于处理设备30和系统100的描述同样适用于此。
59.在步骤310中，接收来自车载摄像头的车辆周围环境图像和来自车载光敏传感器的车辆周围环境光强。
60.在步骤320中，基于环境光强和从存储的参考图像集中选择的参考图像对环境图像进行分区域地处理，并将经处理的环境图像输出至车辆中的显示设备。
61.所述参考图像是基于环境光强在参考图像集中选择的，所述参考图像包含多个区域，并且各区域具有第一亮度阈值和小于第一亮度阈值的第二亮度阈值。
62.在步骤320中可以执行如下步骤：将环境图像划分成与参考图像的多个区域在位置上一一对应的多个区域；在环境图像的一区域的亮度值大于参考图像的对应区域的第一亮度阈值时，将环境图像的该区域的亮度值降低；以及在环境图像的一区域的亮度值小于参考图像的对应区域的第二亮度阈值时，将环境图像的该区域的亮度值升高。
63.可以理解，以上描述的方法中的所有操作都仅仅是示例性的，本发明并不限制于方法中的任何操作或这些操作的顺序，而是应当涵盖在相同或相似构思下的所有其它等同变换。
64.本发明还提供一种机器可读存储介质，其存储有可执行指令，当所述指令被执行时使得机器执行如上所述的方法300。
65.本发明还提供一种用于车辆的照相机(摄像头)，该照相机包括微处理器，其具有如上所述的处理设备30的处理功能，由此该照相机能够将所捕捉到的环境图像进行上述分区域地处理并输出处理后的环境图像。在一个实施例中，该用于车辆的照相机通过将上述车载摄像头10和上述处理设备30集成在一起来实现。
66.以上描述被提供用于使得本领域任何技术人员可以实施本文所描述的各个方面。这些方面的各种修改对于本领域技术人员是显而易见的，本文限定的一般性原理可以应用于其它方面。因此，权利要求并非旨在被局限于本文示出的方面。关于本领域技术人员已知或即将获知的、对本发明所描述各个方面的元素的所有结构和功能上的等同变换，都将通过引用而明确地包含到本文中，并且旨在由权利要求所覆盖。