车载成像系统的制作方法

1.本发明方案涉及汽车电子技术领域，具体涉及一种车载成像系统。


背景技术：

2.随着汽车行业的快速发展，人们对车辆的智能性和安全性提出了越来越高的要求，汽车厂商和汽车设备制造商纷纷发展车辆智能成像系统，以给驾驶员在行驶的过程中提供更高等级的安全保护。应用车辆智能成像系统的安全系统包括前方碰撞预警系统、车道偏离预警系统等，可以有效帮助驾驶员消除视野死角，实时呈现周围的道路和车辆信息。此外，随着计算机视觉领域的发展，车辆智能成像系统还可以结合人工智能等新兴技术，为驾驶员提供驾驶辅助功能，减轻驾驶员的疲劳程度，并且能降低交通事故的发生率，车载智能成像系统已经在车辆上发挥着越来越重要的作用。
3.车辆智能成像的装置包括流媒体后视镜装置、环景影像装置等，具体的实施方案为利用安装在车辆挡风玻璃上或车身周围不同位置的摄像头和传感器获取图像信息，再通过车载显示器实时播放，从而驾驶员可根据实时图像信息及时做出反应调整驾驶状态。
4.目前应用于车辆的智能成像系统不具备在雾霾、雨雪、沙尘等低能见度的环境中成像的能力。随着近年来工业的快速发展，人们出行对汽车的依赖性逐渐增加，车辆对恶劣天气的适应性需求也越来越高。在烟、雾、霾等气象环境中，空气中弥散着大量的微小颗粒物，这些颗粒物对可见光具有明显的散射和吸收作用，从而导致车辆成像系统在这些环境中的成像对比度、能见度明显下降，严重增加了驾驶员的潜在的行驶风险，智能系统也难以对图像中的信息进行有效地处理和分析。因此，发展适用于以上恶劣天气的车载智能成像系统(以下简称为“车载去雾成像系统”)具有重要意义。


技术实现要素：

5.针对背景中提出地问题，本发明提出了一种适用于车辆在雾霾、雨雪、沙尘等恶劣天气中智能成像的系统，该成像系统基于分时间偏振去雾原理，具有帮助车辆在低能见度路况环境下清晰成像的功能，此系统还具有去雾成像效果明显、时延低和装置简单等优势。
6.本发明的一个方面是提供一种车载成像系统，所述系统包括：偏振成像摄像头、控制器、显示器，所述偏振成像摄像头包括通信连接的偏振信息提取模块和图像传感器模块，所述偏振信息提取模块包括：水平偏振片、垂直偏振片、镜头模组，所述水平偏振片和所述垂直偏振片分别与电机驱动模块的旋转电机相连，并通过所述旋转电机驱动旋转，当所述水平偏振片或所述垂直偏振片处于所述镜头模组的光路上时，所述车载成像系统处于偏振成像模式，当所述水平偏振片或所述垂直偏振片均未处于所述镜头模组的光路上时，所述车载成像系统处于正常成像模式；
7.所述图像传感器模块包括图像传感器，所述图像传感器设置在光路上所述镜头模组远离所述偏振信息提取模块的一侧，光线经所述镜头模组后在所述图像传感器上成像，
8.所述图像传感模块将所述图像传感器上成像的信息传输给所述控制器。
9.可选的，所述控制器对所述图像信号的清晰度指标mtf值进行计算，并与预置的mtf阈值比较，若所述mtf值低于设定的所述mtf阈值，所述控制器通过控制所述偏振信息提取模块使所述车载成像系统进入偏振成像控制模式，控制所述旋转电机旋转。
10.可选的，进入所述偏振成像控制模式包括所述控制器输出的所述控制信号输出给所述电机驱动模块；
11.所述电机驱动模块接收所述控制信号并处理得到驱动信号，将所述驱动信号传输给所述旋转电机并带动所述水平偏振片和所述垂直偏振片旋转。
12.可选的，所述偏振信息提取模块和所述图像传感器模块通过法卡拉线实现电连接；
13.所述图像传感器模块包括外围电路，所述外围电路包括poc电路，其中，所述poc电路用于融合所述法卡拉线中的低频电源信号和高频图像信号，使得所述法卡拉线同时传输电源信号和图像信号。
14.可选的，所述控制器输出的所述控制信号通过所述法卡拉线传输到串行器，然后由所述串行器的gpio口将所述控制信号输出给所述电机驱动模块；
15.所述电机驱动模块将所述驱动信号传输给所述旋转电机，所述旋转电机带动所述水平偏振片和所述垂直偏振片旋转。
16.可选的，所述控制器设置成每隔设定时间，将采集到的所述图像信号的清晰度指标mtf值进行一次判别；
17.处于偏振模式时图像采集频率相对于正常成像模式时增加一倍，所述水平偏振片和所述垂直偏振片的变换频率、状态停留时间分别与所述图像传感器的图像采集频率、曝光时间保持一致。
18.可选的，在偏振成像模式下，所述控制器分别获取两幅采集时间连续、偏振度垂直的图像，并计算该两幅图像的平均亮度差δi，
19.根据δi计算出所述两幅图像的偏振度，然后将所述偏振度带入偏振成像模型对所述两幅图像进行去偏振处理，将所述两幅图像融合成一幅去雾图像。
20.可选的，在偏振成像模式下，当采集到的水平偏振图像与垂直偏振图像均满足所述mtf阈值时，所述控制器退出所述偏振成像模式。
21.可选的，所述外围电路还包括：电源模块、isp芯片、串行器、电机驱动模块、存储芯片eeprom和flash，
22.所述电源模块用于将所述poc电路分离出来的电压进行直流dc-dc降压；
23.所述isp芯片与所述图像传感器相连，用于处理所述图像传感器获取到的原始图像；所所述flash芯片与isp芯片相连，述isp芯片的固件存放在所述flash芯片中，所述串行器与所述isp芯片相连，所述flash芯片用于将图像信号转换为gmsl信号；
24.所述串行器的输出端口与法卡拉接头相连，用于输出所述gmsl信号。
25.可选的，所述控制器用于每隔30-60秒对所述图像传感器采集到的图像进行一次判别，若该图像的清晰度满足所述mtf阈值，则将该图像直接输出。
26.本发明的技术效果包括以下几点但不限于以下几点：
27.1.本发明基于分时间偏振成像技术方案，极大的优化了车载智能成像系统在雾霾、雨雪、沙尘等极端低能见度天气的成像能力。通过采取以光学硬件感知图像偏振信息的
方法，在不过多增加车载系统运算负荷的情况下，实现模糊图像复原，并且可在极短的时间内完成处理，为车载成像系统的实时显示提供了重要帮助。
28.2.该系统及成像方法具备成图像质量评价功能，当设计每隔30-60秒控制器将对图像传感器采集到的图片进行一次判别，如果达到清晰度标准则直接输出，如果未达到清晰度标准则开启偏振信息提取模块，自动开启多幅图像运算、融合的功能。
29.3.在偏振成像模式下，图像传感器能将图像采集频率提升一倍，从而提高图像采集帧率。如果环境能见度好转，图片清晰度已满足标准，则偏振信息提取模块自动关闭，恢复单帧图像输出，图像处理单元恢复普通成像模式。这一模式的切换较为灵活，同时也增加了实时运算速度，降低图像时延的发生。
附图说明
30.图1基于分时间偏振去雾成像技术方案的系统框图；
31.图2偏振成像摄像头结构框图；
32.图3图像传感器外围电路结构框图；
33.图4机械旋转偏振片的偏振信息提取模块示意图；
34.图5基于分时间偏振成像技术方案的工作流程图。
具体实施方式
35.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
36.需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
37.根据本发明的一个实施例，车载成像系统包括：偏振成像摄像头、控制器、显示器，所述偏振成像摄像头包括通信连接的偏振信息提取模块和图像传感器模块，
38.所述偏振信息提取模块包括：水平偏振片、垂直偏振片、镜头模组，所述水平偏振片和所述垂直偏振片分别与电机驱动模块的旋转电机相连，并通过所述旋转电机驱动旋转，当所述水平偏振片或所述垂直偏振片处于所述镜头模组的光路上时，所述车载成像系统处于偏振成像模式，当所述水平偏振片或所述垂直偏振片均未处于所述镜头模组的光路上时，所述车载成像系统处于正常成像模式；
39.所述图像传感器模块包括图像传感器，所述图像传感器设置在光路上所述镜头模组远离所述偏振信息提取模块的一侧，光线经所述镜头模组后在所述图像传感器上成像，
40.所述图像传感模块将所述图像传感器上成像的信息传输给所述控制器。
41.如图1所示，该成像系统的组成部分具体包括偏振成像摄像头1、控制器2、显示器3和蓄电池4。
42.其中各部分功能如下：偏振成像摄像头负责提取具备不同偏振态信息的图像；控
制器2负责将携带不同偏振态信息的图片进行运算、融合，同时控制其他组成部分；显示器3负责将处理后的图像反馈给车辆驾驶员或乘客；蓄电池4为其他各部分供电。
43.图2示出了偏振成像摄像头结构框图。其中偏振摄像头1包括水平偏振片6、垂直偏振片7、镜头模组8、图像传感器9、图像传感器外围电路10、法卡拉接头11、壳体12和旋转电机13。其中水平偏振片6和垂直偏振片7与旋转电机13相连，并通过电机13驱动两偏振片旋转。偏振片下方是镜头模组8，光线经过镜头模组之后在图像传感器9上成倒立的实像，图像传感器9将对应的光强信息转为电信号，并由其外围电路10将对应的电信号处理为图像信号，图像信号由法卡拉线5传输至控制器2，所述法卡拉线5通过法卡拉接头11安装在偏振成像摄像头1上。
44.本发明设置偏振成像摄像头在两个工作模式下工作，并且在控制器2的控制下可自由切换。这两个工作模式分别是非偏振成像的普通成像模式以及偏振成像的偏振成像模式。
45.在本发明的另一个实施例中，所述控制器对所述图像信号的清晰度指标mtf值进行计算，并与预置的mtf阈值比较，若所述mtf值低于设定的所述mtf阈值，所述控制器通过控制所述偏振信息提取模块使所述车载成像系统进入偏振成像控制模式，控制所述旋转电机旋转。
46.在本发明的一个实施例中，进入所述偏振成像控制模式包括所述控制器输出的所述控制信号输出给所述电机驱动模块；
47.所述电机驱动模块接收所述控制信号并处理得到驱动信号，将所述驱动信号传输给所述旋转电机并带动所述水平偏振片和所述垂直偏振片旋转。
48.如图2所示，偏振成像摄像头1首先工作在非偏振成像的普通成像模式下，所获取到的图像由控制器2计算出图像的调制传递函数(mtf)值，若mtf值低于设定的阈值则进入偏振成像模式，偏振成像摄像头1获取偏振图像，再由控制器2将不同偏振图像进行运算、融合，最后将清晰图像传输到显示器3播放。这一切换的工作方式，在将偏振成像融合到图像显示中提高了显示图像的清晰度，同时采用可自由切换模式，可以提高数据计算速度，降低图像时延的发生。
49.在本发明的一个实施例中，所述偏振信息提取模块和所述图像传感器模块通过法卡拉线实现电连接；
50.所述图像传感器模块包括外围电路，所述外围电路包括poc电路，其中，所述poc电路用于融合所述法卡拉线中的低频电源信号和高频图像信号，使得所述法卡拉线同时传输电源信号和图像信号。
51.在本发明的一个实施例中，所述控制器输出的所述控制信号通过所述法卡拉线传输到串行器，然后由所述串行器的gpio口将所述控制信号输出给所述电机驱动模块；
52.所述电机驱动模块将所述驱动信号传输给所述旋转电机，所述旋转电机带动所述水平偏振片和所述垂直偏振片旋转。
53.在本发明的一个实施例中，所述外围电路还包括：电源模块、isp芯片、串行器、电机驱动模块、存储芯片eeprom和flash，
54.所述电源模块用于将所述poc电路分离出来的电压进行直流dc-dc降压；
55.所述isp芯片与所述图像传感器相连，用于处理所述图像传感器获取到的原始图
像；所所述flash芯片与isp芯片相连，述isp芯片的固件存放在所述flash芯片中，所述串行器与所述isp芯片相连，所述flash芯片用于将图像信号转换为gmsl信号；
56.所述串行器的输出端口与法卡拉接头相连，用于输出所述gmsl信号。
57.所述图像传感器9的外围电路结构框图如图3所示，外围电路10主要的组成模块包括：poc电路、电源模块107、isp芯片105、串行器103、电机驱动模块13、存储芯片eeprom102和flash104。其中poc电路用于融合法卡拉线5中的低频电源信号和高频图像信号，使得一根法卡拉线5可以同时包括电源信号和图像信号；电源模块107用于将poc电路分离出来的电压实现直流dc-dc降压，获得3.3v到1.2v范围内适合图像传感器、isp芯片105和串行器103工作的电压。isp芯片105与图像传感器相连，用于处理图像传感器获取到的原始图像，isp芯片105处理所需要的固件存放在flash104芯片中，flash104芯片与isp芯片105相连。串行器103(又称加串器)与isp芯片105相连，用于将图像信号转变为gmsl信号，以实现图像信号远距离的高速传输，串行器103的输出端口与法卡拉接头相连，用于图像gmsl信号的输出。电机驱动模块13与串行器103通过gpio引脚相连，gpio输出的控制信号由控制器2经过法卡拉线5和串行器103透传，用于控制电机的转动；由于电机的转动需要大电流，因此电机驱动模块13采用额外的12v电源供电，该电源由蓄电池4提供。
58.如图1-3所示，偏振成像摄像头1通过法卡拉线5与控制器2相连，法卡拉线5可实现控制器2向摄像头芯片的供电以及图像信号以gmsl信号的格式向控制器2传输；控制器2通过标准视频传输线缆(dp/dvi/hdmi/vga)与显示器3相连接，并在显示器3实现图像的显示；蓄电池4为偏振成像摄像头1、控制器2和显示器3提供直流电源，该直流电源的电压可选择为12v、24v、48v、72v，具体数值根据具体设计而定。与蓄电池4相连的各用电模组内部分别具有不同的电源芯片，可实现直流dc-dc的降压，从而为各自内部的芯片提供适当的电压，降压后的电压值通常包括9v、7.5v、5v、3.3v、1.8v和1.2v。
59.该偏振成像系统的工作原理以及成像过程包括以下几个部分：
60.1.图像成像和信号处理过程：
61.图像成像和信号处理过程主要目的在于实现现实事物在图像传感器的成像，以及通过图像信号的处理将图像在显示端重新显示的过程。首先，在图2所示的摄像头结构中，光线穿过偏振片(普通成像模式时不经过偏振片)进入到镜头，然后所拍摄的物体在图像传感器9上呈倒立缩小的实像。然后图像传感器进行曝光，将光线强度信息转变为电压强度信号。其次，在图3所示的结构中，图像传感器获取到的电压信号输出到isp芯片105中对原始图像信号进行黑电平校正、去噪、白平衡、色彩校正等过程的处理，以获得能正常显示的图像。之后由isp芯片105将处理后的图像信号输出给串行器103，串行器103将图像csi信号进行加串处理，转为gmsl格式信号，以实现较长距离的图像信号高速传输。串行器103加串后的gmsl图像信号通过法卡拉线5传输给控制器2。控制器2可同时与一个或多个偏振成像摄像头1相连，并将多个偏振成像摄像头1传入的图像进行裁剪和融合处理，并将处理后的图像通过标准视频传输线缆(dp/dvi/hdmi/vga)传输至显示器3进行显示。
62.2.偏振成像过程：
63.偏振成像过程由控制器2和偏振成像摄像头1共同实现。首先采用非偏振模式进行成像，即偏振片旋转至不遮挡镜头模组8的位置，经过图像成像和信号处理过程后，在控制器2处得到完整的可用于显示的图像信号。基于该图像信号，控制器2对图像的mtf值进行计
算，并与预置的mtf阈值(范围可定在在0.3-0.5之间)进行比较，若清晰度指标mtf值低于设定的阈值，说明此时图像清晰度较差，控制器2进入偏振成像控制模式，并输出相应的控制信号。控制器2输出的控制信号通过法卡拉线5传输到串行器103，然后由串行器103的gpio口将控制信号输出给电机驱动模块13(如图3所示)，电机驱动模块13将驱动信号传输给旋转电机13，旋转电机13带动包含由水平偏振片6和垂直偏振片7的结构旋转。此外，在原有成像参数不变的情况下，图像采集频率需要增加一倍，偏振器件变换频率、状态停留时间等参数与图像传感器的图像采集频率、曝光时间等参数保持一致。
64.在本发明的一个实施例中，所述控制器用于每隔30-60秒对所述图像传感器采集到的图像进行一次判别，若该图像的清晰度满足所述mtf阈值，则将该图像直接输出。
65.这一技术方案使得该成像方式具备了成图像质量评价功能。当设计每隔30-60秒控制器2将对图像传感器采集到的图片进行一次判别，如果达到清晰度标准则直接输出，如果未达到清晰度标准则开启偏振信息提取模块，自动开启多幅图像运算、融合的功能。
66.在本发明的一个实施例中，在偏振成像模式下，所述控制器分别获取两幅采集时间连续、偏振度垂直的图像，并计算该两幅图像的平均亮度差δi，
67.根据δi计算出所述两幅图像的偏振度，然后将所述偏振度带入偏振成像模型对所述两幅图像进行去偏振处理，将所述两幅图像融合成一幅去雾图像。
68.图4是水平偏振片和垂直偏振片的结构示意图，在旋转电机13的带动下旋转，当垂直偏振片6旋转到镜头前时，图像传感器9进行曝光，获取到垂直偏振图像；同理，当水平偏振片7旋转到镜头前时，图像传感器9进行曝光，获取到水平偏振图像。两幅偏振角度相垂直的偏振图像在控制器2中进行图像合成，最终得到偏振去雾后的图像。
69.3.系统成像模式控制：
70.系统成像模式有普通成像模式和偏振成像模式两种，模式的控制主要通过控制器2实现。具体而言，首先系统启动后进入普通成像模式，控制器2计算所获取到图像的清晰度指标mtf值，然后与预置的阈值相对比。若获取到图像的mtf值低于阈值，说明此时图像清晰度较差，控制器2进入到偏振成像模式，输出控制信号经过法卡拉线5和串行器103gpio口透传至电机驱动模块13。在偏振成像模式下分别获取两张偏振度垂直的图像，并计算这两幅图像的平均亮度差δi，根据δi计算出两幅图像的偏振度，然后将参数带入偏振成像模型对两幅偏振图像进行去偏振处理，最终实现两幅图像融合成一幅去雾图像。
71.在本发明的一个实施例中，在偏振成像模式下，当采集到的水平偏振图像与垂直偏振图像均满足所述mtf阈值时，所述控制器退出所述偏振成像模式。
72.在偏振成像模式下，当采集到的水平偏振图像与垂直偏振图像都满足mtf阈值时，说明此时的图像清晰度较好，控制器2退出偏振成像模式，停止输出偏振控制信号，电机驱动模块13停止输出驱动信号，电机停转，进入普通成像模式。
73.图5是本发明中基于分时间偏振成像技术方案的工作流程图，具体步骤如下：
74.s1、汽车启动后默认进入非偏振成像模式，经过镜头、图像传感器、串行器，通过法卡拉线5将图像信号传送至控制器2。
75.s2、控制器2利用算法判断接收到的图像是否达到清晰度要求，即mtf值是否大于设定阈值。如果该图像清晰达到清晰度要求，则无需启动偏振成像模式，在普通成像模式下采集到的图像直接通过标准视频线缆(dp/dvi/hdmi/vga)在显示器上显示；如果该图像清
晰未达到清晰度要求，即mtf值低于设定阈值，控制器2进入偏振成像模式，并输出偏振控制信号，输出控制信号经过法卡拉线5和串行器gpio口透传至电机驱动模块13，同时，图像采集频率相比于普通成像模式提高一倍，偏振器件变换频率、状态停留时间等参数与图像传感器的图像采集频率、曝光时间等参数保持一致。
76.s3、偏振成像模组部分交替以正交偏振态成像，并将该两幅图像依次经过isp芯片和加串器传输至控制器2。
77.s4、控制器2首先根据这两幅图像计算平均亮度差δi和图像偏振度，并根据偏振度较大区域，即无景物区域，计算理论上无穷远处散射光强度。再根据偏振度和无穷远处散射光强度以及图像偏振去雾模型对两幅图进行像素融合计算，最终得到清晰的去雾图像，并将该图像传输至显示器进行显示。
78.s5、显示器3播放清晰图片，车辆驾驶员或乘客可依此了解周围路况和车辆行驶情况。
79.本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
80.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。