一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

图像传感器以及像素级曝光控制方法与流程

2022-11-14 12:41:05 来源:中国专利 TAG:


1.本发明涉及光敏图像传感器领域,具体地说,涉及图像传感器以及像素级曝光控制方法。


背景技术:

2.动态范围(dynamic range,dr)定义了图像传感器在同一帧图像中可同时探测到的最大光强信号和最小光强信号的范围,是cmos图像传感器(cmos image sensor,cis)最重要的参数之一。
3.普通的cis,由于受到像素满阱容量、曝光时间和噪声的限制,动态范围一般在60-70db。在一些特定领域,例如安防监控、自动驾驶等环境光线复杂的应用,往往要求图像传感器具备大于100db的高动态范围(high dynamic range,hdr)成像能力。
4.图1是现有技术的图像传感器的像素架构示意图。图2是现有技术的图像传感器的曝光相关的时序控制示意图。如图1、2所示,现有技术的图像传感器主要包含如下器件:光电二极管32(photodiode,pd),用于累积光电效应产生的电子。传输门31(transfer gate,tx),用于将pd内产生的电子转移至浮动扩散区33(floating diffusion,fd)。复位(reset,rst)晶体管34,用于清空pd和fd内存储的电子。源跟随(source follower,sf)晶体管35,用于将fd产生的电压信号放大。选择(select,sel)晶体管36,用于选取需要读出信号的像素。对于传统cis,由于第一像素p1和第二像素p2的曝光时间受到同一个tx信号控制,因此两个像素的曝光时间相同,无法进行像素级的调控。
5.目前,现有技术已经产生了一些动态范围扩展技术的技术方案,但各有功能性、使用场景或是成本等方面的缺点,例如:
6.(1)时域多次曝光,是常见的动态范围扩展技术之一。对同一目标场景进行时间长短不同的多次曝光,再将多次曝光得到的多帧图像进行融合。这种方法的缺点在于多次曝光时被摄景物不能移动,否则会造成运动伪影,因此不适合车载摄像头等高速摄像场景。
7.(2)采用单帧空间域多重曝光的方案可以减少运动伪影。典型的方法是将像素阵列划分为行,并以两行间隔设置长曝光和短曝光。当按下快门时,长曝光和短曝光同时开始。这种技术可以一次拍摄长曝光和短曝光图像,并最终获得一张hdr图像。由于需要将长、短曝光的像素获得的数据融合,此类方案的缺点是需要牺牲传感器的空间分辨率。
8.(3)还有一种拓展动态范围的方法是在cis像素单元中使用两个对光响应率不同的光电二极管。其中,对光响应率高的光电二极管工作负责对场景中暗的部分成像,对光响应率低的光电二极管工作负责对场景中亮的部分成像。此类方法无法实现小像素图像传感器(每个像素单元实际包含两个像素)。
9.现有hdr技术的缺点:
10.(1)容易造成运动伪影,和/或,需要牺牲cis分辨率
11.(2)可达到的动态范围有限(大约120-130db),难以满足自动驾驶等应用(要求大于140db)
12.有鉴于此,本发明提出了图像传感器以及像素级曝光控制方法
13.需要说明的是,上述背景技术部分公开的信息仅用于加强对本发明的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素:

14.针对现有技术中的问题,本发明的目的在于提供图像传感器以及像素级曝光控制方法,克服了现有技术的困难,能够实现单帧超高动态范围成像,有效减少运动伪影,适用于高速摄像应用,并且,无须牺牲传感器分辨率,有利于兼容小尺寸像素,在同样分辨率下可以降低芯片成本。
15.本发明的实施例提供一种图像传感器,包括:
16.二维像素阵列,包括多个传感器像素,所述传感器像素被配置为根据可调曝光时间采集目标场景的图像数据;
17.图像分割模块,对所述二维像素阵列采集的图像数据进行图像分析,提取图像特征,并基于具有相同的图像特征的传感器像素建立若干像素分区;
18.预测曝光模块,根据所述像素分区的图像特征分别获得一预测曝光时间;以及
19.区域曝光控制模块,基于所述预测曝光时间生成曝光时序控制信号,并发送给所述预测曝光时间对应的像素分区中的传感器像素。
20.优选地,所述传感器像素包括:
21.一光电二极管;
22.一浮动扩散区;
23.一传输晶体管,所述传输晶体管的源极和漏极分别与所述光电二极管和所述浮动扩散区耦合;以及
24.一个传输栅控制单元,所述传输栅控制单元与所述传输晶体管的栅极耦合,所述传感器像素被配置为仅当所述传输晶体管和所述传输栅控制单元同时导通时,所述光电二极管在曝光累积的电子被传输到浮动扩散区。
25.优选地,所述传输栅控制单元为一个晶体管或是若干个晶体管组成的控制电路。
26.优选地,所述图像分割模块将所述图像数据输入图像分割神经网络,输出多个像素分区,每个所述像素分区中包括具有相同图像特征的图像像素,所述图像特征包括灰度、色彩、空间纹理、几何形状中的一种或者多种。
27.优选地,所述预测曝光模块根据每个所述像素分区的图像特征获得一预测曝光时间,建立所述预测曝光时间与所述像素分区中每个传感器像素的映射关系。
28.优选地,所述区域曝光控制模块基于所述预测曝光时间生成一脉冲信号,所述脉冲信号的下降沿到周期结束之间的时长等于所述预测曝光时间,并分别发送到与所述预测曝光时间具有映射关系的传感器像素,令所述传感器像素基于接收到的所述脉冲信号包含的所述预测曝光时间分别进行曝光。
29.优选地,还包括一第一缓存器,缓存上一帧的动态图像作为所述图像数据,建立上一帧的动态图像中每个图像像素与传感器像素的映射关系,所述区域曝光控制模块将曝光时序控制信号发送给具有映射关系的传感器像素。
30.优选地,还包括一第二缓存器,缓存采用传感器中的部分像素拍摄低分辨率的图
像数据,根据被使用的部分像素对应的传感器像素在图像传感器中的位置关系,建立采样照片中每个图像像素与若干个传感器像素的映射关系,所述区域曝光控制模块将曝光时序控制信号发送给具有映射关系的传感器像素。
31.本发明的实施例提供一种像素级曝光控制方法,包括以下步骤:
32.获得采样图像,所述采样图像的每个图像像素与至少一传感器像素建立映射关系;
33.对采样图像进行图像分割,基于所述图像像素的图像特征建立若干个像素分区;
34.获得每个像素分区的预测曝光时间;
35.根据所述预测曝光时间获得时序控制信号;
36.将所述时序控制信号发送给与所述像素分区中的图像像素具有映射关系的传感器像素;以及
37.获得当前帧的高动态范围图像。
38.优选地,所述获得采样图像,所述采样图像的每个图像像素与至少一传感器像素建立映射关系,包括:
39.将上一帧的动态图像作为所述采样图像,建立上一帧的动态图像中每个图像像素与传感器像素的映射关系。
40.优选地,所述获得采样图像,所述采样图像的每个图像像素与至少一传感器像素建立映射关系,包括:
41.采用传感器中的部分像素拍摄低分辨率的采样照片,根据被使用的部分像素的在图像传感器中的位置关系,建立采样照片中每个图像像素与传感器像素的映射关系。
42.优选地,所述对采样图像进行图像分割,基于所述图像像素的图像特征建立若干个像素分区,包括:
43.将所述采样图像输入图像分割神经网络,输出多个像素分区,每个所述像素分区中包括具有相同亮度的图像像素。
44.优选地,所述对采样图像进行图像分割,基于所述图像像素的图像特征建立若干个像素分区,包括:
45.获得所述采样图像中每个图像像素的亮度参考值,将所述图像像素分配到不同的像素分区中,每个所述像素分区对应一个独立的预设亮度参考值范围。
46.优选地,所述获得每个像素分区的预测曝光时间,包括:
47.将所述像素分区分别输入所述曝光模块,获得每个所述像素分区的预测曝光时间,所述预测曝光时间的范围时1/10秒到1/1000秒。
48.优选地,所述根据所述预测曝光时间获得时序控制信号,包括:
49.基于所述预测曝光时间生成一脉冲信号,所述脉冲信号的下降沿到周期结束之间的时长等于所述预测曝光时间。
50.优选地,,还包括:对所述当前帧的动态图像通过经过训练的神经网络进行障碍物识别,并进行障碍物分区,将为被识别的图像区域或者置信度低于预设阈值的图像区域,建立曝光待调整区域,在下一帧中,调整所述曝光待调整区域中像素的预测曝光时间。
51.本发明的目的在于提供图像传感器以及像素级曝光控制方法,能够实现单帧超高动态范围成像,有效减少运动伪影,适用于高速摄像应用,并且,无须牺牲传感器分辨率,有
利于兼容小尺寸像素,在同样分辨率下可以降低芯片成本。
附图说明
52.通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显。
53.图1是现有技术的图像传感器的电路示意图。
54.图2是现有技术的图像传感器的时序控制示意图。
55.图3是本发明的图像传感器的模块示意图。
56.图4是运行本发明的图像传感器的模块示意图。
57.图5是本发明的图像传感器的具体实施例示意图。
58.图6是本发明的像素级曝光控制传感器的电路示意图。
59.图7是本发明的像素级曝光控制传感器的时序控制示意图。
60.图8是本发明的像素级曝光控制方法的流程图。
61.图9、10是本发明的像素级曝光控制方法中进行低分辨率采样的示意图。
具体实施方式
62.以下通过特定的具体实例说明本技术的实施方式,本领域技术人员可由本技术所揭露的内容轻易地了解本技术的其他优点与功效。本技术还可以通过另外不同的具体实施方式加以实施或应用系统,本技术中的各项细节也可以根据不同观点与应用系统,在没有背离本技术的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,本技术中的实施例及实施例中的特征可以相互组合。
63.下面以附图为参考,针对本技术的实施例进行详细说明,以便本技术所属技术领域的技术人员能够容易地实施。本技术可以以多种不同形态体现,并不限定于此处说明的实施例。
64.在本技术的表示中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的表示意指结合该实施例或示例表示的具体特征、结构、材料或者特点包括于本技术的至少一个实施例或示例中。而且,表示的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本技术中表示的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
65.此外,术语“第一”、“第二”仅用于表示目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本技术的表示中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
66.为了明确说明本技术,省略与说明无关的器件,对于通篇说明书中相同或类似的构成要素,赋予了相同的参照符号。
67.在通篇说明书中,当说某器件与另一器件“连接”时,这不仅包括“直接连接”的情形,也包括在其中间把其它元件置于其间而“间接连接”的情形。另外,当说某种器件“包括”某种构成要素时,只要没有特别相反的记载,则并非将其它构成要素排除在外,而是意味着
可以还包括其它构成要素。
68.当说某器件在另一器件“之上”时,这可以是直接在另一器件之上,但也可以在其之间伴随着其它器件。当对照地说某器件“直接”在另一器件“之上”时,其之间不伴随其它器件。
69.虽然在一些实例中术语第一、第二等在本文中用来表示各种元件,但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如,第一接口及第二接口等表示。再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的,或意味着任一个或任何组合。因此,“a、b或c”或者“a、b和/或c”意味着“以下任一个:a;b;c;a和b;a和c;b和c;a、b和c”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
70.此处使用的专业术语只用于言及特定实施例,并非意在限定本技术。此处使用的单数形态,只要语句未明确表示出与之相反的意义,那么还包括复数形态。在说明书中使用的“包括”的意义是把特定特性、区域、整数、步骤、作业、要素及/或成份具体化,并非排除其它特性、区域、整数、步骤、作业、要素及/或成份的存在或附加。
71.虽然未不同地定义,但包括此处使用的技术术语及科学术语,所有术语均具有与本技术所属技术领域的技术人员一般理解的意义相同的意义。普通使用的字典中定义的术语追加解释为具有与相关技术文献和当前提示的内容相符的意义,只要未进行定义,不得过度解释为理想的或非常公式性的意义。
72.图3是本发明的图像传感器的模块示意图。如图3所示,本发明的图像传感器包括:二维像素阵列11、图像分割模块12、预测曝光模块13以及区域曝光控制模块14。其中,二维像素阵列11包括多个传感器像素,传感器像素被配置为根据可调曝光时间采集目标场景的图像数据。图像分割模块12对二维像素阵列11采集的图像数据进行图像分析,提取图像特征,并基于具有相同的图像特征的传感器像素建立若干像素分区。预测曝光模块13根据像素分区的图像特征分别获得一预测曝光时间。区域曝光控制模块14基于预测曝光时间生成曝光时序控制信号,并发送给预测曝光时间对应的像素分区中的传感器像素。
73.参见图3,在图像传感器内集成低功耗图像处理引擎,通过图像分割模块实现图像分割(image segmentation)和特征提取,然后完成像素级的分区曝光时间估算和曝光控制,最后实现单帧高动态范围成像。优选地,图像分割模块使用神经网络引擎;在某些情况下,也可以使用专用集成电路模块。其中,芯片主要工作流程如下:
74.步骤一,通过像素阵列,对目标场景进行成像,获得初始图像数据。注意,此步骤可以使用预定统一的曝光时间,对目标场景进行低分辨率拍照采样;也可以使用上一帧获得的全分辨率图像。具体操作方式需要依据实际的应用场景变化。
75.步骤二,对初始图像数据进行处理,实现整个成像场景内图像的区域分割和特征提取。
76.步骤三,基于人工智能算法,依据步骤二提取的特征,对分割好的图像区域进行曝光时间估算。对场景内光线较弱的场景(例如:阴影、低反射率物体)设置长曝光时间;光线
较强的场景(例如:阳光直射处,信号灯)设置短曝光时间。
77.步骤四,通过区域曝光控制模块,按照步骤三估算的曝光时间,对目标场景进行全分辨率拍照成像。
78.步骤五,输出一帧hdr图像数据。
79.需要注意的是,图3仅仅是示意性地展示了图像传感器中,与图像分区处理引擎、区域曝光控制相关的功能模块。一颗功能完整的图像传感器芯片,还应当包含寻址电路、模数转换/数模转换器、存储器、放大器电路、相关双采样电路、数据输出电路等。此类模块由于是本行业公知,因此未在图示中画出。
80.本发明的像素级曝光控制方法能够实现单帧超高动态范围成像,有效减少运动伪影,适用于高速摄像应用,并且,无须牺牲传感器分辨率,有利于兼容小尺寸像素,在同样分辨率下可以降低芯片成本。
81.图4所示,图4描述了该芯片在自动驾驶上的一种应用场景。最后,像素阵列11中的每个传感器像素各自根据时序控制信号进行曝光,获得当前帧的高动态图像,并将高动态图像发送给车机芯片2,例如:高级驾驶员辅助系统(adas)和自动驾驶等应用中的汽车片上系统(soc),以便给后续行车辅助系统或是自动驾驶系统使用。在完成分区曝光控制后,图像传感器芯片将采集到的hdr图像数据传输给高级辅助驾驶系统(adas)系统级芯片(soc)。利用adas soc完成后续的物体识别、路径规划等功能。
82.图5是本发明的图像传感器的具体实施例示意图。如图5所示,在一个优选实施例中,本发明的图像传感器中二维像素阵列11中的每个像素分别接收行控制电路15以及列控制和读出电路16的信号,每个传感器像素包括:一光电二极管pd、一浮动扩散区fd、一传输晶体管tx以及一个传输栅控制晶体管txc。传输晶体管tx位于光电二极管pd与浮动扩散区fd之间。本实施例中将传输栅控制单元的两个传输端分别与传输晶体管tx的栅极、行驱动电极耦合,传输栅控制单元的控制端与行控制信号电极耦合,可以实现基于行控制信号控制传输栅控制单元的两个传输端的导通状态,从而调整曝光时间。本实施例中将一个传输栅控制晶体管txc作为传输栅控制单元,传输栅控制晶体管txc的源极或漏极第一传输端与传输晶体管tx的栅极耦合,传感器像素被配置为仅当传输晶体管tx和传输栅控制单元同时导通时,光电二极管pd在曝光累积的电子被传输到浮动扩散区fd。复位晶体管rst,用于清空pd和fd内存储的电子。源跟随晶体管sf,用于将fd产生的电压信号放大。选择晶体管sel,用于选取需要读出信号的像素,选择晶体管sel的栅极接收列选择信号(column selection signal),漏极读出像素数据(pixel signal out)。
83.在一个优选实施例中,图像分割模块12将图像数据输入图像分割神经网络,输出多个像素分区,每个像素分区中包括具有相同图像特征的图像像素,图像特征包括灰度、色彩、空间纹理、几何形状中的一种或者多种。
84.在一个优选实施例中,预测曝光模块13根据每个像素分区的图像特征获得一预测曝光时间,建立预测曝光时间与像素分区中每个传感器像素的映射关系。
85.在一个优选实施例中,区域曝光控制模块14基于预测曝光时间生成一脉冲信号,脉冲信号的下降沿到周期结束之间的时长等于预测曝光时间,并分别发送到与预测曝光时间具有映射关系的传感器像素,令传感器像素基于接收到的脉冲信号包含的预测曝光时间分别进行曝光。
86.在一个优选实施例中,还包括一第一缓存器,缓存上一帧的动态图像作为图像数据,建立上一帧的动态图像中每个图像像素与传感器像素的映射关系,区域曝光控制模块14将曝光时序控制信号发送给具有映射关系的传感器像素。
87.在一个优选实施例中,还包括一第二缓存器,缓存采用传感器中的部分像素拍摄低分辨率的图像数据,根据被使用的部分像素对应的传感器像素在图像传感器中的位置关系,建立采样照片中每个图像像素与若干个传感器像素的映射关系,区域曝光控制模块14将曝光时序控制信号发送给具有映射关系的传感器像素。
88.图6是本发明的像素级曝光控制传感器的电路示意图。本技术提出了一种新型像素架构。如图6所示,本实施例中将一个传输栅控制晶体管txc作为传输栅控制单元,传输栅控制晶体管txc的源极与传输晶体管tx的栅极耦合,漏极与行驱动电极耦合,栅极与行控制信号电极耦合。传感器像素被配置为仅当传输晶体管tx和传输栅控制晶体管txc同时导通时,光电二极管pd在曝光累积的电子被传输到浮动扩散区fd。在每个像素内额外增加一个tx control晶体管与tx晶体管的栅极耦合。图7是本发明的像素级曝光控制传感器的时序控制示意图。如图7所示,通过tx和tx control两个信号,可以独立控制每个像素的实际曝光时间,从而完成像素级的曝光控制。
89.参见6所示,本发明的图像传感器中像素级曝光控制图像传感器,包括:一第一信号引线tx、n个像素、n个第二信号引线以及n个晶体管37。第一信号引线tx发送行扫描信号。n个第二信号引线发送代表预测曝光时间的脉冲信号。每个晶体管的源极连接第一信号引线,栅极分别连接一第二信号引线,漏极连接光敏传感器。
90.其中,每个像素包括:光电二极管32(photodiode,pd),用于累积光电效应产生的电子。传输门31(transfer gate,tx),用于将pd内产生的电子转移至浮动扩散区33(floating diffusion,fd)。复位(reset,rst)晶体管34,用于清空pd和fd内存储的电子。源跟随(source follower,sf)晶体管35,用于将fd产生的电压信号放大。选择(select,sel)晶体管36,用于选取需要读出信号的像素。
91.参见7所示,每个光敏传感器根据接收到的脉冲信号中的预测曝光时间来产生光电信号。以相邻的两个光敏传感器为例,一光敏传感器p3接收到第二信号引线tx control_1的第一脉冲信号,第二光敏传感器p4接收到第二信号引线tx control_2的第二脉冲信号。本实施例中,在一个周期内,脉冲信号的下降沿到周期结束之间的时长等于预测曝光时间。第一光敏传感器p3在第一脉冲信号的下降沿开始曝光,在第一脉冲信号的周期结束时结束曝光,第一光敏传感器p3的曝光时长为tp3。第二光敏传感器p4在第二脉冲信号的下降沿开始曝光,在第二脉冲信号的周期结束时结束曝光,第二光敏传感器p4的曝光时长为tp4,tp4小于tp3。从而使得每个光敏传感器可以基于不同的脉冲信号进行曝光时长的控制,能够进行像素级的调控,以便在一次曝光中获得单帧超高动态范围成像。
92.本发明的像素级曝光的图像传感器能够实现单帧超高动态范围成像,有效减少运动伪影,适用于高速摄像应用,并且,无须牺牲传感器分辨率,有利于兼容小尺寸像素,在同样分辨率下可以降低芯片成本。
93.图8是本发明的像素级曝光控制方法的流程图。如图8所示,本发明的实施例提供一种像素级曝光控制方法,本实施例中可以采用上述图像传感器,但不以此为限,包括以下步骤:
94.s110、获得采样图像,采样图像的每个图像像素与至少一传感器像素建立映射关系。
95.s120、对采样图像进行图像分割,基于图像像素的明暗建立若干个像素分区。
96.s130、获得每个像素分区的预测曝光时间。
97.s140、根据预测曝光时间获得时序控制信号。
98.s150、将时序控制信号发送给与像素分区中的图像像素具有映射关系的传感器像素。以及
99.s160、获得当前帧的高动态范围图像,每个传感器像素各自根据时序控制信号进行曝光,获得当前帧的动态图像。
100.本发明通过对采样图像进行曝光分析,来获得传感器的每个像素应该采用的预测曝光时间,并将基于预测曝光时间转化的时序控制信号发送到对应的传感器像素,让每个传感器像素都能根据的对应的预测曝光时间进行曝光,以便在一次曝光中获得单帧超高动态范围成像。
101.在一个优选实施例中,步骤s110包括:采用传感器中的部分像素拍摄低分辨率的采样照片,根据被使用的部分像素的在图像传感器中的位置关系,建立采样照片中每个图像像素与传感器像素的映射关系。通过先拍摄一个分辨率的采样照片,能够事实根据当前的光照情况进行分析,获得更准确预测曝光时间的数据,提高曝光的准确性,但不以此为限。图9、10是本发明的像素级曝光控制方法中进行低分辨率采样的示意图。参见图9,对于传感器中每个九宫格排列的像素41、42、43、44、45、46、47、48、49中,只采用位于中央的像素45来进行采样,其余8个像素不参会采样。这样就能获得仅包含全传感器1/9像素的低分辨率照片。并且,像素45与九宫格排列的像素41、42、43、44、45、46、47、48、49建立映射关系。使用这个低分辨率照片进行后续的图像分割、预测曝光时间等步骤,由于像素大大减少,处理速度被加快,由于相邻像素的光照情况比较接近,本方法可以在损失一点曝光准确度的前提下,大大减小计算量,加快处理速度。后续,参见图10,可以将像素45对应的脉冲信号,分别发送给9个像素41、42、43、44、45、46、47、48、49进行曝光,以便基于低分辨率的预采样,获得全像素的高动态范围的实时图像。
102.在一个优选实施例中,步骤s110包括:将上一帧的动态图像作为采样图像,建立上一帧的动态图像中每个图像像素与传感器像素的映射关系,适用于摄像场景。由于高速摄像场景下,相邻帧之间的光线情况变化较小,通过复用上一帧的动态图作为采样图像,不需要额外采样,有利于高速摄像场景,但不以此为限。
103.在一个优选实施例中,步骤s120包括:将采样图像输入图像分割神经网络,输出多个像素分区,每个像素分区中包括具有相同亮度的图像像素。本实施例中,采用现有的基于像素亮度的图像分割神经网络,例如,可以通过每个图像像素的灰度级范围来获得像素亮度参数,从而对处于不同灰度级范围的图像像素进行分类,每一类灰度级范围的所有图像像素所处的范围就是一个像素分区(本实施例中的像素分区中的像素可以不相邻),但不以此为限。
104.在一个优选实施例中,步骤s120包括:获得采样图像中每个图像像素的各项参数,通过加权计算来获得一个亮度参考值,将图像像素分配到不同的像素分区中,每个像素分区对应一个独立的预设亮度参考值范围,但不以此为限。
105.在一个优选实施例中,步骤s130包括:将像素分区分别输入曝光模块,获得每个像素分区的预测曝光时间。本实施例中,预测曝光时间的范围时1/10秒到1/1000秒,但不以此为限。
106.在一个优选实施例中,步骤s140包括:基于预测曝光时间生成一脉冲信号,脉冲信号的下降沿到周期结束之间的时长等于预测曝光时间。
107.在一个优选实施例中,步骤s160之后还包括:
108.s170、对当前帧的动态图像通过经过训练的神经网络进行障碍物识别,并进行障碍物分区,将为被识别的图像区域或者置信度低于预设阈值的图像区域,建立曝光待调整区域,在下一帧中,调整曝光待调整区域中像素的预测曝光时间。例如:增强曝光或者减弱曝光,以便使得调整以后的图像区域能够在下一帧的动态图像的全图都能够通过经过训练的神经网络进行障碍物识别,获得准确的标签,提升行车或自动驾驶的安全性。
109.本发明提供了一种像素级分区曝光控制方案,能够实现单帧高动态范围成像。由于不需要多帧融合(时域多次曝光),因此可以减少运动伪影。独立控制每个像素的曝光时间,不需要空间域像素数据的融合,因此可以避免牺牲传感器空间分辨率。每个像素单元只有一个光电二极管,结合现有的堆栈式图像传感器架构,可以实现小尺寸像素。最终在普通cis原始的dr基础上,大幅度提高动态范围60~100db,实现接近200db hdr,满足自动驾驶等应用的需求。
110.综上,本发明的目的在于提供像素级曝光控制方法、系统、设备及存储介质,能够实现单帧超高动态范围成像,有效减少运动伪影,适用于高速摄像应用,并且,无须牺牲传感器分辨率,有利于兼容小尺寸像素,在同样分辨率下可以降低芯片成本。
111.以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献