可重新配置的图像处理硬件管线的制作方法

可重新配置的图像处理硬件管线


背景技术：

1.图像处理硬件管线必须能够响应于快速变化的环境而快速更新图像处理参数，例如色调映射查找表(lut)及增益。举例来说，一些驾驶员辅助系统使用图像处理来绘制汽车周围的环境。当汽车进入隧道时，环境突然变得更暗，由人工照明照亮。图像处理硬件管线必须能够快速调整适当的参数以在较暗的环境条件下维持驾驶员辅助系统的性能。当汽车离开隧道且环境突然变得更明亮时，图像处理硬件管线必须快速返回到其先前配置。
2.一些图像处理硬件管线通过从存储器映射寄存器读取状态及统计数据、执行自动曝光及自动白平衡校正以及将经更新参数写入到必要的寄存器而更新图像处理参数。然而，对于一些实施方案，此过程可花费太长时间。读取及写入步骤通常使用相对缓慢通信总线且为高延迟。在一些实例中，读取及写入步骤慢至每32位字200纳秒(ns)。自动曝光及自动白平衡校正也可能缓慢地执行，这取决于算法复杂性。
3.图像处理硬件管线以即时模式或以存储器到存储器模式更新参数。在即时模式中，图像处理管线在一帧图像数据结束时的短垂直消隐期间重新配置参数。为了在这些较短时间周期内重新配置参数，图像处理管线选择有限数目个参数来进行更新，称为关键参数。假定非关键参数从一帧到另一帧基本上保持不变且不更新。图像处理管线以一帧延迟实施经更新参数。在存储器到存储器模式中，图像处理管线在帧即将结束时重新配置所有参数，从而减缓有效处理吞吐量。在图像处理硬件管线的一些应用(例如驾驶辅助系统)中，帧延迟或总体吞吐量降低是不可接受的。


技术实现要素：

4.一种用于图像处理硬件管线的重新配置的系统包含图像信号处理器(isp)、控制处理器及本地存储器。所述isp经配置以获得包括帧的原始像素数据的图像信号且基于至少一个图像处理参数而处理所述原始像素数据以获得所述帧的若干行经处理像素数据。针对所述帧中的每一所关注区域，所述isp经配置以基于所述所关注区域的所述若干行经处理像素数据而产生自动曝光及自动白平衡(2a)统计数据且经由第一接口将所述2a统计数据写入到所述本地存储器。所述isp经配置以经由第二接口将所述帧的所述若干行经处理像素数据提供到所述控制处理器。所述控制处理器经配置以从所述本地存储器读取所述2a统计数据、基于所述2a统计数据而确定所述至少一个图像处理参数，且将所述至少一个图像处理参数提供到所述isp。
5.在一些实施方案中，所述isp进一步经配置以基于所述帧的所述经处理像素数据而产生n组格直方图，其中n是整数，且将所述n组格直方图提供到所述控制处理器。所述控制处理器进一步经配置以对所述直方图的所述总共n个组格的部分进行求和以获得总和组格计数，将所述总和组格计数与照明转变阈值进行比较，且基于所述比较而确定所述至少一个图像处理参数。所述isp可通过将所述n组格直方图附加到所述若干行经处理像素数据而经由所述第二接口将所述n组格直方图提供到所述控制处理器。
6.在一些实施方案中，所述系统进一步包括查找表(lut)逻辑单元，所述lut逻辑单
元包括多个色调映射lut以及选择器逻辑电路，所述选择器逻辑电路经配置以基于所述至少一个图像处理参数而输出选自所述多个色调映射lut的色调映射lut。所述至少一个图像处理参数包括所述选定色调映射lut的指示符。所述控制处理器进一步经配置以响应于所述总和组格计数小于所述照明转变阈值而选择第一色调映射lut且响应于所述总和组格计数大于所述照明转变阈值而选择第二色调映射lut。
7.在一些实施方案中，所述多个色调映射lut包含在用于所述系统的宽动态范围操作模式的解压扩信号处理信道中。所述控制处理器可进一步经配置以响应于所述宽动态范围操作模式未被使用而产生所述多个色调映射lut，且将所述多个色调映射lut提供到所述isp。所述isp可进一步经配置以存储来自所述控制处理器的所述色调映射lut且将所述多个色调映射lut从所述解压扩信号处理信道重新配置到所述lut逻辑单元。
8.在一些实例中，所述第一色调映射lut是日光色调映射lut，且所述第二色调映射lut是夜间色调映射lut。所述照明转变阈值可包括日光阈值及夜间阈值。所述控制处理器然后响应于所述总和组格计数小于所述夜间阈值而选择所述日光色调映射lut且响应于所述总和组格计数大于所述日光阈值而选择所述夜间色调映射lut。
附图说明
9.为详细描述各种实例，现在将参考附图，其中：
10.图1图解说明图像处理系统的框图。
11.图2展示图解说明图像处理系统如何将像素数据及统计数据写入到一或多个存储器的时序图。
12.图3展示环境的两个实例图像及对应直方图。
13.图4展示实例照明转变阈值的图。
14.图5图解说明经简化信号处理链的框图。
15.图6图解说明图5中所展示的重新配置的经简化信号处理链的框图。
具体实施方式
16.在重新配置图像处理管线的所揭示系统及方法中，图像信号处理器(isp)与处理原始像素数据并行地计算自动曝光及自动白平衡(2a)统计数据且利用第一通信接口来将2a统计数据存储于本地存储器中并利用第二通信接口来将经处理像素数据提供到控制处理器。控制处理器能够比从系统中的其它存储器或经由用于配置的通信接口更快速地从本地存储器读取2a统计数据。
17.isp还计算经处理像素数据的n组格直方图且用以下若干种可能方法中的一者将所述n组格直方图提供到控制处理器：经由用于经处理像素数据的通信接口、通过将所述n组格直方图存储于本地存储器中、通过将所述n组格直方图存储于系统中的其它存储器中，等等。n是整数。控制处理器对直方图的总共n个组格中的一部分的组格计数进行求和且将总和组格计数与照明转变阈值进行比较。基于所述比较及2a统计数据，控制处理器确定至少一个经更新配置参数以供isp用于处理其它原始像素数据，且经由用于配置的通信接口将所述至少一个经更新配置参数提供到isp。
18.图1图解说明图像处理系统的框图。图像处理系统100包含控制处理器110、图像信
号处理器(isp)130、双数据速率(ddr)同步动态随机存取存储器(sdram)160及存储装置165。存储装置165可用于存储指令及数据，且可为任何适当存储媒体，例如静态随机存取存储器(sram)。控制处理器110包含自动曝光及自动白平衡(2a)参数控制器115、控制总线120及中断控制器125。isp 130包含视频/图像子系统135、控制总线145、二级(l2)sram 150及中断控制器155。控制处理器110及isp 130中的中断控制器125及155分别经由中断管理总线180而发送、接收及管理中断。
19.isp 130从传感器(例如从相机)接收原始像素数据，且视频/图像子系统135基于来自控制处理器110的配置参数而处理原始像素数据。举例来说，视频/图像子系统135基于来自查找表(lut)库140的色调映射曲线lut而对原始像素数据执行色调映射。isp 130经由图像数据总线175将经处理像素数据提供到控制处理器110。在一些实施方案中，isp 130将经处理像素数据存储于ddr sdram 160或存储装置165中。
20.在其处理原始像素数据时，视频/图像子系统135针对像素数据中的所关注区域产生2a统计数据且经由与图像数据总线175不同的用于写入2a统计数据的接口185a将所述2a统计数据存储到l2 sram 150。控制处理器110经由与图像数据总线175及配置总线170不同的用于读取2a统计数据的接口190从l2 sram 150读取2a统计数据。在一些实施例中，视频/图像子系统135经由用于写入2a统计数据的接口185a将2a统计数据直接提供到控制处理器110。
21.在处理帧的原始像素数据之后，isp 130将经处理像素数据在线性化之后转换成对数域并产生直方图。isp 130经由用于写入直方图的接口185b将直方图数据写入到l2sram 150、ddr sdram 160及/或存储装置165。用于写入直方图的接口185b可为与用于写入2a统计数据的接口185a相同或不同的接口。在一些实施例中，isp 130经由图像数据总线175将直方图数据直接提供到控制处理器110。isp 130可将直方图及2a统计数据写入到相同或不同的存储装置。控制处理器110经由用于读取2a统计数据及直方图的接口190、经由图像数据总线175或经由配置总线170从l2 sram 150、ddr sdram 160及/或存储装置165读取直方图。
22.2a参数控制器115确定经更新图像处理参数以供isp 130用于基于2a统计数据及直方图而在当前环境条件下处理原始像素数据，并且经由配置总线170将经更新参数提供到isp 130。由于视频/图像子系统135与经处理像素数据并行地且经由用于写入2a统计数据的不同接口185a而非经由图像数据总线175来计算并写入2a统计数据，因此控制处理器110能够更快速地从l2 sram 150存取2a统计数据。另外，视频/图像子系统135将2a统计数据写入到低延迟l2 sram 150，控制处理器110能够更快速地从ddr sdram 160或经由配置总线170读取所述2a统计数据。
23.图2展示图解说明图像处理系统如何将像素数据及统计数据写入到一或多个存储器的图式200。经处理像素数据210由isp 130经由图像数据总线175逐行写入。针对所关注区域计算2a统计数据220a到220c且经由专用接口185a将所述2a统计数据写入到l2sram 150。由于2a统计数据220a到220c是针对所关注区域而非针对每一行来计算的，因此2a统计数据220a到220c是按间隔写入的。在isp 130已完成处理帧的原始像素数据之后，isp 130基于帧的所有像素数据210而计算直方图数据230。isp 130经由可与用于2a统计数据的接口185a相同或不同的接口185b将直方图数据230写入到l2 sram 150、ddr sdram 160及/或
存储装置165，或者经由图像数据总线175将直方图数据230直接提供到控制处理器110。直方图数据230可附加有零填充240以与一行像素数据210具有相同的大小。
24.图3展示环境的两个实例图像及对应直方图。如本文中先前所描述，isp 130将经处理像素数据在线性化之后转换成对数域并产生n组格直方图。n是整数。图像310展示(举例来说)来自驾驶员辅助系统中的相机的日间图像。图320展示对应于图像310的实例128组格直方图。类似地，图像350展示夜间图像，且图360展示对应128组格直方图。如图320及360所展示，与夜间图像350的直方图相比，日间图像310的直方图在对应于较明亮色调的组格中包含较高的计数，所述夜间图像350的直方图在对应于较暗淡色调的组格中包含较高的计数。不同组格计数为控制处理器110提供度量以用于确定供isp 130在当前环境条件下使用的经更新图像处理参数。
25.图4展示实例照明转变阈值的图400。控制处理器110经由用于读取2a统计数据及直方图数据的接口190、经由图像数据总线175或经由配置总线170从l2 sram 150、ddr sdram 160及/或存储装置165读取经处理像素数据的直方图数据。控制处理器110对直方图中的n个组格中的前m个组格进行求和且将总和组格计数与预定阈值进行比较。举例来说，可基于应用于原始像素数据的模拟增益以及相机的曝光时间而选择待求和组格的整数m及预定阈值。在图3的实例以及图320及360中所展示的直方图中，控制处理器110对总共128个组格中的前64个组格进行求和。总和组格计数小于预定阈值指示较明亮的环境条件。总和组格计数大于预定阈值指示较暗的环境条件。
26.图400展示直方图的n个组格中的前m个组格的总和组格计数，色调映射lut 2a参数控制器115确定在当前环境条件下伴随有所述总和组格计数是适当的。图400展示两个预定阈值：夜间阈值430及日间阈值440。响应于总和组格计数增加到高于日间阈值440，控制处理器110指示isp 130应在处理原始像素数据的同时使用夜间lut 410。响应于总和组格计数小于夜间阈值430，控制处理器110指示isp 130应在处理原始像素数据的同时使用日光lut 420。lut 410及420可存储于lut库140中，且控制处理器110指示isp 130应使用来自lut库140的哪一lut，而非经由配置总线170将整个lut提供到isp 130。lut库140中的lut可由控制处理器110预先编程以适应不同的环境条件。
27.在此实例中，夜间阈值430及日间阈值440两者均用于实施滞后并防止lut 410与420之间的迅速振荡以响应于环境条件从较明亮到较暗的转变且反之亦然(例如在晚上及清晨)。举例来说，夜间阈值430对应于23,000的总和组格计数，而日间阈值440对应于130万的总和组格计数。在128组格直方图及对128个组格中的64个组格进行求和的实例中，控制处理器110执行64次加法及两次乘法，这允许控制处理器110快速确定环境照明条件并选择适当的lut。
28.图5图解说明实例宽动态范围(wdr)图像处理系统500的框图。图像处理系统500在颁予达布拉尔(dabral)等人的美国专利第9,871,965号中被充分地描述，且在具有多个不同曝光时间的多个帧(展示为最短、短及长曝光时间帧)中接收原始图像像素数据。解压扩块530用于处理从压扩wdr传感器接收到的像素数据，所述压扩wdr传感器合并传感器上的数据并将所述数据压缩。解压扩块530针对最短、短及长曝光时间帧中的每一者包含处理信道。每一处理信道包含用于解压扩的分段线性(pwl)块531a到531c、用于从每一像素的强度值减去常数的dc块532a到532c、白平衡(wb)校正块533a到533c，以及lut 535a到535c。
29.针对来自其它种类的传感器的原始像素数据或在以不同于wdr操作模式的模式进行操作时，系统500重新配置解压扩块530以仅通过最短时间帧信号信道而处理数据，如图6中所展示。经重新配置系统600绕过pwl 531a并重新利用lut 535a到535c来存储用于不同环境条件的色调映射lut(例如本文中参考图4所描述的夜间lut 410及日光lut420)，从而充当本文中参考图1所描述的lut库140。lut块610包含阴影lut控制寄存器620及选择器逻辑电路625。在此实例中，选择器逻辑电路625是多路复用器，但可使用任何适当的选择器逻辑电路。阴影lut控制寄存器620存储来自2a参数控制器115的配置参数615，所述配置参数指示多路复用器625应输出哪一lut 535a到535c。由多路复用器625输出的选定lut 630用于lut处理。经重新配置系统600在550处执行其它图像处理(例如缺陷像素校正、镜头阴影校正、增益等等)，且输出经处理像素数据640。
30.在本说明书通篇中使用术语“耦合”。所述术语可涵盖实现与本公开的描述一致的功能关系的连接、通信或信号路径。举例来说，如果装置a产生信号以控制装置b来执行动作，那么在第一实例中，装置a耦合到装置b，或在第二实例中，如果介入组件c并不大体上更改装置a与装置b之间的功能关系使得装置b由装置a经由装置a所产生的控制信号来进行控制，那么装置a通过介入组件c耦合到装置b。
31.修改在所描述实施例中是可能的，且其它实施例在权利要求书的范围内是可能的。