采用FPGA实现图像直方图的调节以及动态范围扩展的方法与流程

采用fpga实现图像直方图的调节以及动态范围扩展的方法
技术领域
1.本发明涉及图像处理技术领域，具体为采用fpga实现图像直方图的调节以及动态范围扩展的方法。


背景技术：

2.1.isp处理中的直方图调整：
3.摄像机的视频处理中，有一项典型处理，叫做“直方图处理”。一般图像传感器产生的标准直方图为山峰型，这说明图像中的绝大部分像素亮度都处于亮度的中间值，也就是说图像中比较暗的部分像素亮度不够，致使暗处景物看不清楚，但图像中较亮部分又不够明亮。行业中需要进行直方图调整，其作用是将较暗处的图像适当地提高亮度，使暗处图像显示较为明亮，同时又将较亮处的图像较亮的像素增多一点，这样的图像直方图变成所谓“山丘型”。暗处、亮处的图像细节均有提高。
4.当车载摄像机进入夜间，行驶在道路上拍摄时，初步直方图调整的图像中，图像较暗处的一些的细节看不清楚。而当对面汽车的大灯突然照亮，又会使图像中较亮的部分突然过亮，发生“呲光”现象，致使摄像机不能展现对面大灯灯光附近的景物。这时就需要通过软件算法及时地进一步调整直方图，将较亮处的图像大范围压缩，导致对面大灯不会发生“呲光”现象，尽可能地展现对面强光附近的图像。同时也尽可能地提高一些图像较暗部分的细节亮度。这样，上述对直方图的调整不能是静态的，而必须是动态实时的，才能针对摄像机前方的景物光线的变化，实时调整直方图，随时改变图像各区的亮度，尽可能地展现图像各个部分，从而保证车载前视摄像机对图像识别的准确性、减轻后端处理器平台的运行压力，保证自动驾驶系统决策算法的准确性和效率，减少交通事故隐患。
5.2.isp处理中的hdr【高动态范围】增强：
6.在一般摄像机感光芯片系统中，随着输入光线的增强，输出的视频像素信号的增强是线性的。也就是说光线较暗时，输出信号不够大。而光线较强时，输出信号又很快地限幅了，使强光信号很快被光斑淹没，图像细节看不清楚。
7.一般需要在摄像机的isp中，设计一些增强图像动态范围的软件，达到高动态范围(hdr)。一般方法是将上述的输入光强——输出信号的线性曲线，调整为一个y＝ax
γ
。的曲线，式中，x为输入光线，a为合适的系数，γ为电视原理中的伽马校正系数，而y就是输出电视信号。参见后面的hdr矫正曲线图。经过增强hdr处理的图像，暗处像素比原始图像增亮，比较清晰。而高输入光线的部分，图像像素被压缩，不会导致限幅，图像上尽量不出现“呲光”、“大面积亮斑”的现象，这种图像就叫做hdr图像。
8.车载摄像机图像动态范围扩展isp处理算法涉及到直方图调整，以及提高图像全光线范围的动态范围。传统isp中对图像的上述两项调整算法通常需要通过对多帧图像进行处理完成，处理技术较复杂，可达到较好的调整直方图、以及动态范围扩展效果，但依赖大量硬件存储器的使用，通常需要帧存储器规模的硬件支持，需要大量外置硬件存储器(上百万个字节存储器)构建帧存储器，必然会增大延时，占用更大的电路面积，增加产品体积
及成本支出；与车载视觉传感器的低延时、小体积、降低成本的需求相冲突。


技术实现要素：

9.本发明的目的在于：解决背景技术的部分技术问题。
10.为了实现上述目的，本发明的技术方案具体如下：采用fpga实现图像直方图的调节以及动态范围扩展的方法，包括以下步骤：
11.步骤1，选用车载coms图像传感器芯片，输出原始图像数据(raw)，采用通用fpga硬件作为动态范围扩展处理硬件支持，采用两行分布式处理的方法，逐行实现图像直方图的调节以及动态范围扩展；
12.步骤2，利用fpga硬件中自带的有限存储器，只需定义2560个寄存器，存储并计算2行图像数据；奇数行、偶数行依次分别进行存储、采样分析、计算、再存储的过程，依次分别对行数据进行不同程度亮度像素的统计；
13.步骤3，在每一行的逆程时序中，对该行各个像素亮度进行存储、采样分析、计算、再存储，每一行都对cmos输出的数据进行分类、统计，分别将较暗处的像素，以及较亮处的像素的幅度进行调节，达到该行直方图改变为“草垛型”；
14.步骤4，在夜间道路上摄像时，将图像中对面车辆大灯的高亮度图像进行减弱；动态地调整图像该行的直方图；每一行都对cmos输出的视频信号进行了直方图的处理；
15.步骤5，采用基于用行时序处理的技巧，在每一行视频信号传输的过程中，每一个像素发生的时间长度内，对该像素幅度的采样进行分析、比较、分类、统计、计算、再存储的过程”(hdr扩展的必要处理)；然后在行逆程时序内，分别对较暗处图像、较亮处图像进行增强或衰减。
16.优选的，所述步骤5中，经过时序分析的视频信号，在视频系统中，每个像素发生的时间长度为25.6ns。
17.与现有技术相比，本发明的有益效果如下：
18.本发明采用全帧960行依次处理后就在全帧画面(约33毫秒)进行了直方图处理。这种方法没有使用存储全帧画面的帧存储器，处理结果从每帧开始到结束，有一帧时间(约33.37ms)的延时，这个延时在实际应用中是完全看不出来的。而即使传统的全帧处理方法中，直方图调整也需要在多帧延时后才能生成新直方图，甚至有六、七十毫秒的延时。因此基于行分布式处理直方图的方法，对图像的及时调整作用不比传统处理方法慢。针对低成本的车载摄像机分析得出，该产品面对的道路环境分析。具有目标照明随时变化的特点，其直方图调整的速率足够，实测达到的直方图重新分布的结果也相当满意。
19.对于mcu、mpu、soc这类串行计算ic，单个时钟周期只能做极少的计算，更复杂的图像处理运算会带来严重的延时增加问题，不满足车载图像处理对于低延迟的要求；而fpga芯片采用的是并行运算架构，单个时钟周期内可以进行多步运算，处理延迟取决于线路延时与内部门电路延时，更复杂的运算会增加门电路的数量，而带来的处理延时增长很小，满足车载图像处理的低延时要求。
附图说明
20.图1为本发明的直方图处理时序；
21.图2为本发明的直方图均衡处理流程图；
22.图3为本发明的hdr处理流程；
23.图4为本发明的hdr软件流程。
具体实施方式
24.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.如图1-4本发明提供的采用fpga实现图像直方图的调节以及动态范围扩展的方法，选用符合标准的车载coms图像传感器芯片，输出原始图像数据(raw)，采用通用fpga硬件作为动态范围扩展处理硬件支持，采用两行分布式处理的方法，逐行实现图像直方图的调节以及动态范围扩展。利用fpga 中自带的有限存储器，只需定义2560个寄存器，存储并计算2行图像数据。奇数行、偶数行依次分别进行存储、采样分析、计算、再存储，依次分别对行数据进行不同程度亮度像素的统计。在每一行的逆程时序中，对该行各个像素亮度进行存储、采样分析、计算、再存储的过程，每一行都对cmos输出的数据进行分类，统计，分别将较暗处的像素，以及较亮处的像素的幅度进行调节，达到该行直方图改变为“草垛型”。同样，在夜间道路上摄像时，将图像中对面车辆大灯的高亮度图像进行减弱。动态地调整图像该行的直方图。每一行都对cmos输出的视频信号进行了直方图的处理。采用基于用行时序处理的技巧，在每一行视频信号传输的过程中，每一个像素发生的时间长度内，进行对该像素幅度的采样分析、比较、分类、统计、计算、再存储的过程”(hdr扩展的必要处理)。然后在行逆程时序内，分别对较暗处图像、较亮处图像进行必要的增强或衰减。(直方图调整必要处理)。而经过时序分析，在视频系统中，每个像素发生的时间长度仅仅有25.6ns。
26.经分析及试验，在单个像素周期内，利用fpga完成图像的各种必要的处理及运算。满足我们的要求。将必须进行的工作进行了公式化，归一化处理，尽量让每个像素周期内的工作简化，减少利用的逻辑门数量，从而使用成本更低的fpga芯片，同时处理的图像的直方图及增加了图像的动态范围，在效果与成本间取得平衡。
27.上述基于，实现直方图的动态调整，将直方图从山峰型演变为草垛型(见图1)。节省了传统时域处理需要大量的帧存储器，从而有效减小产品体积，降低成本。同时经过每个像素输出信号的采样、运算、回存，有效地提高了全光线范围内动态范围。经实际设计，软件编程及调试，在样机上进行试用，达到的直方图调整及动态范围的提高效果是令人满意的。在车载摄像机实际道路拍摄过程中。无论在白天，还是在夜间，景物光线随时剧烈地变化的情况下，嵌入式软件都能获得较快速地调整数据。与传统全帧处理调整直方图、增强hdr的方法，未见明显的区别。降低了设备的硬件成本，提高了实际应用效果。
28.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。