用于智能驾驶高动态范围CMOS传感器的图像处理系统的制作方法

本发明涉及图像处理，更具体地说，涉及用于智能驾驶高动态范围cmos传感器的图像处理系统。

背景技术：

1、随着自动驾驶技术的迅速发展，对图像传感器的要求越来越高，特别是在复杂光照条件下，图像传感器需要准确地捕捉和处理图像信息，为自动驾驶系统提供可靠的视觉感知。

2、参考公开号为cn115578273a的专利申请公开了一种图像多帧融合的方法、装置、电子设备及存储介质，包括：基于图像中曝光锐度最高的一帧进行图像对齐；图像对齐包括提取图像每一帧的特征点，使图像每一帧都具有同样的空间布局；基于空间域的局部光源扩散权重信息，计算图像每一帧的融合区域；基于融合区域，对每一帧不同曝光度的图像进行融合；图像融合为用预先设定的算法将多帧不同曝光度的图像融合成融合图像；将融合图像压缩至预先设定的动态范围区间；本说明书实施方式提供的图像多帧融合的方法，通过在图像融合过程中，使用光源扩散权重的方式为图像引入局部信息，使融合后图像具有更高的动态范围和更低的光晕；

3、但是，现有hdr图像处理技术在智能驾驶应用中存在若干关键缺陷，多曝光融合通常基于静态场景假设或仅采用全局运动补偿，难以有效应对车辆、行人、自行车等局部动态物体引起的非刚性运动，易产生重影与结构错位；图像增强环节普遍采用全局统一策略，未区分动静区域的可信度，在动态或运动边界区域容易因过度锐化、对比度增强或不当降噪而引入光晕、振铃或纹理失真；同时hdr重建模型多依赖离线训练，缺乏对运行时图像质量如运动伪影程度和动态范围利用效率的量化评估与反馈机制，难以实现自适应优化，在复杂交通场景下鲁棒性受限。

4、为此，本发明针对上述问题提出用于智能驾驶高动态范围cmos传感器的图像处理系统。

技术实现思路

1、本发明的目的在于提供用于智能驾驶高动态范围cmos传感器的图像处理系统，解决了现有hdr图像处理技术在智能驾驶应用中存在若干关键缺陷，多曝光融合通常基于静态场景假设或仅采用全局运动补偿，难以有效应对车辆、行人、自行车等局部动态物体引起的非刚性运动，易产生重影与结构错位；图像增强环节普遍采用全局统一策略，未区分动静区域的可信度，在动态或运动边界区域容易因过度锐化、对比度增强或不当降噪而引入光晕、振铃或纹理失真；同时hdr重建模型多依赖离线训练，缺乏对运行时图像质量如运动伪影程度和动态范围利用效率的量化评估与反馈机制，难以实现自适应优化，在复杂交通场景下鲁棒性受限的问题。

2、本发明的目的通过以下技术方案实现：

3、用于智能驾驶高动态范围cmos传感器的图像处理系统，应用于车载图像处理平台，包括：

4、hdr图像采集模块，从增强型cmos传感器单次捕获周期中获取2至4帧多曝光raw图像及其成像参数，对所采集的raw图像及其成像参数进行预处理，输出同一场景瞬时的多曝光raw图像；

5、多曝光融合模块，根据各raw图像对应的成像参数将其像素值校正至统一的线性辐射度尺度，估计非参考帧相对于参考帧的局部运动场并生成动态区域置信度掩膜，利用局部运动场对非参考帧进行像素级对齐，通过神经网络模型融合对齐后的raw图像与动态区域置信度掩膜，生成全分辨率hdr图像；

6、图像增强模块，基于动态区域置信度掩膜对全分辨率hdr图像动态执行对比度调整、边缘锐化与噪声抑制处理，得到增强后的全分辨率hdr图像；

7、质量评估与模型反馈模块，基于动态区域置信度掩膜计算运动伪影指标，结合成像参数与hdr图像像素分布计算动态范围利用率，将运动伪影指标与动态范围利用率以反馈数据的形式提供给神经网络模型。

8、作为本发明的一种优选实施方式，所述多曝光融合模块中根据各raw图像对应的成像参数将其像素值校正至统一的线性辐射度尺度的过程包括：

9、获取一组对应同一场景瞬时的多曝光raw图像，并初始化一个空的校正图像序列，依次取出其中一帧raw图像，执行以下校正操作：将当前raw图像的每个像素值减去其配对的二维暗电流偏置图中对应位置的数值，再将结果除以其配对的二维像素响应增益图中对应位置的数值，接着除以当前帧对应的曝光时间与由感光度确定的线性系统增益的乘积，最后乘以预设的全局标量增益，将完成校正的图像加入校正图像序列；

10、继续取出下一帧raw图像，重复执行相同的校正流程，当多曝光raw图像中的所有帧均完成校正后，输出像素数值处于统一线性辐射度尺度的校正图像序列。

11、作为本发明的一种优选实施方式，所述多曝光融合模块中估计非参考帧相对于参考帧的局部运动场并生成动态区域置信度掩膜，利用局部运动场对非参考帧进行像素级对齐的过程包括：

12、获取多曝光图像经辐射度校正后的raw图像序列，选取中间曝光图像作为参考帧raw图像，其余为非参考帧raw图像，对每个非参考帧raw图像，联合参考帧raw图像执行局部运动估计，求解稠密二维位移图，运动估计通过最小化包含三项的代价函数完成，优化过程中同步生成参考帧与运动补偿后非参考帧的亮度绝对差值，并输出每个像素的不确定性指标；

13、获取语义分割网络在每个像素位置输出的类别标识，计算参考帧梯度幅值，将亮度绝对差值平方后除以预设正实数参数的平方，取自然指数的负值，形成亮度一致性项，将参考帧梯度幅值除以另一预设正实数参数，经双曲正切变换形成梯度调制项，用一减去不确定性指标，形成运动置信项，若类别标识等于预定义整数集合中的任意一个整数，则生成值为一的标记，否则生成值为零的标记，并对标记取负值，形成动态抑制项，将亮度一致性项、梯度调制项、运动置信项、动态抑制项分别与四个可学习标量参数相乘后求和，对求和结果计算sigmoid值，得到动态区域置信度掩膜；

14、利用稠密二维位移图对非参考帧raw图像进行像素级对齐，具体步骤如下：

15、s1：对参考帧每个像素，根据稠密二维位移图反向查找非参考帧中的源坐标；

16、s2：若源坐标非整数，则取其四个最近邻整数坐标的像素值，以到各坐标的欧氏距离倒数为权重加权平均，得到对齐结果；

17、s3：处理完所有非参考帧后，输出与参考帧空间对齐的raw图像序列及对应的动态区域置信度掩膜。

18、作为本发明的一种优选实施方式，所述多曝光融合模块中通过神经网络模型融合对齐后的raw图像与动态区域置信度掩膜，生成全分辨率hdr图像的过程包括：

19、获取对齐后的参考帧raw图像、所有对齐后的非参考帧raw图像、动态区域置信度掩膜、前一帧融合网络中间层输出的特征缓存以及从前一帧指向当前帧的局部运动场，将局部运动场下采样至特征缓存的空间尺寸，并利用下采样后的局部运动场，通过双线性插值对特征缓存进行像素级扭曲对齐，使其适配当前帧内容；

20、将参考帧raw图像、所有非参考帧raw图像、动态区域置信度掩膜和对齐后的特征缓存共同输入融合网络，融合网络在编码器各层与解码器对应层的跳跃连接处执行置信度门控特征调制；

21、融合网络同步处理两路输入：一路为下采样后的raw图像副本，用于生成hdr预览，另一路为全分辨率raw图像并融合对齐后的特征缓存，用于生成全分辨率hdr图像，当前帧处理完成后，输出当前帧对应的全分辨率hdr图像。

22、作为本发明的一种优选实施方式，所述图像增强模块中基于动态区域置信度掩膜对全分辨率hdr图像动态执行对比度调整、边缘锐化与噪声抑制处理的过程包括：

23、对全分辨率hdr车载图像执行全局对比度优化，对优化结果中每个像素，在预设尺寸局部邻域内基于亮度分布构建映射规则，计算局部调整值，将局部调整值与动态区域置信度掩膜中同一像素位置的数值相乘后，加到全分辨率hdr车载图像对应位置的亮度值上，完成对比度调整；

24、对对比度调整结果执行拉普拉斯卷积，对卷积结果中每个像素，读取边界判定图中同一像素位置的标记，若标记为边界，则将卷积结果在对应位置的数值、动态区域置信度掩膜在对应位置的数值与全局锐化系数三者相乘，得到锐化偏移量，否则锐化偏移量为零，将锐化偏移量加到对比度调整结果对应位置的亮度值上，完成边缘锐化；

25、对边缘锐化结果中每个像素，读取边界判定图中同一像素位置的标记，若标记为边界，或标记为非边界且动态区域置信度掩膜中对应位置的数值大于或等于掩膜切换阈值，则以全分辨率hdr车载图像为引导信号，在预设尺寸局部邻域内拟合局部亮度模型，并用所拟合的局部亮度模型预测此像素位置的输出值，若标记为非边界且掩膜中对应位置的数值小于掩膜切换阈值，则在预设尺寸局部邻域内对边缘锐化结果进行加权平均，将所有像素的输出值组合成输出图像。

26、作为本发明的一种优选实施方式，所述质量评估与模型反馈模块中基于动态区域置信度掩膜计算运动伪影指标的过程包括：

27、获取动态区域置信度掩膜，获取多尺度匹配分数图，获取多尺度匹配分数图的层数，对每一尺度层，从最粗到最细，依次获取当前尺度层的匹配分数图与当前尺度层的动态区域置信度掩膜，对匹配分数图中每个数值执行自乘操作，将自乘后的匹配分数与动态区域置信度掩膜中对应位置的数值相乘得到当前层加权图，将当前层加权和累加到总加权匹配值，同时将动态区域置信度掩膜所有数值求和并累加到掩膜总量；

28、获取预设的归一化常数，将掩膜总量与归一化常数相加得到归一化分母，用总加权匹配值除以归一化分母得到归一化匹配值，用一减去归一化匹配值得到运动伪影指标，输出运动伪影指标。

29、作为本发明的一种优选实施方式，所述质量评估与模型反馈模块中结合成像参数与hdr图像像素分布计算动态范围利用率的过程包括：

30、获取多曝光raw图像序列，获取每张raw图像绑定的曝光时间、模拟增益、数字增益及有效标志，设置最短与最长有效曝光时间的未初始化标志均为真，遍历序列中每一帧，若当前帧的有效标志为真，则执行相应处理操作；

31、分别计算最短和最长曝光的总增益，等于各自对应模拟增益与数字增益的乘积，分别计算最短和最长曝光信号容量，等于各自有效曝光时间与对应总增益的乘积，计算信号容量比值为最长曝光信号容量除以最短曝光信号容量，对信号容量比值取以十为底的对数，得到理论动态范围跨度；

32、获取增强后的全分辨率hdr图像，从增强后的全分辨率hdr图像提取亮度通道，获取有效亮度区间起点与有效亮度区间终点，计算有效亮度比值，对有效亮度比值取以十为底的对数，得到实际动态范围跨度，计算实际动态范围跨度与理论动态范围跨度的比值，得到动态范围利用率，输出动态范围利用率。

33、作为本发明的一种优选实施方式，所述质量评估与模型反馈模块中将运动伪影指标与动态范围利用率以反馈数据的形式提供给神经网络模型的过程包括：

34、获取运动伪影指标，获取动态范围利用率，计算动态范围损失，等于一减去动态范围利用率，将运动伪影指标与动态范围损失相加，得到反馈总损失，基于所述反馈总损失，从预设的融合策略库中选择最优融合策略，或生成空间自适应的融合权重图，所述融合权重图作为额外输入通道，与对齐后的多帧raw图像一同送入固定参数的神经网络模型进行前向推理。

35、相比于现有技术，本发明的优点在于：

36、（1） 本发明中，通过曝光融合模块将多曝光raw图像校正至统一线性光度尺度，融合稠密运动估计与语义引导的动态置信度掩膜，结合亮度一致性、位移平滑、梯度响应及车辆行人自行车语义，精准区分动静区域，有效抑制重影伪影，采用车载优化神经网络，提升真实场景泛化能力，通过跨帧特征缓存与运动扭曲对齐增强时序一致性，降低计算开销，在跳跃连接嵌入置信度门控调制，实现动静自适应融合，最终实时输出全分辨率线性hdr图像，满足车载应用对动态范围、精度、鲁棒性与实时性的严苛要求；

37、（2） 本发明中，通过图像增强模块以动态区域置信度掩膜为引导，自适应处理动静区域：仅在高置信度区增强对比度，避免运动伪影，结合边界与置信度锐化静态边缘，噪声抑制按区域属性智能切换，动态或边界区用hdr引导降噪，其余区结构感知平滑，再经暗亮裁剪、非线性映射与通道缩放，高效适配显示域，在抑噪保细节的同时确保色彩一致与动态范围最优；

38、（3） 本发明中，通过质量评估与模型反馈模块融合动态区域置信度掩膜与多尺度结构一致性，精准量化运动伪影，并结合成像参数与hdr图像亮度分布，客观评估动态范围利用率，通过将运动伪影指标与动态范围损失融合为统一反馈信号，驱动神经网络端到端闭环优化，实现对hdr重建质量的实时、可解释监督，使模型自适应抑制伪影、提升动态范围表达效率，在复杂车载场景中持续增强图像保真度、动态鲁棒性与系统自优化能力。