一种基于图像增强的目标识别方法、装置及电子设备与流程

本发明属于车辆图像识别，具体涉及一种基于图像增强的目标识别方法、装置及电子设备。

背景技术：

1、随着智能座舱和高级驾驶辅助系统的发展，车载前装摄像头开始承担越来越多的视觉感知任务，车牌识别便是其中之一。与传统的停车场、高速收费站等固定场景下的车牌识别不同，车机平台面临的行车环境复杂多变，车辆在行驶过程中会遭遇强逆光、隧道出入口的剧烈光照跳变、夜间车灯照射下的局部过曝雨雾天气导致的图像对比度下降等极端光照条件。在这些特殊场景下，车牌区域的图像质量严重退化，现有车牌识别系统的识别率显著下降。

2、相关技术中，针对低质量图像的车牌识别增强方案主要包括三种方式：

3、第一种是在摄像头图像信号处理器（isp）流水线中采用固定参数的gamma校正或直方图均衡化等全局图像增强方法，其虽然能够在常规光照条件下改善图像整体视觉效果，但在逆光或夜间等场景下，全局增强往往导致背景区域过度增强而车牌区域仍不清晰。

4、第二种是基于深度学习的图像增强方法，如基于神经网络的低光照增强模型，这类方法在图像质量提升方面具有显著效果，但其计算量大、推理延迟高，难以满足车机嵌入式平台在算力和功耗方面的严格约束，更难以在30帧/秒的实时处理要求下部署。

5、第三种是先对图像进行增强，再将增强后的图像送入识别模块，但是图像增强模块无法获知识别结果的好坏，因而难以针对车牌识别的实际需求进行定向优化。

6、因此，现有技术方案仍存在图像增强与车牌识别过程相割裂，以及车机算力受限条件下难以实现实时处理的问题，在复杂行车环境下难以保证车牌识别的高准确率和低延迟。

技术实现思路

1、本发明的目的是提出一种基于图像增强的目标识别方法、装置及电子设备，以解决现有技术中的问题。

2、为此，本发明一方面提供一种基于图像增强的目标识别方法，包括：

3、获取车辆的多源传感器信息，所述多源传感信息包括前方目标的当前帧目标图像的亮度信息、目标周围环境光照信息和车辆状态信息；

4、根据所述多源传感信息确定驾驶场景类型；根据所述驾驶场景类型确定所述当前帧目标图像中的目标候选区域的当前帧的初始图像增强参数；

5、根据所述当前帧目标图像的亮度信息及参考帧的特征识别置信度对所述初始图像增强参数进行修正，确定当前帧的图像增强参数，其中，所述参考帧的特征识别置信度为上一帧的特征识别置信度或初始特征识别置信度；

6、根据所述当前帧的图像增强参数，对所述目标候选区域的亮度通道像素执行映射，输出亮度增强后的目标候选区域图像；

7、对所述亮度增强后的目标候选区域图像进行特征识别，得到当前帧的特征识别结果和特征识别置信度；

8、当置信度小于预设置信度阈值时，返回执行所述根据所述当前帧目标图像的亮度信息及参考帧的特征识别置信度对所述初始图像增强参数进行修正，确定当前帧的图像增强参数；

9、当置信度大于等于预设置信度阈值时，输出所述当前帧的特征识别结果。

10、一些实施例中，所述驾驶场景类型包括强逆光场景、隧道驶入场景、隧道驶出场景、夜间高光场景、夜间暗区场景、雨雾场景，以及正常场景中的任意一种。

11、一些实施例中，所述根据所述驾驶场景类型确定所述当前帧目标图像中的目标候选区域的当前帧的初始图像增强参数包括：

12、根据所述驾驶场景类型与所述当前帧目标图像的亮度信息，以及初始图像增强参数的映射关系，确定不同所述驾驶场景类型对应的所述初始图像增强参数。

13、一些实施例中，所述根据所述当前帧目标图像的亮度信息及参考帧的特征识别置信度对所述初始图像增强参数进行修正，确定当前帧的图像增强参数包括：

14、将所述参考帧的特征识别置信度与置信度阈值进行比较；

15、当所述参考帧的特征识别置信度小于所述置信度阈值时，判断当前帧目标图像的亮度信息中目标候选区域的亮度均值是否在预设的所述目标候选区域亮度范围内；

16、若否，则对所述当前帧的初始图像增强参数进行对应幅度调整，以输出当前帧的图像增强参数。

17、一些实施例中，所述根据所述当前帧的图像增强参数，对所述目标候选区域的亮度通道像素执行映射，输出亮度增强后的目标候选区域图像包括：

18、根据所述当前帧的图像增强参数，对所述目标候选区域内各像素的原始亮度值按照预设的变换关系进行计算生成各原始亮度值对应的增强后的亮度值，输出所述目标候选区域内各像素原始亮度值与增强后的亮度值的映射表；

19、根据所述映射表，将所述目标候选区域内的各像素的原始亮度值替换为增强后的亮度值，并输出亮度增强后的目标候选区域图像。

20、一些实施例中，所述返回执行所述根据所述当前帧目标图像的亮度信息及参考帧的特征识别置信度对所述初始图像增强参数进行修正，确定当前帧的图像增强参数后，还包括：

21、累计修正次数；

22、当累计修正次数小于预设次数上限时，返回执行所述根据所述当前帧目标图像的亮度信息及参考帧的特征识别置信度对所述初始图像增强参数进行修正，确定当前帧的图像增强参数；

23、当所述累计修正次数大于等于预设次数上限时，执行所述输出所述当前帧的特征识别结果的步骤。

24、一些实施例中，所述当置信度小于预设置信度阈值时对所述初始图像增强参数进行修正还包括：

25、将所述返回执行所述根据所述当前帧目标图像的亮度信息及参考帧的特征识别置信度对所述初始图像增强参数进行修正的步骤延迟处理。

26、另一方面，还提供一种基于自适应图像增强的目标识别装置，包括：

27、多源信息采集模块，用于至少获取多源传感器信息，所述多源传感信息包括前方目标的当前帧目标图像的亮度信息、目标周围环境光照信息和车辆状态信息；

28、场景分类模块，用于根据所述多源传感信息确定驾驶场景类型；

29、初始图像增强参数确定模块，用于根据所述驾驶场景类型确定所述当前帧目标图像中的目标候选区域的当前帧的初始图像增强参数；

30、图像增强参数修正模块，用于根据所述当前帧目标图像的亮度信息及参考帧的特征识别置信度对所述初始图像增强参数进行修正，确定当前帧的图像增强参数，其中，所述参考帧的特征识别置信度为上一帧的特征识别置信度或初始特征识别置信度；

31、图像增强处理模块，用于根据所述当前帧的图像增强参数，对所述目标候选区域的亮度通道像素执行映射，输出亮度增强后的目标候选区域图像；

32、特征识别模块，对所述亮度增强后的目标候选区域图像进行特征识别，得到当前帧的特征识别结果和特征识别置信度；

33、反馈调整模块，用于当置信度小于预设置信度阈值时，返回执行所述根据所述当前帧目标图像的亮度信息及参考帧的特征识别置信度对所述初始图像增强参数进行修正，确定当前帧的图像增强参数；

34、结果输出模块，用于当置信度大于预设置信度阈值时，输出所述当前帧的特征识别结果。

35、另一方面，还提供一种电子设备，包括：

36、一个或多个处理器；存储器；以及

37、一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行上述任一项所述的基于图像增强的目标识别方法。

38、有益效果：

39、1.本发明通过采集前方目标的当前帧目标图像的图像特征、环境照度值、车辆状态信息，并按照预设判定规则将驾驶场景划分为七类细分场景，解决了单一图像特征进行场景分类时准确率不足的问题，使后续图像增强参数的选取能够匹配当前实际光照工况，提高了图像增强参数适配性。

40、2.本发明通过仅对目标区域执行变换、背景区域保持不变，并在ycbcr色彩空间中仅对亮度通道进行处理、色度通道保持不变的方式，解决了全图统一增强时背景区域过度增强反而干扰车牌区域识别的问题，同时保证了图像色彩不发生偏移，避免了因色彩畸变导致的字符识别错误的问题。

41、3.通过比较目标区域的亮度均值与预设目标亮度区间的大小关系，来确定调整方向，当目标区域偏暗时减小值以提亮目标区域、偏亮时增大值以压暗目标区域，解决了传统方案中调整方向依赖经验试错、缺乏明确物理依据的问题，使图像增强参数在2-3帧内即可收敛至稳态，收敛速度和稳定性均优于传统方案。

42、4.通过将当前帧的特征识别置信度存储并作为下一帧的修正依据并参与gamma参数调整，解决了图像增强参数在连续帧之间缺乏历史信息参考的问题，使图像增强参数能够随场景变化平滑过渡。并通过在当前帧的特征识别置信度低于最低可接受阈值时，在当前帧内以调整后的参数重新执行增强和识别直至置信度达标或达到修正次数上限，解决了单帧识别失败后无补救措施的问题，使当前帧能够在参数调整后重新尝试识别。

43、5.通过采用256项lut查表方式执行映射，将单帧增强处理延迟压缩至5毫秒以内，并通过限幅处理将值控制在预设上下限范围内、设置修正次数上限防止单帧处理超时，解决了车机嵌入式平台算力受限条件下实时处理与图像质量之间的平衡问题，使整体方案能够在车机soc上满足30帧/秒的实时处理要求，保证了系统的实时性和稳定性。