图像处理方法、电子设备、车辆和程序产品与流程

摘要: 本技术涉及车辆控制,特别涉及一种图像处理方法、电子设备、车辆和计算机程序产品。背景技术:1、相关技术中,全景环视系统通常基于平面假设将多路摄像头图像转换为鸟瞰视...
图像处理方法、电子设备、车辆和程序产品与流程

本技术涉及车辆控制,特别涉及一种图像处理方法、电子设备、车辆和计算机程序产品。

背景技术:

1、相关技术中,全景环视系统通常基于平面假设将多路摄像头图像转换为鸟瞰视图,然而如此,实际行驶场景中常存在斜坡、减速带等非平面地形,全景环视系统忽略道路高度变化,易导致物体位置失真,一定程度上影响智能驾驶泊车等应用的安全性与用户体验。

技术实现思路

1、本技术提供了一种图像处理方法、电子设备、车辆、计算机可读存储介质和计算机程序产品。

2、本技术实施方式提供一种图像处理方法,所述方法包括:

3、获取车辆的第一摄像头采集的多路环视图像;

4、获取所述车辆所处环境的地面高度分布信息;

5、根据所述地面高度分布信息,构建第一地面高度场;

6、根据所述第一地面高度场,对所述多路环视图像进行鸟瞰视图转换处理,生成目标图像。

7、如此,在本技术实施方式中,通过获取车辆的第一摄像头采集的多路环视图像,同时获取车辆所处环境的地面高度分布信息,根据地面高度分布信息构建第一地面高度场,再根据第一地面高度场对多路环视图像进行鸟瞰视图转换处理,生成目标图像。由此实现基于真实地面高度信息的鸟瞰视图动态转换,相较于基于刚性平面假设将多路摄像头图像直接转换为鸟瞰视图的方案,通过独立获取高度信息并构建地面高度场,将高度补偿融入鸟瞰视图转换过程,有效解决了全景环视系统垂直维度缺失的问题,能够对非平面地形引起的垂直畸变进行有效补偿,在一定程度上提升了全景环视图像的准确性和可靠性,使生成的目标图像能够准确还原智能车辆周围环境的真实空间布局,且高度获取与图像采集相互独立的架构设计,简化了算法逻辑,在一定程度上提高了全景环视系统的稳定性和可维护性,适用于智能驾驶泊车、低速场景监控等对定位精度要求较高的应用场景,能够为驾驶员和智能驾驶系统提供更加准确可靠的环境感知数据。

8、在某些实施方式中,所述获取所述车辆所处环境的地面高度分布信息,包括:

9、通过激光雷达扫描获取地面高度点云数据;或

10、通过第二摄像头视差测距获取地面高度数据,其中,所述第二摄像头与所述第一摄像头共用视场。

11、如此,在本技术实施方式中,可通过激光雷达扫描获取地面高度点云数据,或通过与第一摄像头共用视场的第二摄像头视差测距获取地面高度数据。由此构建两种可独立选择的地面高度信息获取架构,相较于仅采用单一高度感知方式或完全缺失高度感知能力的方案,通过提供两种可选择的高度信息获取方案,能够根据不同应用场景的精度需求与成本预算灵活配置最优的传感器组合,在一定程度上提升了全景环视系统的性价比与场景适应性,能够广泛应用于乘用车、商用车、工业机器人以及智能安防等多个领域,且两种高度信息的获取方式均采用独立传感器架构,高度感知模块与第一摄像头阵列保持并列独立的工作状态,数据采集过程互不干扰,高度场生成仅依赖对应传感器采集的原始数据,在一定程度上避免了图像畸变对高度数据精度的干扰,有效提升了高度场的稳定性和准确性。

12、在某些实施方式中,所述根据所述地面高度分布信息,构建第一地面高度场,包括:

13、对所述地面高度点云数据或所述地面高度数据进行插值处理,生成所述第一地面高度场。

14、如此,在本技术实施方式中,通过对地面高度点云数据或地面高度数据进行插值处理,生成第一地面高度场。由此实现离散稀疏高度数据到连续规则高度场的高效转换,相较于直接使用稀疏高度数据进行补偿或采用复杂三维重建算法生成高度场的方案,有效解决了离散高度数据无法直接支撑逐像素动态高度补偿的问题,在一定程度上平衡了高度场生成的精度与实时性,且插值处理能够有效填充采样点之间的空白区域,使高度场呈现连续平滑的特性,准确还原地面的实际起伏形态,在一定程度上避免了直接使用稀疏数据导致的阶梯状畸变问题,进而在一定程度上为后续动态高度补偿提供了准确可靠的数据基础,能够有效提升非平面场景下的物体定位精度,为智能驾驶泊车和低速场景监控等安全应用提供了稳定的环境感知支撑。

15、在某些实施方式中,所述根据所述地面高度分布信息,构建第一地面高度场,还包括:

16、根据所述地面高度分布信息,生成第二地面高度场;

17、对所述第二地面高度场进行平滑滤波处理,生成所述第一地面高度场。

18、如此,在本技术实施方式中,通过根据地面高度分布信息生成第二地面高度场,并对第二地面高度场进行平滑滤波处理生成第一地面高度场。由此实现高质量的地面高度场构建,相较于直接使用初始地面高度场的方案,通过平滑滤波处理能够有效抑制高度测量数据中的噪声和测量误差,减少高度场的突变和抖动,在一定程度上提升了地面高度场的质量和可靠性,使生成的地面高度场更加符合实际地形的连续变化特征,且经过平滑处理的高度场能够提高鸟瞰视图转换的稳定性,在一定程度上减少了输出图像的闪烁和失真现象,提升了用户体验。

19、在某些实施方式中,所述根据所述第一地面高度场,对所述多路环视图像进行鸟瞰视图转换处理,生成目标图像,包括:

20、对所述多路环视图像进行鱼眼去畸变处理,生成透视图像;

21、根据所述第一地面高度场,对所述透视图像进行鸟瞰视图转换处理,生成所述目标图像。

22、如此,在本技术实施方式中,通过对多路环视图像进行鱼眼去畸变处理生成透视图像,再根据第一地面高度场对透视图像进行鸟瞰视图转换处理,生成目标图像。由此实现几何畸变校正与垂直畸变补偿的分步处理,有效解决了鱼眼畸变和垂直畸变的问题,鱼眼去畸变处理能够消除镜头本身带来的几何畸变,得到透视关系正确的透视图像,为后续的鸟瞰视图转换提供了高质量的数据输入,在一定程度上提升了动态场景下的拼接稳定性,同时基于高度场的动态鸟瞰视图转换能够有效补偿非平面地形引起的垂直畸变,准确还原物体的真实位置,且鱼眼去畸变与高度补偿分步进行,互不依赖,在一定程度上简化了算法逻辑,提高了全景环视系统的可维护性和稳定性。

23、在某些实施方式中,所述方法还包括:

24、在通过所述第二摄像头视差测距获取地面高度数据的情况下,对所述第一摄像头进行故障检测处理,其中,所述故障检测包括心跳检测和图像质量评估;

25、在检测到所述第一摄像头存在故障的情况下,切换至所述第二摄像头并利用生成对抗网络对所述目标图像进行补全。

26、如此,在本技术实施方式中,在通过第二摄像头视差测距获取地面高度数据的情况下,通过对第一摄像头进行包括心跳检测和图像质量评估的故障检测处理,在检测到第一摄像头存在故障的情况下,切换至第二摄像头并利用生成对抗网络对目标图像进行补全。由此实现兼具高度感知与故障容错能力的全景环视成像,相较于无故障容错设计或采用独立冗余摄像头的方案,在不额外增加硬件成本的前提下,解决了单一摄像头故障导致视野丢失的问题,避免了视觉盲区的出现,在一定程度上提升了全景环视系统的运行可靠性和安全性,且双层级故障检测机制能够及时、准确地发现摄像头故障,在一定程度上提升了故障检测的准确率和全面性,有效降低了误报率和漏报率。

27、在某些实施方式中,所述图像质量评估包括像素点绝对差值和评估和/或结构相似性指标评估,所述在通过所述第二摄像头视差测距获取地面高度数据的情况下,对所述第一摄像头进行故障检测处理,包括:

28、计算当前帧所述环视图像的像素点与参考帧所述环视图像的对应像素点的绝对差值和,在所述绝对差值和大于预设差值阈值的情况下,判定所述第一摄像头存在故障;和/或

29、计算当前帧所述环视图像与参考帧所述环视图像的结构相似性指标,在所述结构相似性指标小于或等于预设相似阈值的情况下,判定所述第一摄像头存在故障。

30、如此,在本技术实施方式中,故障检测中的图像质量评估采用像素点绝对差值和评估和/或结构相似性指标评估,通过计算当前帧环视图像的像素点与参考帧环视图像的对应像素点的绝对差值和,在绝对差值和大于预设差值阈值的情况下判定第一摄像头存在故障,和/或计算当前帧环视图像与参考帧环视图像的结构相似性指标,在结构相似性指标小于或等于预设相似阈值的情况下判定第一摄像头存在故障。由此实现可灵活配置的高精度图像质量评估机制,相较于采用单一图像质量评估方法的方案,有效解决了单一方法检测准确率低、鲁棒性差的问题,从像素级差异和图像结构特征两个维度综合判断摄像头状态,在一定程度上提高了故障检测的准确性和可靠性,为及时触发故障恢复机制提供可靠依据。

31、本技术还提供一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,实现上述某些实施方式所述的方法。

32、本技术还提供一种车辆,所述车辆包括上述某些实施方式所述的电子设备。

33、本技术还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,当所述计算机程序被一个或多个处理器执行时,实现上述某些实施方式所述的方法。

34、本技术还提供一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现上述某些实施方式所述的方法。

35、本技术实施方式提供的电子设备、计算机可读存储介质和计算机程序产品,在实现上述方法时,首先获取车辆的第一摄像头采集的多路环视图像,同时获取所述车辆所处环境的地面高度分布信息,根据所述地面高度分布信息,构建第一地面高度场,最后根据所述第一地面高度场,对所述多路环视图像进行鸟瞰视图转换处理,生成目标图像。这样,通过获取车辆的第一摄像头采集的多路环视图像,同时获取车辆所处环境的地面高度分布信息,根据地面高度分布信息构建第一地面高度场,再根据第一地面高度场对多路环视图像进行鸟瞰视图转换处理,生成目标图像。由此实现基于真实地面高度信息的鸟瞰视图动态转换,相较于基于刚性平面假设将多路摄像头图像直接转换为鸟瞰视图的方案,通过独立获取高度信息并构建地面高度场,将高度补偿融入鸟瞰视图转换过程,有效解决了全景环视系统垂直维度缺失的问题,能够对非平面地形引起的垂直畸变进行有效补偿,在一定程度上提升了全景环视图像的准确性和可靠性,使生成的目标图像能够准确还原智能车辆周围环境的真实空间布局,且高度获取与图像采集相互独立的架构设计,简化了算法逻辑,在一定程度上提高了全景环视系统的稳定性和可维护性,适用于智能驾驶泊车、低速场景监控等对定位精度要求较高的应用场景,能够为驾驶员和智能驾驶系统提供更加准确可靠的环境感知数据。

36、本技术的实施方式的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本技术的实施方式的实践了解到。