一种车载环视系统中的亮度均衡方法及系统与流程

1.本技术涉及智能驾驶技术领域，尤其涉及一种车载环视系统中的亮度均衡方法及系统。


背景技术：

2.随着汽车智能化的发展，越来越多的汽车安装了环视监控系统，环视系统利用多路摄像机采集汽车周围的图像，然后拼接成围绕车身360度的环视图，可以很好的帮助驾驶员获取车身周围的安全状况，如何让环视拼接图能够易于驾驶员观看和了解车身状况是重要的，但是由于各路摄像机的安装角度，光照条件，及本身的曝光程度都有一定的不同，造成环视拼接图不同相机采集的区域亮度存在较明显的差异，这对驾驶员判断路面状况造成一定的干扰。
3.现有的汽车环视车载亮度均衡方法主要有基于相邻图像公共区域的亮度差异依次进行亮度修改的方法，但是此方法需要根据像素点与相交区域的融合位置进行不同像素位置的亮度修正，比较耗时，因此在车辆快速行驶的过程中，实时性不能得到可靠的保证。


技术实现要素：

4.有鉴于此，本技术实施例提供一种车载环视系统中的亮度均衡方法及系统，至少部分解决现有技术中存在的问题。
5.第一方面，本技术实施例提供一种车载环视系统中的亮度均衡方法，所述方法包括线下标定和线上拼接，
6.所述线下标定包括：对车载环视系统中的各相机进行内外参标定；根据所述内外参生成拼接查找表；根据鸟瞰图和所述拼接查找表确定各相邻两个图像的重叠区域，将所述重叠区域的坐标点存储于所述拼接查找表中；
7.所述线上拼接包括：采集各所述相机的原始图像；根据所述拼接查找表中的所述重叠区域的坐标点，依次计算所述相机原始图像的亮度补偿系数；根据所述亮度补偿系数对各所述原始图像进行亮度补偿；根据所述拼接查找表对亮度补偿后的各所述原始图像进行拼接，得到亮度均衡的环视拼接图像。
8.根据本技术实施例的一种具体实现方式，所述重叠区域的坐标点具体为鸟瞰图上的重叠点根据所述内外参映射到各个所述相机的原始图像上的坐标点。
9.根据本技术实施例的一种具体实现方式，所述采集各所述相机的原始图像，其中，所述原始图像的格式为yuv格式或rgb格式，用于获取所述原始图像的亮度通道。
10.根据本技术实施例的一种具体实现方式，所述依次计算所述相机原始图像的亮度补偿系数，具体包括：
11.根据所述亮度通道，依次计算各所述原始图像重叠区域的亮度均值信息；
12.根据所有重叠区域相邻图像的所述亮度均值信息误差最小化及正则化约束，计算得到各个所述相机的第一亮度补偿系数；
13.对各个所述相机的所述第一亮度补偿系数进行前后帧平滑，得到第二亮度补偿系数；
14.所述第二亮度补偿系数用于对各所述相机的所述图像进行亮度补偿。
15.根据本技术实施例的一种具体实现方式，所述对各个所述相机的所述第一亮度补偿系数进行前后帧平滑采用高斯平滑的方式进行前后帧平滑。
16.根据本技术实施例的一种具体实现方式，所述相机的内外参标定方法包括：
17.通过所述相机拍摄标定图案的图像；
18.通过标定布图案对所述相机的位姿进行标定。
19.根据本技术实施例的一种具体实现方式，将所述重叠区域的坐标点存储于所述拼接查找表中时，所述重叠区域的坐标点可按倍率采样。
20.根据本技术实施例的一种具体实现方式，所述根据鸟瞰图确定各相邻两个图像的重叠区域时，所述重叠区域的位置选取根据车辆尺寸的不同而不同。
21.根据本技术实施例的一种具体实现方式，所述车载环视系统中的相机数量为四个，分别采集车辆的前方、后方、左方和右方的图像。
22.第二方面，本技术实施例还提供一种车载环视系统中的亮度均衡系统，所述系统包括线下标定模块和线上拼接模块，
23.所述线下标定模块包括：
24.内外参标定子模块，用于对车载环视系统中的各相机进行内外参标定；
25.查找表生成子模块，用于根据所述内外参生成拼接查找表；
26.重叠区域确定子模块，用于根据鸟瞰图确定各相邻两个图像的重叠区域，将所述重叠区域的坐标点存储于所述拼接查找表中；
27.所述线下拼接模块包括：
28.图像获取子模块，用于采集各所述相机的原始图像；
29.亮度补偿系数计算子模块，用于根据所述拼接查找表中的所述重叠区域的坐标点，依次计算所述相机原始图像的亮度补偿系数；
30.亮度补偿补偿子模块，用于根据所述亮度补偿系数对各所述原始图像进行亮度补偿；
31.拼接子模块，用于根据所述拼接查找表对亮度补偿后的各所述原始图像进行拼接。
32.有益效果
33.本技术实施例中的车载环视系统中的亮度均衡方法，为了快速稳定的对环视拼接各个相机的图像亮度进行均衡，在环视拼接的线下标定相机内外参后，将拼接后鸟瞰图中的相邻图像的重叠区域分别映射到相机采集的原始图像中；再在线上拼接时，根据原始图像中重叠区域的像素信息计算各个相机需要的亮度补偿系数，以在拼接前对各个相机亮度进行均衡。本技术采用各个图像对应于拼接重叠区域的像素点信息，计算各个图像亮度补偿系数，实现环视拼接图亮度均衡，具有计算速度快，保证了亮度补偿的实时性，尤其在车辆快速行驶的过程中，实时性可以得到可靠的保证。
附图说明
34.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
35.图1为根据本发明一实施例的车载环视系统中的亮度均衡方法的线下标定流程图；
36.图2为根据本发明一实施例的车载环视系统中的亮度均衡方法的线上拼接流程图；
37.图3为根据本发明一实施例的车载环视系统中的亮度均衡系统的框架图；
38.图4为根据本发明一实施例的车载环视系统中的鸟瞰图；
39.图5为根据本发明一实施例的车载环视系统中的鸟瞰图到相机原图的映射图。
具体实施方式
40.下面结合附图对本技术实施例进行详细描述。
41.以下通过特定的具体实例说明本技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本技术的其他优点与功效。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。本技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
42.要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本技术，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
43.还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本技术的基本构想，图式中仅显示与本技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
44.另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
45.本技术实施例提供了一种车载环视系统中的亮度均衡方法，所述方法包括线下标定和线上拼接两个部分，具体步骤参照图1
‑
2，其中，
46.所述线下标定包括：
47.s1011、对车载环视系统中的各相机进行内外参标定。相机内外参标定的目的是求相机的内外参数以及畸变参数，内外参数一般进行图像三维场景重构，畸变参数进行畸变
矫正，生成校正后的图像。
48.具体的相机的内外参标定方法包括：
49.通过所述相机拍摄标定图案的图像；
50.通过标定布图案对所述相机的位姿进行标定。
51.s1012、根据所述内外参生成拼接查找表。所述拼接查找表用于在线上拼接时调取信息所用，并根据查找表中存储的信息进行各个相机的图像的亮度调整和拼接。
52.s1013、根据鸟瞰图确定各相邻两个图像的重叠区域，将所述重叠区域的坐标点存储于所述拼接查找表中。鸟瞰图即为各相机的原始图像拼接而成的图像，参见图4，重叠区域分别为重叠区域0、重叠区域1、重叠区域2、重叠区域3，其中的重叠区域选择为两个相邻图像拼接融合线为中心的平行线区域内，且不包括车头，根据车的尺寸信息进行相应的约束，此外，为了获得更加准确的代表信息，先将鸟瞰图上的重叠区域根据拼接查找表映射到相机原图上，参见图5，重叠区域01表示相机0和相机1的重叠区，重叠区域03表示相机0和相机3的重叠区，其它依次类推。鸟瞰图上的重叠区域要保证映射回相机原图的信息要在画面中，例如，若采用鱼眼相机采集图像时，有时图像四周是黑色的镜子的成像，属于无效的成像，若鸟瞰图上成像的点位于黑色镜子上，则应该删除该重叠点，且该重叠点也不映射到相邻的相机原始图像中，并能保证相邻相机图上重叠点一一对应，这样才能保证过滤后的重叠点具有代表性，代表着同一位置，相邻图像看到的不同图像亮度，用于后续计算亮度差异才能更加准确。
53.将此映射到相机原图的坐标点存储到拼接查找表中，用于后续的线上拼接计算光照补偿系数所用。
54.所述线上拼接包括：
55.s1021、采集各所述相机的原始图像。所述原始图像的格式为yuv格式或rgb格式，用于获取所述原始图像的亮度通道。
56.s1022、根据所述拼接查找表中的所述重叠区域的坐标点，依次计算所述相机原始图像的亮度补偿系数。
57.具体的计算所述重叠区域的亮度补偿系数的步骤包括如下：
58.设所有拼接图相交区域的亮度误差公式为下式：
[0059][0060]
其中：g
i
,g
j
是补偿系数，i，j表示图像的索引，n表示图像的总数，并且r(i,j)是图像i和图像j的相交区域，u
i
，u
j
表示重叠区域的坐标点，i
i
(u
i
)表示u
i
点的亮度，在实际中，将i
i
(u
i
)用相交区域的平均值来代替。
[0061]
这可以减小计算量，并且使其对拼接不准确产生的外点鲁棒。为了使上述误差最小，取g＝0是一个最优解，因此，在这个公式中加入先验项(1
‑
g
i
)2/σ
2g
，使得g接近于1，因此误差公式变为下式：
[0062][0063]
其中，n
ij
＝|r(i,j)|表示图像i中和图像j中相交的部分，σ
n
，σ
g
表示亮度误差标准差和系数标准差，在实际拼接中，取σ
n
＝10.0，σ
g
＝0.1。这个二次目标函数在倒数为0时可取得唯一的解g。
[0064]
这个解就是第一亮度补偿系数。
[0065]
对各个所述相机的所述第一亮度补偿系数进行前后帧平滑，得到第二亮度补偿系数，进行前后帧平滑可保持前后帧的亮度平滑过度，具体的计算方式如下：
[0066]
设k帧图像的最终的补偿系数为g
finalk
,第一补偿系数为g
k
，前一帧的图像的补偿系数为g
k
‑1，最终计算的g
finalk
为：
[0067]
g
finalk
＝0.9*g
k
‑1 0.1*g
k
[0068]
g
finalk
即为第二亮度补偿系数。
[0069]
其中，所述第二亮度补偿系数用于下述对各所述相机的所述图像进行亮度补偿的步骤。
[0070]
s1023、根据所述亮度补偿系数对各所述原始图像进行亮度补偿，所述的亮度补偿系数即为步骤s1022中计算得到的第二亮度补偿系数。
[0071]
s1024、根据所述拼接查找表对亮度补偿后的各所述原始图像进行拼接，得到亮度均衡的环视拼接图像。
[0072]
在一个实施例中，所述对各个所述相机的所述第一亮度补偿系数进行前后帧平滑采用高斯平滑的方式进行前后帧平滑。
[0073]
优选的，所述重叠区域的坐标点可按倍率采样，用于减少计算量。
[0074]
在一个实施例中，所述车载环视系统中的相机数量为四个，分别采集车辆的前方、后方、左方和右方的图像，所述前方、后方、左方和右方的图像作为环视拼接图的原始图像。需要解释的是，相机数量可根据实际应用情况而定，并不局限于本实施例中所列举的，相机的数量也可以是三个或者六个等。
[0075]
第二方面，本技术实施例还提供一种车载环视系统中的亮度均衡系统，参照图3，所述系统包括线下标定模块和线上拼接模块，
[0076]
所述线下标定模块包括：
[0077]
内外参标定子模块，用于对车载环视系统中的各相机进行内外参标定；
[0078]
查找表生成子模块，用于根据所述内外参生成拼接查找表；
[0079]
重叠区域确定子模块，用于根据鸟瞰图确定各相邻两个图像的重叠区域，将所述重叠区域的坐标点存储于所述拼接查找表中；
[0080]
所述线上拼接模块包括：
[0081]
图像获取子模块，用于采集各所述相机的原始图像；
[0082]
亮度补偿系数计算子模块，用于根据所述拼接查找表中的所述重叠区域的坐标点，计算所述相机原始图像的亮度补偿系数；
[0083]
亮度补偿子模块，用于根据所述亮度补偿系数对各所述原始图像进行亮度补偿；
[0084]
拼接子模块，用于根据所述拼接查找表对亮度补偿后的各所述原始图像进行拼
接。
[0085]
本发明提供的实施例，针对现有的车载环视系统中亮度均衡方法的耗时问题及实时性无法得到保证的问题，发明了一种车载环视系统中的亮度均衡方法，为了快速稳定的对环视拼接各个相机的图像亮度进行均衡，在环视拼接的线下标定相机内外参后，将拼接后鸟瞰图中的相邻图像的重叠区域分别映射到相机采集的原始图像中；再在线上拼接时，根据原始图像中重叠区域的像素信息计算各个相机需要的亮度补偿系数，以在拼接前对各个相机亮度进行均衡。本技术采用各个图像对应于拼接重叠区域的像素点信息，计算各个图像亮度补偿系数，实现环视拼接图亮度均衡，从而让拼接后得到整体图像的效果更好，不会出现亮度的明显变化，便于用户观察，提高了用户体验，适用于各种车速、各种环境光线下的图像拼接；具有计算速度快，保证了亮度补偿的实时性，尤其在车辆快速行驶的过程中，实时性可以得到可靠的保证。
[0086]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。