基于人眼主观视觉效果车载冗余摄像头的图像融合方法与流程

1.本发明涉及车载图像融合领域，尤其涉及一种基于人眼主观视觉效果车载冗余摄像头的图像融合方法。


背景技术：

2.随着物联网、自动驾驶技术的高速发展，终端传感器尤其是图像传感器的应用大爆发，在应用上车载摄像头、广角摄像头的需求急剧提升。同时摄像头的应用不仅仅局限于在显示屏显示图像用于主观观察环境，而更多的应用到图像处理、识别等领域，这对摄像头的清晰度，一致性和应用图像提出了更高精度的要求。侧后视应用作为基本行车安全应用，通过摄像头替换传统后视镜的技术革新得到了飞速的发展，通过多个摄像头实现侧后视图像的融合应用避免了驾驶员频繁的转动头部观看左右后视镜和车内后视镜，同时也大大减少了下雨天传统后视镜雨滴和车窗雨滴影响视线的弊端，极大的提高了驾车安全性。现有侧后视应用如雨后春笋般迅速发展，普遍采用车载摄像头直接替代后视镜，将各个位置摄像头采集到的鱼眼图像显示在屏幕的对应区域。但是在直观感受上，各个摄像头的视场图像是独立不连贯的，驾驶员观看屏幕的主观感受较差。此外由于摄像头是电子产品，具备一定的失效性，外置摄像头仍然存在被灰尘和泥浆污染的情况，使得画面某些区域模糊或者遮挡，造成驾驶感受的降低甚至出现意外。
3.为了迎合的实现传统的驾驶习惯，业内有在车内原有传统侧视视线位置安装对应侧视摄像头的显示屏，但这样并不能明显提升驾驶感受。当摄像头被污染后，使得现有的系统生成图像受到阻碍，降低安全性。


技术实现要素：

4.基于现有技术中存在的缺陷，本发明提供基于人眼主观视觉效果车载冗余摄像头的图像融合方法，包括：
5.获取冗余摄像头拍摄的图像，在进行图像融合后获得融合图像，根据融合图像对应原始畸变图像判断选择未被污染的摄像头作为工作摄像头；
6.选择各个安装区域中的工作摄像头对应最终融合平面的图像进行图像融合，各个安装区域的工作摄像头对应的最终融合平面的图像在最终融合平面上存在覆盖区域，覆盖区域图像进行加权融合，像素值加权方式根据信息权重进行计算。
7.基于人眼主观视觉效果车载冗余摄像头的图像融合方法，进一步地，融合图像的获取包括：
8.步骤s100，获取预设靶图矩形roi区域4个顶点在融合矫正图像中的像素坐标，按照顺时针方向分别为(resq
x1
，resq
y1
)、(resq
xk
，resq
yk
)、(resq
x(t
‑
k 1)
，resq
y(t
‑
k 1)
)、(resq
xt
，resq
yt
)；
9.步骤s101，设观察点在三维坐标系下的o点，o点在水平面g的投影为g，g点为三维坐标系的原点，g点位于靶图平面的后摄像头成像的垂直中心线上，以g点为原点建立靶图
坐标系；
10.步骤s102，根据角点顺序按照顺时针方向分别为c1、c2、c3、c4，求解靶图坐标系下右冗余摄像头、左冗余摄像头、后冗余摄像头拍摄靶图成像后的roi区域以观察点o观测的融合图像的像素坐标namefc(i)x，namefc(i)y，name＝rgt，rer，lft；i＝1，2，3，4；
11.步骤s103，设左右摄像头安装位置距离其对应靶图的像素距离为dis
z
，将右冗余摄像头、左冗余摄像头、后冗余摄像头成像后的roi区域的以观察点o观测的融合图像的像素坐标转化为roi区域的顶点坐标namec(i)x，namec(i)y，其中，name＝right，rear，left；i＝1，2，3，4..
12.基于人眼主观视觉效果车载冗余摄像头的图像融合方法，进一步地，根据融合图像获取对应原始畸变图像至少包括：
13.步骤s201，根据观测的融合图像的像素坐标和靶图矩形roi区域4个顶点的像素坐标namec(i)x，namec(i)y，其中，name＝right，rear，left；i＝1，2，3，4.，利用透视变换进行求解h
af
pos，获取多摄像头融合图像的单应性矩阵h
af
pos和多摄像头的差异矫正图像，其中，融合图像的像素坐标记为namefc(i)x，namefc(i)y，其中，name＝rgt，rer，lft；i＝1，2，3，4.；
14.步骤s202，重复步骤s201，依次获得不同位置的右、后、左冗余摄像头对应的单应性矩阵h
af
pos和多摄像头的差异矫正图像；
15.步骤s203，将摄像头最终融合平面图像(q
x
、q
y
)、h
af
pos利用透视变换，获取各个摄像头的最终融合图像各像素点坐标对应的差异矫正图像坐标(r
x
，r
y
)。
16.基于人眼主观视觉效果车载冗余摄像头的图像融合方法，进一步地，根据融合图像获取对应原始畸变图像至少还包括：
17.步骤s204，差异矫正图像坐标(r
x
，r
y
)和对应摄像头的单应性矩阵h
da
pos利用透视变换，获取各个摄像头的差异矫正图像坐标对应的畸变矫正图像坐标(resp
x
，resp
y
)；
18.步骤s205，根据鱼眼相机的畸变矫正原理，获取畸变矫正图像坐标(resp
x
，resp
y
)相对应的原始畸变图像的坐标(resp
′
x
，resp
′
y
)；
19.步骤s206，重复步骤s203至s205，获取不同摄像头对应的原始畸变图像坐标(resp
′
xk
，resp
′
yk
)，其中，k为摄像头的编号。
20.基于人眼主观视觉效果车载冗余摄像头的图像融合方法，进一步地，步骤s201中，
21.透视变换公式：
[0022][0023]
其中，namefc(i)x,namefc(i)y为观察点o观测的融合图像的像素坐标，name＝rgt，rer，lft；i＝1,2,3,4；
[0024]
namec(i)x,namec(i)y，为靶图矩形roi区域4个顶点在差异矫正图像中的像素坐标,name＝right,rear,left；i＝1,2,3,4。
[0025]
基于人眼主观视觉效果车载冗余摄像头的图像融合方法，进一步地，不同摄像头安装区域分别对应一个靶图，靶图摆放在同一平面垂直于水平面，各靶图相对位置在靶图摆放像素平面上，右冗余摄像头、后冗余摄像头、左冗余摄像头靶图在水平方向上居中。
[0026]
基于人眼主观视觉效果车载冗余摄像头的图像融合方法，进一步地，其中，观察点o离地平面的y轴像素距离为view
y
,到靶图的z轴像素距离为view
z
，靶图上各点离o点的x轴的像素距离为view
x
。
[0027]
基于人眼主观视觉效果车载冗余摄像头的图像融合方法，进一步地，判断摄像头是否被污染的方法包括：
[0028]
选择相同安装区域内所有冗余摄像头中信息权重最高的一个摄像头作为工作摄像头；
[0029]
信息权重infk(f)计算方法包括：
[0030][0031]
其中，k表示冗余摄像头的编号，resqh、resqv分别为融合后图像水平分辨率和垂直分辨率，x，y表示融合图像像素坐标，f表示帧的序列号；
[0032]
dfk(f)
(x，y)
表示冗余摄像头k的清晰度得分，vld
(x，y)
表示融合画面的区域信息权重函数。
[0033]
基于人眼主观视觉效果车载冗余摄像头的图像融合方法，进一步地，清晰度得分获取包括：
[0034]
获取融合图像对应原始畸变图像，在获取的原始畸变图像中计算各区域清晰度得分，将清晰度得分与预设阈值进行比较判断摄像头各个区域的污染程度；
[0035]
清晰度得分的获取具体包括：将获取的原始畸变图像按边长为bl划分为vnum
×
hnum个小块imb(f)
vh
，统计每个小块内部的清晰度分值var(cf)
vh
，连续统计n帧图像的每一个小块内部的清晰度分数进行累加，获得清晰度得分df(f)
vh
[0036][0037]
其中，f为当前图像帧序号，resh、resv分别为图像水平分辨率和垂直分辨率，bl为小块的边长，v∈[1，vnum]，h∈[1，hnum]，其中小块的边长，v∈[1，vnum]，h∈[1，hnum]，其中
[0038]
基于人眼主观视觉效果车载冗余摄像头的图像融合方法，进一步地，清晰度分值var(cf)
vh
计算方法包括：
[0039][0040]
其中，imb(f)
vh
表示垂直序号为v，水平序号为h的小块，f为当前图像的帧序号，bl为小块的边长，i和j分别表示小块图像内的像素坐标，i∈[1，bl]，j∈[1，bl]。
[0041]
基于人眼主观视觉效果车载冗余摄像头的图像融合方法，进一步地，设定清晰度
分值阈值thre，thre根据bl大小和统计帧数n设定，thre
min
范围为8～12；
[0042]
清晰度分值阈值thre：
[0043]
thre＝(thre
min
×
bl)2×
n
[0044]
将各个小块统计的清晰度分值var(cf)
vh
与清晰度分值阈值比较，大于等于清晰度分值阈值，则认为该区域图像清晰度满足要求。
[0045]
基于人眼主观视觉效果车载冗余摄像头的图像融合方法，进一步地，区域信息权重函数vld
(x，y)
获取包括：
[0046]
vld
(x，y)
＝vld
(x)
×
vld
(y)
[0047]
其中，垂直信息权重函数vld
(y)
，水平信息权重函数vld
(x)
；
[0048][0049][0050]
其中，resqh为最终融合图像的像素水平分辨率；
[0051]
其中，ofst_h1和ofst_h2，low_val均为人为设定阈值，low_val为主观认为的最低权重，ofst_h1是主观认定的最低权重区域，ythre为根据经验设定的阈值；
[0052]
ofst_vt表示最上边像素到右侧相机拍摄到靶图right camera roi的点(resq
x1
，resq
y1
)的垂直像素距离。
[0053]
基于人眼主观视觉效果车载冗余摄像头的图像融合方法，进一步地，覆盖区域包括：右侧和后侧工作摄像头覆盖区域融合图像q
rr(x，y)
，左侧和后侧工作摄像头覆盖区域融合图像q
rl(x，y)
；
[0054]
摄像头覆盖区域融合图像有相应区域的工作摄像头在最终融合平面上的图像和信息权重的加权平均值；
[0055][0056][0057]
其中，左侧、后侧、右侧工作摄像头的信息权重leftinf(f)
(x，y)
，rearinf(f)
(x，y)
，rightinf(f)
(x，y)
；
[0058]
right(q
x
、q
y
)、rear(q
x
、q
y
)、left(q
x
、q
y
)分别为右侧、后侧、左侧工作摄像头在最终融合平面上的图像；
[0059]
基于人眼主观视觉效果车载冗余摄像头的图像融合方法，进一步地，左侧、后侧、右侧工作摄像头的信息权重leftinf(f)
(x，y)
，rearinf(f)
(x，y)
，rightinf(f)
(x，y)
的计算公式如下：
[0060]
leftinf(f)
(x，y)
＝leftdfk(f)
(x，y)
×
vld
(x，y)
[0061]
rearinf(f)
(x，y)
＝reardfk(f)
(x，y)
×
vld
(x，y)
[0062]
rightinf(f)
(x，y)
＝rightdfk(f)
(x，y)
×
vld
(x，y)
[0063]
其中reardfk(f)
(x，y)
为后侧工作摄像头的清晰度得分；leftdfk(f)
(x，y)
为左侧工作摄像头的信息权重，rightdfk(f)
(x，y)
为右侧工作摄像头的清晰度得分，vld
(x，y)
为信息权重函数。
[0064]
基于人眼主观视觉效果车载冗余摄像头的图像融合方法，进一步地，根据实际显示效果，人为定义贴图区域q
c(x，y)
，最终融合图像预设区域的像素替换为贴图像素。
[0065]
有益效果：
[0066]
1.本发明提供的技术方案中，通过对相同区域的位置摄像头的污染程度进行判断从而选出合格的摄像头作为工作摄像头，使得驾驶员能够及时获得的更真实的图像信息，避免对真实情况的判断受阻。
[0067]
2.本发明提供的技术方案中，在判断摄像头是否被污染的情况，通过引入信息权重，并且创造性的定义了信息权重等于清晰度得分和融合画面区域信息的权重函数。在计算信息权重的过程中，并未将摄像头所有的区域都进行考虑，通过预设靶图，建立靶图坐标系，通过图像融合后确定最终的有效区域，计算有效区域的清晰度得分和区域信息权重，使其计算结果更准确，避免不参加融合摄像头形成图像的部分被考虑进来。即对形成安全不产生影响的图像不考虑进来。
[0068]
3.本发明提供的技术方案中，创造性提出的清晰度得分的计算方法，并图像区域进行分块并计算每小块的像素差异，然后连续计算多帧图像的差异，设定阈值进行比较，使得计算结果更科学，准确。
附图说明
[0069]
以下附图仅对本发明做示意性说明和解释，并不限定本发明的范围。
[0070]
图1为本发明一实施例中靶图t矩形roi区域4个顶点在畸变矫正图像中的像素坐标示意图；
[0071]
图2为本发明一实施例中左、后、右摄像头形成的靶图摆放在同一平面并垂于水平面的示意图；
[0072]
图3为本发明一实施例中以观察点为视角对靶图进行观察的示意图；
[0073]
图4为本发明一实施例中连续统计n帧图像的每一个小块内部的水平垂直的清晰度分值示意图；
[0074]
图5为本发明一实施例中摄像头表面被严重污染以及对污染区域进行染色的示意图，图5a表示表面被严重污染原图像，图5b表示原图经过计算处理并染色的图像。
[0075]
图6为本发明一实施例中摄像头表面轻微污染以及对污染区域进行染色的示意图，图6a表示表面轻微污染原图像，图6b表示原图经过计算处理并染色的图像。
[0076]
图7为本发明一实施例中左、后、右摄像头拍摄画面进行融合后覆盖区域显示的示意图。
[0077]
图8为本发明一实施例中工作摄像头安装在预设安装位置并朝向指定视场后拍摄的图像经过在融合平面形成的图像示意图。
[0078]
图9为本发明一实施例中将图像中信息权重显示1染色为纯白，显示为0染色为纯黑形成的示意图。
[0079]
图10为本发明一实施例中各个区域冗余摄像头(未污染和污染)的图像。
[0080]
图11为本发明一实施例中各个区域冗余摄像头最终融合图像加上贴图的最终图像。
具体实施方式
[0081]
为了对本文的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式，在各图中相同的标号表示相同的部分。为使图面简洁，各图中的示意性地表示出了与本发明相关部分，而并不代表其作为产品的实际结构。另外，为使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。
[0082]
关于控制系统，功能模块、应用程序(app)本领域技术人员熟知的是，其可以采用任何适当的形式，既可以是硬件也可以是软件，既可以是离散设置的多个功能模块，也可以是集成到一个硬件上的多个功能单元。作为最简单的形式，所述控制系统可以是控制器，例如组合逻辑控制器、微程序控制器等，只要能够实现本技术描述的操作即可。当然，控制系统也可以作为不同的模块集成到一个物理设备上，这些都不偏离本发明的基本原理和保护范围。
[0083]
本发明中“连接”，即可包括直接连接、也可以包括间接连接、通信连接、电连接，特别说明除外。
[0084]
本文中所使用的术语仅为了描述特定实施方案的目的并且不旨在限制本公开。如本文中所使用地，单数形式“一个”、“一种”、以及“该”旨在也包括复数形式，除非上下文明确地另作规定。还将理解的是，当在说明书中使用时，术语“包括”和/或“包含”是指存在有所陈述的特征、数值、步骤、操作、元件和/或组分，但是并不排除存在有或额外增加一个或多个其它的特征、数值、步骤、操作、元件、组分和/或其组成的群组。作为在本文中所使用的，术语“和/或”包括列举的相关项的一个或多个的任何和全部的组合
[0085]
应当理解，此处所使用的术语“车辆”或“车辆的”或其它类似术语一般包括机动车辆，例如包括运动型多用途车辆(suv)、公共汽车、卡车、各种商用车辆的乘用汽车，包括各种舟艇、船舶的船只，航空器等等，并且包括混合动力车辆、电动车辆、可插式混合动力电动车辆、氢动力车辆以及其它替代性燃料车辆(例如源于非石油的能源的燃料)。正如此处所提到的，混合动力车辆是具有两种或更多动力源的车辆，例如汽油动力和电力动力两者的车辆。
[0086]
此外，本公开的控制器可被具体化为计算机可读介质上的非瞬态计算机可读介质，该计算机可读介质包含由处理器、控制器或类似物执行的可执行程序指令。计算机可读介质的示例包括，但不限于，rom、ram、光盘(cd)
‑
rom、磁带、软盘、闪存驱动器、智能卡和光学数据存储设备。计算机可读记录介质也可分布在通过网络耦合的计算机系统中，使得计算机可读介质例如通过远程信息处理服务器或控制器区域网络(can)以分布式方式存储和执行。
[0087]
本实施例提供基于人眼主观视觉效果车载冗余摄像头的图像融合方法，具体包
括：
[0088]
获取冗余摄像头拍摄的图像在进行图像融合后获得融合图像，根据融合图像对应原始畸变图像判断选择未被污染的摄像头作为工作摄像头；
[0089]
选择各个安装区域中的工作摄像头对应最终融合平面的图像进行图像融合，各个安装区域的工作摄像头对应的最终融合平面的图像在最终融合平面上存在覆盖区域，覆盖区域图像进行加权融合，像素值加权方式根据信息权重进行计算。
[0090]
具体地，在车载摄像头中，并不是所有的摄像头区域都对于行车有最重大的安全意义，比如天空区域相对地面区域而言，这部分的信息对与行车安全而言的更少，摄像头此部分区域如果被污渍遮挡相对于摄像头地面区域被遮挡的话危害性更小。摄像头作为外部器件，总有一定概率受到污染，因此当地面区域没有被污染的情况下，该摄像头采集的图像对应行车安全还是可以采纳的。同时安装在不同拍摄位置的冗余摄像头最后选取到融合图像中的区域也有所不同，安装在某一拍摄位置的摄像头内一些区域的数据根本不会采纳到最后的融合图像中，因此相对于最终的融合系统而言，这部分图像是冗余的可以舍弃的，也就意味着该区域被污染对整体的融合图像没有影响。
[0091]
将摄像头最终显示区域权重配合清晰度得分进行统计，得出各个冗余摄像头的融合信息含量得分，根据各个冗余摄像头融合信息含量得分选择得分最高的摄像头为工作摄像头，其余摄像头为待机摄像头。
[0092]
具体地，融合图像的获取包括：
[0093]
步骤s100，获取预设靶图矩形roi区域4个顶点在融合矫正图像中的像素坐标，按照顺时针方向(resq
x1
，resq
y1
)、(resq
xk
，resq
yk
)、(resq
x(t
‑
k 1)
，resq
y(t
‑
k 1)
)、(resq
xt
，resq
yt
)；
[0094]
具体地为：
[0095]
当前帧序号f的水平分辨率为resh、垂直分辨率为resv的图像imb(f)，按照边长为bl可以划分为水平hnum、垂直vnum个小正方形块imb(f)
vh
，(v∈[1，vnum]，h∈[1，hnum])，其中
[0096]
区域小块的块坐标定义为(v，h)，v∈[1，vnum]，h∈[1，hnum]，其水平和垂直像素坐标分别为resp
′
h
＝h
×
bl，resp
′
v
＝v
×
bl；
[0097]
设靶图特征点为水平k个，垂直j个，k
×
j＝t，根据冗余摄像头差异矫正模块步骤，可知靶图t矩形roi区域4个顶点在融合矫正图像中的像素坐标(resq
x1
，resq
y1
)、(resq
xk
，resq
yk
)、(resq
x(t
‑
k 1)
，resq
y(t
‑
k 1)
)、(resq
xt
，resq
yt
)，如图1所示。
[0098]
不同摄像头安装区域分别对应一个靶图，靶图摆放在同一平面垂直于水平面，各靶图相对位置在靶图摆放像素平面q上，3个靶图在水平方向上居中，如图2所示，其中，ofst_right是像素屏幕q最左边像素到右侧相机拍摄到靶图roi的点(resq
x1
，resq
y1
)的水平像素距离；
[0099]
ofst_vt是q最上边像素到右侧相机拍摄到靶图right camera roi的点(resq
x1
，resq
y1
)的垂直像素距离，ofst_vb
y
是q最上边像素到右侧相机拍摄到靶图right camera roi的点(resq
xt
，resq
yt
)的垂直像素距离；
[0100]
ofst_rear是像素屏幕q最左边像素到后侧相机拍摄到靶图rear camera roi的点
(resq
x1
，resq
y1
)的水平像素距离；
[0101]
ofst_left是像素屏幕q最左边像素到左侧相机拍摄到靶图left camera roi的点(resq
x1
，resq
y1
)的水平像素距离。
[0102]
步骤s101，设观察点在三维坐标系下的o点，o点在水平面g的投影为g，g点为三维坐标系的原点，g点位于靶图平面的后摄像头成像的垂直中心线上，以g点为原点建立靶图坐标系；
[0103]
步骤s102，根据角点顺序按照顺时针方向分别为c1、c2、c3、c4，求解靶图坐标系下右冗余摄像头、左冗余摄像头、后冗余摄像头拍摄靶图成像后的roi区域以观察点o观测的融合图像的像素坐标namefc(i)x，namefc(i)y，name＝rgt，rer，lft；i＝1，2，3，4；
[0104]
具体地，设观察点在三维坐标系下的o点，其在水平面g的投影为g，如图3所示。其中o点离地平面的y轴像素距离为view
y
，到靶图的z轴像素距离为view
z
，靶图上各点离o点的x轴的像素距离为view
x
。则设g点为三维坐标系的原点，图1中角点顺序从左到右从上到下分别为c1、c2、c3、c4，则各个靶图的roi区域观察到的融合图像q的角点坐标在此坐标系下分别为：
[0105]
右侧摄像头roi区域的坐标如下：
[0106][0107]
rgtfc1
y
＝ofst_vb
‑
ofst_vt
[0108][0109]
rgtfc1
y
＝ofst_vb
‑
ofst_vt
[0110][0111]
rgtfc3
y
＝0
[0112][0113]
rgtfc4
y
＝0
[0114]
后侧摄像头roi区域的坐标如下：
[0115][0116]
rerfc1
y
＝ofst_vb
‑
ofst_vt
[0117][0118]
rerfc2
y
＝ofst_vb
‑
ofst_vt
[0119][0120]
rerfc3
y
＝0
[0121]
[0122]
rerfc4
y
＝0
[0123]
左侧摄像头roi区域的坐标如下：
[0124][0125]
lftfc1
y
＝ofst_vb
‑
ofst_vt
[0126][0127]
lftfc2
y
＝ofst_vb
‑
ofst_vt
[0128][0129]
lftfc3
y
＝0
[0130][0131]
lftfc4
y
＝0
[0132]
步骤s103，设左右摄像头安装位置距离其对应靶图的像素距离为dis
z
，将右冗余摄像头、左冗余摄像头、后冗余摄像头成像后的roi区域的以观察点o观测的融合图像的像素坐标转化为roi区域的顶点坐标namec(i)x，namec(i)y，其中，name＝right，rear，left；i＝1，2，3，4.
[0133]
具体地，则根据透视原理，设左右摄像头安装位置距离其对应靶图的像素距离为dis
z
，则最终融合图像中各靶图矩形roi区域的4个顶点c(i)，i＝1、2、3、4，在观察点o看到的融合图像中的像素坐标的关系为：
[0134]
右侧摄像头roi区域，
[0135][0136]
后侧摄像头roi区域，
[0137][0138]
左侧摄像头roi区域，
[0139][0140]
设各个安装位置的差异矫正图像与多个摄像头融合图像的单应性矩阵为h
af
pos，pos＝left，right，rear；
[0141]
右侧单个摄像头差异矫正图像与多个摄像头融合图像存在单应性矩阵，将融合图像中的像素坐标(rgtfc(i)
x
，rgtfc(i)
y
)和相对应的矫正图像中的像素坐标(rightc
x(i)
，rightc
y(i)
)，i＝1，2，3，4，利用透视变换即可求得该右侧摄像头的差异矫正图像和多摄像头融合图像的单应性矩阵h
af
right；
[0142]
透视变换公式如下：
[0143][0144]
同理，后侧单个摄像头差异矫正图像与多个摄像头融合图像存在单应性矩阵，将融合图像中的像素坐标(rerfc(i)
x
，rerfc(i)
y
)和相对应的矫正图像中的像素坐标(rearc
x(i)
，rearc
y(i)
)，i＝1，2，3，4，利用透视变换即可求得后侧摄像头的差异矫正图像和多摄像头融合图像的单应性矩阵h
af
rear
[0145]
同理，可以获得左侧摄像头的差异矫正图像和多摄像头融合图像的单应性矩阵h
af
left；
[0146]
设最终融合图像q的像素分辨率为水平resqh、垂直resqv，则每个点的坐标范围为：
[0147][0148]
q
y
，y∈[ofst_vb，ofst_vb
‑
resqv]；
[0149][0150]
resqv＝ofst_vb ofst_va
[0151]
以右侧摄像头为例进行说明：
[0152]
将右摄像头最终融合平面图像(q
x
、q
y
)、h
af
pos利用透视变换，获取右侧各个摄像头的最终融合图像各像素点坐标对应的差异矫正图像坐标(r
x
，r
y
)；
[0153]
将右侧摄像头最终融合平面图像right(q
x
、q
y
)和h
af
right利用透视变换，则可以求取出右侧各个摄像头的最终融合图像各像素点坐标对应的差异矫正图像坐标(r
x
，r
y
)，
[0154][0155]
将(r
x
，r
y
)和右侧各个摄像头的单应性矩阵h
da
posk，利用透视变换，获取各个摄像头的差异矫正图像坐标对应的畸变矫正图像坐标(resp
x
，resp
y
)，则可以得到其对应的原始畸变图像的坐标(resp
′
x
，resp
′
y
)，
[0156]
根据鱼眼相机的畸变矫正原理，获取畸变矫正图像坐标(resp
x
，resp
y
)相对应的原始畸变图像的坐标(resp
′
x
，resp
′
y
)；
[0157]
重复上述步骤，获取不同摄像头对应的原始畸变图像坐标(resp
′
xk
，resp
′
yk
)，其中，k为摄像头的编号。
[0158]
判断摄像头是否被污染的方法如下：
[0159]
选择相同安装区域内所有冗余摄像头中信息权重最高的一个摄像头作为工作摄像头；
[0160]
信息权重iinfk(f)计算方法包括：
[0161][0162]
其中，k表示冗余摄像头的编号，resqh、resqv分别为融合后图像水平分辨率和垂直分辨率，x，y表示融合图像像素坐标，f表示帧的序列号；
[0163]
dfk(f)
(x，y)
表示冗余摄像头k的清晰度得分，vld
(x，y)
表示融合画面的区域信息权重函数。
[0164]
清晰度得分获取包括：
[0165]
获取融合图像对应原始畸变图像，在获取的原始畸变图像中计算各区域清晰度得分，将清晰度得分与预设阈值进行比较判断摄像头各个区域的污染程度；
[0166]
清晰度得分的获取具体包括：将获取的原始畸变图像按边长为b1划分为vnum
×
hnum个小块imb(f)
vh
，统计每个小块内部的清晰度分值var(cf)
vh
，连续统计n帧图像的每一个小块内部的清晰度分数进行累加，获得清晰度得分df(f)
vh
[0167][0168]
其中，f为当前图像帧序号，resh、resv分别为图像水平分辨率和垂直分辨率，bl为小块的边长，v∈[1，vnum]，h∈[1，hnum]，其中小块的边长，v∈[1，vnum]，h∈[1，hnum]，其中
[0169]
具体地，在行车过程中或者雨雪等天气影响下，尽管摄像头表面通过憎水膜的物理手段可以极大的降低污物粘着的概率，但仍然有一定可能沾上污渍，污渍沾染具有突发性，附着可变化的特征，这会减少以太网摄像头获取的图像信息使得驾驶员对真实环境情况感知受阻。清晰度判决方法计算出摄像头各个区域的清晰度得分，从而判断出摄像头各个区域的污染程度。
[0170]
将单个摄像头采集的原始图像按边长为bl划分为若干小块imb，每个小块内部按照清晰度分值计算算法计算其清晰度得分。清晰度是表征图像信息含量的尺度，图像高频区域和中频区域的信息占据了绝大部分的图像信息，清晰度计算方式之一通过计算相邻像素的差异性，能体现出信息含量的尺度，当图像清晰时相邻像素差异性大，图像模糊时相邻像素差异性小。
[0171]
具体地：
[0172]
将单个摄像头采集的原始图像按边长为bl划分为若干小块imb，每个小块内部按照传统清晰度计算算法计算其清晰度得分，例如清晰度得分计算方式采用水平和垂直方向的方差。清晰度得分是表征图像信息含量的尺度，图像高频区域和中频区域的信息占据了绝大部分的图像信息，清晰度得分计算方式之一的方差通过计算相邻像素的差异性，能体现出信息含量的尺度，当图像清晰时相邻像素差异性大，图像模糊时相邻像素差异性小。
[0173]
具体的，当前帧序号f的水平分辨率为resh、垂直分辨率为resv的图像imb(f)，按照边长为bl可以划分为水平hnum、垂直vnum个小正方形块imb(f)
vh
，(v∈[1，vnum]，h∈[1，
hnum])，其中小块内每个像素的像素值为imb(f)
vh
(i，j)，(i∈[1，b1]，j∈[1，bl])，则每个小块垂直和水平方向的清晰度分值var(f)
vh
计算如下：
[0174][0174][0175]
其中，imb(f)
vh
表示垂直序号为v，水平序号为h的小块，f为当前图像的帧序号，bl为小块的边长，i和j分别表示小块图像内的像素坐标，i∈[1，b1]，j∈[1，bl]。
[0176]
连续统计n帧图像的每一个小块内部的水平垂直的清晰度分值，如图4所示，分别对帧内划分的每一个小块imb(f)
vh
，(v∈[1，vnum]，h∈[1，hnum])累加统计其在之前连续n帧图像的方差，得到清晰度得分df(f)
vh
，，各个冗余摄像头对应的清晰度得分记为dfk(f)
vh
。
[0177][0178]
设定清晰度分值阈值thre，thre根据b1大小和统计帧数n设定。具体的，认为相邻像素值差异在thre
min
认为是画面开始模糊，则清晰度分值阈值thre满足下式，根据经典的灰阶辨认尺度，thre
min
可选择8～12。
[0179]
thre＝(thre
min
×
bl)2×
n
[0180]
将各个小块统计的累计清晰度分值与清晰度分值阈值比较，大于等于清晰度分值阈值则认为该区域图像清晰度满足要求。
[0181]
为方便直观观察，将小于清晰度分值阈值的小块染色为黑色，大于等于清晰度分值阈值的小块染色为白色，表面污染严重摄像头及其对应小块统计染色如图5所示，图5a表示违背染色的图像，图5b表示经过统计染色的图像。
[0182]
对比摄像头及其对应小块统计染色图6所示，，图6a表示违背染色的图像，图6b表示经过统计染色的图像。图6表示表示摄像头表面仅轻微污染。
[0183]
根据鱼眼相机的畸变矫正原理，获取畸变矫正图像坐标(resp
x
，resp
y
)相对应的原始畸变图像的坐标(resp
′
x
，resp
′
y
)；
[0184]
重复上述步骤，获取不同摄像头对应的原始畸变图像坐标(resp
′
xk
，resp
′
yk
)，其中，k为摄像头的编号。
[0185]
根据原始畸变图像(resp
′
x
，resp
′
y
)获得对应的图像区域，并从图像区域进行分块，能够获得右侧各个摄像头k最终融合图像各像素点rightk(q
x
、q
y
)对应的清晰度得分right(dfk(f)
vh
)，记为rightdfk(f)
x，y
。
[0186]
同理，后侧和左侧各个摄像头最终融合平面图像rear(q
x
、q
y
)和h
af
rear、left(q
x
、q
y
)和h
af
left并按照上述步骤即可得到后侧各个摄像头k最终融合图像各像素点rear k(q
x
、q
y
)对应的清晰度得分rear(dfk(f)
vh
)，记为reardfk(f)
x，y
；
[0187]
左侧各个摄像头k最终融合图像各像素点lefyk(q
x
、q
y
)对应的清晰度得分left
(dfk(f)
vh
)，记为leftdfk(f)
x，y
，其可以根据清晰度分值阈值进行判断如图7所示。
[0188]
各安装位置摄像头区域信息权重为摄像头实际安装位置拍摄到的融合图像中驾驶员主观观察概率最大区域，即后、侧后方地面及车身延展线以下区域，该区域的获取方式为，将清洁的摄像头安装在指定安装位置并朝向指定视场，得到该摄像头在融合平面上的图像，优选的，选择ofst_vt以下区域，如图8灰色区域。
[0189]
根据透视原理，离融合图像中心区域贴图越近，则信息有效性越大。设定垂直信息权重函数vld
(y)
，水平信息权重函数vld
(x)
，则信息权重函数vld
(x，y)
为：
[0190]
垂直信息权重函数vld
(y)
：
[0191][0192]
水平信息权重函数vld
(x)
：
[0193][0194]
其中，ofst_h1和ofst_h2，low_val均为人为设定经验值，low_val为主观认为的最低权重，ofst_h1是主观认定的最低权重区域，ofst1到ofst2之间的区域为权重渐变区域；
[0195]
信息权重函数vld
(x，y)
：
[0196]
vld
(x，y)
＝vld
(x)
×
vld
(y)
[0197]
将信息权重1染色为纯白，0染色为纯黑，则vld
(x，y)
，如图9所示。
[0198]
单个摄像头k在最终融合图像的当前帧序号f对应的信息权重infk(f)由清晰度得分dfk(f)
(x，y)
和区域信息权重vld
(x，y)
共同决定：
[0199][0200]
选择相同安装区域内所有冗余摄像头中信息权重得分最高的一个摄像头作为工作摄像头，其余摄像头作为待机摄像头。融合图像选择各个安装区域中的工作摄像头的最终平面融合图像进行融合。
[0201]
各个安装区域的摄像头对应的最终融合平面的图像在最终融合平面上存在覆盖区域，覆盖区域图像进行加权融合，像素值加权方式根据信息权重进行计算，其中leftinf(f)
(x，y)
为左侧工作摄像头的信息权重，leftdfk(f)
(x，y)
为左侧工作摄像头的清晰度得分；rearinf(f)
(x，y)
为后侧工作摄像头的信息权重，reardfk(f)
(x，y)
为后侧工作摄像头的清晰度得分；rightinf(f)
(x，y)
为右侧工作摄像头的信息权重，rightdfk(f)
(x，y)
为右侧工作摄像头的清晰度得分，q
rr(x，y)
为右侧和后侧工作摄像头覆盖区域融合图像，q
rl(x，y)
为左侧和后侧工作摄像头覆盖区域融合图像，right(q
x
、q
y
)、rear(q
x
、q
y
)、left(q
x
、q
y
)分别为右侧、后侧、
左侧工作摄像头在最终融合平面上的图像。
[0202]
leftinf(f)
(x，y)
＝leftdfk(f)
(x，y)
×
vld
(x，y)
[0203]
rearinf(f)
(x，y)
＝reardfk(f)
(x，y)
×
vld
(x，y)
[0204]
rightinf(f)
(x，y)
＝rightdfk(f)
(x，y)
×
vld
(x，y)
[0205][0206][0207]
根据实际显示效果，人为定义贴图区域q
c(x，y)
，最终融合图像该区域的像素替换为贴图像素。
[0208]
各个区域冗余摄像头(未污染和污染)的图像如图10所示，
[0209]
各个区域冗余摄像头最终融合图像加上贴图效果如图11所示。
[0210]
以上所述的仅是本发明的优选实施方式，本发明不限于以上实施例。本领域的技术人员可以清楚，该实施例中的形式不局限于此，同时可调整方式也不局限于此。可以理解，本领域技术人员在不脱离本发明的基本构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。