自动驾驶视觉感知冗余系统危险度评估的自诊断校准方法与流程

1.本发明涉及车辆控制技术领域，具体涉及一种自动驾驶视觉感知冗余系统危险度评估的自诊断校准方法。


背景技术：

2.自动驾驶系统安全性依赖于各感知传感器的正确输出，而视觉感知系统的单目摄像机作为检测车道线和车道标识的传感器(雷达/激光雷达主要检测目标、护栏和路沿)，其准确度和精度决定于摄像机外参，外参容易受到安装位置的影响，而车辆在行驶过程中由于振动使得底盘橡胶件老化，日照、高热和高寒等因素使得非金属外饰支架老化发生形变，固定件发生松动，从而使得摄像机系统发生位姿角改变，而影响传感器外参，而外参的改变会对摄像机测距产生影响；摄像机自身的老化又会使得内参发生变化。而高速情况下，自动驾驶的紧急刹车和紧急避障的安全性严重依赖于摄像机的测距能力。而如果内外参不准确，又因为光照，恶劣天气等因素影响，基于光学测距的视觉系统会更不准确，影响感知系统正常工作，并最终影响紧急刹车和紧急避障的控制效果，如导致避障路径规划不准确，反而容易引起30％碰撞等事故造成更大的伤害，因此发明一种自动驾驶视觉感知冗余系统及其外参数的自诊断/自校准方法对于自动驾驶是十分必要的。
3.如公开号为cn102789642a的发明专利公开了一种消失方向确定方法和装置、摄像机自标定方法和装置。其中提出了一种消失方向确定方法和装置及摄像机。基于视频图像确定消失方向的方法包括：在由摄像机拍摄的视频图像中检测运动物体所在的运动目标区域，提取特征点，以获得运动估计，及消失方向，进而准确的获得摄像机姿态参数，但是单单用提取特征点获取消失点来估计摄像机姿态参数，容易因为特征点提取不准确以及错配导致运动轨迹获取问题，导致姿态参数不准确问题，用于自动驾驶系统自诊断时，容易误报或者漏报。


技术实现要素：

4.针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种自动驾驶视觉感知冗余系统危险度评估的自诊断校准方法，解决现有视觉感知系统因摄像机参数变化引起识别不准或测距不准的问题，而产生严重的安全事故。
5.为了解决上述技术问题，本发明采用了如下的技术方案：
6.自动驾驶视觉感知冗余系统危险度评估的自诊断校准方法，包括以下步骤：
7.s1、从高精地图接收车辆位置、路段预设位置和接收车辆状态信息，当车辆通过路段预设位置时执行步骤s2；
8.s2、接收视觉感知主功能子系统的摄像机的动态估计参数，以及接收摄像机视频数据和imu(惯性测量单元，含加速度计)数据；
9.s3、对视觉冗余感知系统摄像机输入图像预处理；
10.s4、视觉冗余感知系统通过n种不同方法估计主功能摄像机参数，与主功能摄像机
动态参数估计结果做误差计算，得到第i(i＝1，2，3
……
n)种方法估计的参数误差向量并求取估计参数的置信度；
11.s5、对步骤s4中所有参数误差向量归一化后，通过置信度的加权特征融合，得到当前帧j的危险度rj；
12.s6、当采集到的帧数大于阈值时执行步骤s7,否则执行步骤s2采集下一帧数据；
13.s7、对计算出的多帧的危险度求均值r
avg
，并基于激励和遗忘机制计算长期危险度r
lt
；
14.s8、当长期危险度r
lt
大于危险度上限阈值时执行步骤s10，否则执行步骤s9；
15.s9、当长期危险度r
lt
小于危险度安全下限阈值时执行步骤s11，否则执行步骤s12；
16.s10、进入危险等级高状态，发出维护保养提醒，将故障数据脱敏上传云端，并禁用自动驾驶系统；
17.s11、进入无危险状态，关闭维护保养提醒，解除自动驾驶系统禁用；
18.s12、进入危险等级低状态，发出保养维护提醒，并将故障数据自动脱敏后上传云端，以便人工确认故障。
19.进一步地，在步骤s4中，得到第i(i＝1，2，3
……
n)种方法估计的参数误差向量包括：
20.通过车道线神经网络检测模型检测平行车道线，来估计摄像机外参数，与主功能摄像机动态参数估计结果做误差计算，得到第1种方法估计的参数误差向量
21.通过语义分割神经网络模型分割出车道线以及车道线附近的特殊建筑物(由水平于路面且垂直于车道方向的平行直线组、垂直于路面的平行直线组构成)上的平行直线组和平行车道线构成三组正交的直线，利用这三组正交直线，来估计摄像机的外参数，与主功能摄像机动态参数估计结果做误差计算，得到第2种方法估计的参数误差向量
22.通过语义分割神经网络模型和视觉特征点方法，来估计摄像机外参数，与主功能摄像机动态参数估计结果做误差计算，得到第3种方法估计的参数误差向量
23.通过视觉车道线检测方法(非深度学习的方法)检测平行车道线，来估计摄像机外参数，与主功能摄像机动态参数估计结果做误差计算，得到第4种方法估计的参数误差向量参数，与主功能摄像机动态参数估计结果做误差计算，得到第4种方法估计的参数误差向量
24.进一步地，得到第1种方法估计的参数误差向量的步骤包括：
25.s411、将摄像机原始图片进行缩放，运行车道线检测神经网络模型。
26.s412、获取车道线检测神经网络模型输出的车道线点集特征，求取本车近处的平行车道线直线段方程。
27.s413、对平行车道线的近端平直段平行直线两两组合求取消失点，对消失点求取平均值，并通过消失点估计摄像机外参数；并根据车道线置信度，消失点个数进行第i(i＝1)种方法、第j帧的估计参数的置信度λ
ij
计算。
28.s414、对视觉冗余感知与故障诊断子系统参数估计结果与视觉感知主功能子系统
摄像机动态参数估计结果做误差计算，以得到第1种方法估计的参数误差向量
29.进一步地，得到第2种方法估计的参数误差向量的步骤包括：
30.s421、将摄像机原始图片进行缩放，运行语义分割神经网络模型，由语义分割获得特殊建筑物(如交通标识牌龙门架)和车道线分割特征图。
31.s422、对语义分割结果运行直线检测网络求取特殊建筑物(由水平于路面且垂直于车道方向的平行直线组、垂直于路面的平行直线组构成)的平行直线组，以及求取平直车道的车道线/路沿的平行直线方程，得到三组正交的平行直线方程，并通过imu(惯性测量单元，含加速度计)获得的重力方向，利用重力方向剔除掉垂直于路面的直线组中的异常直线。
32.s423、求取三组正交平行直线的三个消失点方向：即对每组平行直线两两组合求取消失点方向，并分别对每组平行直线的消失点方向求取平均值得到三个正交的消失方向即得到三轴正交的坐标系，并用三个正交的消失点方向(即三轴坐标系)估计摄像机外参数，并根据直线检测网络输出的直线置信度，直线的邻近区域内的语义分割神经网络模型输出特征图稀疏采样得到的采样点集的平均置信度，和消失点方向个数,进行第i(i＝2)种方法、第j帧的置信度λ
ij
计算。
33.s424、对视觉冗余感知与故障诊断子系统参数估计结果与视觉感知主功能子系统摄像机动态参数估计结果做误差计算，以得到第2种方法估计的参数误差向量
34.进一步地，得到第3种估计的参数误差向量的步骤包括：
35.s431、根据语义分割经网络模型输出的可行驶区域路面特征图片，进行裁剪获得路面图片，并对路面图片进行灰度处理；
36.s432、通过视觉特征点方法求取路面特征点，匹配特征点进行摄像机运动估计；
37.s433、通过摄像机运动估计，来进行摄像机参数估计和第i(i＝3)种方法、第j帧的估计参数的置信度λ
ij
计算。；
38.s434、对视觉冗余感知与故障诊断子系统参数估计结果与视觉感知主功能子系统摄像机动态参数估计结果做误差计算，以得到第3种方法估计的参数误差向量
39.进一步地，得到第4种估计的参数误差向量的步骤包括：
40.s441、将摄像机原始图片转换为灰度图并进行增强和滤波处理，裁剪图像获取图片下半部分路面图像，将路面图像转换为2值图像。
41.s442、通过非深度学习直线检测方法，得到平行车道线近端平直段。
42.s443、对平行车道线所属直线linecv(m)(m＝1,...,c)两两组合求取消失点，得到消失点的点集，对消失点坐标求取平均值，并利用消失点平均值估计摄像机外参数；根据消失点个数进行第i(i＝4)种方法、第j帧的估计参数的置信度λ
ij
计算。
43.s444、对视觉冗余感知与故障诊断子系统参数估计结果与视觉感知主功能子系统
摄像机动态参数估计结果做误差计算，以得到第4种方法估计的参数误差向量
44.进一步地，在步骤s5中，得到当前帧j的危险度rj的公式为：
[0045][0046]
式中，μ
ij
为第i种估计方法，第j帧的信度(reliability)估计值；λ
ij
为第i种估计方法，第j帧的的置信度(confidence coefficient)；θ
ijmax
为第i种估计方法的最大容许误差；为第i种估计方法估计参数的误差向量的p范数。
[0047]
进一步地，在步骤s7中，危险度均值r
avg
为：
[0048][0049]
式中，g为视觉冗余感知与故障诊断子系统触发自诊断后的计算单帧危险度的帧数之和。
[0050]
进一步地，长期危险度r
lt
为：
[0051][0052]
式中，为单次触发自诊断得到的危险度均值，作为计算长期危险度的激励初始值；tk为第k次触发后至当前时刻的时间间隔；为遗忘因子；h为设定的长期危险度r
lt
影响时间上限内的诊断触发次数的总和。
[0053]
与现有技术相比，本发明的有益效果在于：
[0054]
1、通过在摄像机参数发生变化时，在路段预设位置通过多种方法估计视觉冗余感知系统摄像机参数，与主功能摄像机动态参数估计结果做误差计算，得到多个参数误差向量，对所误差向量归一化后，通过置信度的加权特征融合，得到当前帧的危险度，从而能够稳定准确的检测出摄像机参数与实际参数是否超过容限，避免了误报或漏报。对多帧数据的危险度求均值，并基于激励和遗忘机制计算长期危险度，通过两者比对提供不同等级提醒和禁用策略，以分级报警或禁用自动驾驶，从而提醒驾驶员维护和校准自动驾驶视觉感知系统，达到保护驾驶员和自动驾驶车辆的目的，提高自动驾驶车辆的安全性。
附图说明
[0055]
为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
[0056]
图1为本发明的架构图；
[0057]
图2为本发明的流程图；
[0058]
图3为本图2中s4步骤的详细流程图；
[0059]
图4为本发明中平行车道线消失点的检测示意图；
[0060]
图5为本发明中三组正交平行直线及其消失方向的检测示意图。
具体实施方式
[0061]
下面结合附图对本发明作进一步的详细说明。
[0062]
如图1所示，本实施例中提供一种自动驾驶视觉感知冗余系统危险度评估的自诊断校准方法，本发明中的自动驾驶视觉感知冗余系统，在现有自动驾驶视觉感知系统的视觉感知主功能子系统的基础上增加了视觉冗余感知与故障诊断子系统，用于与主功能摄像机动态参数估计结果做误差计算，得到多个参数误差向量，对所误差向量归一化后，通过置信度的加权特征融合，得到当前帧的危险度，从而能够稳定准确的检测出摄像机参数与实际参数是否超过容限，并采用仿生学的激励和遗忘机制获得长期危险度，避免了误报或漏报。
[0063]
视觉冗余感知与故障诊断子系统包括高精地图及定位系统、视觉冗余感知系统、误差加权融合模块、imu(惯性测量单元)、判断和报警模块和人机交互系统与报警系统。其中高精地图及定位系统(高精地图)，用于获取车辆位置、路段预设位置以及车辆状态信息；
[0064]
视觉冗余感知系统，用于对摄像机输入图像进行预处理；
[0065]
摄像机参数估计模块，用于通过多种方法对摄像机参数估计；
[0066]
误差加权融合模块，用于将主功能摄像机动态参数估计结果与摄像机参数冗余动态估计结果进行比对，并将比对结果输入判断和报警模块，由判断和报警模块将对应信息(包括禁用请求、保养提醒和报警信息)发送到人机交互系统与报警系统，由人机交互系统与报警系统执行保养提醒和报警信息提醒。
[0067]
参见图2所示，在视觉冗余感知与故障诊断子系统启动并初始化后，通过执行以下步骤，尽可能提醒驾驶员维护和校准自动驾视觉感知系统，达到保护驾驶员和自动驾驶车辆的目的，以提高自动驾驶车辆的安全性，具体步骤如下：
[0068]
s1、从高精地图接收车辆位置、路段预设位置和接收车辆状态信息，当车辆通过路段预设位置时执行步骤s2(判断车辆是否通过车道线平直，包含特殊建筑物或标识牌(比如含多组平行直线)，便于摄像机参数估计的路段预设位置。)；
[0069]
s2、接收视觉感知主功能子系统动态估计的摄像机参数信息，以及接收摄像机视频数据和imu(惯性测量单元，含加速度计)数据；
[0070]
s3、对视觉冗余感知系统(视觉冗余感知与故障诊断子系统)摄像机输入图像预处理；
[0071]
s4、视觉冗余感知系统通过n种不同方法估计主功能摄像机参数，与主功能摄像机动态参数估计结果做误差计算，得到第i(i＝1，2，3
……
n)种方法估计的参数误差向量并求取估计参数的置信度；
[0072]
s5、对步骤s4中所有参数误差向量归一化后，通过置信度的加权特征融合，得到当前帧j的危险度rj；
[0073]
s6、当采集到的帧数大于阈值时执行步骤s7,否则执行步骤s2采集下一帧数据；
[0074]
s7、对计算出的多帧的危险度求均值r
avg
，并基于激励和遗忘机制计算长期危险度rlt
；
[0075]
s8、当长期危险度r
lt
大于危险度上限阈值时执行步骤s10，否则执行步骤s9；
[0076]
s9、当长期危险度r
lt
小于危险度安全下限阈值时执行步骤s11，否则执行步骤s12；
[0077]
s10、进入危险等级高状态，发出维护保养提醒，将故障数据脱敏上传云端，并禁用自动驾驶系统；
[0078]
s11、进入无危险状态，关闭维护保养提醒，解除自动驾驶系统禁用；
[0079]
s12、进入危险等级低状态，发出保养维护提醒，并将故障数据自动脱敏后上传云端，以便人工确认故障。
[0080]
本发明，通过在摄像机参数发生变化时，在路段预设位置通过多种方法估计视觉冗余感知系统摄像机参数，与主功能摄像机动态参数估计结果做误差计算，得到多个参数误差向量，对所误差向量归一化后，通过置信度的加权特征融合，得到当前帧的危险度，从而能够稳定准确的检测出摄像机参数与实际参数是否超过容限。对多帧数据的危险度求均值，并基于激励和遗忘机制计算长期危险度，通过两者比对提供不同等级提醒和禁用策略，以分级报警或禁用自动驾驶，从而提醒驾驶员维护和校准自动驾视觉感知系统，达到保护驾驶员和自动驾驶车辆的目的，提高自动驾驶车辆的安全性。本方法仅适用于城市中交通流量大的特定道路场景，在非设定场景和非城区的复杂路况场景下，本方法所属功能处于关闭状态。
[0081]
参见图3，具体实施时，在步骤s4中，得到第i(i＝1，2，3
……
n)种方法估计的参数误差向量包括：
[0082]
通过车道线神经网络检测模型检测平行车道线，来估计摄像机外参数，与主功能摄像机动态参数估计结果做误差计算，得到第1种方法估计的参数误差向量
[0083]
通过语义分割神经网络模型分割出车道线以及车道线附近的特殊建筑物(由水平于路面且垂直于车道方向的平行直线组、垂直于路面的平行直线组构成)上的平行直线组和平行车道线构成三组正交的直线，利用这三组正交直线，来估计摄像机的外参数，与主功能摄像机动态参数估计结果做误差计算，得到第2种方法估计的参数误差向量
[0084]
通过语义分割神经网络模型和视觉特征点方法，来估计摄像机外参数，与主功能摄像机动态参数估计结果做误差计算，得到第3种方法估计的参数误差向量
[0085]
通过视觉车道线检测方法(非深度学习的方法)检测平行车道线，来估计摄像机外参数，与主功能摄像机动态参数估计结果做误差计算，得到第4种方法估计的参数误差向量参数，与主功能摄像机动态参数估计结果做误差计算，得到第4种方法估计的参数误差向量
[0086]
这样，通过多种方法估计的参数误差向量，能够稳定准确的检测出摄像机参数和实际参数是否超过容限。
[0087]
参见图3和图4，具体实施时，得到第1种方法估计的参数误差向量的步骤包括：
[0088]
s411、将摄像机原始图片进行缩放，运行车道线检测神经网络模型。
[0089]
s412、获取车道线检测神经网络模型输出的车道线点集特征，求取本车近处的平
行车道线直线段方程。
[0090]
示例性的，由高精地图得到当前道路的近端存在平直段情况下，当检测神经网络模型检测到l根线时，输出的车道线点集linep
ex
(m)(m＝1,...,l)，去除不稳定、置信度低和距离远的点得到优选点集linep
ex
(m)，用最小二乘法对每段近端平直车道线上的优选点集linep
ex
(m)进行拟合，得到第m条(m＝1,...,l)直线方程：
[0091]
μ＝a
0m
a
1mv[0092]
式中u，v为图像坐标系横向和纵向坐标，a
0m
和a
1m
为直线方程系数，a
0m
表示直线的位置，a
1m
表示直线的方向。
[0093]
s413、对平行车道线的近端平直段平行直线两两组合求取消失点，对消失点求取平均值，并通过消失点估计摄像机外参数；并根据车道线置信度，消失点个数进行第i(i＝1)种方法、第j帧的估计参数的置信度λ
ij
计算。
[0094]
示例性的，估计外参数的置信度计算方法如下，λ
ij
为第i种估计方法，第j帧的置信度(confidence coefficient)(i＝1)：
[0095][0096]
上式中，为车道线检测网络模型输出两条平行直线(用于求取消失点)的置信度的乘积的平均值，n为遍历平行直线对(pair)求出的消失点的个数之和。
[0097]
s414、对视觉冗余感知与故障诊断子系统参数估计结果与视觉感知主功能子系统摄像机动态参数估计结果做误差计算，以得到第1种方法估计的参数误差向量
[0098][0099]
为主功能估计的外参数向量，为冗余功能估计的外参数向量。
[0100]
参见图3和图5，具体实施时，得到第2种方法估计的参数误差向量主要利用语义分割神经网络模型分割出车道线、路沿和一些路面上有大量正交平行直线组的特殊的人工造物(比如交通标识牌龙门架，或大量水平横梁(垂直于车道方向)和立柱的建筑)，可行驶区域及路面区域，来估计摄像机参数,并与主功能估计结果做误差计算。具体的步骤包括：
[0101]
s421、将摄像机原始图片进行缩放，运行语义分割神经网络模型，由语义分割获得特殊建筑物(如交通标识牌龙门架)和车道线分割特征图。
[0102]
s422、对语义分割结果运行直线检测网络(即两阶段方法)求取特殊建筑物(由水平于路面且垂直于车道方向的平行直线组、垂直于路面的平行直线组构成)的平行直线组，以及求取平直车道的车道线/路沿的平行直线方程，得到三组正交的平行直线方程：
[0103]
示例性的，直线检测网络输出的特殊建筑物上的水平于路面且垂直于车道方向的平行直线组共l1条，其的起止点坐标为(u
start-rm
,v
start-rm
)，(u
end-rm
,v
end-rm
)(m＝1,...,l1)，
直线检测网络输出的特殊建筑物上垂直于路面的平行直线组共l2条，其的起止点坐标为(u
start-sm
,v
start-sm
)，(u
end-sm
,v
end-sm
)(m＝1,...,l2)，直线检测网络输出的平直车道的车道线、路沿直线构成的平行直线组共l3条，其的起止点坐标为(u
start-tm
,v
start-tm
)，(u
end-tm
,v
end-tm
)(m＝1,...,l3)；
[0104]
三组正交直线方程由两点式表示：
[0105]
(μ-u
start-rm
)(v
end-rm-v
start-rm
)＝(v-v
start-rm
)(u
end-rm-u
start-rm
)(m＝1,...,l1)
[0106]
(μ-u
start-sm
)(v
end-sm-v
start-sm
)＝(v-v
start-sm
)(u
end-sm-u
start-sm
)(m＝1,...,l2)
[0107]
(μ-u
start-tm
)(v
end-tm-v
start-tm
)＝(v-v
start-tm
)(u
end-tm-u
start-tm
)(m＝1,...,l3)
[0108]
通过imu(惯性测量单元，含加速度计，与摄像机刚性连接且位置接近)获得的重力方向，利用重力方向剔除掉第一组l1条垂直于地面的直线组中的异常直线。
[0109]
s423、求取三组正交平行直线的三个消失点方向：即对每组平行直线两两组合求取消失点方向，并分别对每组平行直线的消失点方向求取平均值得到三个正交方向即得到三轴正交的坐标系，并用三个正交的消失点方向(即三轴坐标系)估计摄像机参数，并根据直线检测网络输出的直线置信度，直线的邻近区域内的语义分割神经网络模型输出特征图稀疏采样得到的采样点集的平均置信度，和消失点方向个数,进行第i种(i＝2)方法、第j帧的置信度λ
ij
计算。
[0110]
示例性的，估计参数的置信度计算方法如下，λ
ij
为第i种估计方法，第j帧的置信度(confidence coefficient)(i＝2)：
[0111][0112]
上式中，为直线检测网络输出两条平行直线(用于求取消失点方向)的置信度的乘积的平均值；n为遍历每组平行直线中的平行直线对(pair)求出的消失点方向的个数之和；为直线检测网络检测出的直线的邻近区域内的语义分割神经网络模型输出特征图稀疏采样得到点集的置信度均值；m为稀疏采样点集中点的个数。
[0113]
s424、对视觉冗余感知与故障诊断子系统参数估计结果与视觉感知主功能子系统摄像机动态参数估计结果做误差计算，以得到第2种方法估计的参数误差向量
[0114][0115]
为主功能估计的参数向量，为冗余功能估计的参数向量。
[0116]
参见图3，具体实施时，得到第3种估计的参数误差向量的步骤包括：
[0117]
s431、根据语义分割经网络模型输出的可行驶区域路面特征图片，进行裁剪获得路面图片，并对路面图片进行灰度处理；
[0118]
s432、通过视觉特征点方法求取路面特征点，匹配特征点进行摄像机运动估计。
[0119]
s433、通过摄像机运动估计，来进行摄像机参数估计和第i种(i＝3)方法、第j帧的估计参数的置信度λ
ij
计算。
[0120]
λ
ij
为第i种估计方法，第j帧的置信度(confidence coefficient)(i＝3)：
[0121][0122]
上式中ε为特征点求取方法的置信度，m为匹配的特征点对数。
[0123]
s434、对视觉冗余感知与故障诊断子系统参数估计结果与视觉感知主功能子系统摄像机动态参数估计结果做误差计算，以得到第3种方法估计的参数误差向量
[0124][0125]
为主功能估计的外参数向量，为冗余功能估计的外参数向量。
[0126]
参见图3和图4，具体实施时，得到第4种估计的参数误差向量的步骤包括：
[0127]
s441、将摄像机原始图片转换为灰度图并进行增强和滤波处理，裁剪图像获取图片下半部分路面图像，将路面图像转换为二值图像。
[0128]
s442、通过非深度学习直线检测方法，得到平行车道线近端平直段。
[0129]
示例性的，可以对路面二值图像使用霍夫(hough)变换直线检测方法，并用非极大值抑制(nms)方法去掉重合直线，获得a条车道线直线方程linehough(m)(m＝1,...,a)，
[0130]
μ＝a
0m-hough
a
1m-houghv[0131]
其中u，v为图像坐标系横向和纵向坐标，a
0m-hough
和a
1m-hough
为霍夫变换直线检测方法得到的直线方程系数，a
0m-hough
表示直线的位置，a
1m-hough
表示直线的方向。
[0132]
对增强后的路面灰度图使用lsd(line segment detection)直线检测方法，并用非极大值抑制方法(nms)去掉重合直线，获得b条车道线直线方程linelsd(m)(m＝1,...,b)，
[0133]
μ＝a
0m-lsd
a
1m-lsd
ν
[0134]
其中u，v为图像坐标系横向和纵向坐标，a
0m-lsd
和a
1m-lsd
为lsd直线检测方法得到的直线方程系数，a
0m-hough
表示直线的位置，a
1m-hough
表示直线的方向。
[0135]
示例性的，对霍夫变换和lsd得到的直线系数向量之差求取p范数(一般取p＝2)，当其p范数小于阈值thr：
[0136]
((a
0m-hough-a
0m-lsd
),(a
1m-hough-a
1m-lsd
))||
p
＜thr
[0137]
则将其确定为平行车道线所属直线，并进行参数融合得到平行车道线的直线方程linecv(m)(m＝1,...,c)：
[0138]
μ＝a
0m-cv
a
1m-cv
ν
[0139]
其中，a
0m-cv
和a
1m-cv
为两种方法所求参数得到的加权均值，即a
0m-cv
＝αa
0m-hough
(1-α)a
0m-lsd
(α∈[0,1])，a
1m-cv
＝βa
1m-hough
(1-β)a
1m-lsd
,(β∈[0,1])。
[0140]
平行车道线所属直线linecv(m)(m＝1,...,c)的置信度λ
ijcvlinem
为霍夫(hough)变换置信度和lsd(line segment detection)直线检测方法置信度的加权平均：
[0141][0142]
s443、对上述车道线所属直线linecv(m)(m＝1,...,c)两两组合求取消失点，得到消失点的点集，对消失点坐标求取平均值，并利用消失点平均值估计摄像机外参数；根据消失点个数进行第i种(i＝4)方法、第j帧的估计参数的置信度λ
ij
计算。
[0143]
示例性的，估计外参数的置信度计算方法如下，λ
ij
为第i种估计方法，第j帧的置信度(confidence coefficient)(i＝4)：
[0144][0145]
式中，为车道线检测方法输出两条平行直线(用于求取消失点)的置信度的乘积的平均值，n为遍历平行直线对(pair)求出的消失点的个数之和。
[0146]
s444、对视觉冗余感知与故障诊断子系统参数估计结果与视觉感知主功能子系统摄像机动态参数估计结果做误差计算，以得到第4种方法估计的参数误差向量
[0147][0148]
为主功能估计的外参数向量，为冗余功能估计的外参数向量。
[0149]
具体实施时，在步骤s5中，得到当前帧j的危险度rj的公式为：
[0150][0151]
式中，μ
ij
为第i种估计方法，第j帧的信度(reliability)估计值(该方法为专家或统计评估算法，利用上传数据对该路段预设位置的第i种估计方法下，长时间统计结果的信度估计值，反映了摄像机参数估计方法结果的一致性)；λ
ij
为第i种估计方法，第j帧的置信度(confidence coefficient)；θ
ijmax
为第i种估计方法的最大容许误差限，用于归一化处理；为i种估计方法所估计参数的误差向量的p范数。
[0152]
具体实施时，在步骤s7中，危险度均值r
avg
为：
[0153][0154]
式中，g为视觉冗余感知与故障诊断子系统触发自诊断后的计算单帧危险度的帧数之和。
[0155]
具体实施时，长期危险度r
lt
计算方式为：
[0156][0157]
式中，为单次触发自诊断得到的危险度均值，作为计算长期危险度的激励初始值；tk为第k次触发后至当前时刻的时间间隔；为遗忘因子，h为设定的长期危险度r
lt
影响时间上限内的诊断触发次数的总和。
[0158]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变。凡是属于本发明的技术方案所引申出的显而易见的改变仍处于本发明的保护范围之列。