基于鲁棒测试自适应部署与多级决策的路面状态感知方法

摘要: 本发明涉及智能交通与计算机视觉,具体地说是一种基于鲁棒测试自适应部署与多级决策的路面状态感知方法。背景技术:1、在高速公路运行安全保障领域,冰雪天气灾害感知与路...
基于鲁棒测试自适应部署与多级决策的路面状态感知方法

本发明涉及智能交通与计算机视觉,具体地说是一种基于鲁棒测试自适应部署与多级决策的路面状态感知方法。

背景技术:

1、在高速公路运行安全保障领域,冰雪天气灾害感知与路面状态识别一直是智能交通和道路运维中的重要研究内容。随着计算机视觉、深度学习和道路气象监测技术的持续发展,基于视频图像的路面状态自动识别方法在识别精度和处理效率方面取得了一定进展,但在实际高速公路应用场景中,尤其是在固定摄像头长期连续监测、昼夜与天气条件持续变化以及复杂背景干扰并存的条件下,仍然面临较多技术挑战。高速公路冰雪天气灾害智能感知的核心任务,是利用沿线固定摄像头采集的视频图像,对路面是否存在积雪、积水、结冰及正常状态进行自动判定,并在复杂环境下保持输出结果的连续性、稳定性和可用性,以减轻人工巡查压力,提高恶劣天气条件下道路风险感知和预警的及时性。

2、现有的图像识别算法,如基于卷积神经网络的图像分类模型、yolo系列模型以及其他深度学习视觉模型,虽然在通用图像分类、目标检测和场景识别任务中表现较好,但在处理高速公路冰雪天气灾害感知这类具有明显场景约束的任务时,往往难以直接满足实际需求。高速公路固定摄像头采集的图像通常具有固定视角、长时运行和背景相对稳定但局部干扰复杂的特点,图像中除目标路面区域外,还可能包含护栏、路肩、边坡、绿化带、收费设施、远景地表及天空背景等大量非目标区域。在降雪、降雨等天气条件下,上述非路面区域同样可能出现积雪覆盖、水面反光或亮度突变,容易干扰模型对真正路面状态的判断。同时,高速公路场景还经常伴随夜间低照度、雾霾遮挡、车辆灯光眩光、镜头污损、镜头挂水、镜头结霜以及局部遮挡等成像异常情况,导致部分图像虽然能够被系统采集,但并不具备稳定判别的视觉条件。因此,现有图像识别算法在该类任务中仍存在背景干扰抑制不足、成像异常区分能力有限以及复杂场景泛化能力不足等问题。

3、在路面状态分类任务中,现有技术多数倾向于直接依赖单一视觉模型对输入图像进行类别输出,但高速公路路面状态并非完全能够由静态图像外观稳定反映。特别是结冰状态,往往具有弱纹理、低对比度、透明覆盖或与潮湿路面外观相近等特点,仅凭图像表观信息难以实现稳定、可重复的准确识别。另一方面,积雪、积水、结冰与正常状态之间还受到路面温度、湿环境及冰雪水覆盖程度等多种物理因素影响,单纯依赖视觉结果容易出现与基本物理规律不一致的判定结果。此外,高速公路场景通常要求系统长时间连续运行,输入图像分布会随天气、光照和设备状态的变化而持续漂移,若缺乏针对动态数据流的适应机制和后续决策约束,系统输出容易出现误判、波动或不稳定现象。因此,如何在路面状态分类任务中兼顾视觉判别能力、复杂环境适应能力以及结果输出的稳定性,仍是现有技术中亟待解决的问题。

技术实现思路

1、本发明提供一种基于鲁棒测试自适应部署与多级决策的路面状态感知方法,旨在针对高速公路固定摄像头在冰雪、降雨、雾霾、夜间眩光以及镜头污损等复杂动态环境下的连续监测场景,实现对路面风险状态的稳定判定;并在视觉数据分布随时间漂移、相邻样本强相关的条件下,通过测试时自适应机制维持分类性能,从而提高复杂室外场景下路面风险识别的鲁棒性、连续性和工程可实施性,以解决背景技术中的问题。

2、为实现上述目的,本发明技术方案如下:

3、一种基于鲁棒测试自适应部署与多级决策的路面状态感知方法,通过计算机设备执行以下步骤:

4、s1,获取同位图像帧与同位气象数据,并基于图像帧时间戳与气象数据时间戳建立时间容忍关联;对于不存在满足时间容忍条件的气象记录的图像帧,将其对应气象信息记为空值,并在后续后处理阶段按缺失值参与判定;

5、s2,针对固定摄像头视角调用预先构建的路面区域掩膜模板,对图像帧中的高速公路有效路面区域进行裁切,并对所述掩膜模板边界执行羽化处理,得到预处理后的路面区域输入图像;

6、s3,将所述预处理后的路面区域输入图像输入质量分类模型,得到当前图像的视觉有效性判定结果;所述判定结果包括已知和未知;

7、s4,对判定为已知的图像输入路面状态分类模型,输出视觉原始类别 及对应视觉置信度;

8、s5,在所述路面状态分类模型的测试阶段引入面向动态数据流的鲁棒测试时自适应更新机制,利用无标注测试数据流对所述路面状态分类模型进行在线修正,所述在线修正作用于后续图像帧的推理过程;

9、s6,对s1获取并关联的气象数据、s3的质量分类结果、s4的视觉原始类别与视觉置信度以及历史状态执行后处理决策漏斗,输出9种互斥状态中的一种作为最终路面风险判定结果。

10、优选的,s1中包括以下步骤:

11、s1.1,按固定周期采集摄像头图像,记第个采样时刻的原始图像为,其满足:

12、

13、其中,为图像高度,为图像宽度,i表示图像,t表示 采样时刻的序号,用于区分不同时间点采集到的图像帧,表示实数集合;

14、s1.2,记第帧图像时间戳为,气象数据库中第条记录时间戳为,当满足:时,认为第条气象记录可作为第帧图像的同位气象输入,其中,为时间戳容忍阈值,r表示气象记录的索引编号;

15、s1.3,若对任一图像帧不存在满足所述时间容忍条件的气象记录,则将该图像帧对应的气象信息记为空值,不在数据获取阶段对缺失记录进行回填、插值或修复;

16、s1.4,所述摄像头与气象采集装置满足同位或近同位部署条件,使气象数据能够表征所述摄像头拍摄区域对应的路面物理环境。

17、优选的,s2中包括以下步骤:

18、s2.1,针对每个固定摄像头视角预先构建路面区域二值掩膜模板,其中:且表示像素坐标属于高速公路有效路面区域,表示像素坐标属于非目标区域;

19、s2.2,对原始图像施加所述二值掩膜模板,得到初始路面区域图像:

20、

21、其中,为通道索引;当时,对应像素被置零,表示原始图像中位于坐标的像素在第c个颜色通道上的数值,表示经过掩膜处理后的路面区域图像中相同位置和通道上的数值;

22、s2.3,对所述二值掩膜模板进行高斯平滑,得到连续权重掩膜:

23、

24、其中,为标准差为的二维高斯核,为二维卷积运算;

25、s2.4,基于所述连续权重掩膜构造最终输入图像:

26、

27、其中,,以实现路面区域与非路面区域边界的平滑过渡;

28、s2.5,所述掩膜模板对应固定摄像头机位长期复用,不随单帧图像动态变化。

29、优选的,s3包括以下步骤:

30、s3.1,将预处理后的输入图像输入质量分类模型,输出第帧的二分类logit向量:

31、

32、其中,为质量分类模型,为质量分类模型可训练参数;,为质量分类模型输出的logit向量,分别对应已知和未知对应的logit分量,分别对应已知和未知两类;

33、s3.2,对所述logit向量执行softmax归一化,得到质量分类后验概率:

34、

35、其中,j为求和索引,o=0对应已知类、o=1对应未知类,为第 t 帧图像的质量分类后验概率,下标t,o表示第t 帧属于类别 o 的概率,为质量分类模型对第 t 帧图像输出的第 o 个类别的logit 值;

36、s3.3,定义质量输出标签和质量置信度分别为:

37、

38、

39、s3.4,当=已知时,当前帧进入s4;当=未知时,不执行s4的路面状态视觉分类,而进入s6中进行处理。

40、优选的,s4包括以下步骤:

41、s4.1,当且仅当s3输出=已知时,将当前帧输入路面状态分类模型,所述路面状态分类模型的类别集合限定为:

42、

43、其中,accsnow表示视觉上存在积雪覆盖的类别;accrain 表示视觉上存在积水或液态湿覆的类别;normal表示视觉上未见显著积雪或积水特征的正常类别;

44、s4.2,所述路面状态分类模型输出第帧的三分类logit向量:

45、

46、其中,为路面状态分类模型输出的logit向量,为路面状态分类模型,为路面状态分类模型可训练参数;

47、s4.3,对三分类logit向量执行softmax归一化,得到后验概率:

48、

49、其中,为第 t帧图像属于第 k个路面状态类别的后验概率,为logit 向量中的第 k 个分量,j为求和索引;k=1对应accsnow类、k=2对应accrain类、k=3对应normal类;

50、s4.4,定义视觉原始类别和视觉置信度分别为:

51、

52、

53、s4.5,所述路面状态分类模型在视觉分类阶段不直接输出ice,ice 表示结冰类别,结冰风险在s6中结合气象数据和物理规则进行推断或覆盖。

54、优选的,s5包括以下步骤:

55、s5.1,在路面状态分类模型的测试阶段构建基础特征适配结构,所述基础特征适配结构包括全局稳健统计量归一化机制和设置于骨干网络一个或多个特征层位置的buffer外接残差校正分支,并仅将所述buffer外接残差校正分支的参数作为在线更新对象,以在不破坏骨干网络主体参数稳定性的条件下缓解测试分布漂移;

56、s5.2,构建面向动态数据流的记忆库,用于缓存历史无标注样本及其伪标签、样本年龄、不确定性和综合评分信息,并通过样本写入与替换策略维持记忆库的时效性与类别均衡性;

57、s5.3,基于所述记忆库中的样本构建教师模型与学生模型协同更新机制,由教师模型生成监督信号,学生模型执行在线自适应更新,并在学生模型完成更新后采用滑动平均方式对教师模型进行参数同步,从而实现面向连续无标注测试流的鲁棒测试时自适应。

58、优选的,s5.1包括以下步骤:

59、s5.1.1,设网络某层输入特征图f为:

60、

61、其中,b为批次大小,c为通道数,h’为特征图高度,w’为特征图宽度,维护一组全局稳健统计量,其初始值由训练阶段保留的运行均值和运行方差给出;

62、s5.1.2,在时间步基于当前测试批次或记忆库样本计算统计量,并按指数滑动平均方式更新全局稳健统计量:

63、

64、

65、其中,表示均值,表示方差,为滑动更新系数;

66、s5.1.3,采用所述全局稳健统计量执行归一化:

67、

68、其中,表示稳健归一化操作;表示输入特征图在批次索引、通道索引、高度索引、宽度索引处的特征数值;和分别表示全局稳健均值和全局稳健方差;和分别表示所述全局稳健均值和全局稳健方差在第个通道上的对应分量;和为归一化层前向计算中在第个通道上使用的固定仿射系数;为数值稳定常数;

69、s5.1.4,在骨干网络前部一个或多个特征层位置并联设置buffer外接残差校正分支,设第个插入位置的输入特征为,则其残差输出定义为:

70、

71、校正后的输出特征为:

72、

73、其中,表示插入buffer模块的特征层位置索引;表示第个插入位置的输入特征;表示第个位置的特征残差补偿,或残差输出;和分别表示第个位置的和卷积运算,或卷积算子;和分别表示对应的和卷积核参数;和分别表示对应卷积分支的可学习缩放系数;表示校正后送入后续网络层的输出特征;

74、s5.1.5,设测试阶段允许更新的buffer参数集合为:

75、

76、

77、其中,表示测试阶段允许更新的buffer参数集合;表示第个buffer模块的参数集合;表示插入buffer模块的总层数,测试阶段仅对所述参数集合执行在线更新,其余骨干网络参数保持冻结。

78、优选的,s5.2中所述记忆库构建与更新机制具体包括以下步骤:

79、s5.2.1,构建容量为的记忆库,用于缓存历史无标注样本及其伪标签、年龄、不确定性和综合评分:

80、

81、其中,表示在时间步构建的记忆库;表示时间步;表示所述记忆库的容量上限;表示记忆库中缓存的第个历史无标注样本;表示所述第个样本对应的伪标签;表示所述第个样本的年龄,即存入记忆库后的留存时长;表示所述第个样本的预测不确定性;表示所述第个样本的综合评分;表示在时间步时,记忆库中当前实际缓存的样本总数

82、s5.2.2,教师模型对当前输入样本输出类别概率分布,并按最大后验原则得到伪标签:

83、

84、其中,表示类别索引,表示伪标签;

85、s5.2.3,采用预测熵表征样本不确定性:

86、

87、其中,表示预测熵或不确定性计算函数;

88、新进入记忆库的样本年龄初始化为;每处理完一个时间步后,记忆库中全部已保留样本年龄递增:

89、

90、s5.2.4,定义综合评分函数:

91、

92、其中,表示综合评分函数,和分别为时效项与不确定性项的权重系数;

93、s5.2.5,引入类别均衡约束,单类期望容量上限为:

94、

95、其中,为类别总数,k为单类期望容量上限;

96、s5.2.6,当新样本所属类别未达到配额且记忆库未满时,直接写入;当新样本所属类别未达到配额但记忆库已满时,优先从当前占用最多的类别中选择综合评分最高的样本进行替换;当新样本所属类别已达到配额时,仅在该类别内部比较综合评分,并在新样本评分更优时执行替换。

97、优选的,s5.3中所述教师模型与学生模型协同更新机制具体包括以下步骤:

98、s5.3.1,对于记忆库中的样本,分别施加弱增强和强增强得到:

99、

100、

101、其中,表示记忆库中缓存的第个历史无标注样本;和分别表示弱数据增强操作和强数据增强操作;表示对所述样本施加弱增强后得到的视图;表示对所述样本施加强增强后得到的视图;

102、s5.3.2,教师模型在弱增强视图上的输出记为,学生模型在强增强视图上的输出记为,对应一致性损失为:

103、

104、s5.3.3,对每个样本引入基于年龄的时间权重:

105、

106、s5.3.4,定义单样本的时间加权鲁棒损失:

107、

108、其中,和分别表示在时间步的教师模型参数和学生模型参数;

109、s5.3.5,定义记忆库上的总体鲁棒损失:

110、

111、并基于所述总体鲁棒损失对学生模型中的buffer参数进行在线更新;

112、s5.3.6,在学生模型完成本轮更新后,教师模型采用指数滑动平均方式更新:

113、

114、其中,为教师模型滑动更新系数。

115、优选的,s6中的后处理决策漏斗包括常规融合、盲区定性、最终类别合成和安全状态机控制,具体包括以下步骤:

116、s6.1,对气象字段集合中的路面温度、冰厚、雪厚、水厚、分钟降雨和相对湿度执行有效性检查;对任一,定义有效性指示函数:

117、

118、并定义清洗后的样本:

119、

120、s6.2,维护连续未知计数器,其基于质量分类结果更新为:

121、

122、并定义盲区触发指示量:

123、

124、其中,表示在时间步的盲区触发指示量;连续3帧未知对应盲区触发阈值;

125、s6.3,当时,进入常规融合流程并首先执行物理否决,包括以下规则:

126、当且时,将视觉结果打回内部未知态;当且时,将视觉结果打回内部未知态;当且时,将视觉结果打回内部未知态;经修正后得到视觉修正类别,其取值为accsnow、accrain、normal或,其中表示未知,表示经过物理否决修正后的视觉类别;

127、s6.4,当时,执行视觉高信直通,直接令:,否则令视觉高信直通层输出为hold,表示视觉高信直通层输出的类别结果;

128、s6.5,当视觉高信直通层输出为hold时,执行气象补位仲裁,所述气象补位仲裁包括:

129、若雪厚有效且,则输出accsnow;若存在视觉积水入口或水厚实测入口,则先建立accrain候选;若同时满足低温条件且湿环境成立,则将所述accrain候选修正为ice;若冰厚有效且,则无论当前候选状态为何,均优先覆盖为ice;

130、s6.6,当视觉高信直通层和气象补位仲裁层均未定案时,执行历史掩护;若,则直接透传;

131、若,则回填上一时刻最终状态;

132、s6.7,当时,进入盲区定性流程,不再信任视觉链路,而仅基于关键厚度传感器的有效读数确定盲区状态,包括以下规则:

133、若雪厚有效且,输出盲区积雪;否则,若冰厚有效且,输出盲区结冰;否则,若水厚有效且,输出盲区积水;否则,若冰厚、雪厚和水厚中至少有一项有效,且全部有效厚度值均不大于0.5,则输出盲区正常;否则,输出盲区未知;

134、s6.8,在完成常规模式或盲区模式判定后,按如下优先级合成当前帧最终类别:

135、

136、其中,表示在时间步合成得到的当前帧最终类别,或最终判定结果;表示盲区定性流程输出的类别结果;表示盲区触发指示量处于触发状态,即进入盲区模式;表示盲区触发指示量处于未触发状态,即处于常规模式;

137、表示暂不定案或需继续进入下一层仲裁的内部状态结果;表示气象补位仲裁层输出的类别结果;表示历史掩护层输出的类别结果,即透传的可用类别或回填的上一时刻状态;

138、s6.9,维护安全状态机输出状态与连续normal计数器;当时,危险态零延迟触发;当属于任一盲区状态时,盲区态零延迟进入;当上一时刻处于盲区态而当前已恢复为非盲区状态时,零延迟解除盲区态;

139、s6.10,对于由危险态解除为normal的情形,采用连续3帧normal迟滞规则,定义:

140、

141、当且仅当时,状态机才将当前输出状态切换为normal;

142、s6.11,经安全状态机处理后的系统对外输出状态限定为以下9种互斥状态中的一种:ice、accsnow、accrain、normal、盲区结冰、盲区积雪、盲区积水、盲区正常和盲区未知。

143、由上述技术方案结合现有技术相比可知,本发明具有如下有益效果:

144、1、本发明通过同位视频帧与气象数据的容忍关联、基于固定视角的掩膜预裁切与边缘羽化、质量分类与路面状态分类的分层判别、面向动态数据流的测试时自适应更新以及后处理决策漏斗的协同设计,在高速公路冰雪天气灾害智能感知任务中实现了对路面风险状态的稳定判定与连续输出。

145、2、本发明通过在视觉链路中设置质量分类模型与路面状态分类模型,将“图像是否可判别”与“路面属于何种状态”解耦处理,避免异常成像条件下不可信视觉结果直接进入状态判定流程;同时,将路面表观识别约束为积雪、积水和正常三类可解释分类任务,使视觉分类边界更加清晰,并将结冰等难以仅凭图像稳定判别的风险交由后续融合环节进一步修正。

146、3、本发明通过针对高速公路固定点位监测中测试分布随时间漂移、相邻样本强相关的特点,引入测试时自适应更新机制,通过稳健归一化统计、类别均衡且兼顾时效与不确定性的记忆库更新策略,以及时间感知的教师—学生鲁棒更新方式,对模型进行在线修正,从而维持动态环境下的分类性能。

147、4、本发明通过结合视觉输出、气象实测信息和历史状态,构建包含物理否决、视觉高信直通、气象补位仲裁、历史掩护、盲区定性及安全状态机的后处理决策漏斗,输出结冰、积雪、积水、正常及相应盲区状态在内的9种互斥结果,提高了复杂室外环境下路面风险识别的鲁棒性、工程可实施性与结果可解释性。