应急车辆与路面状态联合声学识别方法及相关装置与流程

本发明涉及声学信号处理与深度学习，具体涉及一种应急车辆与路面状态联合声学识别方法及相关装置。

背景技术：

1、随着智能网联技术与自动驾驶系统的迭代升级，车辆环境感知能力作为自动驾驶决策与控制的核心基础，其感知精度、实时性与场景适配性要求持续提升。当前车载感知体系以视觉和毫米波雷达为主，但视觉传感器易受光照变化、雨雪雾等恶劣天气干扰且存在视觉盲区，毫米波雷达成本高且对路面状态等非障碍物类目标识别能力缺失，而基于声学传感器的环境感知方式能够有效弥补上述短板。在自动驾驶行车安全管控场景中，应急车辆声学识别与路面状态声学识别是两项核心感知任务，精准识别救护车、消防车、警车等应急车辆的警报声信号，可辅助自动驾驶系统及时完成避让让行决策；精准识别路面干燥或湿滑状态，可支撑制动距离预估与车身稳定控制策略的动态适配。

2、相关技术中，针对车载声学识别通常采用单任务、单支路的独立识别架构，即采用独立的单任务模型分别处理应急车辆识别和路面状态检测。在应急车辆声学识别方面，一些研究通过采集周边环境声数据提取基频特征序列，与各类应急车辆声音模板做相关运算，依托相关系数与阈值比对判别目标车辆；在路面状态声学识别方面，相关方案通过提取车辆路噪音频的梅尔频率倒谱系数（mel-frequency cepstral coefficients，简称mfcc）特征和对数梅尔（log-mel）频谱特征，融合卷积神经网络（convolutional neuralnetwork，简称cnn）与长短期记忆网络（long short-term memory，简称lstm）构建混合神经网络，判别多场景路面气象状态。但上述方案均难以满足自动驾驶场景下多任务联合感知、因果实时推理与轻量化车载部署的综合需求。

技术实现思路

1、本发明提供一种应急车辆与路面状态联合声学识别方法及相关装置，用于改善相关技术难以满足自动驾驶场景下多任务联合感知、因果实时推理与轻量化车载部署的综合需求的问题。

2、为了实现上述目的，本发明采用的技术方案如下：

3、第一方面，本发明提供一种应急车辆与路面状态联合声学识别方法，包括：

4、获取多通道环境音频信号；

5、对多通道环境音频信号进行预处理，得到多通道对数梅尔频谱特征图，预处理包括预加重处理、因果短时傅里叶变换和梅尔滤波；

6、将多通道对数梅尔频谱特征图输入因果共享主干网络进行特征提取，得到共享特征；其中，因果共享主干网络由多个因果多尺度多通道注意力模块（causal multi-scalemulti-channel channel attention module，简称cmmca）按漏斗式多阶段级联构成，沿级联方向特征图的通道数逐步扩增、频率维度逐步压缩；因果共享主干网络中的所有卷积层均采用时间轴左侧零填充策略以满足因果约束；共享特征为同时与应急车辆声源特征和路面状态声学特征相关的公共声学表示；

7、将共享特征分别输入并行的车辆分类头和路面分类头，得到应急车辆类型识别结果与路面状态识别结果。

8、在一种可能的实施例中，将多通道对数梅尔频谱特征图输入因果共享主干网络进行特征提取，包括：将多通道对数梅尔频谱特征图输入因果共享主干网络的入口卷积层进行初步特征提取，得到通道数翻倍、频率维度和时间维度降低的初始特征图；将初始特征图依次输入至少三个级联的阶段进行层级化特征提取，得到共享特征；至少三个级联的阶段中，位于最前的阶段包含cmmca且不启用多尺度通道注意力，输出特征图的通道数和分辨率保持不变，用于提取低级声学特征；位于中间的各阶段包含cmmca且启用多尺度通道注意力，输出特征图的通道数扩增、频率维度和时间维度降低，用于提取中层语义特征；位于最后的阶段包含cmmca且启用多尺度通道注意力，输出特征图的通道数扩增、频率维度降低且时间维度保持不变，用于提取高层语义特征。

9、在一种可能的实施例中，cmmca采用倒残差瓶颈结构，并按照以下方式对输入特征进行处理：利用升维卷积层对输入特征进行通道扩展，得到升维后的特征；利用因果深度可分离卷积层对升维后的特征进行卷积操作，得到卷积处理后的特征；其中，卷积操作包括：仅在频率维度进行对称填充且在时间维度不填充；利用降维投影层将卷积处理后的特征的通道数压缩至目标输出通道数，得到降维后的特征；利用多尺度通道注意力层对降维后的特征进行通道维度的自适应重标定，得到注意力重标定后的特征；利用残差连接层将注意力重标定后的特征与cmmca的原始输入逐元素相加，得到cmmca的输出特征。

10、在一种可能的实施例中，多尺度通道注意力层包括全局频域池化分支和局部特征提取分支；利用多尺度通道注意力层对降维后的特征进行通道维度的自适应重标定，包括：将降维后的特征分别输入全局频域池化分支和局部特征提取分支；通过全局频域池化分支对输入的特征图沿频率维度进行全局频域池化，将频率信息压缩为单值后经瓶颈变换，生成全局通道描述；通过局部特征提取分支对输入的特征图直接经瓶颈变换，生成局部通道描述；将全局通道描述与局部通道描述逐元素相加后归一化，得到通道注意力权重图；将通道注意力权重图与降维后的特征逐元素相乘，得到注意力重标定后的特征。

11、在一种可能的实施例中，在将共享特征分别输入并行的车辆分类头和路面分类头之前，还包括：对共享特征沿频率维度进行自适应平均池化，得到池化后的特征；对池化后的特征进行分组跨频卷积将各频点进行跨频融合，得到跨频融合后的特征；对跨频融合后的特征经挤压（squeeze）操作消除频率维度，得到一维时序特征序列；将一维时序特征序列作为车辆分类头和路面分类头的输入。

12、在一种可能的实施例中，将共享特征分别输入并行的车辆分类头和路面分类头，得到应急车辆类型识别结果与路面状态识别结果，包括：将一维时序特征序列输入车辆分类头，通过车辆分类头输出逐帧预测的车辆类型底层八分类结果，车辆类型底层八分类包括救护车、消防车、警车四个子类、工程救援车及背景噪声；将警车四个子类的逐帧预测结果聚合为警车大类的置信度，输出救护车、消防车、警车、工程救援车及背景噪声的车辆类型识别结果；以及，将一维时序特征序列输入路面分类头，通过路面分类头输出逐帧预测的路面状态二分类结果，路面状态二分类结果包括干燥和湿滑。

13、在一种可能的实施例中，车辆分类头和路面分类头均为因果扩张卷积分类头。

14、在一种可能的实施例中，对多通道环境音频信号进行预处理，包括：对多通道环境音频信号进行预加重处理，得到预加重后的音频信号；对预加重后的音频信号进行因果短时傅里叶变换，得到频域信号；其中，因果短时傅里叶变换关闭中心对齐；对频域信号进行动态频率范围梅尔滤波，得到梅尔频谱；对梅尔频谱进行对数压缩和线性归一化处理，得到多通道对数梅尔频谱特征图。

15、在一种可能的实施例中，因果共享主干网络、车辆分类头与路面分类头通过双任务联合训练得到；双任务联合训练包括：获取训练样本集，训练样本集中的每个样本包含多通道音频信号、车辆类型标签和路面状态标签；将训练样本集输入因果共享主干网络、车辆分类头和路面分类头进行前向传播；以车辆识别损失和路面检测损失的组合作为总损失函数，并基于总损失函数通过反向传播同时优化因果共享主干网络、车辆分类头和路面分类头的全部参数。

16、在一种可能的实施例中，车辆识别损失和路面检测损失的组合为加权组合；总损失函数为车辆识别损失与经路面损失权重系数加权后的路面检测损失之和。

17、在一种可能的实施例中，车辆识别损失和路面检测损失均为二元交叉熵损失。

18、在一种可能的实施例中，在将训练样本集输入因果共享主干网络、车辆分类头和路面分类头进行双任务联合训练之前，还包括：对训练样本集进行混合数据增强处理，混合数据增强包括频谱掩码增强、信噪比扰动叠加、时间滚动增强、设备脉冲响应卷积增强、频域统计量混合增强和频率随机扰动增强中的至少一种。

19、第二方面，本发明提供一种应急车辆与路面状态联合声学识别装置，包括：

20、获取模块，用于获取多通道环境音频信号；

21、预处理模块，用于对多通道环境音频信号进行预处理，得到多通道对数梅尔频谱特征图，预处理包括预加重处理、因果短时傅里叶变换和梅尔滤波；

22、特征提取模块，用于将多通道对数梅尔频谱特征图输入因果共享主干网络进行特征提取，得到共享特征；其中，因果共享主干网络由多个cmmca按漏斗式多阶段级联构成，沿级联方向特征图的通道数逐步扩增、频率维度逐步压缩；因果共享主干网络中的所有卷积层均采用时间轴左侧零填充策略以满足因果约束；共享特征为同时与应急车辆声源特征和路面状态声学特征相关的公共声学表示；

23、识别模块，用于将共享特征分别输入并行的车辆分类头和路面分类头，得到应急车辆类型识别结果与路面状态识别结果。

24、在一种可能的实施例中，特征提取模块可以具体用于：将多通道对数梅尔频谱特征图输入因果共享主干网络的入口卷积层进行初步特征提取，得到通道数翻倍、频率维度和时间维度降低的初始特征图；将初始特征图依次输入至少三个级联的阶段进行层级化特征提取，得到共享特征；至少三个级联的阶段中，位于最前的阶段包含cmmca且不启用多尺度通道注意力，输出特征图的通道数和分辨率保持不变，用于提取低级声学特征；位于中间的各阶段包含cmmca且启用多尺度通道注意力，输出特征图的通道数扩增、频率维度和时间维度降低，用于提取中层语义特征；位于最后的阶段包含cmmca且启用多尺度通道注意力，输出特征图的通道数扩增、频率维度降低且时间维度保持不变，用于提取高层语义特征。

25、在一种可能的实施例中，cmmca采用倒残差瓶颈结构，特征提取模块还可以用于：利用升维卷积层对输入特征进行通道扩展，得到升维后的特征；利用因果深度可分离卷积层对升维后的特征进行卷积操作，得到卷积处理后的特征；其中，卷积操作包括：仅在频率维度进行对称填充且在时间维度不填充；利用降维投影层将卷积处理后的特征的通道数压缩至目标输出通道数，得到降维后的特征；利用多尺度通道注意力层对降维后的特征进行通道维度的自适应重标定，得到注意力重标定后的特征；利用残差连接层将注意力重标定后的特征与cmmca的原始输入逐元素相加，得到cmmca的输出特征。

26、在一种可能的实施例中，多尺度通道注意力层包括全局频域池化分支和局部特征提取分支；特征提取模块还可以用于：将降维后的特征分别输入全局频域池化分支和局部特征提取分支；通过全局频域池化分支对输入的特征图沿频率维度进行全局频域池化，将频率信息压缩为单值后经瓶颈变换，生成全局通道描述；通过局部特征提取分支对输入的特征图直接经瓶颈变换，生成局部通道描述；将全局通道描述与局部通道描述逐元素相加后归一化，得到通道注意力权重图；将通道注意力权重图与降维后的特征逐元素相乘，得到注意力重标定后的特征。

27、在一种可能的实施例中，在将共享特征分别输入并行的车辆分类头和路面分类头之前，特征提取模块还可以用于：对共享特征沿频率维度进行自适应平均池化，得到池化后的特征；对池化后的特征进行分组跨频卷积将各频点进行跨频融合，得到跨频融合后的特征；对跨频融合后的特征经挤压squeeze操作消除频率维度，得到一维时序特征序列；将一维时序特征序列作为车辆分类头和路面分类头的输入。

28、在一种可能的实施例中，识别模块可以具体用于：将一维时序特征序列输入车辆分类头，通过车辆分类头输出逐帧预测的车辆类型底层八分类结果，底层八分类包括救护车、消防车、警车四个子类、工程救援车及背景噪声；将警车四个子类的逐帧预测结果聚合为警车大类的置信度，输出救护车、消防车、警车、工程救援车及背景噪声的车辆类型识别结果；以及，将一维时序特征序列输入路面分类头，通过路面分类头输出逐帧预测的路面状态二分类结果，路面状态二分类结果包括干燥和湿滑。

29、第三方面，本发明提供一种应急车辆与路面状态联合声学识别系统，包括：

30、车载麦克风阵列，部署于车辆前保、后保以及左右后视镜，用于采集多通道环境音频信号；

31、车载计算单元，用于执行如第一方面提供的应急车辆与路面状态联合声学识别方法。

32、第四方面，本发明提供一种车载计算单元，包括：处理器，以及与处理器通信连接的存储器；存储器存储计算机执行指令；

33、处理器执行存储器存储的计算机执行指令，以实现如第一方面提供的应急车辆与路面状态联合声学识别方法。

34、第五方面，本发明提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如第一方面提供的应急车辆与路面状态联合声学识别方法。

35、第六方面，本发明提供一种计算机程序产品，包括：计算机程序，该计算机程序被处理器执行时实现如第一方面提供的应急车辆与路面状态联合声学识别方法。

36、本发明的有益效果：

37、本发明提供一种应急车辆与路面状态联合声学识别方法及相关装置，其中的方法包括：获取多通道环境音频信号；对多通道环境音频信号进行预处理，得到多通道对数梅尔频谱特征图，该预处理包括预加重处理、因果短时傅里叶变换和梅尔滤波；将多通道对数梅尔频谱特征图输入因果共享主干网络进行特征提取，得到共享特征；其中，因果共享主干网络由多个cmmca按漏斗式多阶段级联构成，沿级联方向特征图的通道数逐步扩增、频率维度逐步压缩；因果共享主干网络中的所有卷积层均采用时间轴左侧零填充策略以满足因果约束；共享特征为同时与应急车辆声源特征和路面状态声学特征相关的公共声学表示；将共享特征分别输入并行的车辆分类头和路面分类头，得到应急车辆类型识别结果与路面状态识别结果。本发明，通过构建因果共享主干网络，对预处理后的多通道音频信号进行特征提取，得到统一的共享特征，并将该共享特征分别输入并行的车辆分类头和路面分类头，由两个分类头独立输出应急车辆类型识别结果和路面状态识别结果，相较于相关技术中针对两个感知任务分别搭建独立模型的处理机制，本发明采用单主干网络为两个任务提供共享的特征表示，消除了特征提取环节的重复计算和模型参数冗余，降低了系统算力消耗和存储开销，能够更好地满足车载嵌入式平台的轻量化部署要求；另外，通过并行双支路分类头，实现了两个任务的同步推理输出，克服了相关技术中两个任务相互独立、无法联合感知的缺陷。同时，因果共享主干网络中所有卷积层均采用时间轴左侧零填充策略，确保每一帧的输出仅依赖于当前帧及历史帧，不依赖未来帧信息，消除了因等待未来帧而产生的推理延迟，进而满足自动驾驶系统对实时性的严苛要求。