一种基于车内噪声的整车行驶路面识别方法及系统与流程

1.本发明涉及一种识别方法及系统，尤其涉及基于音频信号的道路识别方法及系统。


背景技术：

2.车辆技术的研发往往需要收集路面信息。现有技术中对于路面信息的获得，主要采用人工统计的方法，即人为的对路面进行判断并做统计工作。但是这种方法效率低下且仅能从物理角度得到道路信息，即道路的客观分布情况，无法得到用户行驶路面的统计信息，因为不同的道路车流量完全不同，也没有办法实时的将道路信息反馈给车辆，以便车辆根据不同的路况进行不同的软硬件适配。
3.除了人工识别的方法外，现有的路面信息自动识别方法主要分为三类：一种为路面缺陷检测，该方法基于计算机视觉的深度学习理论，输入为路面的照片，经过深度神经网络后，输出路面的缺陷信息，如裂缝、凹陷、坑洼等。另一种方法则是综合多种车辆行驶参数，如实时轮速、实时发动机扭矩及转速等，得到车辆的行驶状态，其结果有很大的局限性，仅能识别到上坡、下坡、平坦路面、颠簸路面等粗略信息。第三种方法依然是一种基于计算机视觉的深度学习方法，但其识别的并非路面本身的物理特性(如本案所涉及的沥青路、水泥路、方砖路等)，而是路面的环境特征，如积水路面、积雪路面、沙地、泥地等。
4.此外，上述这些方法还存在其他方面的局限：通过视觉方法识别路面信息符合常理，人或者生物体判断的依据也是基于视觉，但其局限性也显而易见：易受光照环境影响，如夜间路面、大雾天气、以及有强光照射条件下的判断。
5.由此可见，目前已有的方法均无法实现自动对路面自身的物理特征的识别。


技术实现要素：

6.本发明的目的之一在于提供一种基于车内噪声的整车行驶路面识别方法，该方法是基于车辆行驶在不同路面时所产的声音是不同的而研发的，其通过车内噪声来识别当前行驶的道路本身的物理特征。该方法可以基于收集到的车内噪声信号而实时自动识别道路路面信息，从而避免了人工识别和视觉自动识别的不足，并且其成本更低。
7.为了实现上述目的，本发明提出了一种基于车内噪声的整车行驶路面识别方法，其包括：
8.100：采集车内噪声音频样本数据，该样本数据对应于路面状态被进行打标签处理；
9.200：对车内噪声音频样本数据进行短时傅里叶变换，以将其转换为对应的频谱图；
10.300：对频谱图进行归一化处理；
11.400：将经过归一化处理的频谱图输入卷积神经网络并对其进行训练，使得其输出与车内噪声音频样本数据对应的路面类别；所述卷积神经网络包括依次串接的：具有单输
入通道的卷积模块、全局平均池化层、第一全连接层、dropout层以及第二全连接层；
12.500：采集车内噪声音频实测数据；
13.600：对车内噪声音频实测数据进行短时傅里叶变换，以将其转换为对应的频谱图；
14.700：对频谱图进行归一化处理；
15.800：将经过归一化处理的频谱图输入经过训练的卷积神经网络，其输出为对应的路面识别结果。
16.采用音频信号是被路面状态的难点在于如何通过原始的声音信号来得到不同的路面信息，其不同于现有的基于视觉信号进行识别的方法，视觉方法的图片本身就包含有识别所需要的所有特征。有别于视觉方法，声音数据更加抽象、难以理解，其为无规则的声压波形图，原始的声波图像并不能直接提供任何有用信息。为了从抽象的声波图相中提取出具体的、形象的、易于理解的信息，本技术方案采用了信号处理的方法，将时域的声压信号通过短时傅里叶变换转换为频域的频谱图，不同的声音所对应的频谱图有着较为明显的差异，基于此，本技术方案首先将声音信号转为频谱图，然后采用卷积神经网络的特征提取能力，得到所需要的分类结果。
17.在本技术方案中，对于车内噪声的音频信号可以控制在8s以内，例如每3秒，进行一次检测判断，该时间可根据需要做出相应的调整，但原则上不宜过短，以免影响精度。
18.车内噪声的音频信号首先会经过短时傅里叶变换从而得到频域特征。在短时傅里叶变换中，可以根据车内噪声的实际情况，将频率分辨率定为10hz以内，例如5hz。这是因为，根据发明人的工程经验，不同路面的音频特征，其在频域的差异通常都体现几十至几百赫兹的范围内，因此将频率分辨率设定为5hz并不会对结果造成影响，同时也可以保证本方法在时域的分辨率。通过短时傅里叶变换可以得到一张频谱特征图，其中的横坐标和纵坐标分别代表了时间和频率，其对应的值的大小即为当前时间下，该频率对应的声压的幅值大小。
19.在经过短时傅里叶变换后，本技术方案还对所得的频谱特征图进行归一化处理，即对频谱特征图的每个数据点除以该数据的最大值，使得所有数据均在0-1的范围之内。然后将频谱特征图尺寸调整为卷积网络的输入尺寸。
20.在本技术方案中，第二全连接层的输出可以根据所需要的分类种类调整例如，输出类别为5，分别为光滑沥青路、粗糙沥青路、水泥刻痕路、小方砖路、水泥波浪路面。
21.在本技术方案中，卷积神经网络的具体结构为：具有单输入通道的卷积模块输出的feature map首先经过全局平均池化层降维，之后进入第一全连接层，之后再经过一层dropout(0.4)层，最后再经过一个第二全连接层输出结果，该层神经元个数即为要分类的种类。
22.进一步地，在本发明所述的基于车内噪声的整车行驶路面识别方法的步骤200和步骤600中，在进行短时傅里叶变换前，先对车内噪声音频样本数据和车内噪声音频实测数据进行标准化处理。
23.有别于传统的音频信号处理方法，本技术方案为了保证判断结果不受录音时量程大小的不同设定而对最终音频信号的影响，在对原始音频信号做短时傅里叶变换之前，优选地首先对每一段的输入音频信号做标准化处理。
24.标准化处理可以按照下述步骤进行：对于数据的每一个采样点，减去整段数据的均值，再除以整个数据的标准差处理，从而得到一个服从标准正太分布的音频信号(均值为0，标准差为1)，如此便可消除相同的声音在不同的设备或时间条件下测量时产生的幅值差异的影响。该步骤可行的原因是因为本技术方案是通过声音频域特征的结果来判断最终的路面类型，而声音的频域特征不会受数据的标准化处理所影响。因此，优选地，本技术方案对经过标准化处理后的数据再进行前文所述的短时傅里叶变换。
25.在本技术方案中，为保证数值计算的有效性，取10-5
为最小除数，即在标准化处理过程中，若数据的标准差小于10-5
，则取10-5
代替该值；或者在归一化处理过程中，若数据的最大值小于10-5
，则取10-5
代替该值。
26.进一步地，在本发明所述的基于车内噪声的整车行驶路面识别方法的步骤200和步骤600中，对于转换得到的频谱图，选取采用其中20-1500hz范围的频谱图。
27.通常来说，音频信号的频域输出范围为20hz-20000hz(如语音领域等)，但是本技术方案中优选取20hz-1500hz范围内的结果，这是因为，不同路面噪声信号的主要频域特征都集中在1500hz以下，如小方砖路和粗糙沥青路的音频特征主要以低频为主(300hz以下)，光滑沥青路和水泥路的噪声信号的主要特征则主要集中在中高频，几百赫兹到一千五百赫兹之间，事实上，车辆行驶时，必然会有高于1500hz的声音，但处于该高频范围内的声音主要为风噪，与路面之间的关系很小。因此本案优选的选择20hz-1500hz范围内的结果作为输出，从而大大降低后续计算的复杂度，同时使不同音频的特征更易捕捉，从而提高精度。
28.进一步地，在本发明所述的基于车内噪声的整车行驶路面识别方法中，所述具有单输入通道的卷积模块采用不包含全连接层的resnet18为基础架构。
29.本技术方案中的频谱特征图实际就是一个单通道的灰度图像，本案采用卷积模块来对其作特征提取并分类。本技术方案考虑到数据的规模以及该分类问题的实际难度，为了避免模型产生过拟合的问题，选取不包含全连接层的resnet18作为基础网络。同时考虑到输入实际是单通道的图像数据，因此对标准的resnet18网络做部分适应性的更改，使其接受的输入为单通道图像(有别于原resnet18网络的rgb3通道输入)，卷积模块的其他结构则和不包含全连接层的resnet18完全相同。通过卷积模块，便可得到每个数据的feature map。
30.进一步地，在本发明所述的基于车内噪声的整车行驶路面识别方法中，所述第一全连接层的激活函数为relu函数。第一全连接层的神经元数量可以为1024。
31.进一步地，在本发明所述的基于车内噪声的整车行驶路面识别方法中，所述第二全连接层的激活函数为softmax函数。
32.进一步地，在本发明所述的基于车内噪声的整车行驶路面识别方法中，所述路面识别结果包括：光滑沥青路、粗糙沥青路、水泥刻痕路、小方砖路、水泥波浪路面。
33.相应地，本发明的另一目的在于提供一种基于车内噪声的整车行驶路面识别系统，其包括：
34.信号采集装置，其采集车内噪声音频样本数据和车内噪声音频实测数据；
35.预处理模块，其对车内噪声音频样本数据和车内噪声音频实测数据进行短时傅里叶变换，以将其转换为对应的频谱图；然后对频谱图进行归一化处理；
36.卷积神经网络，其包括依次串接的：具有单输入通道的卷积模块、全局平均池化
层、第一全连接层、dropout层以及第二全连接层；
37.其中，采用与车内噪声音频样本数据对应的频谱图并对其进行训练，使得其输出与车内噪声音频样本数据对应的路面类别；
38.在实际检测时，将与车内噪声音频实测数据对应的频谱图输入经过训练的卷积神经网络，其输出对应的路面识别结果。
39.在本技术方案中，信号采集装置可以是移动终端，例如手机，也可以是车机等。
40.进一步地，在本发明所述的基于车内噪声的整车行驶路面识别系统中，所述预处理模块，在进行短时傅里叶变化前，先对车内噪声音频样本数据和车内噪声音频实测数据进行标准化处理。
41.进一步地，在本发明述的基于车内噪声的整车行驶路面识别系统中，所述具有单输入通道的卷积模块采用不包含全连接层的resnet18为基础架构。
42.本发明所述的基于车内噪声的整车行驶路面识别方法及系统具有以下优点：
43.采用本发明所述的整车行驶路面识别方法及系统，可有效地实现对具有特定物理特征的路面，例如光滑沥青路、粗糙沥青路、水泥刻痕路、小方砖路、水泥波浪路面的自动识别，识别准确率高，可以达到98％以上。
44.本发明所述的整车行驶路面识别方法及系统由于通过声音特征来识别车辆行驶路面信息的方法，因此相较于基于视觉信号的识别方法，其更能避免光照环境影响，并且提升了鲁棒性。例如粗糙沥青路和光滑沥青路很难通过照片直接识别，若想提高精度，必须要极高像素的拍摄设备。在高车速时，为了保证精度，甚至需要高速相机。又如，新的沥青路基本为黑青色，而用久的沥青路则会发灰发白，视觉上会更接近水泥路，这均会影响基于视觉信号的路面识别结果。
45.本发明所述的整车行驶路面识别方法及系统通过数字信号处理以及神经网络的方法，有效的实现了通过声音数据实时判断所行驶道路类别的目的，可获得行驶路段的道路分布情况，进而可以获得全国各类型道路的使用情况。同时，实时的反馈当前行驶路面信息可使整车能够根据不同的道路情况匹配不同的软硬件参数(自适应底盘)，因而对整车性能开发具有积极意义。
46.采用本发明所述的整车行驶路面识别方法可以通过随机抽样统计的方法实现国内用户实际路况的分布统计，并有针对性地进行整车的路噪开发。并且可通过由抱怨用户采集其抱怨的声音信号来实现抱怨路况的确认分析，从而帮助开发团队有针对性地进行整车性能开发，提升产品的用户满意度。
47.此外，该方法也可应用于其他领域，如针对不同路面的底盘主动调教，道路信息的统计以及路面的维护等。
48.在本案的优选方案中，数据在短时傅里叶变换前，首先经过了一次标准化处理，在得到频谱特征图之后又进行了归一化处理。这两个步骤极大地提高了模型的精度以及鲁棒性。
49.在本案的优选方案中，在音频的短时傅里叶变换过程中，将输出结果限定在20hz-1500hz之间，在降低计算量的同时，提高了模型精度。
附图说明
50.图1为本发明所述的基于车内噪声的整车行驶路面识别方法在一种实施方式下的步骤流程图。
具体实施方式
51.下面将结合说明书附图和具体的实施例对本发明所述的基于车内噪声的整车行驶路面识别方法及系统做进一步的解释和说明，然而该解释和说明并不对本发明的技术方案构成不当限定。
52.需要说明的是，本发明所述的基于车内噪声的整车行驶路面识别方法包括训练步骤和实测或测试步骤，训练步骤与测试步骤类似，只是训练步骤是通过经过打标签的样本数据训练卷积神经网络，使得卷积神经网络输出与标签对应的路面识别结果。
53.其中，在训练过程中：
54.100：采集车内噪声音频样本数据，该样本数据对应于路面状态被进行打标签处理。
55.200：对车内噪声音频样本数据进行标准化处理：对于数据的每一个采样点，减去整段数据的均值，再除以整个数据的标准差处理，从而得到一个服从标准正太分布的音频信号(均值为0，标准差为1)，如此便可消除相同的声音在不同的设备或时间条件下测量时产生的幅值差异的影响。
56.300：对车内噪声音频样本数据进行短时傅里叶变换，以将其转换为对应的频谱图，选取采用其中20-1500hz范围的频谱图。通过短时傅里叶变换得到的频谱特征图，其中的横坐标和纵坐标分别代表了时间和频率，其对应的值的大小即为当前时间下，该频率对应的声压的幅值大小。在该实施方式中，在短时傅里叶变换时，可以根据车内噪声的实际情况，将频率分辨率定为5hz。
57.400：对频谱图(或称为频谱特征图)进行归一化处理：即对频谱特征图的每个数据点除以该数据的最大值，使得所有数据均在0-1的范围之内。然后将频谱特征图尺寸调整为卷积网络的输入尺寸。
58.500：将经过预处理的频谱图输入卷积神经网络并对其进行训练，使得其输出与车内噪声音频样本数据对应的路面类别。
59.该卷积神经网络的具体结构可以为：具有单输入通道的卷积模块(例如采用不包含全连接层的resnet18)输出的feature map首先经过全局平均池化层降维，之后进入第一全连接层，之后再经过一层dropout(0.4)层，最后再经过一个第二全连接层输出结果，该层神经元个数即为要分类的种类。在本实施例中，第二全连接层的输出类别为5，分别为：光滑沥青路、粗糙沥青路、水泥刻痕路、小方砖路、水泥波浪路面。
60.其中，第一全连接层的激活函数为relu函数，第一全连接层的神经元数量可以为1024。第二全连接层的激活函数为softmax函数。
61.图1显示了本发明所述的基于车内噪声的整车行驶路面识别方法在一种实施方式下的测试过程的步骤流程图。
62.如图1所示的，在实际检测时：
63.s1：采用信号采集装置，例如手机，采集车内噪声音频实测数据；在该实施方式中，
对于车内噪声的音频信号可以每3秒进行一次检测判断，该时间可根据需要做出相应的调整，但原则上不宜过短，以免影响精度。
64.s2：对每段车内噪声音频实测数据进行标准处理，使数据均值为0，标准差为1。
65.s3：对车内噪声音频实测数据进行短时傅里叶变换，将频率分辨率定为5hz，得到输出范围为20-1500hz的频谱图。
66.s4：对结果归一化处理，使数据范围在0-1之间。
67.s5：将经过归一化处理的频谱图输入经过训练的卷积神经网络，其输出为对应的路面识别结果。
68.相应地，在本实施方式中，采用基于车内噪声的整车行驶路面识别系统执行上述方法步骤。
69.该基于车内噪声的整车行驶路面识别系统包括：
70.信号采集装置，其采集车内噪声音频样本数据和车内噪声音频实测数据；
71.预处理模块，其对车内噪声音频样本数据和车内噪声音频实测数据进行短时傅里叶变换，以将其转换为对应的频谱图；然后对频谱图进行归一化处理；
72.卷积神经网络，其包括依次串接的：具有单输入通道的卷积模块、全局平均池化层、第一全连接层、dropout层以及第二全连接层；
73.其中，采用与车内噪声音频样本数据对应的频谱图并对其进行训练，使得其输出与车内噪声音频样本数据对应的路面类别；
74.在实际检测时，将与车内噪声音频实测数据对应的频谱图输入经过训练的卷积神经网络，其输出对应的路面识别结果。
75.经过验证，采用本发明所述的整车行驶路面识别方法，可有效实现对具有特定物理特征的路面，其识别准确率高达到98％以上。
76.需要说明的是，本发明保护范围中现有技术部分并不局限于本技术文件所给出的实施例，所有不与本发明的方案相矛盾的现有技术，包括但不局限于在先专利文献、在先公开出版物，在先公开使用等等，都可纳入本发明的保护范围。
77.此外，本案中各技术特征的组合方式并不限本案权利要求中所记载的组合方式或是具体实施例所记载的组合方式，本案记载的所有技术特征可以以任何方式进行自由组合或结合，除非相互之间产生矛盾。
78.还需要注意的是，以上所列举的实施例仅为本发明具体实施例。显然本发明不局限于以上实施例，随之做出的类似变化或变形是本领域技术人员能从本发明公开的内容直接得出或者很容易便联想到的，均应属于本发明的保护范围。