一种基于声音特征的移动机器人路面材质识别方法与流程

技术特征：
1.一种基于声音特征的移动机器人路面材质识别方法，其特征在于包括以下步骤：步骤1、路面材质声音数据集的采集与建立：将路面材质分为10个类别，分别为草地路面、瓷砖路面、沥青路面、天然石路面、水泥路面、橡胶路面、地砖路面、木板路面、鹅卵石路面及碎石路面；采用声音采集器对每个类别路面按照每50下敲击为一组的规则进行路面材质声音数据采集，建立路面材质声音数据集s＝{s
i
|1≤i≤10}，其中，i为路面材质类别，s
i
为第i类路面材质声音数据；步骤2、路面材质声音数据预处理：通过分割、滤波降噪、分帧加窗、端点检测预处理操作，提高路面材质声音数据的质量，去除噪声影响，具体包括以下子步骤：(a)分割：录取路面材质声音时是按照50次连续敲击方法进行的，需要对原始数据进一步做分割处理，将每一次敲击路面材质的声音作为一个单独路面材质声音数据，第i类路面材质声音数据s
i
＝{s
ij
|1≤j≤50}，其中s
ij
为分割得到的单独路面材质声音数据，j为路面材质声音数据对应的敲击次数；(b)滤波降噪：将采集的路面材质声音数据经过高通滤波器进行滤波，通过公式(1)进行描述，其中，α是滤波器系数，s
ij
(t)为当前时刻原始数据，为经过滤波降噪处理后t时刻的路面材质声音数据，通过滤波器能够平衡频谱，改善信号
‑
噪声比(snr)，能够抑制低频信息的比重，相对提高高频有用成分的比重；(c)分帧加窗：从整体上来看，敲击路面的整体路面材质声音特征是具有时变特性的，其并不是平稳的路面材质声音数据，但是录取的路面材质声音数据在很短的时间内认为是平稳的，为了满足傅里叶变换条件，需要将路面材质声音数据分割成短时稳定路面材质声音数据，分帧截取时间段的范围是10～30ms，为了保证特征参数连续平稳地改变，在两个没有重叠部分的帧之间均匀地保留一些帧，对于每次重叠的部分的变化被称为帧移，取值范围为帧长的1/4～1/2之间，对分帧后的路面材质声音数据f
ij
进行加窗处理，以减少分帧带来的影响，加窗后的路面材质声音数据c
ij
＝f
ij
×
w，其中窗函数w采用汉明窗；(d)端点检测：通过设置不同的音量阈值确定路面材质声音有效数据的起始位置和结束位置，首先计算出该段加窗后的路面材质声音数据c
ij
中的音量最大值vmax
ij
和最小值vmin
ij
，并通过相减得到路面材质声音数据的变换范围值vdif
ij
，以最低路面材质声音数据为起点，分别取vmin
ij
vdif
ij
×
0.1、vmin
ij
vdif
ij
×
0.01、vmin
ij
vdif
ij
×
0.05三种不同的阈值作为路面材质声音数据的端点位置判断，当超过该阈值时则需要开始记录起始点，并判断下一时刻声音数据是否大于该阈值，直到检测到低于阈值的端点并记录下来，将最终起始点位置和最后的低于阈值的位置之间的路面材质声音数据作为敲击路面的有效路面材质声音数据e
ij
；步骤3、路面材质声音的梅尔倒谱特征提取：梅尔倒谱特征是在声音数据中最常用的特征提取方法，它的优点是具有很强的抗干扰能力，能够将不同声音数据之间的特征差异体现出来，从而有效的区分路面材质声音数据，具体包括以下子步骤：(a)对端点检测得到的路面材质声音数据e
ij
进行一维傅里叶变换得到对应的频域信号
其中n代表每一帧路面材质声音数据中的采样点数，k为采样点，功率谱g
ij
＝|p
ij
(k)|2；(b)将每一帧路面材质声音数据的功率谱g
ij
放入到梅尔三角滤波器组中进行滤波处理，并计算对数能量q
ij
，通过如下公式进行描述，，通过如下公式进行描述，其中，h
ij
表示梅尔滤波器的频率响应，m为梅尔滤波器的数目；(c)对q
ij
进行离散余弦变换得到最终的梅尔倒谱特征系数，通过如下公式进行描述，其中mel
ij
表示梅尔倒谱特征系数，v表示梅尔倒谱系数的阶数，n表示每一帧路面材质声音数据中的采样点数；(d)对得到的梅尔倒谱特征系数mel
ij
进行人为标记，并构建训练集；步骤4、构建深度卷积神经网络进行训练：构建深度卷积神经网络，基于不同路面材质声音数据的梅尔倒谱特征系数mel
ij
进行分类，实现路面材质识别，主要包括以下子步骤：(a)特征增强，增加了一些辅助性的特征，如音频中的色度频率特征、mel频谱特征、谱对比度特征、色调质心特征，通过特征拼接融合构成了193维的特征向量，最后通过补零对齐形成196维的特征向量，进一步将特征转换为二维的矩阵形式(14
×
14)，在该网络中的输入端进行维度扩充得到3d张量(14
×
14
×
1)；(b)编码端包含1个卷积层conv1，参数为卷积核尺寸1
×
1、步长1、相同填充、输出通道数32，进行批量归一化(bn)处理，并采用leaky_relu激活函数进行激活；3个轻量化深度可分离卷积层dconv2、dconv3、dconv4，串行连接；其中，dconv2的参数为卷积核尺寸3
×
3、步长1、相同填充、输出通道数32，进行批量归一化处理，并采用leaky_relu激活函数进行激活；池化层maxpool1的参数为2
×
2最大池化、步长2、无填充；dconv3的参数为卷积核尺寸3
×
3、步长1、相同填充、输出通道数64，进行批量归一化处理，并采用leaky_relu激活函数进行激活；dconv4的参数为卷积核尺寸3
×
3、步长1、相同填充、输出通道数64，进行批量归一化处理，并采用leaky_relu激活函数进行激活；池化层maxpool2的参数为3
×
3最大池化、步长2、填充值为1，然后展平为1024维的特征向量；(c)解码端为了防止过拟合先进行dropout操作，比率设为0.5，然后包含3个全连接层dense1、dense2和dense3；其中，dense1的输出神经元数目为512，采用leaky_relu激活函数进行激活；dense2的输出神经元数目为128，采用leaky_relu激活函数进行激活，dense3的输出神经元数目为10；步骤5、基于训练好的神经网络模型进行路面材质识别。

技术总结
本发明属于移动机器人路况识别与自主导航技术领域，一种基于声音特征的移动机器人路面材质识别方法，包括以下步骤：(1)路面材质声音数据集的采集与建立，(2)路面材质声音数据预处理，(3)路面材质声音的梅尔倒谱特征提取，(4)构建深度卷积神经网络进行训练，(5)基于训练好的神经网络模型进行路面材质识别。本发明具有以下优点：一是，本发明从听觉的角度利用声音特征实现对路面材质的分类识别，能够有效弥补视觉模态的不足；二是，本发明基于梅尔倒谱特征实现了对路面材质声音特征的有效提取，并搭建了深度卷积神经网络模型，能够基于材质声音特征有效进行多材质路面识别。声音特征有效进行多材质路面识别。声音特征有效进行多材质路面识别。


技术研发人员：安毅 崔允浩 孙伟
受保护的技术使用者：大连理工大学
技术研发日：2020.12.29
技术公布日：2021/10/18