一种基于多尺度卷积神经网络的基本味觉感知识别方法

1.本发明涉及脑机接口和人工智能领域，尤其是涉及一种基于多尺度卷积神经网络的基本味觉感知识别方法，用于识别不同味觉刺激下的脑电响应。


背景技术：

2.味觉是促进人类摄入营养食物和避免有害物质的重要机制。它对评估食物质量和食物诱发的情绪也很重要。癌症、糖尿病、厌食症和covid-19感染等疾病都可能导致味觉障碍。评估患者的味觉对这些疾病的早期诊断有重要意义。此外，随着虚拟现实技术的发展，用于远程多感官交互的虚拟味觉研究也越来越受到关注。因此，味觉测量对于疾病诊断、虚拟味觉以及其他与味觉相关的脑机接口技术都是至关重要的。
3.人的味觉被划分为五类基本味觉——酸味、甜味、苦味、咸味和鲜味。苦味和酸味警告潜在的有毒物质；甜味和鲜味通常可以增进食欲；咸味能够调控人体内的盐浓度。当味觉细胞接触到味觉刺激时，每个细胞内的蛋白质开始在它们之间转移带电离子产生微小电流，而后该信号通过味觉神经传递给大脑。味觉信息通过初级味觉皮层的称为前岛叶和额叶岛盖的亚结构到达眶额皮质(也称为次级味觉皮层)，来此神经的电流信号即可被基于电生理测量的方法获得。
4.脑电图可以用来直接测量人脑活动，具有时间分辨率高、采集方便等优势。在过去的研究中，对味觉感知的分析主要使用了统计分析的方法，然而对于味觉相关的脑机接口技术来说，能够准确识别味觉的种类是至关重要的。随着深度学习的发展，在其他的脑电信号模式识别领域，如情感识别、运动想象识别等，一些研究者使用卷积神经网络代替人工特征提取和分类器，取得了一定的效果。然而，针对味觉感知识别的神经网络分类模型的仍然缺失，如何同时利用卷积神经网络提取时频特征和空间特征，并通过脑电准确识别基本味觉感知仍然是一个尚待解决的问题。


技术实现要素：

5.本发明主要针对基本味觉感知的机理不明确、分类难度大问题，提出一种基于多尺度卷积神经网络的基本味觉感知识别方法，能够使用卷积神经网络提取特征、预测结果，实现端到端的人的味觉感知识别。
6.本发明针对上述技术问题主要是通过下述技术方案得以解决的：一种基于多尺度卷积神经网络的基本味觉感知识别方法，包括以下步骤：
7.s1、采集基本味觉刺激下的原始脑电信号；
8.s2、对采集到的原始脑电信号进行预处理、样本扩增和降采样；
9.s3、将降采样后的信号输入到经过训练的多尺度卷积神经网络中，使用带有残差连接的多尺度时间卷积操作提取时频特征表示，随后使用多尺度空间卷积操作提取空间特征表示，最后使用卷积操作和全局平均池化作为分类模块预测味觉感知的类别。
10.作为优选，所述步骤s3中的带有残差连接的多尺度时间卷积操作提取预处理后信
号的时频特征表示具体过程如下：
11.令x表示输入信号，x＝[x1,
…
,xn]，其中n为输入样本数，xk为第k个样本，且k∈[1,n]，c为通道数，l为单个样本长度；通过并行的多尺度时间卷积，得到定义为：
[0012][0013]
其中，x为输入序列，conv2d为卷积核大小是的二维卷积，f
bn
是批归一化函数，φ
relu
是激活函数leakyrelu,maxpool是核大小为(1,pool)的池化层，和pool为预设值；
[0014]
同时，通过卷积和池化对x的维数进行调整得到x
res
，其定义为:
[0015]
x
res
＝maxpool(conv2d(x,(1,1)))
[0016]
而后分别计算和x
res
加和，并经过激活函数leakyrelu，最终将不同尺度下的时频特征表示沿着特征维连接组成，生成动态时间表征下的时频特征表示沿着特征维连接组成，生成动态时间表征其中，t为时间卷积核的个数，f为特征长度；z
t
被定义为：
[0017][0018]
其中，conca为张量拼接函数。
[0019]
作为优选，所述步骤s3中的多尺度空间卷积操作提取空间特征表示具体过程如下：
[0020]
在通道维度对z
t
进行多尺度空间卷积操作，得到进行多尺度空间卷积操作，得到其中，s是空间卷积核的数量，cj是卷积后的通道维数，的定义为：
[0021][0022]
此处，conv2d为卷积核大小是的二维卷积；
[0023]
将在空间维度上连接起来，得到其中，c
out
为连接后的通道数，zs被定义为：
[0024][0025]
其中，为预设值，concat为张量拼接函数。
[0026]
作为优选，所述步骤s3中的卷积操作和全局平均池化层作为分类模块具体过程如下：
[0027]
首先，对zs使用卷积操作，得到特征表示其中，n
label
为样本的类别数，即生成的特征图数量与类别数相同；而后，zc经过全局平均池化层生成新的特征图表示每个类别的预测概率；
[0028][0029]
其中，sc为预设值，gap表示全局平均池化层，其定义为：
[0030][0031]
其中，yk表示第k个特征图的全局平均池化输出值，x
k,(p,q)
表示第k个特征图区域中位于(p,q)处的值，c
out
×
f表示第k个特征图的元素个数；
[0032]
output
lab
最后经过softmax函数得到识别出的味觉感知种类。
[0033]
作为优选，除以下区别外，多尺度卷积神经网络的训练过程与识别过程相同，区别在于：将output
lab
再次输入到全局平均池化层中，求得表示样本序列位置的预测值。在所述多尺度卷积神经网络的训练过程中，考虑到样本扩增的影响，样本的序列位置信息被引入到网络的训练过程中。
[0034]
作为优选，在所述多尺度卷积网络的训练过程中，损失函数被定义为：
[0035][0036][0037][0038]
其中，crossentropy为交叉熵损失函数，mse为均方误差损失函数，label
true
和seq
true
是样本的真实标签和序列位置，α为序列位置信息损失权重。
[0039]
作为优选，训练时，需要先采集基本味觉感知的脑电信号，具体采集过程是：
[0040]
s101、参与者处于安静、舒适的环境中，佩戴多通道电极设备；脑电采集设备记录参与者在整个实验流程下的脑电信号，并上传到存储器中；
[0041]
s102、刺激方式为将充分浸润在相应溶液中的滤纸放置在参与者的舌尖，随机设定六种刺激物的刺激顺序，设定刺激时间和刺激间隔，要求参与者在刺激间隔多次漱口并充分休息以避免味觉疲劳；
[0042]
味觉刺激物的种类为柠檬酸、蔗糖、氯化镁、氯化钠、谷氨酸钠和纯净水，分别代表酸味、甜味、苦味、咸味、鲜味和空白刺激六类。
[0043]
作为优选，对采集到的脑电原始数据进行预处理、样本扩增和降采样，具体包括以下步骤：
[0044]
s201、使用hamming窗的fir陷波滤波器去除原始脑电信号中的50hz及50hz谐波的工频干扰，并使用1hz高通滤波器滤除原始脑电信号中的直流噪声；
[0045]
s202、使用独立成分分析去除滤波后脑电信号中的伪迹，并通过减去每通道信号平均值的方式去除基线；
[0046]
s203、以窗长1秒，重叠0.5秒的移窗法对脑电信号进行样本扩增，每12秒数据获得23个样本，记录样本的序列位置信息
[0047]
s204、对扩增后的样本进行降采样，采样频率从1000hz降为400hz。
[0048]
本发明的有益效果如下：
[0049]
1、本发明提出了基本味觉感知的脑电数据集获取方法，包括味觉刺激下的脑电信号采集流程以及脑电信号的预处理方法。
[0050]
2、本发明提出了一个全新的多尺度卷积神经网络，能够有效识别基本味觉感知；该多尺度卷积网络包括特征提取模块和分类模块；在特征提取模块中，多尺度卷积操作和残差连接操作提升了网络对时频特征和空间特征的学习能力；在分类模块中，使用全局平均池化和卷积操作代替常用的全连接层能够减少网络模型的参数数量，从而提升网络的分类性能。
[0051]
3、本发明所提出的多尺度卷积神经网络可以用于味觉相关的脑机接口技术中，在味觉障碍相关疾病的辅助判断和虚拟味觉应用中具有重要价值。
附图说明
[0052]
图1是本发明的一种多尺度卷积神经网络的基本味觉感知识别系统框图；
[0053]
图2是本发明的一种味觉刺激下的脑电信号采集实验流程图；
[0054]
图3是本发明的一种多尺度卷积神经网络的结构流程图；
[0055]
图4是本发明的一种多尺度卷积神经网络中的卷积块的结构流程图。
具体实施方式
[0056]
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
[0057]
实施例：一种基于多尺度卷积神经网络的基本味觉感知识别方法，如图1所示，包括以下步骤：
[0058]
s1、采集基本味觉刺激下的原始脑电信号；
[0059]
s2、对采集到的原始脑电信号进行预处理、样本扩增和降采样；
[0060]
s3、将降采样后的信号输入到多尺度卷积神经网络中，使用带有残差连接的多尺度时间卷积操作提取时频特征表示，随后使用多尺度空间卷积操作提取空间特征表示，最后使用卷积操作和全局平均池化作为分类模块预测味觉感知的类别。
[0061]
本发明的基本思想是，使用脑电信号采集设备获取基本味觉刺激下的原始脑电信号，经过预处理、样本扩增和降采样后输入到多尺度卷积神经网络中，端到端的识别味觉感知的信息。
[0062]
多尺度卷积神经网络需要先设计实验采集足够多的基本味觉感知脑电信号进行训练，具体实验设计包含以下内容：
[0063]
s101、味觉刺激物的种类为柠檬酸、蔗糖、氯化镁、氯化钠、谷氨酸钠和纯净水，分别代表酸味、甜味、苦味、咸味、鲜味和空白刺激；
[0064]
s102、参与者处于安静、舒适的环境中，佩戴多通道电极设备。脑电采集设备记录参与者在整个实验流程下的脑电信号，并上传到存储器中；
[0065]
s103、刺激方式为将充分浸润在相应溶液中的滤纸放置在参与者的舌尖，随机设定六种刺激物的刺激顺序，脑电信号采集实验流程如图2所示，首先，要求参与者保持身体放松，同时辅助实验人员将滤纸片浸润到相应的溶液中持续60秒；其次，充分浸润的滤纸片被放置到参与者的舌尖，刺激12秒；而后，参与者多次漱口并充分休息60秒以避免味觉疲劳，辅助实验人员将新的滤纸片放入到下一个溶液中。当6个味觉刺激全部完成时，结束本轮实验，准备下一轮实验。
[0066]
原始脑电信号(包括训练时和实际识别时)的预处理、样本扩增和降采样方法，包括以下步骤：
[0067]
s201、使用hamming窗的fir陷波滤波器去除50hz及其谐波的工频干扰，使用1hz高通滤波器滤除直流噪声；
[0068]
s202、使用独立成分分析去除伪迹，并通过减去每通道信号平均值的方式去除基线；
[0069]
s203、以窗长1秒，重叠0.5秒的移窗法进行样本扩增，每12秒数据获得23个样本，记录样本的序列位置信息
[0070]
s204、对扩增后的样本进行降采样，采样频率从1000hz降为400hz。
[0071]
多尺度卷积神经网络的模型结构，如图3所示，包括带有残差连接的多尺度时间卷积块、多尺度空间卷积块以及由分类卷积块和全局平均池化构成的分类模块，其中，卷积块的具体结构如图4所示，由卷积层、批归一化层、激活函数层和最大池化层组成。
[0072]
带有残差连接的多尺度时间卷积操作提取预处理后信号的时频特征表示具体过程如下：
[0073]
令x表示输入信号，其中n为输入样本数，c为通道数，l为单个样本长度。通过并行的多尺度时间卷积，得到数，l为单个样本长度。通过并行的多尺度时间卷积，得到定义为：
[0074][0075]
其中，x为输入序列，conv2d为卷积核大小是的二维卷积，f
bn
是批归一化函数，φ
relu
是激活函数leakyrelu,maxpool是核大小为(1,pool)的池化层，pool为预设值。
[0076]
同时，通过卷积和池化对x的维数进行调整得到x
res
，其定义为:
[0077]
x
res
＝maxpool(conv2d(x,(1,1)))
[0078]
而后分别计算和x
res
加和，并经过激活函数leakyrelu，最终将不同尺度下的时频特征表示沿着特征维连接组成，生成动态时间表征下的时频特征表示沿着特征维连接组成，生成动态时间表征其中，t为时间卷积核的个数，f为特征长度。z
t
被定义为：
[0079]
[0080]
多尺度空间卷积操作提取空间特征表示具体过程如下：
[0081]
在通道维度对的z
t
进行多尺度空间卷积操作，得到进行多尺度空间卷积操作，得到其中，s是空间卷积核的数量，cj是卷积后的通道维数，的定义为：
[0082][0083]
其中，conv2d为卷积核大小是的二维卷积。
[0084]
将在空间维度上连接起来，得到其中，c
out
为连接后的通道数，zs被定义为：
[0085][0086]
卷积操作和全局平均池化层作为分类模块具体过程如下：
[0087]
首先，对zs使用卷积操作，得到特征表示其中，n
label
为样本的类别数，即生成的特征图数量与类别数相同。而后，zc经过全局平均池化层生成新的特征图表示每个类别的预测概率。
[0088][0089]
其中，sc为预设值，gap表示全局平均池化层，其定义为：
[0090][0091]
其中，yk表示第k个特征图的全局平均池化输出值，x
k,(p,q)
表示第k个特征图区域中位于(p,q)处的值，c
out
×
f表示第k个特征图的元素个数。
[0092]
output
lab
最后经过softmax函数得到识别出的味觉感知种类。
[0093]
在所述多尺度卷积网络的训练过程中，考虑到样本扩增的影响，样本的序列位置信息被引入到网络的训练过程中。将output
lab
再次输入到全局平均池化层中，求得表示样本序列位置的预测值。
[0094]
在所述多尺度卷积网络的训练过程中，损失函数被定义为：
[0095][0096][0097][0098]
其中，crossentropy为交叉熵损失函数，mse为均方误差损失函数，label
true
和seq
true
是样本的真实标签和序列位置，α为序列位置信息损失权重。
[0099]
本实施例的实验设置与识别效果：
[0100]
1、实验数据集：通过本发明提出的基本味觉感知的脑电信号采集实验和预处理过程，获取基本味觉感知实验数据集，共有6个受试者参与实验，每位受试者完成10次实验，每次实验包含酸味、甜味、苦味、咸味、鲜味和空白六种刺激物。数据集中脑电信号的维度是23
×
58
×
400，其中23是单次刺激数据中扩增后的样本数量，58为采集的脑电通道数，400为样本长度。
[0101]
2、实验设置：实验的最终目标是实现六种味觉感知的分类任务。对每个参与者独立进行训练和分类，采用十折交叉验证，将每个受试者其中一次实验的数据作为测试集，其余数据作为训练集，直至每次实验的数据都成为过测试集，计算平均准确率表示所提出的多尺度卷积神经网络在该参与者数据集上的表现。所提出的多尺度卷积神经网络的训练过程使用adam作为优化器，学习率设置为0.001，批大小为16。模型实现基于pytorch框架。
[0102]
3、识别效果：表1列出了使用本发明所提出的方法在基本味觉感知识别任务中的识别结果以及其他现有方法的比较，其中平均准确率表示6个参与者十折交叉验证准确率的平均值，标准差表示所有参与者的准确率的标准差。由此可以看出，所提出的多尺度卷积神经网络取得了最佳的识别效果。
[0103]
表1基于多尺度卷积神经网络的基本味觉感知识别方法的识别结果
[0104][0105][0106]
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。