一种用于嗅觉感知数据分析的时空融合数据增强方法与流程

1.本发明涉及嗅觉感知数据分析技术，具体涉及一种用于嗅觉感知数据分析的时空融合数据增强方法。


背景技术：

2.目前，低胆固醇、低盐、低糖和低脂肪等健康食品属性越来越受到消费者的关注。这促使食品制造商不断地开发具有健康属性的新产品，当有新产品被推出时，如何对新产品进行合理的感官评估是食品制造商所面临的重要难题。感官评估通常包括颜色、气味、味道和组织状态等方面，涉及心理学、生理学、统计学等学科。其中，食品的气味是影响食品感官评价的重要因素。目前的气味感官评估主要依赖于人工感官评价和机器感知，然而上述手段都有各自的局限性。人工感官评价存在主观性较强和可重复性差等问题。机器感知存在分析不全面和灵活差等问题。因此，探索一种客观、有效的嗅觉感官评价方法显得尤为重要。气味诱发脑电（嗅觉脑电）在嗅觉感官分析中有着独特的优势，它将人类的嗅觉感知以客观的脑电信号进行表征，具有很强的准确性。但是，在在利用嗅觉脑电辨识各种气味时，往往面临嗅觉刺激样本的用量的选择、嗅觉刺激时间的确定、嗅觉脑电数据数量的不足、深度学习方法中多个参数的确定等问题，这些关键参数的不确定性、数据样本数量的不足，均会严重影响嗅觉脑电的辨识结果。


技术实现要素：

3.本发明的主要目的在于提供一种用于嗅觉感知数据分析的时空融合数据增强方法，通过实验和仿真等手段优选确定了影响嗅觉脑电辨识的一系列关键参数，从而构建了有效的数据增强算法。
4.本发明采用的技术方案是：一种用于嗅觉感知数据分析的时空融合数据增强方法，包括以下步骤：s1、配置用于嗅觉脑电诱发的嗅觉刺激样本，利用脑电信号采集系统分别采集受试者在不同气味刺激下所诱发的嗅觉脑电数据；s2、利用获取的嗅觉脑电数据建立脑电样本，然后依次对样本进行低通、带通滤波来实现降噪，再通过下采样来减小数据量；s3、将下采样后的嗅觉脑电样本划分为训练集和测试集，并利用时空融合的数据增强方法对训练集的样本数据扩增；s4、构建分类模型并将扩增后的训练集用于分类模型训练，然后在测试集完成气味辨识。
5.进一步地，所述步骤s1中，建立样本，制备刺激气味，取薄荷糖浆、玫瑰糖浆、橙汁、草莓汁液体类样本各50ml，取大蒜酱、虾酱、酸竹笋、榴莲酱固体类样本各25g，将其分别密封于250ml的取样瓶中，静置十分钟，使气味完全挥发。
6.更进一步地，所述步骤s1中，利用采样频率为256hz的脑电信号采集系统, 并采集
15名受试者的嗅觉脑电数据，在对每位受试者进行实验时，确保整个内径为6mm的气体输送管内的压强保持在0.3
±
0.05mpa，对于每个受试者，共采集8种气味刺激下的嗅觉脑电数据，每种嗅觉刺激内包含20个8秒的平行嗅觉脑电数据。
7.更进一步地，所述步骤s2中，在建立脑电样本时，将所采集的2400个长度为8秒的脑电数据按2秒的长度进行分段，建立9600个样本，样本的尺寸都为256
×
21，并对每个样本依次进行50hz的低通滤波和49hz-51hz的带通滤波来实现脑电样本的降噪，采用下采样将样本的采样频率降为128hz。
8.更进一步地，所述步骤s3中，在划分训练集和测试集时，其训练集和测试集按照3：1的比例划分，训练集和测试集分别包含7200和2400个嗅觉脑电样本。
9.更进一步地，所述步骤s3中，在利用时空融合的数据增强方法对训练集进行数据扩增时，在训练集中随机初始化一个样本作为数据增强的对象，分别从时间域和空间域的角度观察样本，将分别表示为和；其中k0表示第 k个类别,0为初始样本，n表示嗅觉脑电样本中的第n个电极通道，m表示嗅觉脑电样本中的第m个时刻，嗅觉脑电样本的n和m分别为21和256。
10.更进一步地，所述步骤s3中，在利用时空融合的数据增强方法对训练集的样本进行数据扩增时，分别从时间域和空间域进行数据扩增，在时间域对训练集进行扩增时，首先计算初始样本所在类别剩余样本的每个电极通道与初始样本对应的电极通道之间的动态时间归整最小距离，从时间域的角度评估两个样本之间的相似性，设为第l个剩余样本，则与间的平均动态时间归整最小距离表示为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中表示求和两个样本在第i个电极通道的动态时间归整最小距离，将本类别剩余样本与初始样本的动态时间归整最小距离按升序排序，将初始样本的权重设为 0.5，选择与初始样本最接近的五个样本，从中随机选取两个样本，分别给予 0.15 的权重，将0.2的权重均分给剩余的3个样本，将权重值分别与其对应的样本相乘，再将相乘得到的6个数据相加，建立一个新的样本，对于每一种类别的数据，重复上述过程2400次，即8类嗅觉脑电数据得到19200个新的样本，完成数据在时间域的扩增。
11.更进一步地，所述步骤s3中，在利用时空融合的数据增强方法对训练集的样本进行数据扩增时，对于所述空间域的数据扩增，首先计算初始样本所在类别剩余样本的每个时刻与初始样本对应的时刻之间的动态时间归整最小距离，从空间域的角度评估两个样本之间的相似性，设为第l个剩余样本，则与间的平均动态时间归整最小距离表示为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中表示求和两个样本在第j个时刻的动态时间归整最小距离，生成了19200个新的样本，完成数据在空间域的扩增。
12.更进一步地，所述步骤s3中，在利用时空融合的数据增强方法对训练集的样本进行数据扩增时，将所述在时间域扩增的数据，在空间域扩增的数据以及训练集数据混合构成扩增的训练集，将扩增的训练集用于模型训练。
13.更进一步地，所述步骤s4中，在构建所述分类模型时，模型的输入矩阵大小为21
×
256
×
1，其中21为电极通道的个数，256为每个电极通道的采样点数，模型由一系列卷积层、平均池化层、残差块1、残差块2、残差块3、残差块4、展平层、softmax层组成，其中的残差块都由两个卷积计算组成，其中第一个卷积计算的卷积核尺寸为3，步长为2，填充为1，输出通道数是其输入通道数的2倍，第二个卷积计算的卷积核尺寸为3，步长为1，填充为1，输出通道数等于输入通道数，被展平层的数据经softmax层得到对8种气味的预测输出，在训练和测试模型时，训练集和测试集的批量大小分别为64和32，使用adam优化器，迭代次数为300次，学习率为0.005，权重衰减系数为0.0001；在气味辨识时，将训练完的分类模型用于测试集进行测试，在对模型进行测试时，对重复进行5次训练后在测试集所得的结果取平均。
14.本发明的优点：本发明在建立嗅觉脑电实验范式的同时通过对嗅觉脑电数据的有效扩增，有效地提升了嗅觉脑电识别模型的准确率与稳定性，实现了气味的准确辨识。
15.除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。
附图说明
16.构成本技术的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
17.图1为本发明实施例基于嗅觉脑电对气味的快速识别方法的流程图；图2为本发明实施例中的气味识别的结果图。
具体实施方式
18.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
19.一种用于嗅觉脑电识别的时空融合数据增强方法，包括如下步骤：s1、配置用于嗅觉脑电诱发的嗅觉刺激样本，利用脑电信号采集系统分别采集受试者在不同气味刺激下所诱发的嗅觉脑电数据；s2、利用获取的嗅觉脑电数据建立脑电样本，然后依次对样本进行低通、带通滤波来实现降噪，再通过下采样来减小数据量；s3、将下采样后的嗅觉脑电样本划分为训练集和测试集，并利用时空融合的数据
增强方法对训练集的样本数据扩增；s4、构建分类模型并将扩增后的训练集用于分类模型训练，然后在测试集完成气味辨识。
20.所述步骤s1中，建立样本，制备刺激气味，取薄荷糖浆、玫瑰糖浆、橙汁、草莓汁液体类样本各50ml，取大蒜酱、虾酱、酸竹笋、榴莲酱固体类样本各25g，将其分别密封于250ml的取样瓶中，静置十分钟，使气味完全挥发。
21.所述步骤s1中，利用采样频率为256hz的脑电信号采集系统, 并根据国际10-20系统采集15名受试者的嗅觉脑电数据，在对每位受试者进行实验时，确保整个内径为6mm的气体输送管内的压强保持在0.3
±
0.05mpa，对于每个受试者，共采集8种气味刺激下的嗅觉脑电数据，每种嗅觉刺激内包含20个8秒的平行嗅觉脑电数据。
22.所述步骤s2中，在建立脑电样本时，将所采集的2400个长度为8秒的脑电数据按2秒的长度进行分段，建立9600个样本，样本的尺寸都为256
×
21（时间域
×
空间域），并对每个样本依次进行50hz的低通滤波和49hz-51hz的带通滤波来实现脑电样本的降噪，采用下采样将样本的采样频率降为128hz来减小数据量。
23.所述步骤s3中，在划分训练集和测试集时，其训练集和测试集按照3：1的比例划分，因此训练集和测试集分别包含7200和2400个嗅觉脑电样本。
24.所述步骤s3中，在利用时空融合的数据增强方法对训练集进行数据扩增时，在训练集中随机初始化一个样本作为数据增强的对象，分别从时间域和空间域的角度观察样本，将分别表示为和。其中k0表示第 k个类别,0为初始样本，n表示嗅觉脑电样本中的第n个电极通道，m表示嗅觉脑电样本中的第m个时刻，嗅觉脑电样本的n和m分别为21和256。
25.所述步骤s3中，在利用时空融合的数据增强方法对训练集的样本进行数据扩增时，分别从时间域和空间域进行数据扩增，在时间域对训练集进行扩增时，首先计算初始样本所在类别剩余样本的每个电极通道与初始样本对应的电极通道之间的动态时间归整最小距离，以从时间域的角度评估两个样本之间的相似性，设为第l个剩余样本，则与间的平均动态时间归整最小距离可表示为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中表示求和两个样本在第i个电极通道的动态时间归整最小距离，然后将本类别剩余样本与初始样本的动态时间归整最小距离按升序排序，随后将初始样本的权重设为 0.5，选择与初始样本最接近的五个样本，从中随机选取两个样本，分别给予 0.15 的权重，然后将0.2的权重均分给剩余的3个样本，将权重值分别与其对应的样本相乘，最后再将相乘得到的6个数据相加，建立一个新的样本，由于嗅觉脑电数据的每一类有1200个样本，因此对于每一种类别的数据，重复上述过程2400次，即8类嗅觉脑电数据可得到19200个新的样本，即完成了数据在时间域的扩增。
26.所述步骤s3中，在利用时空融合的数据增强方法对训练集的样本进行数据扩增时，对于所述空间域的数据扩增，首先计算初始样本所在类别剩余样本的每个时刻与初始样本对应的时刻之间的动态时间归整最小距离，以从空间域的角度评估两个样本之间的相似性，设为第l个剩余样本，则与间的平均动态时间归整最小距离可表示为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中表示求和两个样本在第j个时刻的动态时间归整最小距离，然后的步骤与所述时间域的数据扩增步骤相同，最终也生成了19200个新的样本，即完成了数据在空间域的扩增。
27.所述步骤s3中，在利用时空融合的数据增强方法对训练集的样本进行数据扩增时，将所述在时间域扩增的数据，在空间域扩增的数据以及训练集数据混合来构成扩增的训练集，然后将扩增的训练集用于模型训练。
28.所述步骤s4中，在构建所述分类模型时，模型的输入矩阵大小为21
×
256
×
1，其中21为电极通道的个数，256为每个电极通道的采样点数，模型由一系列卷积层、平均池化层、残差块1、残差块2、残差块3、残差块4、展平层、softmax层组成，其中的残差块都由两个卷积计算组成，其中第一个卷积计算的卷积核尺寸为3，步长为2，填充为1，输出通道数是其输入通道数的2倍，第二个卷积计算的卷积核尺寸为3，步长为1，填充为1，输出通道数等于输入通道数，最后被展平层的数据经softmax层得到对8种气味的预测输出，在训练和测试模型时，训练集和测试集的批量大小分别为64和32，使用adam优化器，迭代次数为300次，学习率为0.005，权重衰减系数为0.0001；在气味辨识时，将训练完的分类模型用于测试集进行测试，在对模型进行测试时，对重复进行5次训练后在测试集所得的结果取平均。
29.如图1所示，本发明实施例的用于嗅觉脑电识别的时空融合数据增强方法，包括如下步骤：s1、获取嗅觉脑电数据并建立样本，制备刺激气味，取薄荷糖浆、玫瑰糖浆、橙汁、草莓汁各50ml，取大蒜酱、虾酱、酸竹笋、榴莲酱各25g，将其分别密封于250ml的取样瓶中静置十分钟，使气味完全挥发，利用采样频率为256hz的ncerp-p脑电信号采集系统, 并根据国际10-20系统采集15名受试者的嗅觉脑电数据，在对每位受试者进行实验时，确保整个内径为6mm的气体输送管内的压强保持在0.3
±
0.05mpa，对于每个受试者，共采集8种气味刺激下的嗅觉脑电数据，每种嗅觉刺激内包含20个8秒的平行嗅觉脑电数据；然后将所采集的2400个长度为8秒的脑电数据按2秒的长度进行分段，建立9600个样本。
30.s2、滤波降噪和下采样，对脑电样本使用有限脉冲响应进行50hz的低通滤波来滤除高频噪声，然后采用通带下边缘为49hz，通带上边缘为51hz的陷波滤波器来消除工频噪声，然后将数据的采样频率降为128hz来减小数据量s3、划分训练集和测试集，训练集和测试集按照3：1的比例划分，因此训练集和测试集分别包含7200和2400个嗅觉脑电样本。
31.s4、训练集数据扩增，在训练集中随机初始化一个样本作为数据增强的对象，
分别从时间域和空间域的角度观察样本，将分别表示为和。其中k0表示第 k个类别,0为初始样本，n表示嗅觉脑电样本中的第n个电极通道，m表示嗅觉脑电样本中的第m个时刻，嗅觉脑电样本的n和m分别为21和256，分别从时间域和空间域进行数据扩增，在时间域对训练集进行扩增时，首先计算初始样本所在类别剩余样本的每个电极通道与初始样本对应的电极通道之间的动态时间归整最小距离，以从时间域的角度评估两个样本之间的相似性，设为第l个剩余样本，则与间的平均动态时间归整最小距离可表示为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中表示求和两个样本在第i个电极通道的动态时间归整最小距离，然后将本类别剩余样本与初始样本的动态时间归整最小距离按升序排序，随后将初始样本的权重设为 0.5，选择与初始样本最接近的五个样本，从中随机选取两个样本，分别给予 0.15 的权重，然后将0.2的权重均分给剩余的3个样本，将权重值分别与其对应的样本相乘，最后再将相乘得到的6个数据相加，建立一个新的样本，由于嗅觉脑电数据的每一类有1200个样本，因此对于每一种类别的数据，重复上述过程2400次，即8类嗅觉脑电数据可得到19200个新的样本，即完成了数据在时间域的扩增。在利用时空融合的数据增强方法对训练集的样本进行数据扩增时，对于所述空间域的数据扩增，首先计算初始样本所在类别剩余样本的每个时刻与初始样本对应的时刻之间的动态时间归整最小距离，以从空间域的角度评估两个样本之间的相似性，设为第l个剩余样本，则与间的平均动态时间归整最小距离可表示为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中表示求和两个样本在第j个时刻的动态时间归整最小距离，然后的步骤与所述时间域的数据扩增步骤相同，最终也生成了19200个新的样本，即完成了数据在空间域的扩增。将所述在时间域扩增的数据，在空间域扩增的数据以及训练集数据混合来构成扩增的训练集。
32.s5、构建并训练分类模型，所述分类模型的结构参数如表一所示，模型的输入矩阵大小为21
×
256
×
1。其中21为电极通道的个数，256为每个电极通道的采样点数，模型中的残差块都由两个卷积计算组成，其中第一个卷积计算的卷积核尺寸为3，步长为2，填充为1，输出通道数是其输入通道数的2倍，第二个卷积计算的卷积核尺寸为3，步长为1，填充为1，输出通道数等于输入通道数，最后被展平层的数据经softmax层得到对8种气味的预测输
出，在训练模型时，训练集和测试集的批量大小分别为64和32，使用adam优化器，迭代次数为300次，学习率为0.005，权重衰减系数为0.0001。
33.s6、气味辨识，将训练完的所述模型模型用于测试集进行测试，在对模型进行测试时，对重复进行5次训练后在测试集所得的结果取平均，其最终的气味辨识结果，在进行数据扩增后，在模型的accuracy、f1-score 和kappa-score都实现了2%以上提升的同时模型的稳定性也得到了显著提升。
34.表1以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。