一种脑电波情绪分类方法、系统、设备、介质及终端与流程

1.本发明属于机器学习和智能人机交互技术领域，尤其涉及一种脑电波情绪分类方法、系统、设备、介质及终端。


背景技术：

2.目前，在人机交互领域，为了实现精确且自然的交互，计算机和机器人必须具备情感处理能力。从面部图像、手势、语音信号到其他生理信号，情绪识别的方法各不相同。其中，脑电信号直接由大脑神经元产生，具有自发性且不被受试者主观意识影响的特点，在部分应用场景中具有特殊优势，许多学者围绕脑电波情感识别做了许多研究。
3.心理学研究表明，个体感受和表达情绪的方式存在显著差异，所以不同人对同种情绪产生的脑电信号具有较大差异。但是目前具有较高的情绪分类准确率的方法大多都是基于同源数据，即训练集和测试集数据来自于同一受试者或同一组受试者，未考虑个体的特殊性。在实际应用中，遇到新个体，同源情绪分类方法需要重新收集大量数据来充分模拟新个体的脑电图信号和情绪之间的关系，不同源的数据只能被遗弃。即现有分类模型过分依赖受试者，无法适应新个体，大量不同源的数据被浪费。因此，亟需一种新的脑电波情绪分类方法。
4.通过上述分析，现有技术存在的问题及缺陷为：
5.(1)目前具有较高的情绪分类准确率的方法大多都是基于同源数据，即训练集和测试集数据来自于同一受试者或同一组受试者，未考虑个体的特殊性。
6.(2)在实际应用中，遇到新个体，同源情绪分类方法需重新收集大量数据来充分模拟新个体的脑电图信号和情绪间的关系，不同源的数据只能被遗弃。
7.(3)现有脑电波情绪分类模型过分依赖受试者，无法适应新个体，大量不同源的数据被浪费。
8.解决以上问题及缺陷的难度为：不同人之间存在个体差异性，如何缩短他们之间的差异或者如何寻找不同源数据中更具有广泛性的脑电特征，得到更为准确的分类结果。
9.解决以上问题及缺陷的意义为：无需进行大量测试训练来获取新个体历史数据，就能有效识别新个体的情绪状态。在实际应用中，不再局限于特定的已知受试者，具有更广泛的应用价值。


技术实现要素：

10.针对现有技术存在的问题，本发明提供了一种脑电波情绪分类方法、系统、设备、介质及终端，尤其涉及一种基于迁移学习的脑电波情绪分类方法、系统、设备、介质及终端。
11.本发明是这样实现的，一种脑电波情绪分类方法，所述脑电波情绪分类方法包括：
12.首先，对脑电数据进行去基线的预处理；然后以5秒为单位，将输入信号进行变换，计算得到时域信号的一阶差分值，并将所述一阶差分值作为脑电特征；接着利用欧氏距离作为标准，从源域中选择距离目标域更近的样本作为实际的训练样本；最后，利用jda、tca
将训练集和测试集样本映射到两者更相似的特征空间中，并采用集成分类器进行分类评估，循环以达到更优效果。
13.进一步，所述脑电波情绪分类方法包括以下步骤：
14.步骤一，去基线预处理：针对有标签的源域数据和无标签的目标域数据，将平静状态下的脑电波数据记作基线，而在视频刺激下的脑电波数据记为波动数据，将波动数据减去基线得到人产生情感时脑电的相对变化，作为实验的输入数据；(该步操作放大了脑电的波动变化，提升分类性能。)
15.步骤二，脑电特征提取：以5s脑电波数据作为一个样本，针对每个样本将输入的时域数据转换成一阶差分值并将其作为脑电特征，用于描绘时域中信号变化的强度；(该步操作降低了脑电数据的维度，能提取出对情绪分类更有效的变量。)
16.步骤三，源域样本筛选：进行过采样操作，使源域中各类样本数量平衡；以12个样本为一组，将源域样本分为多组，计算每组与目标域样本的标准欧氏距离，按距离从小到大对所有组进行排序，选择距离更小的前85％源域样本作为实际的训练样本；(该步操作去除部分不相似的样本，克服负迁移的影响。)
17.步骤四，特征空间转换：判断测试集即目标域是否有伪标签，若没有伪标签则使用tca算法，若有伪标签则使用jda算法，寻找最优特征空间，训练样本和测试样本映射到此空间后更相似；(该步操作拉近源域和目标域数据之间的特征分布,使得源域训练出的分类模型更适应目标域数据。)
18.步骤五，集成分类器评估：将多个svm弱分类器集成为强分类器，对情绪分类模型进行分类评估，循环以达到优化效果。(该步集成操作可达到全局最优且泛化性能更好，循环能不断调整模型，最终获得更为稳定的准确率。)
19.进一步，步骤一中，所述获取实验输入数据，包括：
20.以1s为单位，xi表示第i(i＝1，2，...，n)秒的原始脑电波数据，前m秒是平静状态下的脑电数据，后面都是在视频刺激下的脑电数据，yi即为实验第i秒的输入数据，相关的计算公式如下式所示：
[0021][0022]
进一步，步骤四中，所述伪标签的产生，包括：
[0023]
初始状态下，测试集没有标签，也没有伪标签，利用tca进行特征空间转换后，分类器为每个测试样本预测一个标签，此标签作为初始伪标签；后续循环中，当前分类器预测结果又作为下一次循环时测试集的伪标签。
[0024]
进一步，步骤四中，所述更相似的特征空间的实现过程，包括：
[0025]
执行tca算法，更相似的特征空间是通过同一变换矩阵来最小化源域和目标域样本的均值之差；
[0026]
执行jda算法，更相似的特征空间是通过同一变换矩阵来最小化源域和目标域的所有样本均值之差，同时最小化属于同一类情绪的源域和目标域样本均值之差的各类总和。
[0027]
进一步，步骤五中，所述循环以达到优化效果的实现过程，包括：
[0028]
循环执行步骤四和步骤五，直到准确率收敛，并将此稳定输出作为最终的准确率。
[0029]
本发明的另一目的在于提供一种应用所述的脑电波情绪分类方法的脑电波情绪分类系统，所述脑电波情绪分类系统包括：
[0030]
去基线预处理模块，用于针对有标签的源域数据和无标签的目标域数据，将平静状态下的脑电波数据记作基线，而在视频刺激下的脑电波数据记为波动数据，将波动数据减去基线得到人产生情感时脑电的相对变化，作为实验的输入数据；
[0031]
脑电特征提取模块，用于以5s脑电波数据作为一个样本，针对每个样本将输入的时域数据转换成一阶差分值并将其作为脑电特征，用于描绘时域中信号变化的强度；
[0032]
源域样本筛选模块，用于进行过采样操作，使源域中各类样本数量平衡；以12个样本为一组，将源域样本分为多组，计算每组与目标域样本的标准欧氏距离，按距离从小到大对所有组进行排序，选择距离更小的前85％源域样本作为实际的训练样本；
[0033]
特征空间转换模块，用于判断测试集即目标域是否有伪标签，若没有伪标签则使用tca算法，若有伪标签则使用jda算法，寻找最优特征空间，训练样本和测试样本映射到此空间后更相似；
[0034]
集成分类器评估模块，用于将多个svm弱分类器集成为强分类器，对情绪分类模型进行分类评估，循环以达到优化效果。
[0035]
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
[0036]
首先，对脑电数据进行去基线的预处理；然后以5秒为单位，将输入信号进行变换，计算得到时域信号的一阶差分值，并将所述一阶差分值作为脑电特征；接着利用欧氏距离作为标准，从源域中选择距离目标域更近的样本作为实际的训练样本；最后，利用jda、tca将训练集和测试集样本映射到两者更相似的特征空间中，并采用集成分类器进行分类评估，循环以达到更优效果。
[0037]
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
[0038]
首先，对脑电数据进行去基线的预处理；然后以5秒为单位，将输入信号进行变换，计算得到时域信号的一阶差分值，并将所述一阶差分值作为脑电特征；接着利用欧氏距离作为标准，从源域中选择距离目标域更近的样本作为实际的训练样本；最后，利用jda、tca将训练集和测试集样本映射到两者更相似的特征空间中，并采用集成分类器进行分类评估，循环以达到更优效果。
[0039]
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的脑电波情绪分类系统。
[0040]
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的脑电波情绪分类方法，既是基于样本的迁移学习，又是基于特征的迁移学习，采用欧氏距离进行样本筛选，并对原jda算法进行改进，在首次循环中增加tca特征空间转换，大幅度降低源域和目标域的差异，缩短算法的收敛时间，最终实现了跨受试者的脑电波情感识别。相较于传统机器学习方法，本发明所述方法无需提供任何有标签的目标域样本参与训练，同时又提升了脑电情感识别的准确率，对于人机接口、可穿戴设备等领域的研究和应用具有重要
理论意义和实用价值。
[0041]
本发明无需新个体的任何有标签的脑电数据参与训练，充分利用了多个体的脑电数据去预测一个新个体的情绪状态，相对于同源情绪分类方法，便于找出脱离个体差异的脑电波情感特征，具有一定的泛化性，更具有实际应用价值。
[0042]
本发明利用迁移学习的思想，通过筛选源域样本、寻找优化特征空间、集成分类器等方法，尽可能的将原本不相似的源域(他人的脑电数据)和目标域(新个体脑电数据)样本进行拉近，获取更泛化的特征，取得更优的分类效果。本发明方法在公开的脑电数据集deap(database for emotion analysis usingphysiological signals)上进行了实验验证。在valence维度上，情感识别的准确率由原始的76.71％提升至78.91％；在arousal维度上，准确率由原始的63.59％提升至66.64％。此发明在两个维度上都有所提升，在维度上也具有泛化性。
附图说明
[0043]
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
[0044]
图1是本发明实施例提供的脑电波情绪分类方法流程图。
[0045]
图2是本发明实施例提供的脑电波情绪分类方法原理图。
[0046]
图3是本发明实施例提供的脑电波情绪分类系统结构框图；
[0047]
图中：1、去基线预处理模块；2、脑电特征提取模块；3、源域样本筛选模块；4、特征空间转换模块；5、集成分类器评估模块。
[0048]
图4是本发明实施例提供的本发明方法和其他方法在valence维度上进行情感二分类的一具体实施例的结果示意图。
[0049]
图5是本发明实施例提供的本发明方法和其他方法在arousal维度上进行情感二分类的一具体实施例的结果示意图。
具体实施方式
[0050]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0051]
针对现有技术存在的问题，本发明提供了一种脑电波情绪分类方法、系统、设备、介质及终端，下面结合附图对本发明作详细的描述。
[0052]
如图1所示，本发明实施例提供的脑电波情绪分类方法包括以下步骤：
[0053]
s101，去基线预处理：针对有标签的源域数据和无标签的目标域数据，将平静状态下的脑电波数据记作基线，而在视频刺激下的脑电波数据记为波动数据，将波动数据减去基线得到人产生情感时脑电的相对变化，作为实验的输入数据；
[0054]
s102，脑电特征提取：以5s脑电波数据作为一个样本，针对每个样本将输入的时域数据转换成一阶差分值并将其作为脑电特征，用于描绘时域中信号变化的强度；
[0055]
s103，源域样本筛选：进行过采样操作，使源域中各类样本数量平衡；以12个样本为一组，将源域样本分为多组，计算每组与目标域样本的标准欧氏距离，按距离从小到大对所有组进行排序，选择距离更小的前85％源域样本作为实际的训练样本；
[0056]
s104，特征空间转换：判断测试集即目标域是否有伪标签，若没有伪标签则使用tca算法，若有伪标签则使用jda算法，寻找最优特征空间，训练样本和测试样本映射到此空间后更相似；
[0057]
s105，集成分类器评估：将多个svm弱分类器集成为强分类器，对情绪分类模型进行分类评估，循环以达到优化效果。
[0058]
本发明实施例提供的脑电波情绪分类方法原理图如图2所示。
[0059]
如图3所示，本发明实施例提供的脑电波情绪分类系统包括：
[0060]
去基线预处理模块1，用于针对有标签的源域数据和无标签的目标域数据，将平静状态下的脑电波数据记作基线，而在视频刺激下的脑电波数据记为波动数据，将波动数据减去基线得到人产生情感时脑电的相对变化，作为实验的输入数据；
[0061]
脑电特征提取模块2，用于以5s脑电波数据作为一个样本，针对每个样本将输入的时域数据转换成一阶差分值并将其作为脑电特征，用于描绘时域中信号变化的强度；
[0062]
源域样本筛选模块3，用于进行过采样操作，使源域中各类样本数量平衡；以12个样本为一组，将源域样本分为多组，计算每组与目标域样本的标准欧氏距离，按距离从小到大对所有组进行排序，选择距离更小的前85％源域样本作为实际的训练样本；
[0063]
特征空间转换模块4，用于判断测试集即目标域是否有伪标签，若没有伪标签则使用tca算法，若有伪标签则使用jda算法，寻找最优特征空间，训练样本和测试样本映射到此空间后更相似；
[0064]
集成分类器评估模块5，用于将多个svm(supportvector machine)弱分类器集成为强分类器，对情绪分类模型进行分类评估，循环以达到优化效果。
[0065]
下面结合具体实施例对本发明的技术方案作进一步描述。
[0066]
实施例1
[0067]
本发明公开了一种基于迁移学习的脑电波情绪分类方法，所述方法包括如下步骤：首先，对脑电数据进行去基线的预处理；然后以5秒为单位，将输入信号进行变换，计算得到时域信号的一阶差分值，将其作为脑电特征；接着利用欧氏距离作为标准，从源域中选择距离目标域更近的样本作为实际的训练样本；最后，利用jda(transfer component analysis)、tca(joint distribution adaptation)将训练集和测试集样本映射到两者更相似的特征空间中，并采用集成分类器进行分类评估，循环以达到更优效果。本发明既是基于样本的迁移学习，又是基于特征的迁移学习，采用欧氏距离进行样本筛选，并对原jda算法进行改进，在首次循环中增加tca特征空间转换，大幅度降低源域和目标域的差异，缩短算法的收敛时间，最终实现了跨受试者的脑电波情感识别。相较于传统机器学习方法，本发明所述方法无需提供任何有标签的目标域样本参与训练，同时又提升了脑电情感识别的准确率，对于人机接口、可穿戴设备等领域的研究和应用具有重要理论意义和实用价值。
[0068]
本发明实施例提供的基于迁移学习的脑电波情绪分类方法包括：
[0069]
第一步，去基线预处理：针对有标签的源域数据和无标签的目标域数据，平静状态下的脑电波数据记作基线，而在视频刺激下的脑电波数据记为波动数据，将波动数据减去
基线得到人产生情感时脑电的相对变化。该差值较原始数据更能体现出情感的脑电特性，以此作为实验的输入数据。
[0070]
第二步，脑电特征提取：以5s脑电波数据作为一个样本，然后针对每个样本将输入的时域数据转换成一阶差分值，描绘了时域中信号变化的强度，将其作为脑电特征。
[0071]
第三步，源域样本筛选：先进行过采样操作，使源域中各类样本数量平衡，然后以12个样本为一组，将源域样本分为多组，计算每组与目标域样本的标准欧氏距离，按距离从小到大对所有组进行排序，选择距离更小的前85％源域样本作为实际的训练样本。
[0072]
第四步，特征空间转换：判断测试集(即目标域)是否有伪标签，没有伪标签则使用tca算法，有伪标签则使用jda算法，寻找最优特征空间，训练样本和测试样本映射到此空间后更相似。
[0073]
第五步，集成分类器评估：将多个svm弱分类器集成为强分类器，对情绪分类模型进行分类评估，循环以达到优化效果。
[0074]
本发明实施例提供的获取实验输入数据的具体实现过程为：以1s为单位，xi表示第i(i＝1，2，...，n)秒的原始脑电波数据，前m秒是平静状态下的脑电数据，后面都是在视频刺激下的脑电数据，yi即为实验第i秒的输入数据，相关的计算公式如下式所示：
[0075][0076]
本发明实施例提供的伪标签的产生过程为：
[0077]
初始状态下，测试集没有标签，也没有伪标签，利用tca进行特征空间转换后，分类器为每个测试样本预测一个标签，此标签作为初始伪标签。后续循环中，当前分类器预测结果又作为下一次循环时测试集的伪标签。
[0078]
本发明实施例提供的更相似的特征空间的具体实现过程为：
[0079]
执行tca算法，更相似的特征空间是通过同一变换矩阵来最小化源域和目标域样本的均值之差；
[0080]
执行jda算法，更相似的特征空间是通过同一变换矩阵来最小化源域和目标域的所有样本均值之差，同时最小化属于同一类情绪的源域和目标域样本均值之差的各类总和。
[0081]
本发明实施例提供的循环以达到优化效果的具体实现过程为：
[0082]
循环执行第四步和第五步，直到准确率收敛，将此稳定输出作为本方法的最终准确率。
[0083]
本发明无需新个体的任何有标签的脑电数据参与训练，充分利用了多个体的脑电数据去预测一个新个体的情绪状态，相对于同源情绪分类方法，便于找出脱离个体差异的脑电波情感特征，具有一定的泛化性，更具有实际应用价值。
[0084]
本发明利用迁移学习的思想，通过筛选源域样本、寻找优化特征空间、集成分类器等方法，尽可能的将原本不相似的源域(他人的脑电数据)和目标域(新个体脑电数据)样本进行拉近，获取更泛化的特征，取得更优的分类效果。本发明方法在公开的脑电数据集deap上进行了实验验证。在valence维度上，情感识别的准确率由原始的76.71％提升至78.91％；在arousal维度上，准确率由原始的63.59％提升至66.64％。此发明在两个维度上
都有所提升，在维度上也具有泛化性。
[0085]
实施例2
[0086]
本发明针对现有的问题，提供了一种基于迁移学习的脑电波情绪分类方法，如图2所示，包括如下步骤：
[0087]
步骤s1：针对有标签的源域数据和无标签的目标域数据，平静状态下的脑电波数据记作基线，而在视频刺激下的脑电波数据记为波动数据，将波动数据减去基线得到人产生情感时脑电的相对变化。该差值较原始数据更能体现出情感的脑电特性，以此作为实验的输入数据。
[0088]
步骤s2：脑电特征提取：以5s脑电波数据作为一个样本，然后计算每个样本中连续相邻两项之差，将输入的时域数据转换成一阶差分值，将其作为脑电特征。
[0089]
步骤s3：源域样本筛选：先进行过采样操作，使源域中各类样本数量平衡，然后以12个样本为一组，将源域样本分为多组，计算每组与目标域样本的标准欧氏距离，按距离从小到大对所有组进行排序，选择距离更小的前85％源域样本作为实际的训练样本。
[0090]
步骤s4：特征空间转换：判断测试集(即目标域)是否有伪标签，没有伪标签则使用tca算法，使得利用同一变换矩阵变换后的源域样本和目标域样本的均值之差最小；有伪标签则使用jda算法，使得利用同一变换矩阵变换后得到源域样本和目标域样本，不仅所有样本均值之差最小，而且属于同一类情绪的源域样本和目标域样本均值之差再求和也是最小，映射后的训练样本和测试样本在新特征空间内更相似。除首次循环测试集没有伪标签，其他每次循环的伪标签都是上次循环的测试集的预测结果，而首次循环因无伪标签使用tca特征空间转换，集成分类器预测出的测试集标签将作为下一次循环中的伪标签。
[0091]
步骤s5：集成分类器评估：将多个svm弱分类器集成为强分类器，对情绪分类模型进行分类评估，循环执行s4和s5，直到分类准确率在多次循环中都得到一个稳定输出值，将其作为最终准确率。
[0092]
下面结合附图对本发明的技术方案作进一步的描述。
[0093]
本发明的目的是充分利用他人脑电数据来预测新个体的情绪状态。首先提取数据的时域一阶差分作为脑电特征，然后结合欧氏距离筛选出更相似的测试样本，接着利用tca和jda算法将训练集和测试集变换到更相似的特征空间，最后集成多个svm分类器，循环以达到稳定的输出。
[0094]
步骤一：去基线预处理：
[0095]
本发明基于deap预处理版本的数据集，它的采样率是128hz，频率范围为4～45hz，每次实验由3s的基线值和60s视频刺激下的数据组成，同时记录下了受试者的40个通道的生理信号(前32个与脑电有关，后8个与外围生理信号有关)。总共有32名受试者参与，每个人观看了40个影片。每个人的数据被记录在一个文件中，内容包括数据和标签两部分，其中数据为脑电信号的时域采样数据(维度：40*40*8064)，标签是自我评价模型的打分结果(维度：40*4，数值范围：1～9的连续值)，打分依据有四个维度：valence愉悦度、arousal唤醒度、dominance支配度和liking喜欢度。
[0096]
每次实验前3s的数据被看作是人在平静状态下的脑电数据，记为基线，后续60s的数据是人在受视频刺激后的脑电数据，记为波动数据。很多研究直接将前3s的数据舍弃了，这部分数据包含的信息就被忽视了，考虑到不论是平静状态还是产生情感时都会产生脑电
信号，那么它们的差值就可以反映产生情感时脑电的相对变化，这更能体现出情感的脑电特性，因此本发明将原始数据减去基线则得到实验的输入数据。
[0097]
以1s为单位，xi表示第i＝(i＝1，2，...，63)秒的原始脑电波数据，前3秒是平静状态下的脑电数据，后面60秒都是在视频刺激下的脑电数据，yi即为实验第i秒的输入数据，相关的计算公式如下式所示：
[0098][0099]
步骤二：脑电特征提取：
[0100]
时域一阶差分是离散的时域信号的连续相邻两项之差，且一般是用后一个值减前一个值。以往的研究表明，脑电时间序列的变化可以反映不同的情绪状态。在时域信号上做差分的目的是减轻数据之间的不规律波动，使其波动曲线更平稳。
[0101]
考虑到情绪的持续时间比较短，本发明选择5s脑电波数据作为一个样本，然后分别将每个样本在32个通道上面的时域数据转换成一阶差分值，那么每个样本则可以得到32维的脑电特征，而此特征表征了时域中信号变化的强度，具体计算如下。
[0102]
假设有一个时间序列的数据x＝[x1，x2，...，xn]，计算一阶差分值，即样本中连续相邻两项之差的平均值，设定fs是采样率，n是时间序列x的长度(n＝fs*5)，那么通道k的一阶差分dk的定义如下式所示。
[0103][0104]
步骤s3：源域样本筛选：
[0105]
先进行过采样操作，将源域样本进行平衡处理，主要思想是随机寻找每个少数类样本的紧邻样本，然后再两者的空间直线上随机选择一点作为新增样本。由于测试集是一个影片60s划分出来的12个样本，为了方便计算标准欧氏距离，源域样本需以12个样本为一组，根据距离大小对组进行排序，选择距离更近的前85％的样本组作为实际的训练样本。
[0106]
设定x
nk
是每组源域中第n个样本的第k个通道数据，y
nk
是每组目标域中第n个样本的第k个通道数据，sk是源域样本和目标域样本合并后的第k个通道的标准差，n为样本数，k为通道数，那么每组样本的标准欧式距离定义如下式所示。
[0107][0108]
步骤s4：特征空间转换：
[0109]
判断测试集(即目标域)是否有伪标签，没有伪标签则使用tca算法，使得利用同一变换矩阵变换后的源域样本和目标域样本的更相似。tca是一种经典的边缘分布自适应方法，属于基于特征的迁移学习方法，其目的是得到一对均值之差最小的映射后的源域和目标域数据。有伪标签则使用jda算法，寻找更相似的新特征空间。jda是在tca基础上进一步加强，以目标域的伪标签为依据，除了保证映射后的源域和目标域数据的均值之差最小以外，还要保证各类情绪源域和目标域数据均值之差的累计和也达到最小。除首次循环测试
集没有伪标签，其他每次循环的伪标签都是上次循环的测试集的预测结果，而首次循环在进行tca特征空间转换后，集成分类器预测出的测试集标签将作为下一次循环中的伪标签。
[0110]
原jda算法的初始伪标签是由传统简单分类器(如knn)预测得到，未进行特征空间转换，源域与目标域不相似，误差较大，后续需要进行多次循环准确率才能收敛。本发明将tca与jda算法进行结合，在初次循环的简单分类器上增加了tca特征空间转换，将源域与目标域大大拉近，后续循环只需进行小范围调整，收敛前的循环次数减少，缩短整个发明的运行时间。
[0111]
设定x是源域数据，y是目标域数据，是指x通过变换矩阵映射后得到的新数据，n为源域样本数，m为目标域样本数，xk为源域中标签为第k类情绪的样本数据，yk为目标域中伪标签为第k类情绪的样本数据，nk为源域中标签为第k类情绪的样本数，mk为目标域中标签为第k类情绪的样本数，那么均值之差定义如下式所示：
[0112][0113][0114]
tca算法是min d1，jda算法是min d1 d2，引入机器学习中常见的核方法和拉格朗日法，可求解上述式子，得到映射后的源域和目标域数据
[0115]
步骤五：集成分类器评估：
[0116]
将多个svm弱分类器集成为强分类器，在其上进行此种情绪分类方法的评估验证，循环执行步骤四和步骤五，直到分类准确率收敛，将其作为最终准确率。
[0117]
本发明针对valence和arousal维度分别进行二分类的情感分类的实验，二分类的标准是以5为界，值大于5则认为是正类，值小于5则认为是负类，分类依据的标准如表1所示。
[0118]
表1分类标准
[0119][0120]
本发明将通过下述的实验例子对本发明方法的效果进行更详细的描述，这些实验例子仅用于举例的目的，而不试图限制本发明的应用范围。
[0121]
下面结合实验对本发明的技术效果作详细的描述。
[0122]
实验1：利用本发明进行valence维度上的情感二分类
[0123]
valence也叫效价/愉悦度，用它来度量情感的愉悦程度，比如憎恨和喜欢，选取deap数据集中的所有样本数据且标签只需包含valence一个维度。
[0124]
先进行去基线预处理，将60s的视频刺激下的数据减去前3s的基线数据后，每个影片包含60s脑电数据。
[0125]
然后进行特征提取，以5s为一个样本，将一个影片60s划分成12个样本，并为这12个样本分配相同的标签。计算每个样本中每个通道的连续相邻两项之差，求和在平均后得到一阶差分值，将其作为脑电特征。如此，一个人拥有40个影片，每个影片包含12个样本，每个样本包含32维，每个样本用于情绪标签。
[0126]
接着进行源域样本筛选，将一个人的一个影片的12个样本作为目标域即测试集，其他31人的此影片的372个样本作为源域，进行过采样操作将源域样本进行平衡处理后，然后以12个样本为一组，计算每组源域样本与目标域样本的标准欧氏距离，根据距离大小对所有组进行排序，选择距离更近的312个(按比例85％)源域样本组作为实际的训练样本。
[0127]
再进行特征空间转换，首次执行，测试集无伪标签，使用tca算法进行特征空间转换；后每次执行都有伪标签，具体来源是上次循环的测试集的预测结果，使用jda算法，使得映射后的训练样本和测试样本在新特征空间内更相似。
[0128]
最后进行集成分类器评估，将多个svm弱分类器集成为强分类器，对情绪分类模型进行分类评估，循环执行特征空间转换和集成分类器评估，直到分类准确率在多次循环中都得到一个稳定值。本实验例中，测试集样本较少，循环10次则所有样本都可得到稳定输出。由于12个样本来自同一影片，属于同一情绪，对预测结果进行多数投票，作为最终此影片的预测情绪状态。每个人的每个影片都作为测试集，进行交叉验证，一共执行32*40次整个流程，平均后得到此发明的最终准确率。
[0129]
图4是在valence维度上的各种方法的情感二分类的结果对比。传统机器学习方法是指将源域数据直接放入svm分类器中得到的平均准确率，不进行空间转换方法是指在本发明的基础上不执行步骤四。传统机器学习方法准确率为76.95％，本发明能将准确率提升至78.90％，若不进行空间转换准确率也会有所下降。另外如不筛选样本，即在本发明的基础上不执行步骤三，由于不相似样本干扰，准确率会降30％多，为41.48％。这些结果的对比可以看出本发明的优越性，每一个步骤都具有重要作用，同时证明迁移学习方法在此领域的适用性。
[0130]
实验2：利用本发明进行arousal维度上的情感二分类
[0131]
arousal也叫唤醒度，用它来度量情感的强烈程度，比如无聊和兴奋，选取deap数据集中的所有样本数据且标签只需包含arousal一个维度。
[0132]
先进行去基线预处理，将60s的视频刺激下的数据减去前3s的基线数据后，每个影片包含60s脑电数据。
[0133]
然后进行特征提取，以5s为一个样本，将一个影片60s划分成12个样本，并为这12个样本分配相同的标签。计算每个样本中每个通道的连续相邻两项之差，求和在平均后得到一阶差分值，将其作为脑电特征。接着进行源域样本筛选，进行过采样操作将源域样本进行平衡处理后，然后以12个样本为一组，计算每组源域样本与目标域样本的标准欧氏距离，根据距离大小对所有组进行排序，选择距离更近的312个(按比例85％)源域样本组作为实际的训练样本。再进行特征空间转换，首次执行，测试集无伪标签，使用tca算法进行特征空间转换；后每次执行都有伪标签，具体来源是上次循环的测试集的预测结果，使用jda算法，使得映射后的训练样本和测试样本在新特征空间内更相似。
[0134]
最后进行集成分类器评估，将多个svm弱分类器集成为强分类器，对情绪分类模型进行分类评估，循环执行得到稳定输出。由于12个样本来自同一影片，属于同一情绪，对预
测结果进行多数投票，作为最终此影片的预测情绪状态。每个人的每个影片都作为测试集，进行交叉验证，一共执行32*40次整个流程，平均后得到此发明的最终准确率。
[0135]
图5是arousal维度上的各种方法的情感二分类的结果对比。传统机器学习方法准确率为63.59％，本发明能将准确率提升至67.65％，若不进行空间转换准确率也会有所下降。另外如不筛选样本，则会有不相似样本干扰，准确率也会大幅度下降，仅为34.38％。虽然在arousal维度上，原始的源域与目标域较之valence维度更不相似，在预测上更具难度，但是本发明也取得了更高的准确率。这些结果说明，本发明在跨个体的脑电情绪分类应用上具有很强的泛化性能。
[0136]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带)、光介质(例如dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0137]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。