脑电信号分类方法、装置、设备及存储介质与流程

1.本技术涉及信号处理领域，特别涉及一种脑电信号分类方法、装置、设备及存储介质。


背景技术：

2.脑电波(electroencephalogram，eeg)是一种使用电生理指标记录大脑活动的方法，大脑在活动时，大量神经元同步发生的突触后电位经总和后形成的。它记录大脑活动时的电波变化，是脑神经细胞的电生理活动在大脑皮层或头皮表面的总体反映。
3.在相关技术中，mi
‑
bci(motor imagery
‑
brain computer interface，运动想象脑机接口)系统在诸多领域均有着广泛的应用前景，能在没有任何肢体运动的情况下，通过大脑想象肢体运动产生的脑电波信号来控制外部设备。它既可以帮助脑卒中偏瘫等肢体不便的患者康复训练或者控制轮椅出行，也可以用于普通用户的教育娱乐，例如脑控vr(virtual reality，虚拟现实)游戏等，mi(motor imagery，运动想象)信号分类识别是mi
‑
bci系统中的关键环节，其解码的准确性直接影响这个系统的性能和用户体验。
4.上述技术方案中，脑电信号样本较少，导致训练出的脑电信号分类模型精度较差，对脑电信号分类的准确性较低。


技术实现要素：

5.本技术实施例提供了一种脑电信号分类方法、装置、设备及存储介质，可以提高对脑电信号对应的运动想象类型预测的准确性，该技术方案如下：
6.一方面，提供了一种脑电信号分类方法，所述方法包括：
7.获取第一脑电信号；
8.通过至少两个脑电信号分类模型分别对所述第一脑电信号进行处理，获得至少两个所述脑电信号分类模型分别输出的运动想象概率分布；所述脑电信号分类模型是基于训练样本子集通过数据增广后得到的增广数据集，进行训练获得的机器学习模型；所述训练样本子集包括第一训练样本集中，除了与所述脑电信号分类模型对应的验证脑电信号之外的样本脑电信号；所述第一训练样本集中包括至少两个所述样本脑电信号，以及至少两个所述样本脑电信号对应的运动想象类型；所述验证脑电信号是用于对所述脑电信号分类模型进行验证的样本脑电信号；至少两个所述脑电信号分类模型在所述第一训练样本集中分别对应的所述验证脑电信号不同；
9.基于至少两个所述脑电信号分类模型分别输出的运动想象概率分布，确定所述第一脑电信号对应的运动想象类型。
10.又一方面，提供了一种脑电信号分类方法，所述方法包括：
11.获取第一训练样本集；所述第一训练样本集中包括至少两个所述样本脑电信号，以及至少两个所述样本脑电信号对应的运动想象类型；
12.基于所述第一训练样本集，以及至少两个所述脑电信号分类模型，获取至少两个
所述脑电信号分类模型分别对应的训练样本子集；所述训练样本子集包括所述第一训练样本集中，所述训练样本子集包括第一训练样本集中，除了与所述脑电信号分类模型对应的验证脑电信号之外的样本脑电信号；至少两个所述脑电信号分类模型在所述第一训练样本集中分别对应的样本脑电信号不同；所述第一训练样本集中包括至少两个所述样本脑电信号，以及至少两个所述样本脑电信号对应的运动想象类型；所述验证脑电信号是用于对所述脑电信号分类模型进行验证的样本脑电信号；至少两个所述脑电信号分类模型在所述第一训练样本集中分别对应的所述验证脑电信号不同；
13.基于至少两个所述训练样本子集进行数据增广后获得的至少两个增广数据集，对至少两个所述训练样本子集分别对应的至少两个脑电信号分类模型进行训练，获得训练后的至少两个脑电信号分类模型；
14.其中，所述训练后的至少两个脑电信号分类模型，用于对输入的第一脑电信号进行数据处理，获得至少两个所述脑电信号分类模型分别输出的运动想象概率分布，并基于至少两个所述脑电信号分类模型分别输出的运动想象概率分布，确定所述第一脑电信号对应的运动想象类型。
15.再一方面，提供了一种脑电信号分类装置，所述装置包括：
16.脑电信号获取模块，用于获取第一脑电信号；
17.概率分布获取模块，用于通过至少两个脑电信号分类模型分别对所述第一脑电信号进行处理，获得至少两个所述脑电信号分类模型分别输出的运动想象概率分布；所述脑电信号分类模型是基于训练样本子集通过数据增广后得到的增广数据集，进行训练获得的机器学习模型；所述训练样本子集包括第一训练样本集中，除了与所述脑电信号分类模型对应的验证脑电信号之外的样本脑电信号；所述第一训练样本集中包括至少两个所述样本脑电信号，以及至少两个所述样本脑电信号对应的运动想象类型；所述验证脑电信号是用于对所述脑电信号分类模型进行验证的样本脑电信号；至少两个所述脑电信号分类模型在所述第一训练样本集中分别对应的所述验证脑电信号不同；
18.运动想象类型获取模块，用于基于至少两个所述脑电信号分类模型分别输出的运动想象概率分布，确定所述第一脑电信号对应的运动想象类型。
19.在一种可能的实现方式中，所述运动想象类型获取模块，包括：
20.脑电概率分布获取子模块，用于基于至少两个所述脑电信号分类模型分别输出的运动想象概率分布，获取所述第一脑电信号对应的运动想象概率分布；所述第一脑电信号对应的概率分布中包含与各个运动想象类型对应的概率值；
21.运动想象类型获取子模块，用于基于所述第一脑电信号对应的运动想象概率分布，确定所述第一脑电信号对应的运动想象类型。
22.在一种可能的实现方式中，所述脑电概率分布获取模块，还用于，
23.将至少两个所述脑电信号分类模型分别输出的运动想象概率分布，基于所述运动想象类型进行合并，获得所述第一脑电信号对应的运动想象概率分布。
24.在一种可能的实现方式中，所述脑电信号分类模型输出的运动想象概率分布中包含与各个运动想象类型对应的概率值；
25.所述脑电概率分布获取模块，还用于，
26.将至少两个所述脑电信号分类模型分别输出的运动想象概率分布，基于所述运动
想象类型进行加权求和，获得所述第一脑电信号对应的运动想象概率分布。
27.在一种可能的实现方式中，所述运动想象类型获取模块，还用于，
28.将至少两个所述脑电信号分类模型分别输出的运动想象概率分布中，最大的概率值对应的运动想象类型，确定为所述第一脑电信号对应的运动想象类型。
29.在一种可能的实现方式中，响应于至少两个所述脑电信号分类模型包含第一脑电信号分类模型，所述第一脑电信号分类模型包括第一通道注意力加权模块、第一时间卷积层、第一空间卷积层、第一激活层以及第一全连接层；
30.所述概率分布获取模块，包括：
31.第一加权子模块，用于基于所述第一脑电信号，通过所述第一通道注意力加权模块进行处理，获得第一加权特征图；
32.第一时间提取子模块，用于基于所述第一加权特征图，通过所述第一时间卷积层进行处理，获得第一时间特征图；所述第一时间卷积层用于提取脑电信号的时序特征；
33.第一空间提取子模块，用于基于所述第一时间特征图，通过所述第一空间卷积层进行处理，获得第一空间特征图；所述第一空间卷积层用于提取脑电信号对应的对象头部的不同区域的空间特征；
34.第一激活子模块，用于基于所述第一空间特征图，通过所述第一激活层进行数据处理，获得第一激活特征图；
35.第一概率分布获取子模块，用于基于所述第一激活特征图，通过所述第一全连接层进行数据处理，获得所述第一脑电信号分类模型输出的，第一脑电信号对应的运动想象概率分布。
36.在一种可能的实现方式中，所述装置还包括：
37.第一样本集获取模块，用于获取所述第一训练样本集；
38.第一样本子集获取模块，用于基于所述第一训练样本集中，除了所述第一脑电信号分类模型对应的验证脑电信号之外的样本脑电信号，获取第一训练样本子集；所述第一训练样本子集中包括第一样本脑电信号；
39.数据增广模块，用于基于所述第一训练样本子集，进行数据增广，获得第一增广数据集；所述第一增广数据集中包含所述第一样本脑电信号、所述第一样本脑电信号对应的第一增广信号以及所述第一样本脑电信号对应的运动想象类型；
40.第一训练模块，用于基于所述第一增广数据集，对所述第一脑电信号分类模型进行训练。
41.在一种可能的实现方式中，所述数据增广模块，包括：
42.增广因子获取子模块，用于获取所述第一训练样本子集对应的增广因子，所述增广因子用于指示所述第一训练样本子集中样本的放缩比例；
43.数据增广子模块，用于基于所述第一训练样本子集对应的增广因子，对所述第一样本脑电信号进行放缩，获取所述第一样本脑电信号对应的第一增广信号。
44.在一种可能的实现方式中，所述装置还包括：
45.验证信号获取模块，用于基于所述第一脑电信号分类模型，在所述第一训练样本集中的至少两个样本脑电信号中确定所述第一脑电信号分类模型对应的验证脑电信号。
46.再一方面，提供了一种脑电信号分类装置，所述装置包括：
47.训练子集获取模块，用于获取第一训练样本集；所述第一训练样本集中包括至少两个所述样本脑电信号，以及至少两个所述样本脑电信号对应的运动想象类型；
48.训练样本子集获取模块，用于基于所述第一训练样本集，以及至少两个所述脑电信号分类模型，获取至少两个所述脑电信号分类模型分别对应的训练样本子集；所述训练样本子集包括所述第一训练样本集中，所述训练样本子集包括第一训练样本集中，除了与所述脑电信号分类模型对应的验证脑电信号之外的样本脑电信号；至少两个所述脑电信号分类模型在所述第一训练样本集中分别对应的样本脑电信号不同；所述第一训练样本集中包括至少两个所述样本脑电信号，以及至少两个所述样本脑电信号对应的运动想象类型；所述验证脑电信号是用于对所述脑电信号分类模型进行验证的样本脑电信号；至少两个所述脑电信号分类模型在所述第一训练样本集中分别对应的所述验证脑电信号不同；
49.模型训练模块，用于基于至少两个所述训练样本子集进行数据增广后获得的至少两个增广数据集，对至少两个所述训练样本子集分别对应的至少两个脑电信号分类模型进行训练，获得训练后的至少两个脑电信号分类模型；
50.其中，所述训练后的至少两个脑电信号分类模型，用于对输入的第一脑电信号进行数据处理，获得至少两个所述脑电信号分类模型分别输出的运动想象概率分布，并基于至少两个所述脑电信号分类模型分别输出的运动想象概率分布，确定所述第一脑电信号对应的运动想象类型。
51.在一种可能的实现方式中，所述训练样本子集获取模块，包括：
52.验证信号获取子模块，用于基于至少两个所述脑电信号分类模型，在所述第一训练样本集中的至少两个样本脑电信号中，确定与至少两个所述脑电信号分类模型分别对应的所述验证脑电信号；
53.训练样本子集获取子模块，用于基于与至少两个所述脑电信号分类模型分别对应的所述验证脑电信号，以及所述第一训练样本集，获取至少两个所述脑电信号分类模型分别对应的训练样本子集。
54.又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述的脑电信号分类方法。
55.又一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述脑电信号分类方法。
56.本技术实施例提供的技术方案带来的有益效果至少包括：
57.通过基于同一训练样本集的不同训练子集，进行数据增广后得到的数据增光集训练出多个脑电信号分类模型，并通过训练好的多个脑电信号分类模型对脑电信号进行处理，得到多个脑电信号分类模型输出的概率分布，并根据多个脑电信号分类模型输出的概率分布确定该脑电信号对应的运动想象类型。上述方案，在一个训练样本集中，取不同的样本子集，并进行数据增广后训练出至少两个脑电信号分类模型，并且用至少两个该脑电信号分类模型对脑电信号进行分类处理，以得到该脑电信号对应的运动想象类型，在训练样本较少的情况下，通过较少的样本量，通过划分为多个子集再进行数据增广的方式，提高了
训练样本较少情况下对模型的训练效果，并且在对脑电信号进行分类时，同时考虑了多个脑电信号分类模型的输出，提高了脑电信号分类的准确性。
附图说明
58.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
59.图1示出了本技术一个示例性实施例提供的计算机系统的示意图；
60.图2是根据一示例性实施例示出的一种脑电信号分类方法的流程示意图；
61.图3是根据一示例性实施例示出的一种脑电信号分类方法的流程示意图；
62.图4是根据一示例性实施例示出的一种脑电信号分类方法的方法流程图；
63.图5示出了图4所示实施例涉及的一种训练样本子集获取示意图；
64.图6示出了图4所示实施例涉及的脑电信号分类模型示意图；
65.图7示出了图4所示实施例涉及的通道注意力机制示意图；
66.图8示出了图4所示实施例涉及的运动想象概率分布合并示意图；
67.图9是根据一示例性实施例示出的一种脑电信号分类的流程框图；
68.图10是根据一示例性实施例示出的一种脑电信号分类装置的结构方框图；
69.图11是根据一示例性实施例示出的一种脑电信号分类装置的结构方框图；
70.图12是根据一示例性实施例示出的一种计算机设备的结构示意图。
具体实施方式
71.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
72.首先，对本技术实施例涉及的名词进行介绍。
73.1)人工智能(artificial intelligence，ai)
74.人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
75.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
76.2)机器学习(machine learning，ml)
77.机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
78.3)通道(channel)
79.在卷积神经网络中通道可以用于指示特征图(featuremap)，通道中某一点的强弱可以代表特征图在该点的数值大小，不同的通道用于指示不同维度的特征图，对于一个具有多个通道的特征图，其意义为该特征图具有多个维度的图像特征。卷积网络中主要有两个操作，一个卷积(convolution)，一个池化(pooling)。其中，池化层并不会对通道之间的交互有影响，只是在各个通道中进行操作；而卷积层则可以在通道与通道之间进行交互，之后再下一层生成新的通道。
80.本技术实施例提供的脑电信号分类方法可以应用于具有较强数据处理能力的计算机设备中。在一种可能的实现方式中，本技术是实施例提供的脑电信号分类方法可以应用于个人计算机、工作站或服务器中，即可以通过个人计算机、工作站或服务器进行脑电信号分类模型的训练。在一种可能的实现方式中，通过本技术实施例提供的脑电信号分类方法训练出的脑电信号分类模型可以应用于对脑电信号分类，即对获取到的人体运动想象时头部产生的脑电信号进行数据处理，得到脑电信号对应的运动想象类型。
81.请参考图1，其示出了本技术一个示例性实施例提供的计算机系统的示意图。该计算机系统200中包括终端110和服务器120，其中，终端110与服务器120之间通过通信网络进行数据通信，可选地，通信网络可以是有线网络也可以是无线网络，且该通信网络可以是局域网、城域网以及广域网中的至少一种。
82.终端110中安装有具有脑电信号处理功能的应用程序，该应用程序可以是虚拟现实应用程序、游戏应用程序、或者具有脑电信号处理功能的人工智能(artificial intelligence，ai)应用程序，本技术实施例对此不作限定。
83.可选的，计算机设备110可以是具有脑机接口的终端设备，该脑机接口可以通过电极获取目标对象头部的脑电信号；或者该计算机设备存在数据传输接口，该数据传输接口用于接收具有脑机接口的数据采集设备采集到的脑电信号。
84.可选的，计算机设备110可以是智能手机、平板电脑、膝上便携式笔记本电脑等移动终端，也可以是台式电脑、投影式电脑等终端，或是具有数据处理组件的智能终端，本技术实施例对此不做限定。
85.服务器120可以实现为一台服务器，也可以实现为一组服务器构成的服务器集群，其可以是物理服务器，也可以实现为云服务器。在一种可能的实施方式中，服务器120是计算机设备110中应用程序的后台服务器。
86.本实施例的一种可能实现方式中，服务器120通过预先设置的训练样本集(即样本脑电信号)对脑电信号分类模型进行训练，其中训练样本集中可以包含多种运动想象类型对应的样本脑电信号。当服务器120对该脑电信号分类模型的训练过程完成后，通过有线或无线连接，将该训练好的脑电信号分类模型发送至终端110中。终端110接收到该训练好的脑电信号分类模型，并将该脑电信号分类模型对应的数据信息输入具有脑电信号处理功能的应用程序中，以便用户使用该应用程序对脑电信号进行处理时，可以根据训练好的该脑电信号分类模型进行脑电信号的处理，以实现脑电信号分类方法的全部或部分步骤。
87.图2是根据一示例性实施例示出的一种脑电信号分类方法的流程示意图。该方法可以由计算机设备执行，其中，该计算机设备可以是上述图1所示的实施例中的终端120。如图2所示，该脑电信号分类方法的流程可以包括如下步骤：
88.步骤201，获取第一脑电信号。
89.在一种可能的实现方式中，该第一脑电信号是通过具有脑机接口的设备采集到的目标对象的脑电波信号，该脑机接口具有至少两个电极，在通过该脑机接口对该目标对象进行信号采集的过程中，该两个电极位于目标对象头部的不同区域，以便采集到该目标对象不同区域产生的脑电波信号。
90.步骤202，通过至少两个脑电信号分类模型分别对该第一脑电信号进行处理，获得至少两个该脑电信号分类模型分别输出的运动想象概率分布。
91.其中，该脑电信号分类模型是基于训练样本子集通过数据增广后得到的增广数据集，进行训练获得的机器学习模型；该训练样本子集包括第一训练样本集中，除了与该脑电信号分类模型对应的验证脑电信号之外的样本脑电信号；该第一训练样本集中包括至少两个该样本脑电信号，以及至少两个该样本脑电信号对应的运动想象类型；该验证脑电信号是用于对该脑电信号分类模型进行验证的样本脑电信号；至少两个该脑电信号分类模型在该第一训练样本集中分别对应的该验证脑电信号不同。
92.步骤203，基于至少两个该脑电信号分类模型分别输出的运动想象概率分布，确定该第一脑电信号对应的运动想象类型。
93.综上所述，本技术实施例所示方案，通过基于同一训练样本集的不同训练子集，进行数据增广后得到的数据增光集训练出多个脑电信号分类模型，并通过训练好的多个脑电信号分类模型对脑电信号进行处理，得到多个脑电信号分类模型输出的概率分布，并根据多个脑电信号分类模型输出的概率分布确定该脑电信号对应的运动想象类型。上述方案，在一个训练样本集中，取不同的样本子集，并进行数据增广后训练出至少两个脑电信号分类模型，并且用至少两个该脑电信号分类模型对脑电信号进行分类处理，以得到该脑电信号对应的运动想象类型，在训练样本较少的情况下，通过较少的样本量，通过划分为多个子集再进行数据增广的方式，提高了训练样本较少情况下对模型的训练效果，并且在对脑电信号进行分类时，同时考虑了多个脑电信号分类模型的输出，提高了脑电信号分类的准确性。
94.图3是根据一示例性实施例示出的一种脑电信号分类方法的流程示意图。该方法可以由计算机设备执行，其中，该计算机设备可以是上述图1所示的实施例中的服务器120。如图3所示，该脑电信号分类方法的流程可以包括如下步骤：
95.步骤301，获取第一训练样本集；该第一训练样本集中包括至少两个该样本脑电信号，以及至少两个该样本脑电信号对应的运动想象类型。
96.步骤302，基于该第一训练样本集，以及至少两个该脑电信号分类模型，获取至少两个该脑电信号分类模型分别对应的训练样本子集。
97.其中，该训练样本子集包括该第一训练样本集中，该训练样本子集包括第一训练样本集中，除与该脑电信号分类模型对应的验证脑电信号之外的样本脑电信号；至少两个该脑电信号分类模型在该第一训练样本集中分别对应的样本脑电信号不同；该第一训练样本集中包括至少两个该样本脑电信号，以及至少两个该样本脑电信号对应的运动想象类型；该验证脑电信号是用于对该脑电信号分类模型进行验证的样本脑电信号；至少两个该脑电信号分类模型在该第一训练样本集中分别对应的该验证脑电信号不同。
98.步骤303，基于至少两个该训练样本子集，对至少两个该训练样本子集分别对应的
至少两个脑电信号分类模型进行训练，获得训练后的至少两个脑电信号分类模型。
99.其中，所述训练后的至少两个脑电信号分类模型，用于对输入的第一脑电信号进行数据处理，获得至少两个所述脑电信号分类模型分别输出的运动想象概率分布，并基于至少两个所述脑电信号分类模型分别输出的运动想象概率分布，确定所述第一脑电信号对应的运动想象类型。
100.综上所述，本技术实施例所示方案通过基于同一训练样本集的不同训练子集，进行数据增广后得到的数据增光集训练出多个脑电信号分类模型，并通过训练好的多个脑电信号分类模型对脑电信号进行处理，得到多个脑电信号分类模型输出的概率分布，并根据多个脑电信号分类模型输出的概率分布确定该脑电信号对应的运动想象类型。上述方案，在一个训练样本集中，取不同的样本子集，并进行数据增广后训练出至少两个脑电信号分类模型，并且用至少两个该脑电信号分类模型对脑电信号进行分类处理，以得到该脑电信号对应的运动想象类型，在训练样本较少的情况下，通过较少的样本量，通过划分为多个子集再进行数据增广的方式，提高了训练样本较少情况下对模型的训练效果，并且在对脑电信号进行分类时，同时考虑了多个脑电信号分类模型的输出，提高了脑电信号分类的准确性。
101.图4是根据一示例性实施例示出的一种脑电信号分类方法的方法流程图。该方法可以由模型训练设备与信号处理设备共同执行，其中，该模型训练设备可以是上述图1所示的实施例中的服务器120，该信号处理设备可以是上述图1所示实施例中的终端120。如图4所示，该脑电信号分类方法的流程可以包括以下步骤：
102.步骤401，获取第一训练样本集。
103.其中，该第一训练样本集中包括至少两个该样本脑电信号，以及至少两个该样本脑电信号对应的运动想象类型。
104.在一种可能的实现方式中，该样本脑电信号中包括至少两个样本电极信号。
105.其中，至少两个该样本电极信号可以是通过具有脑机接口的终端设备通过脑机接口的电极获取的样本目标对象在运动想象时头部产生的脑电波信号。其中，该第一样本电极信号的个数与该脑机接口对应的电极数相同，即该脑机接口可以通过不同的电极获取同一个样本目标对象在运动想象时，头部的不同空间区域产生的脑电信号。
106.在一种可能的实现方式中，该脑机接口通过各个连接至样本目标对象的电极获取该样本目标对象的头部的不同区域产生的脑电信号，且各个连接至样本目标对象的电极通过传输线路将各个电极对应的脑电信号传输至脑机接口对应的终端设备中。
107.在一种可能的实现方式中，基于该脑机接口的各个电极，获取该样本目标对象在运动想象时头部产生的原始样本脑电信号；基于该原始样本脑电信号，通过带通滤波器进行滤波处理，获取该第一样本脑电信号。
108.由于通过脑机接口的电极获取的原始样本脑电信号中，存在较多的噪声干扰，因此需要先通过带通滤波器对原始样本脑电信号进行滤波，降低无关噪声对脑电信号的影响。
109.对每个原始样本脑电信号进行3
‑
38hz的带通滤波处理去除由眼动等无关生理噪声和工频干扰(即由电力系统引起的一种干扰，通常为50hz)对eeg信号带来的影响。
110.步骤402，基于该第一训练样本集，以及至少两个该脑电信号分类模型，获取至少
两个该脑电信号分类模型分别对应的训练样本子集。
111.其中，该训练样本子集包括第一训练样本集中，除与该脑电信号分类模型对应的验证脑电信号之外的样本脑电信号；至少两个该脑电信号分类模型在该第一训练样本集中分别对应的样本脑电信号不同；该第一训练样本集中包括至少两个该样本脑电信号，以及至少两个该样本脑电信号对应的运动想象类型；该验证脑电信号是至少两个该样本脑电信号中用于对该脑电信号分类模型进行验证的样本脑电信号；至少两个该脑电信号分类模型在该第一训练样本集中分别对应的该验证脑电信号不同。
112.在一种可能的实现方式中，响应于至少两个该训练样本子集中包含第一训练样本子集，获取该第一训练样本集；基于该第一训练样本集中，与该第一脑电信号分类模型对应的验证脑电信号之外的样本脑电信号，获取第一训练样本子集；其中，该第一训练样本集中，与各个该脑电信号分类模型对应的样本脑电信号不同。
113.在对各个脑电信号分类模型进行训练之前，可以在该第一训练样本集中选出该各个脑电信号分类模型对应的样本脑电信号，并将其分别作为该各个脑电信号分类模型对应的验证脑电信号，以便对训练后的脑电信号分类模型进行验证，判断该脑电信号分类模型是否训练完成。
114.且对于其中任意一个脑电信号分类模型，可以将该第一训练样本集中除了该脑电信号分类模型对应的验证脑电信号之外的样本脑电信号作为该脑电信号分类模型对应的训练样本，对该脑电信号分类模型进行训练。
115.在一种可能的实现方式中，该脑电信号分类模型对应的验证脑电信号可以是样本脑电信号中的其中一个；或者，该脑电信号分类模型对应的验证脑电信号可以是样本脑电信号中的多个，此时该脑电信号分类模型可以将该第一训练样本集中除了该多个验证脑电信号之外的样本脑电信号获取为该脑电信号分类模型的训练样本子集，并基于该训练样本子集进行训练，训练预定轮次后的脑电信号分类模型可以通过该多个验证脑电信号进行验证。
116.在一种可能的实现方式中，基于至少两个该脑电信号分类模型，在该第一训练样本集中的至少两个样本脑电信号中，确定与至少两个该脑电信号分类模型分别对应的该验证脑电信号；基于与至少两个该脑电信号分类模型分别对应的该验证脑电信号，以及该第一训练样本集，获取至少两个该脑电信号分类模型分别对应的训练样本子集。
117.在一种可能的实现方式中，响应于至少两个脑电信号分类模型中包含第一脑电信号分类模型，基于该第一脑电信号分类模型，在该第一训练样本集中的至少两个样本脑电信号中确定该第一脑电信号分类模型对应的验证脑电信号。
118.其中，第一训练样本子集是该第一训练样本集的各个子集中的其中一个，且该第一训练样本子集用于对该第一脑电信号分类模型进行训练，此时可以根据该第一脑电信号分类模型，确定该第一训练样本集中与该第一脑电信号分类模型对应的样本脑电信号，并将该第一训练样本集中，与该第一脑电信号分类模型对应的样本脑电信号之外的样本脑电信号，获取为第一训练样本子集，且由于该第一训练样本集中，与各个脑电信号分类模型对应的验证脑电信号不同，因此，可以通过分别将各个脑电信号分类模型对应的样本脑电信号之外的样本脑电信号，获取为各个脑电信号分类模型对应的训练样本子集，此时各个脑电信号分类模型对应的训练样本子集不同。
119.其中，在该第一训练样本集中，可以根据该各个脑电信号分类模型，分别确定各个脑电信号分类模型对应的验证样本脑电信号，并将第一训练样本集中除了该脑电信号分类模型对应的验证样本脑电信号之外的其他样本脑电信号确定为该脑电信号分类模型对应的训练样本子集，以便该脑电信号分类模型通过该训练样本子集训练后，可以通过该验证样本脑电信号进行验证。
120.图5示出了本技术实施例涉及的一种训练样本子集获取示意图。如图5所示，在第一训练样本集500中，第一样本脑电信号501、第二样本脑电信号502
…
第n
‑
1样本脑电信号503、第n样本脑电信号504，此时对于第一脑电信号分类模型，取第n样本脑电信号504为该第一脑电信号分类模型对应的验证脑电信号，此时可以将该第一样本脑电信号501、第二样本脑电信号502
…
第n
‑
1样本脑电信号503获取为该第一脑电信号分类模型对应的第一训练样本子集。此时对于第二脑电信号分类模型，取第n
‑
1样本脑电信号503为该第二脑电信号分类模型对应的验证脑电信号，此时可以将该第一样本脑电信号501、第二样本脑电信号502
…
第n
‑
2样本脑电信号以及第n样本脑电信号504获取为该第一脑电信号分类模型对应的第二训练样本子集，其他训练样本子集的获取方式均类似，此处不再赘述。
121.步骤403，基于至少两个该训练样本子集进行数据增广后获得的至少两个增广数据集，对至少两个该训练样本子集分别对应的至少两个脑电信号分类模型进行训练，获得训练后的至少两个脑电信号分类模型。
122.其中，该训练后的至少两个脑电信号分类模型，用于对输入的第一脑电信号进行数据处理，获得该第一脑电信号分别与至少两个该脑电信号分类模型对应的概率分布，并基于该第一脑电信号分别与至少两个该脑电信号分类模型对应的概率分布，确定该第一脑电信号对应的运动想象类型。
123.在通过至少两个训练样本子集对至少两个该脑电信号分类模型进行训练之前，还可以先通过数据增广，对至少两个该训练样本子集中的样本脑电信号进行扩充，增加该各个训练样本子集中所包含的样本数量，提高对脑电信号分类模型的训练效果。
124.在一种可能的实现方式中，获取该第一训练样本集；基于该第一训练样本集中，除该第一脑电信号分类模型对应的样本脑电信号之外的样本脑电信号，获取第一训练样本子集；该第一训练样本子集中包括第一样本脑电信号；基于该第一训练样本子集，进行数据增广，获得第一增广数据集；该第一增广数据集中包含该第一样本脑电信号、该第一样本脑电信号对应的第一增广信号以及该第一样本脑电信号对应的运动想象类型；基于该第一增广数据集，对该第一脑电信号分类模型进行训练。
125.当需要对至少两个该脑电信号分类模型中的第一脑电信号分类模型进行训练时，可以先根据该第一脑电信号分类模型，确定该第一脑电信号分类模型对应的训练样本子集，并根据该第一脑电信号分类模型对应的训练样本子集进行数据增广，获得第一增广数据集，其中该第一增广数据集中包含第一样本脑电信号、第一样本脑电信号对应的增广信号、以及该第一样本脑电信号对应的运动想象类型；此时可以将第一样本脑电信号作为样本、该第一样本脑电信号对应的运动想象类型作为标注对该第一脑电信号分类模型进行训练，也可以将该第一样本脑电信号对应的第一增广信号作为样本、该第一样本脑电信号对应的运动想象类型作为标注，对该第一脑电信号分类模型进行训练。
126.在一种可能的实现方式中，获取该第一训练样本子集对应的增广因子，该增广因
子用于指示该第一训练样本子集中样本的放缩比例；基于该第一训练样本子集对应的增广因子，对该第一样本脑电信号进行放缩，获取该第一样本脑电信号对应的第一增广信号；基于该第一样本脑电信号、该第一增广信号、该第一样本脑电信号对应的运动想象类型，获取该第一增广数据集。
127.在对该第一训练样本子集进行增广时，需要获取该第一训练样本子集对应的增广因子，并根据该增广因子，对该第一训练样本子集中的各个样本进行放缩，得到该第一训练样本子集中的各个样本脑电信号分别对应的增广数据，且样本脑电信号通过放缩得到的增广数据，该增广数据对应的运动想象类型，与该样本脑电信号对应的运动想象类型相同，此时该增广数据集中包含放缩前的样本脑电信号，通过放缩得到的增广数据，以及该样本脑电信号对应的运动想象类型。
128.在本技术实施例的一种可能的实现方式中，对该第一训练样本子集可以进行一次数据增广，获得该第一训练样本子集对应的增广数据集，此时该增广数据集中的样本数是该第一训练样本子集中的两倍；可以对该第一训练样本子集进行n次数据增广，获得该第一训练样本子集对应的增广数据集，此时该增广数据集中的样本数是该第一训练样本子集中的n倍。
129.本方案采用数据复制与缩放技术对脑电数据样本进行扩充，首先将用于训练的脑电数据样本进行复制，得到与原有训练数据一致的扩充数据集，记为dataset1；将训练数据集中的每个脑电样本乘上缩放因子α＝0.9，得到扩充数据集dataset2；将训练数据集中的每个脑电样本乘上缩放因子α＝1.1，得到扩充数据集dataset3；本方案采取alpha作为缩放因子，并将缩放因子设置为0.9和1.1，这里也可以选用其他数值的缩放因子。
130.在一种可能的实现方式中，该第一脑电信号分类模型包括第一通道注意力加权模块、第一时间卷积层、第一空间卷积层、第一激活层以及第一全连接层；基于该第一样本脑电信号，通过该第一通道注意力加权模块进行处理，获得第一样本加权特征图；基于该第一样本加权特征图，通过该第一时间卷积层进行处理，获得第一样本时间特征图；该第一时间卷积层用于提取脑电信号的时序特征；基于该第一样本时间特征图，通过该第一空间卷积层进行处理，获得第一样本空间特征图；该第一空间卷积层用于提取脑电信号对应对象头部的不同区域的空间特征；基于该第一样本空间特征图，通过该第一激活层进行数据处理，获得第一样本激活特征图；基于该第一样本激活特征图，通过该第一全连接层进行数据处理，获得该第一脑电信号分类模型输出的，第一样本脑电信号对应的概率分布；基于该第一样本脑电信号对应的概率分布以及该第一样本脑电信号对应的运动想象类型，对该第一脑电信号分类模型进行训练。
131.在一种可能的实现方式中，基于该第一样本激活特征图，通过该第一全连接层进行数据处理，获得该第一样本脑电信号对应的特征向量，基于该第一样本脑电信号对应的特征向量，获得该第一脑电信号分类模型输出的，第一样本脑电信号对应的概率分布。
132.通过该第一全连接层对该第一样本激活特征图进行数据处理后，该第一全连接层可以输出该第一样本脑电信号对应的特征向量，此时对该特征向量进行归一化处理，可以获得各个维度的值的和为一的归一化后的特征向量，此时该归一化后的特征向量的每个维度的值分别表示对应某一个运动想象类型的概率，因此该归一化后的特征向量的每个维度的值共同构成该第一样本脑电信号对应的概率分布。
133.请参考图6，其示出了本技术实施例涉及的脑电信号分类模型示意图。如图6所示，对于输入的第一样本脑电信号600，该第一样本脑电信号600中包含至少两个电极对应的样本电极信号，通过通道注意力加权模块601，可以获得该第一样本脑电信号的各个电极对应的通道权重，并根据各个电极对应的通道权重，对该各个电极对应的样本电极信号进行加权，获得加权后的第一样本加权特征图。该加权后的第一样本加权特征图，通过第一时间卷积层602进行处理，获得第一样本时间特征图，由图6中602部分可知，该第一时间卷积层的每个卷积核的排列方式是与该样本电极信号中信号的采集时序一致的，即通过该第一时间卷积层的卷积核对该样本电极信号进行特征提取时，可以将每个电极信号中，不同时间点的特征融合，获得包含各个电极信号的时间特征的第一样本时间特征图。当获取到该第一样本时间特征图后，再通过第一空间卷积层603对该第一样本时间特征图进行处理，由图6中603部分可知，该第一空间卷积层603的每个卷积核可以同时对多个电极信号进行特征提取，提取出的特征同时包含了多个电极信号的特征，且由于各个电极信号是基于目标对象的头部的不同空间区域采集到的，因此通过该第一空间卷积层603提取出的第一样本空间特征图中融合有各个电极信号的空间特征。当获取到该第一样本空间特征图后，可以再通过平方激活层604，对提取出的第一样本空间特征图中的每个元素进行平方操作，再通过池化层605以及对数激活层606后，获得第一样本激活特征图，此时该第一样本激活特征图通过全连接层607进行处理，获得该第一样本脑电信号对应的特征向量，并根据该特征向量获取该第一样本脑电信号对应的运动想象概率分布。
134.本方案根据输入eeg信号的时间特性、空间特性和频率特性，设计了基于通道注意力的脑电解码模型如图3，其基本模型参数如表1所示。该解码模型包括：通道注意力层、时间卷积层、空间卷积层、归一化层、平方激活层、平均池化层、对数激活层和全连接层。输入网络的信号尺寸为350
×
40(40为电极数，350为时间长度)。其中，第一层是通道注意力层channel attention，根据输入信号生成通道注意力图，其中注意力权值为1
×
40，通道注意力权值由一个隐藏节点为5的全连接层生成；第二层是时间卷积层temporal conv，其中卷积核大小25
×
1，步长stride均为1，卷积通道数为20；第三层是空间卷积层spatial conv，其中卷积核大小40
×
1，步长stride均为1，卷积通道数为20；第四层是归一化层batch normalization，用于加快模型收敛的速度；第五层是平方激活层，对特征图中的每个元素进行平方操作，增强非线性特征的表达能力；第六层是平均池化层(核大小为35
×
1，步长stride为15
×
1)，对特征图进行尺寸压缩，并通过log激活层对特征图进行非线性映射，随后连接丢弃层dropout，抑制过拟合，丢弃率设为0.5；最后一层是全连接层，用于对深度特征进行融合，其输出节点为2，对应脑电分类中的类别数。
135.图7示出了本技术实施例涉及的通道注意力机制示意图。如图7所示，针对一个通道为c，尺寸为w
×
h的特征图701，首先对每一个特征图进行均值池化得到c个特征图均值，该均值通过一层全连接层进行映射形成通道注意力值，全连接层的激活函数为sigmoid函数，最后将通道注意力值与对应的通道特征图进行相乘，形成通道注意力特征图702。
136.在本技术实施例中，该通道注意力机制可以应用于该第一样本脑电信号中对应的各个电极通道对，即将该第一样本脑电信号中的各个电极通道对应的图像特征，分别通过该第一通道注意力加权模块进行处理，获得该第一样本脑电信号中的各个电极通道对应的权重，并根据该各个电极通道对应的权重分别对该各个电极通道对应的该第一样本脑电信
号中的各个电极通道的图像特征值进行加权处理，获得加权后的加权特征图。
137.在一种可能的实现方式中，基于该第一样本脑电信号对应的概率分布以及该第一样本脑电信号对应的运动想象类型，获得该第一样本脑电信号对应的损失函数值，基于该第一样本脑电信号对应的损失函数值，对该第一脑电信号分类模型进行训练。
138.在一种可能的实现方式中，基于该第一样本脑电信号对应的概率分布以及该第一样本脑电信号对应的运动想象类型，获得该第一样本脑电信号对应的第一损失函数值；基于该第一样本脑电信号对应的特征向量，以及该运动想象类型对应的特征向量，获得该第一样本脑电信号对应的第二损失函数值，基于该第一损失函数值以及该第二损失函数值，获得该第一样本脑电信号对应的损失函数值。
139.其中，该第一损失函数值，是基于该第一样本脑电信号对应的概率分布以及该第一样本脑电信号对应的运动想象类型，获得的多分类交叉熵损失函数值；该第二损失函数值，是基于该第一样本脑电信号对应的特征向量，以及第一样本脑电信号对应的该运动想象类型对应的中心向量获取的中心损失函数值。
140.在一种可能的实现方式中，该第一样本脑电信号对应的运动想象类型对应的中心向量，是基于该运动想象类型对应的所有样本脑电信号对应的特征向量获得的。
141.在一种可能的实现方式中，获取第一样本脑电信号对应的运动想象类型对应的所有样本脑电信号的特征向量，将所述第一样本脑电信号对应的运动想象类型对应的所有样本脑电信号的特征向量平均化处理，获得该第一样本脑电信号对应的运动想象类型对应的中心向量。
142.本技术方案包括三部分损失函数：分类器损失函数(即用于获取第一损失函数值)、center loss损失函数(即用于获取第二损失函数值)。
143.分类器损失函数如下所示：
144.l(θ
f
)＝e
(x，y)～d l(p，y)
145.其中，p和y分别是训练数据的预测概率和真实标签，l表示交叉熵损失函数，θ
f
表示整体网络参数，e
(x，y)～d
是训练数据对应的期望。
146.为了提升模型所提取的特征具有较强的可分性，本技术根据展平后的特征及其对应类别计算出中心损失，centerloss损失函数如下所示：
[0147][0148]
其中，x
i
和分别是展平后的特征和对应类别的特征中心。
[0149]
本技术方案的整体损失函数为：
[0150]
l
total
(θ
f
)＝l αl
c
[0151]
其中，α为平衡分类损失l和center loss损失l
c
的超参数。
[0152]
本技术实施例可以采用基于adam的梯度下降法求解神经网络模型的参数，采用xavier来初始化模型参数。在求解过程中，把每个被试的eeg信号及相应标签送进网络中学习，并通过误差反向传播完成模型优化。
[0153]
在一种可能的实现方式中，响应于至少两个该脑电信号分类模型包括第一脑电信号分类模型，且该第一脑电信号分类模型训练了指定轮次后，通过该第一脑电信号分类模
型对应的验证脑电信号对该第一脑电信号分类模型进行验证，获得该第一脑电信号分类模型对应的准确度，响应于所述第一脑电信号分类模型的准确度大于准确度阈值，将所述第一脑电信号分类模型确定为训练后的第一脑电信号分类模型。
[0154]
在一种可能的实现方式中，将该验证脑电信号输入该第一脑电信号分类模型，获得该验证脑电信号对应的概率分布；基于该验证脑电信号对应的概率分布，以及该验证脑电信号对应的运动想象类型，确定该第一脑电信号分类模型对应的准确度。
[0155]
其中，该验证脑电信号的准确度可以是该验证脑电信号对应的概率分布中，与该验证脑电信号对应的运动想象类型对应的概率值。当该验证脑电信号对应的概率分布中，该验证脑电信号对应的运动想象类型对应的概率值越高，则说明该第一脑电信号分类模型对该验证脑电信号的类型预测越准确，当该概率值(准确度)大于准确度阈值时，则可以认为该第一脑电信号分类模型已经训练成功。
[0156]
在一种可能的实现方式中，响应于该第一脑电信号分类模型的准确度小于准确度阈值，基于该第一脑电信号分类模型对应的训练样本子集，对该第一脑电信号分类模型进行再训练，当再训练指定轮次后，再通过该第一脑电信号分类模型对应的验证脑电信号对该第一脑电信号分类模型进行验证。
[0157]
步骤404，获取第一脑电信号。
[0158]
在一种可能的实现方式中，该第一脑电信号中包括至少两个电极信号。
[0159]
其中至少两个该第一脑电信号可以是通过具有脑机接口的终端设备通过脑机接口的电极获取的目标对象在运动想象时头部产生的脑电波信号。其中，该电极信号的个数与该脑机接口对应的电极数相同，即该脑机接口可以通过不同的电极获取同一个目标对象在运动想象时，头部的不同空间区域产生的脑电信号。
[0160]
在一种可能的实现方式中，该脑机接口通过各个连接至目标对象的电极获取该样本目标对象的头部的不同区域产生的脑电信号，且各个连接至目标对象的电极通过传输线路将各个电极对应的脑电信号传输至脑机接口对应的终端设备中。
[0161]
在一种可能的实现方式中，基于该脑机接口的各个电极，获取该目标对象在运动想象时头部产生的原始脑电信号；基于该原始脑电信号，通过带通滤波器进行滤波处理，获取该第一脑电信号。
[0162]
由于通过脑机接口的电极获取的原始脑电信号中，存在较多的噪声干扰，因此需要先通过带通滤波器对原始脑电信号进行滤波，降低无关噪声对脑电信号的影响。
[0163]
对每个原始脑电信号进行3
‑
38hz的带通滤波处理去除由眼动等无关生理噪声和工频干扰(即由电力系统引起的一种干扰，通常为50hz)对eeg信号带来的影响。
[0164]
步骤405，通过至少两个脑电信号分类模型分别对该第一脑电信号进行处理，获得至少两个该脑电信号分类模型分别输出的运动想象概率分布。
[0165]
其中，至少两个该脑电信号分类模型输出的运动想象概率分布，是该第一脑电信号分别输入至少两个该脑电信号分类模型后，至少两个该脑电信号分类模型分别输出的运动想象概率分布，即至少两个该脑电信号分类模型分别输出的概率分布用于指示通过至少两个该脑电信号分类模型对该第一脑电信号进行判断后的至少两个脑电信号分类模型分别对应的运动想象的分类结果。
[0166]
在一种可能的实现方式中，响应于至少两个该脑电信号分类模型包含第一脑电信
号分类模型，该第一脑电信号分类模型包括第一通道注意力加权模块、第一时间卷积层、第一空间卷积层、第一激活层以及第一全连接层，基于该第一脑电信号，通过该第一通道注意力加权模块进行处理，获得第一加权特征图；基于该第一加权特征图，通过该第一时间卷积层进行处理，获得第一时间特征图；该第一时间卷积层用于提取脑电信号的时序特征；基于该第一时间特征图，通过该第一空间卷积层进行处理，获得第一空间特征图；该第一空间卷积层用于提取脑电信号对应的对象头部的不同区域的空间特征；基于该第一空间特征图，通过该第一激活层进行数据处理，获得第一激活特征图；基于该第一激活特征图，通过该第一全连接层进行数据处理，获得该第一脑电信号分类模型输出的，第一脑电信号对应的概率分布。
[0167]
在一种可能的实现方式中，基于该第一激活特征图，通过该第一全连接层进行数据处理，获得该第一脑电信号对应的特征向量，基于该第一脑电信号对应的特征向量，获得该第一脑电信号对应的概率分布。
[0168]
通过该第一全连接层对该第一激活特征图进行数据处理后，该第一全连接层可以输出该第一脑电信号对应的特征向量，此时对该特征向量进行归一化处理，可以获得各个维度的值的和为一的归一化后的特征向量，此时该归一化后的特征向量的每个维度的值分别表示对应某一个运动想象类型的概率，因此该归一化后的特征向量的每个维度的值共同构成该第一脑电信号对应的概率分布。
[0169]
步骤406，基于至少两个该脑电信号分类模型分别输出的运动想象概率分布，确定该第一脑电信号对应的运动想象类型。
[0170]
在一种可能的实现方式中，基于至少两个该脑电信号分类模型分别输出的运动想象概率分布，获取该第一脑电信号对应的运动想象概率分布；该第一脑电信号对应的运动想象概率分布中包含与各个运动想象类型对应的概率值；基于该第一脑电信号对应的运动想象概率分布，确定该第一脑电信号对应的运动想象类型。
[0171]
其中，该第一脑电信号对应的运动想象概率分布中包含与各个运动想象类型对应的概率值，该与各个运动想象类型对应的概率值用于指示该第一脑电信号分别对应该各个运动想象类型的概率。
[0172]
在一种可能的实现方式中，将该第一脑电信号对应的运动想象概率分布中，最大的概率值，确定为该第一脑电信号对应的运动想象类型。
[0173]
在一种可能的实现方式中，响应于该第一脑电信号对应的运动想象概率分布中，最大的概率值大于概率阈值，将该最大的概率值对应的运动想象类型确定为该第一脑电信号对应的运动想象类型。
[0174]
例如，当该第一脑电信号对应的运动想象概率分布中，最大的概率值为0.4时，此时概率阈值为0.5，最大的概率值小于概率阈值，此时该第一脑电信号对应的运动想象概率分布中，不存在大于该概率阈值的概率值，因此可以将该第一脑点信号对应的运动想象类型确定为无法识别；当该第一脑电信号对应的运动想象概率分布中，最大的概率值为0.7时，此时概率阈值为0.5，此时将该最大的概率值0.7对应的运动想象类型确定为该第一脑电信号对应的运动想象类型。
[0175]
在一种可能的实现方式中，将至少两个该脑电信号分类模型分别输出的运动想象概率分布，基于该运动想象类型进行合并，获得该运动想象概率分布。
[0176]
在一种可能的实现方式中，该脑电信号分类模型输出的运动想象概率分布中包含与各个运动想象类型对应的概率值，将至少两个该脑电信号分类模型分别输出的运动想象概率分布中的各个运动想象类型对应的概率值，基于该运动想象类型进行加权求和，获得该第一脑电信号与各个运动想象类型对应的运动概率值；基于该第一脑电信号与各个运动想象类型对应的运动概率值，获取该运动想象概率分布。
[0177]
在一种可能的实现方式中，获取该各个脑电信号分类模型对应的准确度；将至少两个该脑电信号分类模型分别输出的运动想象概率分布中的各个运动想象类型对应的概率值，基于各个脑电信号分类模型对应的准确度以及该运动想象类型进行加权求和，获得该第一脑电信号与各个运动想象类型对应的运动概率值。
[0178]
其中，该各个脑电信号分类模型对应的准确度用于指示加权求和过程中，各个脑电信号分类模型输出的运动想象概率分布中的各个运动想象类型的概率值所占的权重。
[0179]
在一种可能的实现方式中，基于各个该脑电信号分类模型对应的验证脑电信号，对各个该脑电信号分类模型进行验证，确定各个该脑电信号分类模型对应的准确度。即各个该脑电信号分类模型，在通过验证脑电信号进行验证时，准确度越高的脑电信号分类模型，其训练效果通常更好，因此该准确度高的脑电信号分类米模型输出的概率分布越可信，在加权求和过程中可以具有更大的权重占比。
[0180]
在一种可能的实现方式中，将至少两个所述脑电信号分类模型分别输出的运动想象概率分布中的各个运动想象类型对应的概率值，基于该运动想象类型进行平均，获得该第一脑电信号与各个运动想象类型对应的运动概率值。
[0181]
请参考图8，其示出了本技术涉及的运动想象概率分布合并示意图。如图8所示，以该脑电信号分类模型包括第一脑电信号分类模型以及第二脑电信号分类模型为例，该第一运动想象概率分布801是该第一脑电信号分类模型基于第一脑电信号输出的概率分布，该第二运动想象概率分布802是第二脑电信号分类模型基于该第一脑电信号输出的概率分布。此时该第一运动想象概率分布801中(0.1,0.3,0.5,0.1)分别指示第一脑电信号对应(a,b,c,d)四种类型的运动想象类型的概率；该第二运动想象概率分布802中的(0.2,0.3,0.3,0.2)分别指示第一脑电信号对应(a,b,c,d)四种类型的运动想象类型的概率；此时可以将第一运动想象概率分布801与第二运动想象概率分布802中对应相同类型的概率平均化处理，获得第一脑电信号对应的运动想象概率分布803。
[0182]
在一种可能的实现方式中，将至少两个该脑电信号分类模型分别输出的运动想象概率分布，最大的概率值对应的运动想象类型，确定为该第一脑电信号对应的运动想象类型。
[0183]
当获取到至少两个该脑电信号分类模型分别输出的运动想象概率分布后，可以将至少两个该脑电信号分类模型分别输出的运动想象概率分布包含的所有概率值中，最大的概率值对应的运动想象类型，确定为该第一脑电信号对应的运动想象类型。
[0184]
即当使用优化完毕的n个脑电信号分类模型对新的eeg数据样本进行分类时，先将样本输入各个子模型进行预测，得到n个预测概率；当将n个预测概率进行叠加平均后得到最终的预测概率并进行分类时，该集成方式称为“平均集成”；当将n个预测概率中最大的概率所对应的类别作为最终的分类类别时，该集成方式称为“最大集成”。在实际应用中，这两种集成方式的选择根据具体的被试信号进行确定。
[0185]
综上所述，本技术实施例所示方案中，通过基于同一训练样本集的不同训练子集，进行数据增广后得到的数据增光集训练出多个脑电信号分类模型，并通过训练好的多个脑电信号分类模型对脑电信号进行处理，得到多个脑电信号分类模型输出的概率分布，并根据多个脑电信号分类模型输出的概率分布确定该脑电信号对应的运动想象类型。上述方案，在一个训练样本集中，取不同的样本子集，并进行数据增广后训练出至少两个脑电信号分类模型，并且用至少两个该脑电信号分类模型对脑电信号进行分类处理，以得到该脑电信号对应的运动想象类型，在训练样本较少的情况下，通过较少的样本量，通过划分为多个子集再进行数据增广的方式，提高了训练样本较少情况下对模型的训练效果，并且在对脑电信号进行分类时，同时考虑了多个脑电信号分类模型的输出，提高了脑电信号分类的准确性。
[0186]
图9是根据一示例性实施例示出的一种脑电信号分类的流程框图。在本技术实施例中，该脑电信号分类包括模型训练过程以及模型应用过程，该模型训练以及模型应用过程可以由模型训练设备900以及模型应用设备(即信号处理设备)910共同执行，如图9所示，该模型训练以及模型应用过程如下所示：
[0187]
在模型训练设备900中，模型训练设备获取用于训练各个脑电信号分类模型的第一训练样本集901，其中，该第一训练样本集901中包含n个用于训练的样本脑电信号，以及该n个样本脑电信号对应的运动想象类型。
[0188]
在模型训练设备训练出各个脑电信号分类模型之前，需要确定各个脑电信号分类模型对应的训练集。以第一脑电信号分类模型的训练过程为例，当模型训练设备需要对该第一脑电信号分类模型进行训练时，可以先在该第一训练样本集901中的各个样本脑电信号中选取出该第一脑电信号分类模型对应的验证脑电信号，以便训练后用该验证脑电信号对该第一脑电信号分类模型进行验证。
[0189]
该第一脑电信号分类模型对应的训练集(即第一数据子集)可以是基于该第一脑电信号分类模型对应的验证脑电信号之外的所有样本脑电信号构建的，以该第一脑电信号分类模型对应的验证脑电信号为第n样本脑电信号为例，该第一数据子集中具有该第一训练样本集中除了该第n样本脑电信号之外的所有样本脑电信号，以及各个样本脑电信号对应的运动想象类型。
[0190]
由于运动想象类型的样本数据通常较少，因此需要通过数据增广，提高模型训练的样本数量，即可以对各个脑电信号分类模型对应的训练集进行数据增广处理，获得该各个脑电信号分类模型对应的训练集的增广数据集，并分别通过该各个脑电信号分类模型对应的数据集的增广数据集对该各个脑电信号分类模型进行训练，得到训练后的各个脑电信号分类模型。
[0191]
在各个脑电信号分类模型训练完预定轮次之后，模型训练设备900可以通过该各个脑电信号分类模型对应的验证脑电信号对各个脑电信号分类模型进行验证，并将通过验证的脑电信号分类模型发送至模型应用设备，以实现对脑电信号的分类处理。
[0192]
在模型应用设备910中，对于获取的第一脑电信号911，分别输入各个脑电信号分类模型(例如第一脑电信号分类模型、第二脑电信号分类模型
…
第n脑电信号分类模型)，分别获得该各个脑电信号分类模型输出的概率分布，并根据该各个脑电信号分类模型输出的概率分布，通过上述平均集成或者最大集成的方式，获取该第一脑电信号对应的运动想象
类型912。
[0193]
图10是根据一示例性实施例示出的一种脑电信号分类装置的结构方框图。该脑电信号分类装置可以实现由图2或图4所示实施例提供的方法中的全部或部分步骤，该脑电信号分类装置包括：
[0194]
脑电信号获取模块1001，用于获取第一脑电信号；
[0195]
概率分布获取模块1002，用于通过至少两个脑电信号分类模型分别对所述第一脑电信号进行处理，获得至少两个所述脑电信号分类模型分别输出的运动想象概率分布；所述脑电信号分类模型是基于训练样本子集通过数据增广后得到的增广数据集，进行训练获得的机器学习模型；所述训练样本子集包括第一训练样本集中，除了与所述脑电信号分类模型对应的验证脑电信号之外的样本脑电信号；所述第一训练样本集中包括至少两个所述样本脑电信号，以及至少两个所述样本脑电信号对应的运动想象类型；所述验证脑电信号是用于对所述脑电信号分类模型进行验证的样本脑电信号；至少两个所述脑电信号分类模型在所述第一训练样本集中分别对应的所述验证脑电信号不同；
[0196]
运动想象类型获取模块1003，用于基于至少两个所述脑电信号分类模型分别输出的运动想象概率分布，确定所述第一脑电信号对应的运动想象类型。
[0197]
在一种可能的实现方式中，所述运动想象类型获取模块1003，包括：
[0198]
脑电概率分布获取子模块，用于基于至少两个所述脑电信号分类模型分别输出的运动想象概率分布，获取所述第一脑电信号对应的运动想象概率分布；所述第一脑电信号对应的概率分布中包含与各个运动想象类型对应的概率值；
[0199]
运动想象类型获取子模块，用于基于所述第一脑电信号对应的运动想象概率分布，确定所述第一脑电信号对应的运动想象类型。
[0200]
在一种可能的实现方式中，所述脑电概率分布获取子模块，还用于，
[0201]
将至少两个所述脑电信号分类模型分别输出的运动想象概率分布，基于所述运动想象类型进行合并，获得所述第一脑电信号对应的运动想象概率分布。
[0202]
在一种可能的实现方式中，所述脑电信号分类模型输出的运动想象概率分布中包含与各个运动想象类型对应的概率值；
[0203]
所述脑电概率分布获取子模块，还用于，
[0204]
将至少两个所述脑电信号分类模型分别输出的运动想象概率分布，基于所述运动想象类型进行加权求和，获得所述第一脑电信号对应的运动想象概率分布。
[0205]
在一种可能的实现方式中，所述运动想象类型获取模块1003，还用于，
[0206]
将至少两个所述脑电信号分类模型分别输出的运动想象概率分布中，最大的概率值对应的运动想象类型，确定为所述第一脑电信号对应的运动想象类型。
[0207]
在一种可能的实现方式中，响应于至少两个所述脑电信号分类模型包含第一脑电信号分类模型，所述第一脑电信号分类模型包括第一通道注意力加权模块、第一时间卷积层、第一空间卷积层、第一激活层以及第一全连接层；
[0208]
所述概率分布获取模块1002，包括：
[0209]
第一加权子模块，用于基于所述第一脑电信号，通过所述第一通道注意力加权模块进行处理，获得第一加权特征图；
[0210]
第一时间提取子模块，用于基于所述第一加权特征图，通过所述第一时间卷积层
进行处理，获得第一时间特征图；所述第一时间卷积层用于提取脑电信号的时序特征；
[0211]
第一空间提取子模块，用于基于所述第一时间特征图，通过所述第一空间卷积层进行处理，获得第一空间特征图；所述第一空间卷积层用于提取脑电信号对应的对象头部的不同区域的空间特征；
[0212]
第一激活子模块，用于基于所述第一空间特征图，通过所述第一激活层进行数据处理，获得第一激活特征图；
[0213]
第一概率分布获取子模块，用于基于所述第一激活特征图，通过所述第一全连接层进行数据处理，获得所述第一脑电信号分类模型输出的，第一脑电信号对应的运动想象概率分布。
[0214]
在一种可能的实现方式中，所述装置还包括：
[0215]
第一样本集获取模块，用于获取所述第一训练样本集；
[0216]
第一样本子集获取模块，用于基于所述第一训练样本集中，除了所述第一脑电信号分类模型对应的验证脑电信号之外的样本脑电信号，获取第一训练样本子集；所述第一训练样本子集中包括第一样本脑电信号；
[0217]
数据增广模块，用于基于所述第一训练样本子集，进行数据增广，获得第一增广数据集；所述第一增广数据集中包含所述第一样本脑电信号、所述第一样本脑电信号对应的第一增广信号以及所述第一样本脑电信号对应的运动想象类型；
[0218]
第一训练模块，用于基于所述第一增广数据集，对所述第一脑电信号分类模型进行训练。
[0219]
在一种可能的实现方式中，所述数据增广模块，包括：
[0220]
增广因子获取子模块，用于获取所述第一训练样本子集对应的增广因子，所述增广因子用于指示所述第一训练样本子集中样本的放缩比例；
[0221]
数据增广子模块，用于基于所述第一训练样本子集对应的增广因子，对所述第一样本脑电信号进行放缩，获取所述第一样本脑电信号对应的第一增广信号。
[0222]
在一种可能的实现方式中，所述装置还包括：
[0223]
验证信号获取模块，用于基于所述第一脑电信号分类模型，在所述第一训练样本集中的至少两个样本脑电信号中确定所述第一脑电信号分类模型对应的验证脑电信号。
[0224]
综上所述，本技术实施例所示方案中，通过基于同一训练样本集的不同训练子集，进行数据增广后得到的数据增光集训练出多个脑电信号分类模型，并通过训练好的多个脑电信号分类模型对脑电信号进行处理，得到多个脑电信号分类模型输出的概率分布，并根据多个脑电信号分类模型输出的概率分布确定该脑电信号对应的运动想象类型。上述方案，在一个训练样本集中，取不同的样本子集，并进行数据增广后训练出至少两个脑电信号分类模型，并且用至少两个该脑电信号分类模型对脑电信号进行分类处理，以得到该脑电信号对应的运动想象类型，在训练样本较少的情况下，通过较少的样本量，通过划分为多个子集再进行数据增广的方式，提高了训练样本较少情况下对模型的训练效果，并且在对脑电信号进行分类时，同时考虑了多个脑电信号分类模型的输出，提高了脑电信号分类的准确性。
[0225]
图11是根据一示例性实施例示出的一种脑电信号分类装置的结构方框图。该脑电信号分类装置可以实现由图3或图4所示实施例提供的方法中的全部或部分步骤，该脑电信
号分类装置包括：
[0226]
训练子集获取模块1101，用于获取第一训练样本集；所述第一训练样本集中包括至少两个所述样本脑电信号，以及至少两个所述样本脑电信号对应的运动想象类型；
[0227]
训练样本子集获取模块1102，用于基于所述第一训练样本集，以及至少两个所述脑电信号分类模型，获取至少两个所述脑电信号分类模型分别对应的训练样本子集；所述训练样本子集包括所述第一训练样本集中，所述训练样本子集包括第一训练样本集中，除了与所述脑电信号分类模型对应的验证脑电信号之外的样本脑电信号；至少两个所述脑电信号分类模型在所述第一训练样本集中分别对应的样本脑电信号不同；所述第一训练样本集中包括至少两个所述样本脑电信号，以及至少两个所述样本脑电信号对应的运动想象类型；所述验证脑电信号是用于对所述脑电信号分类模型进行验证的样本脑电信号；至少两个所述脑电信号分类模型在所述第一训练样本集中分别对应的所述验证脑电信号不同；
[0228]
模型训练模块1103，用于基于至少两个所述训练样本子集进行数据增广后获得的至少两个增广数据集，对至少两个所述训练样本子集分别对应的至少两个脑电信号分类模型进行训练，获得训练后的至少两个脑电信号分类模型；
[0229]
其中，所述训练后的至少两个脑电信号分类模型，用于对输入的第一脑电信号进行数据处理，获得至少两个所述脑电信号分类模型分别输出的运动想象概率分布，并基于至少两个所述脑电信号分类模型分别输出的运动想象概率分布，确定所述第一脑电信号对应的运动想象类型。
[0230]
在一种可能的实现方式中，所述训练样本子集获取模块1102，包括：
[0231]
验证信号获取子模块，用于基于至少两个所述脑电信号分类模型，在所述第一训练样本集中的至少两个样本脑电信号中，确定与至少两个所述脑电信号分类模型分别对应的所述验证脑电信号；
[0232]
训练样本子集获取子模块1102，用于基于与至少两个所述脑电信号分类模型分别对应的所述验证脑电信号，以及所述第一训练样本集，获取至少两个所述脑电信号分类模型分别对应的训练样本子集。
[0233]
综上所述，本技术实施例所示方案中，通过基于同一训练样本集的不同训练子集，进行数据增广后得到的数据增光集训练出多个脑电信号分类模型，并通过训练好的多个脑电信号分类模型对脑电信号进行处理，得到多个脑电信号分类模型输出的概率分布，并根据多个脑电信号分类模型输出的概率分布确定该脑电信号对应的运动想象类型。上述方案，在一个训练样本集中，取不同的样本子集，并进行数据增广后训练出至少两个脑电信号分类模型，并且用至少两个该脑电信号分类模型对脑电信号进行分类处理，以得到该脑电信号对应的运动想象类型，在训练样本较少的情况下，通过较少的样本量，通过划分为多个子集再进行数据增广的方式，提高了训练样本较少情况下对模型的训练效果，并且在对脑电信号进行分类时，同时考虑了多个脑电信号分类模型的输出，提高了脑电信号分类的准确性。
[0234]
图12是根据一示例性实施例示出的一种计算机设备的结构示意图。该计算机设备可以实现为上述各个方法实施例中的模型训练设备和/或信号处理设备。所述计算机设备1200包括中央处理单元(cpu，central processing unit)1201、包括随机存取存储器(random access memory，ram)1202和只读存储器(read
‑
only memory，rom)1203的系统存
储器1204，以及连接系统存储器1204和中央处理单元1201的系统总线1205。所述计算机设备1200还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统1206，和用于存储操作系统1213、应用程序1214和其他程序模块1215的大容量存储设备1207。
[0235]
所述大容量存储设备1207通过连接到系统总线1205的大容量存储控制器(未示出)连接到中央处理单元1201。所述大容量存储设备1207及其相关联的计算机可读介质为计算机设备1200提供非易失性存储。也就是说，所述大容量存储设备1207可以包括诸如硬盘或者光盘只读存储器(compact disc read
‑
only memory，cd
‑
rom)驱动器之类的计算机可读介质(未示出)。
[0236]
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括ram、rom、闪存或其他固态存储其技术，cd
‑
rom、或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1204和大容量存储设备1207可以统称为存储器。
[0237]
计算机设备1200可以通过连接在所述系统总线1205上的网络接口单元1211连接到互联网或者其它网络设备。
[0238]
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，中央处理器1201通过执行该一个或一个以上程序来实现图2、图3或图4所示的方法的全部或者部分步骤。
[0239]
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括计算机程序(指令)的存储器，上述程序(指令)可由计算机设备的处理器执行以完成本技术各个实施例所示的方法。例如，所述非临时性计算机可读存储介质可以是只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、只读光盘(compact disc read
‑
only memory，cd
‑
rom)、磁带、软盘和光数据存储设备等。
[0240]
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例所示的方法。
[0241]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由权利要求指出。
[0242]
应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。