一种脑电深度神经网络的模型压缩方法

1.本发明属于人工智能技术领域，具体涉及一种脑电深度神经网络的模型压缩方法。


背景技术：

2.作为人体控制中枢，大脑活动的解密被认为是当前最具挑战的科学问题之一。通过解读eeg(electroencephalogram，脑电)信号，脑机接口系统可以使大脑与机器直接沟通，并实现大脑对机器的控制，因此近年来得到了广泛的研究。现有脑机接口系统通常需计算人工设计的eeg信号特征，然而，eeg信号具有高度的复杂性与瞬时性，人工特征复杂易错具有一定的局限性。基于深度神经网络自学习的脑机接口系统一定程度上可避免此问题。但是，由于脑机接口广泛的应用场景与部署范式，对每种应用仍需设计特定的神经网络结构。
3.2018年在神经工程期刊(journal of neural engineering)的论文《eegnet:a compact convolutional network for eeg-based brain-computer interfaces》中，研究者提出了一种通用的紧凑型脑电深度神经网络模型eegnet，在减少网络参数的同时提高了深度神经网络模型在不同脑机接口应用上的通用性，并在事件相关电位分类、运动想象信号识别等多种脑机接口部署范式上验证得到了较高的性能。
4.然而，该方法需使用较多通道的脑电信号完成准确分类，最终的全连接分类层仍需大量乘加计算，导致整体模型在部署时仍然比较消耗资源。


技术实现要素：

5.为了解决现有技术中存在的上述问题，本发明提供了一种脑电深度神经网络的模型压缩方法。本发明要解决的技术问题通过以下技术方案实现：
6.本发明提供一种脑电深度神经网络的模型压缩方法，包括：
7.利用多电极通道的脑电信号数据对待训练神经网络进行训练，得到第一神经网络模型；
8.根据所述第一神经网络模型，选取至少一个目标电极通道；
9.利用所述目标电极通道的脑电信号数据对所述待训练神经网络模型进行训练，得到第二神经网络模型；
10.当所述第二神经网络模型的分类精度与所述第一神经网络模型的分类精度之差小于等于第一预设值时，利用预设的训练数据集生成所述第二神经网络模型中全连接层的输入向量；
11.将各输入向量划分为多段子向量后，根据所述子向量及所述第二神经网络模型建立查找表，并生成各子向量对应的二叉树；
12.利用预设的测试数据集，确定所述第一神经网络模型中全连接层的第一分类精度后，针对每个测试输入，基于所述二叉树和查找表确定所述第二神经网络模型中全连接层
的输出结果，并确定所述第二神经网络模型中全连接层的第二分类精度；
13.当第一分类精度与第二分类精度的差值小于等于第二预设值时，将所述第二神经网络模型确定为压缩后的神经网络模型。
14.在本发明的一个实施例中，所述根据所述第一神经网络模型，选取至少一个目标电极通道的步骤，包括：
15.计算所述第一神经网络模型中，纵深式卷积层对应各电极通道权重的分值，并将所述分值按照由高至低的方式进行排序；
16.选取分值最高的预设数量个电极通道作为目标电极通道。
17.在本发明的一个实施例中，当所述第二神经网络模型的分类精度与所述第一神经网络模型的分类精度之差小于等于第一预设值时，利用预设的训练数据集生成所述第二神经网络模型中全连接层的输入向量的步骤之前，还包括：
18.检测第二神经网络模型的分类精度与第一神经网络模型的分类精度之差是否小于等于第一预设值；
19.若否，则返回所述选取分值最高的预设数量个电极通道作为目标电极通道的步骤；
20.若是，则执行所述利用预设的训练数据集生成所述第二神经网络模型中全连接层的输入向量的步骤。
21.在本发明的一个实施例中，所述将各输入向量划分为多段子向量后，根据所述子向量及所述第二神经网络模型建立查找表，并生成各子向量对应的二叉树的步骤，包括：
22.将各输入向量均分为n段子向量；
23.对每个所述子向量进行聚类，生成n
×
k个质心；
24.计算所述质心与其在第二神经网络模型中对应的全连接层权重的乘积，并将所述乘积存入查找表；
25.针对各子向量，生成包含k个子叶的二叉树。
26.在本发明的一个实施例中，所述利用预设的测试数据集，确定所述第一神经网络模型中全连接层的第一分类精度后，针对每个测试输入，基于所述二叉树和查找表确定所述第二神经网络模型中全连接层的输出结果，并确定所述第二神经网络模型中全连接层的第二分类精度的步骤，包括：
27.获取预设的测试数据集；
28.将每个测试输入输入至所述第一神经网络模型中的全连接层，根据输出结果，确定所述第一神经网络模型中全连接层的第一分类精度；
29.针对每个所述测试输入，根据所述二叉树和所述查找表查询得到n个中间结果，将所述n个中间结果累加后，根据累加结果确定所述第二神经网络模型中全连接层的第二分类精度。
30.在本发明的一个实施例中，所述当第一分类精度与第二分类精度的差值小于等于第二预设值时，将所述第二神经网络模型确定为压缩后的神经网络模型的步骤之前，还包括：
31.检测所述第一分类精度与所述第二分类精度之间的差值是否小于等于第二预设值；
32.若否，则在更新n、k的取值后，执行所述将各输入向量均分为n段子向量的步骤；
33.若是，则执行所述将所述第二神经网络模型确定为压缩后的神经网络模型的步骤。
34.在本发明的一个实施例中，所述待训练神经网络为脑电深度神经网络eegnet。
35.与现有技术相比，本发明的有益效果在于
36.本发明提供的脑电深度神经网络的模型压缩方法利用eegnet的纵深式卷积层权重进行脑电信号目标电极通道的选择，并基于二叉树与k-mean聚类的乘积量化方法完成第二神经网络模型中全连接层的近似计算，从而大幅度降低了eegnet的计算复杂度，降低模型在可穿戴、嵌入式等设备上的部署难度，进而更好地支撑相关的脑机接口应用研究。
37.以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
38.图1是本发明实施例提供的脑电深度神经网络的模型压缩方法的一种流程图；
39.图2是本发明实施例提供的脑电深度神经网络eegnet的结构示意图；
40.图3是本发明实施例提供的脑电深度神经网络的模型压缩方法的一种示意图；
41.图4是本发明实施例提供的脑电深度神经网络的模型压缩方法的另一种示意图；
42.图5是本发明实施例提供的脑电深度神经网络的模型压缩方法的另一种流程图。
具体实施方式
43.下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
44.图1是本发明实施例提供的脑电深度神经网络的模型压缩方法的一种流程图。请参见图1，本发明实施例提供一种脑电深度神经网络的模型压缩方法，包括：
45.s1、利用多电极通道的脑电信号数据对待训练神经网络进行训练，得到第一神经网络模型；
46.s2、根据第一神经网络模型，选取至少一个目标电极通道；
47.s3、利用目标电极通道的脑电信号数据对待训练神经网络模型进行训练，得到第二神经网络模型；
48.s4、当第二神经网络模型的分类精度与第一神经网络模型的分类精度之差小于等于第一预设值时，利用预设的训练数据集生成第二神经网络模型中全连接层的输入向量；
49.s5、将各输入向量划分为多段子向量后，根据子向量及第二神经网络模型建立查找表，并生成各子向量对应的二叉树；
50.s6、利用预设的测试数据集，确定第一神经网络模型中全连接层的第一分类精度后，针对每个测试输入，基于二叉树和查找表确定第二神经网络模型中全连接层的输出结果，并确定第二神经网络模型中全连接层的第二分类精度；
51.s7、当第一分类精度与第二分类精度的差值小于等于第二预设值时，将第二神经网络模型确定为压缩后的神经网络模型。
52.图2是本发明实施例提供的脑电深度神经网络eegnet的一种结构示意图。本实施例仅以图2所示的结构为例，对脑电深度神经网络eegnet的结构作以说明。具体地，待训练
神经网络的输入为c行t列的多通道脑电信号数据，c表示脑电采集通道数、t表示此脑电信号片段的采样点数；经过f1个二维卷积(conv2d)后生成f1个频带(cchn1～f1)内的c行t列的多通道脑电信号数据；经过d*f1个尺寸为c行1列的纵深式卷积(depthwise conv1)，得到d*f1个1行t列的向量；接着，经过指数激活单元(elu)后进行步长为4的平均池化(avepool1)，得到d*f1个1行t/4列的向量；进一步地，经过分离式卷积(separable conv)处理后，输入至指数激活单元处理，再完成步长为8的平均池化(avepool2)，得到d*f1个1行t/32列的向量；这些向量展开后完成全连接层(dense layer)的分类层计算，经softmax函数得到最终的m分类结果。示例性地，可设置avepool1输出和avepool2输出的dropout率、以及迭代次数等参数，采用tensorflow内嵌的adam optimizer最小化目标交叉熵函数，完成网络学习。
53.应当理解，上述过程中二维卷积的计算量最大，且与通道数c强相关；由于t/32列的向量展开，全连接层乘加操作的计算复杂度也较大，因此本实施例对这两层进行压缩优化，以获得最大收益。
54.上述步骤s2中，根据第一神经网络模型，选取至少一个目标电极通道的步骤，包括：
55.s201、计算第一神经网络模型中，纵深式卷积层对应各电极通道权重的分值，并将分值按照由高至低的方式进行排序；
56.s202、选取分值最高的预设数量个电极通道作为目标电极通道。
57.具体而言，训练得到第一神经网络模型后，计算其纵深式卷积层对应各电极通道权重的分值，并以分值由高到低的方式排序，其中，分值越高的通道电极也具有更高的贡献度。接着，选取贡献度即分值最高的预设数量个电极通道作为目标电极通道。示例性地，d*f1个纵深式卷积核(c，1)将c个通道的脑电信号数据加权求和，再提取不同维度的特征，因此每个纵深式卷积核的权重对应一个脑电信号采集通道，权重的大小代表了此通道的重要程度。进一步地，计算f1个权重的绝对值之和的均值，得到各电极通道权重的分值，由大至小进行排序后，取前cx个(cx《c)权重对应的电极通道作为压缩后的目标电极通道。
58.上述步骤s3中，使用所选取的目标电极通道的脑电信号数据，对待训练神经网络模型进行训练，得到第二神经网络模型，并测试第二神经网络模型的分类精度。图3是本发明实施例提供的脑电深度神经网络的模型压缩方法的一种示意图。进一步地，如图3所示，使用预设的训练数据集生成第二神经网络模型中全连接层的输入向量，本实施例中，该输入向量的维度为
59.图4是本发明实施例提供的脑电深度神经网络的模型压缩方法的另一种示意图。请参见图3和图4，步骤s5中，将各输入向量划分为多段子向量后，根据子向量及第二神经网络模型建立查找表，并生成各子向量对应的二叉树的步骤，包括：
60.s501、将各输入向量均分为n段子向量；
61.s502、对每个子向量进行聚类，生成n
×
k个质心；
62.s503、计算质心与其在第二神经网络模型中对应的全连接层权重的乘积，并将乘积存入查找表；
63.s504、针对各子向量，生成包含k个子叶的二叉树。
64.请继续参见图3，预设的训练数据集包含x个维的输入向量，针对每个输入向量，按照维度均分为n段子向量，并对每一个子向量进行k-means聚类，生成k个质心；也就是说，对于每个输入向量来说，共生成n*k个质心；而后，计算质心与第二神经网络模型中对应的全连接层权重的乘积，存入对应的k个元素的查找表，查找表的数量为n个。
65.如图4所示，在步骤s504中，针对各子向量分别生成具有k个子叶的二叉树，其中，每层节点的分叉阈值为j表示第j层，i表示第j层的第i个节点，i＝1,2,
……
,2
j-1
，分叉阈值应使分叉后集合的方差最小。显然，该二叉树共有t＝log2(k)层，第t层有k个节点，表示输入向量所对应的质心，用于后续获取查找表所存元素。
66.可选地，上述步骤s6中，利用预设的测试数据集，确定第一神经网络模型中全连接层的第一分类精度后，针对每个测试输入，基于二叉树和查找表确定第二神经网络模型中全连接层的输出结果，并确定第二神经网络模型中全连接层的第二分类精度的步骤，包括：
67.s601、获取预设的测试数据集；
68.s602、将每个测试输入输入至第一神经网络模型中的全连接层，根据输出结果，确定第一神经网络模型中全连接层的第一分类精度；
69.s603、针对每个测试输入，根据二叉树和查找表查询得到n个中间结果，将n个中间结果累加后，根据累加结果确定第二神经网络模型中全连接层的第二分类精度。
70.具体而言，获取预设的测试数据集后，将每个测试输入输入至上述第一神经网络模型的全连接层，以确定第一神经网络模型中全连接层的第一分类精度。步骤s603中，对于每个测试输入，需使用二叉树和查找表得到n个中间结果ir1～n，将n个中间结果累加即可完成基于乘积量化的全连接层的计算，进而确定第二神经网络模型中全连接层的第二分类精度。
71.若第一分类精度与第二分类精度的差值小于等于第二预设值，则上述第二神经网络模型为压缩后的神经网络模型。
72.可见，本发明针对具有范式通用性的脑电深度神经网络eegnet，利用纵深式卷积层权重，完成目标电极通道的选择，以避免大规模的人工设计特征计算或设计专用通道选择器，充分利用eegnet自身的特性；同时，针对全连接层，本发明采用二叉树完成输入向量所属质心类别，大幅度地简化全连接层的计算过程，进而以目标通道选择和全连接层乘积量化相结合的方式，完成脑电深度神经网络模型的压缩。
73.图5是本发明实施例提供的脑电深度神经网络的模型压缩方法的另一种流程图。可选地，当第二神经网络模型的分类精度与第一神经网络模型的分类精度之差小于等于第一预设值时，利用预设的训练数据集生成第二神经网络模型中全连接层的输入向量的步骤之前，还包括：
74.检测第二神经网络模型的分类精度与第一神经网络模型的分类精度之差是否小于等于第一预设值；
75.若否，则返回上述选取分值最高的预设数量个电极通道作为目标电极通道的步骤；
76.若是，则执行上述利用预设的训练数据集生成第二神经网络模型中全连接层的输入向量的步骤。
77.可以理解的是，在上述步骤s3中，利用目标电极通道的脑电信号数据训练得到第二神经网络模型时，由于选取的脑电信号数目过少可能会导致遗漏重要的电极通道，因此比较第一神经网络模型的与第二神经网络模型的分类精度，若二者之差小于等于1％，则执行上述利用预设的训练数据集生成第二神经网络模型中全连接层的输入向量的步骤；反之，若二者之差大于1％，则需要增加所选目标电极通道的数目，示例性地，可根据剩余电极通道的分值，从中确定分值最高的预设数量个电极通道为目标电极通道，以对第二神经网络模型进行新一轮的学习与测试。
78.可选地，当第一分类精度与第二分类精度的差值小于等于第二预设值时，将第二神经网络模型确定为压缩后的神经网络模型的步骤之前，还包括：
79.检测第一分类精度与第二分类精度之间的差值是否小于等于第二预设值；
80.若否，则在更新n、k的取值后，执行将各输入向量均分为n段子向量的步骤；
81.若是，则执行将第二神经网络模型确定为压缩后的神经网络模型的步骤。
82.本实施例中，比较第一分类精度和第二分类精度，若第一分类精度与第二分类精度的差值小于等于1％，则表示第二神经网络模型中全连接层的性能接近第一神经网络模型中精确计算的全连接层的性能，此时脑电深度神经网络模型即第一神经网络模型压缩完毕；若第一分类精度与第二分类精度的差值大于1％，则需要在调整参数n、k以及分叉阈值v
ji
之后，对第二神经网络模型进行新一轮的全连接层计算。
83.可见，本发明提供的脑电深度神经网络的模型压缩方法利用eegnet的纵深式卷积层权重进行脑电信号目标电极通道的选择，并基于二叉树与k-mean聚类的乘积量化方法完成第二神经网络模型中全连接层的近似计算从而大幅度降低了eegnet的计算复杂度，降低模型在可穿戴、嵌入式等设备上的部署难度，进而更好地支撑相关的脑机接口应用研究。
84.下面，通过举例对上述脑电深度神经网络的模型压缩方法作进一步说明。
85.步骤1、使用mne开源软件工具所常用的原始sample数据集进行待训练神经网络eegnet的学习。sample数据集属于事件相关脑电信号，记录了当受试者分别受到左/右耳听觉刺激、左/右眼视觉刺激时的脑电信号。此数据集的脑电信号采集通道数c＝60，脑电信号片段采样点数t＝151，类别数m＝4。eegnet的f1参数设置为8，纵深式卷积扩展维度d设置为2。数据集中共有288个脑电信号样本，选取144个为学习集、72个为验证集，剩余72个为测试集进行eegnet的验证。
86.步骤2、计算8个频率通道内16个纵深式卷积层相同维度处权重的绝对值均值并由大至小排序，分别选择前20维度、前16维度、前8维度和前4维度对应的电极通道作为目标电极通道。
87.步骤3、根据所选目标电极通道，分别进行20通道、16通道、8通道和4通道输入脑电信号的待训练神经网络eegnet学习、验证与测试，得到第二神经网络模型的分类精度。
88.步骤4、将训练集输入第二神经网络模型进行传播，记录全连接层的所有144个64维向量将64维向量集划分为4个16维向量集，每个16维向量集进行16-means聚类，得到4*16＝64个质心；将全连接层的4个(输出类别m＝4)64维权重向量分别划分为4个16维向量；分别计算64个16维质心与对应位置16维权重向量的点乘，存入对应查找表。
89.步骤5、生成16(n*m＝16)个16(k＝16)子叶的4级(log2(16))二叉树，调整各个节
点的分叉阈值使分叉后每个集合的方差最小；利用二叉树和查找表计算在训练集上第二神经网络模型中全连接层的近似计算结果。
90.步骤6、比较第二神经网络模型中全连接层近似计算与第一神经网络模型中全连接层精确计算的分类精度，若二者接近，则脑电深度神经网络模型压缩完毕；否则调整参数n、k以及二叉树分叉阈值，进行新一轮的近似计算。
91.在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
92.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
93.尽管在此结合各实施例对本技术进行了描述，然而，在实施所要求保护的本技术过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
94.以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。