基于多尺度原型学习的本身可解释的脑电信号分类方法

1.本发明涉及脑电信号处理及深度学习可解释性领域，具体的说是一种基于多尺度原型学习的本身可解释的脑电信号分类方法。


背景技术：

2.脑电信号(eeg，electroencephalography)是一种大脑神经活动产生的自发性电位活动，能够反映受试者的脑部状态，因此有效的脑电信号分类方法可以极大的提高脑电信号在医疗等领域中的应用价值，具有重大的研究意义。
3.近年来，由于深度学习能够自动提取具有高区分度的特征，人们将其广泛应用于脑电信号分类中。常见的脑电信号分类网络结构有卷积神经网络、循环神经网络等。深度学习通过数据驱动的方式，驱动人工神经网络自动提取信号中的特征，从而实现分类，并在脑电信号分类中取得了较好的分类效果。然而，深度学习的黑盒属性使其牺牲了可解释性，在实际应用中令用户无法直接信任其分类结果。尤其在医疗领域中，当模型对人类健康等重要任务给出预测和决策结果时，无法解释的深度学习模型会给病患带来严重安全隐患。因此，如何建立可解释的脑电信号分类深度学习模型成为本领域急需解决的一个挑战。
4.深度学习可解释性可大致分为两类：事后解释与本身可解释。现有脑电信号分类可解释方法专注于事后解释，事后解释是指在模型训练好之后再对其进行解释，不改变其原有模型结构及优化过程。然而，事后解释方法易受信号噪声干扰，导致所得解释本身准确性及可信赖度不足，不能从根源解决模型黑盒属性问题。


技术实现要素：

5.本发明是为了解决上述现有技术存在的不足之处，提出一种基于多尺度原型学习的本身可解释的脑电信号分类方法，以期通过设计本身可解释的深度学习模型，在提升脑电信号分类准确率的同时提供本身可解释的决策依据，而能提升脑电信号在医疗等领域中的应用价值。
6.本发明为达到上述发明目的，采用如下技术方案：本发明一种基于多尺度原型学习的本身可解释的脑电信号分类方法的特点在于，包括以下步骤：步骤1、获取有标签类别的脑电信号数据集，并利用滑动窗划分为n段时长为t的脑电信号片段，得到训练样本集x={x1, x2,
ꢀ…
, xn,
ꢀ…
, xn}及其标签集合y={y1, y2,
ꢀ…
, yn,
ꢀ…
, yn}；其中，xn表示第n个脑电信号样本，且xn={x
n1
, x
n2
,
ꢀ…
, x
nc
,
ꢀ…
, x
nc
}，x
nc
表示第n个脑电信号样本中第c个通道的脑电信号数据，且x
nc
={x
n,1c
, x
n,2c
,
ꢀ…
, x
n,rc
, x
n,t
×
sc
}；x
n,rc
表示第n个脑电信号样本xn中第c个通道的第r个数据点，r=1, 2,
ꢀ…
, t
×
s，s表示脑电信号的采样率；n=1, 2,
ꢀ…
, n；n表示样本数，c=1, 2,
ꢀ…
, c；c表示通道数；yn表示第n个脑电信号样本xn的真实标签；步骤2、建立基于多尺度原型学习的本身可解释的分类模型，包括：特征提取模块、
多尺度原型学习模块以及分类模块；所述特征提取模块包含m个特征提取单元，其中，每个特征提取单元依次由一个二维卷积层、一个非线性激活函数和一个最大池化层组成，第i个二维卷积层的步长为si、卷积核的尺寸为ki×ki
，第i个最大池化层的核尺寸为k
i’×ki’，其中，i=1, 2,
ꢀ…
, m；所述分类模块由一个全局最大池化层，不含偏置项的全连接层及激活函数组成；步骤2.1、初始化权重值：对所述分类模型的二维卷积层、原型层以及全连接层进行参数初始化；步骤2.2、所述训练样本集x输入本身可解释的分类模型中，并依次经过特征提取模块中的m个特征提取单元后，输出特征序列f={f1, f2,
ꢀ…
, fn,
ꢀ…
, fn}，其中，fn表示第n个脑电信号样本xn对应的第n张特征图；步骤2.3、所述特征序列f输入多尺度原型学习模块中进行处理，得到相似度图集合s={s1, s2,
ꢀ…
, sn,
ꢀ…
, sn}；步骤2.4、将相似度图集合s输入所述分类模块中，并依次经过全局最大池化层，不含偏置项的全连接层及激活函数的处理后，得到每个脑电信号样本对应类别的概率；步骤3、分类模型的训练阶段，包括：所有层的全局优化阶段与原型投影阶段；步骤3.1、定义当前迭代轮数为epoch，并初始化epoch=1；步骤3.2、判断当前迭代轮数epoch是否满足式(1)，若满足，则使用adam优化算法对本身可解释的分类模型进行所有层的全局优化阶段的更新，并更新多尺度原型学习模块中的权值，否则，执行步骤3.3；(epoch≥e0) && (epoch�=0)
ꢀꢀ
(1)式(1)中，e0表示原型投影阶段的起始迭代轮数，&&表示逻辑“与”操作符，%表示模运算符，e1表示原型投影阶段的间隔迭代轮数；步骤3.3、判断迭代轮数epoch是否满足式(2)，若满足，则使用adam优化算法对本身可解释的分类模型进行原型投影阶段的更新，并更新分类模型中的每一个权值，否则，执行步骤步骤3.4；(epoch≤e
max
) && ((epoch《e0) || (epoch�≠0))
ꢀꢀ
(2)式(2)中，e
max
表示训练过程的最大迭代轮数，||表示逻辑“或”操作符；步骤3.4、判断迭代轮数epoch=e
max
是否成立，若成立，则停止训练更新，并得到最优分类模型；否则，epoch 1赋值给epoch后，返回步骤3.2；步骤4、利用最优分类模型对任一脑电信号样本进行分类，得到对应类别的概率值，并按照所设的阈值，对概率值进行二值化分类，从而得到最终的分类结果。
7.本发明所述的基于多尺度原型学习的本身可解释的脑电信号分类方法的特点也在于，所述多尺度原型学习模块由k个并行的网络分支组成，其中，第k个网络分支对应第k个尺度，第k个网络分支均包含第k个原型层，且第k个原型层含有c
p
个尺寸相同的原型{p
jk
| j=1, 2,
ꢀ…
, c
p }，p
jk
表示第k个尺度下的第j个原型；第k个原型层中第j个原型p
jk
的尺寸为s
1k
×s2k
×s3k
，k=1, 2,
ꢀ…
, k; j=1, 2,
ꢀ…
, c
p
；所述第k个网络分支中第k个原型层的第j个原型p
jk
利用式(3)对第n张特征图fn进行相似度评估，得到第j个原型p
jk
输出的相似度图s
nk,j
，从而由第k个网络分支的c
p
个原型输出第k个相似度图集合，进而由k个网络分支的k
×cp
个原型输
出第n张特征图fn的相似度图集合sn={s
n1
, s
n2
,
ꢀ…
, s
nk
,
ꢀ…
, s
nk
}，最终由k个网络分支的k
×cp
个原型输出特征序列f的相似度图集合s={s1, s2,
ꢀ…
, sn,
ꢀ…
, sn}；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)。
8.在所有层的全局优化阶段中，利用式(4)构建损失函数l，并用于进行所有层的全局优化阶段的更新：
ꢀꢀꢀꢀꢀꢀꢀ
(4)式(4)中，p={p
jk | j=1, 2,
ꢀ…
, c
p
；k=1, 2,
ꢀ…
, k}代表原型层中待优化的原型集合，wf代表特征提取模块中的待优化参数，wc代表分类模块中全连接层的待优化参数；bceloss(
·
)代表二分类交叉熵损失函数，f(
·
)代表特征提取模块的映射函数，g
p
代表多尺度原型学习模块的映射函数，h代表分类模块的映射函数，
°
表示复合函数操作符，μ1和μ2代表两个损失系数；clst表示聚集损失，并由式(5)得到：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)式(4)中，表示属于第n个脑电信号样本xn所在类别的原型，∈p；gmp(
·
)代表全局最大池化操作；|| ||1代表l1正则化操作；在原型投影阶段中，利用式(6)对第j个原型p
jk
进行更新，并用于原型投影阶段的更新：
ꢀꢀꢀꢀꢀꢀꢀꢀ
(6)式(6)中，
⇐
表示赋值，z表示特征提取模块输出的特征图中的图像块集合，并由式(7)得到：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)式(7)中，z表示图像块集合z中的任意一个图像块，patches(f(xn))代表特征提取模块输出的特征图f(xn)中与第j个原型p
jk
尺寸相同的所有图像块组成的集合。
9.与现有技术相比，本发明的有益效果在于：1、本发明针对脑电信号分类问题，构建了一种本身可解释的深度学习模型，模型拥有透明的推理过程，能够在给出预测结果的同时提供决策依据；2、本发明考虑到脑电信号的多尺度特性，构建了基于多尺度原型学习的深度学习网络，充分挖掘了脑电信号的多尺度特征，提升了脑电信号分类性能；3、本发明提出的脑电信号分类方法与期刊报道的使用相同数据库的方法相比，在本身可解释的约束下仍取得与当前最先进方法相当的性能。
附图说明
10.图1为本发明方法流程图；图2为本发明分类模型的整体框架图；
图3为本发明方法的特征提取模块结构图；图4为本发明方法在分类时的推理过程展示图。
具体实施方式
11.本实施例中，一种基于多尺度原型学习的本身可解释的脑电信号分类方法，如图1所示，其包括如下步骤：步骤1、获取有标签类别的脑电信号数据集，并利用滑动窗划分为n段时长为t的脑电信号片段，得到训练样本集x={x1, x2,
ꢀ…
, xn,
ꢀ…
, xn}及其标签集合y={y1, y2,
ꢀ…
, yn,
ꢀ…
, yn}；其中，xn表示第n个脑电信号样本，且xn={x
n1
, x
n2
,
ꢀ…
, x
nc
,
ꢀ…
, x
nc
}，x
nc
表示第n个脑电信号样本中第c个通道的脑电信号数据，且x
nc
={x
n,1c
, x
n,2c
,
ꢀ…
, x
n,rc
, x
n,t
×
sc
}；x
n,rc
表示第n个脑电信号样本xn中第c个通道的第r个数据点，r=1, 2,
ꢀ…
, t
×
s，s表示脑电信号的采样率；n=1, 2,
ꢀ…
, n；n表示样本数，c=1, 2,
ꢀ…
, c；c表示通道数；yn表示第n个脑电信号样本xn的真实标签；具体实施中，对18导联脑电信号数据集，选取c=18；对滑动窗方法，可取窗口长度为4秒，滑动步长为2秒。
12.步骤2、建立基于多尺度原型学习的本身可解释的分类模型，如图2所示，包括：特征提取模块、多尺度原型学习模块以及分类模块；特征提取模块包含m个特征提取单元，其中，每个特征提取单元依次由一个二维卷积层、一个非线性激活函数和一个最大池化层组成，第i个二维卷积层的步长为si、卷积核的尺寸为ki×ki
，第i个最大池化层的核尺寸为k
i’×ki’，其中，i=1, 2,
ꢀ…
, m；示例性的，特征提取模块的网络结构如图3所示，选取特征提取单元数量m=3；二维卷积层的尺寸分别为：3
×
3，5
×
5，7
×
7，步长分别为：1
×
1，1
×
2，1
×
4；最大池化层的核尺寸分别为：1
×
2，1
×
4，1
×
4；分类模块由一个全局最大池化层，不含偏置项的全连接层及激活函数组成；具体实施中，全连接层的激活函数为sigmoid函数。
13.步骤2.1、初始化权重值：对分类模型的二维卷积层、原型层以及全连接层进行参数初始化；具体实施中，使用均匀分布对分类模型中的权重初始化。
14.步骤2.2、训练样本集x输入本身可解释的分类模型中，并依次经过特征提取模块中的m个特征提取单元后，输出特征序列f={f1, f2,
ꢀ…
, fn,
ꢀ…
, fn}，其中，fn表示第n个脑电信号样本xn对应的第n张特征图。
15.步骤2.3、特征序列f输入多尺度原型学习模块中进行处理，得到相似度图集合s={s1, s2,
ꢀ…
, sn,
ꢀ…
, sn}；具体的说：多尺度原型学习模块由k个并行的网络分支组成，其中，第k个网络分支对应第k个尺度，第k个网络分支均包含第k个原型层，且第k个原型层含有c
p
个尺寸相同的原型{p
jk
| j=1, 2,
ꢀ…
, c
p }，p
jk
表示第k个尺度下的第j个原型；第k个原型层中第j个原型p
jk
的尺寸为s
1k
×s2k
×s3k
，k=1, 2,
ꢀ…
, k; j=1, 2,
ꢀ…
, c
p
；示例性的，选取k=3，不同原型层的原型尺寸分别为：64
×1×
1，64
×1×
2，64
×1×
4。
16.第k个网络分支中第k个原型层的第j个原型p
jk
利用式(1)对第n张特征图fn进行相
似度评估，得到第j个原型p
jk
输出的相似度图s
nk,j
，从而由第k个网络分支的c
p
个原型输出第k个相似度图集合，进而由k个网络分支的k
×cp
个原型输出第n张特征图fn的相似度图集合sn={s
n1
, s
n2
,
ꢀ…
, s
nk
,
ꢀ…
, s
nk
}，最终由k个网络分支的k
×cp
个原型输出特征序列f的相似度图集合s={s1, s2,
ꢀ…
, sn,
ꢀ…
, sn}；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)。
17.步骤2.4、将相似度图集合s输入分类模块中，并依次经过全局最大池化层，不含偏置项的全连接层及激活函数的处理后，得到每个脑电信号样本对应类别的概率。
18.步骤3、分类模型的训练阶段，包括：所有层的全局优化阶段与原型投影阶段；步骤3.1、在所有层的全局优化阶段中，利用式(2)构建损失函数l，并用于进行所有层的全局优化阶段的更新：
ꢀꢀ
(2)式(2)中，p={p
jk | j=1, 2,
ꢀ…
, c
p
; k=1, 2,
ꢀ…
, k}代表原型层中待优化的原型集合，wf代表特征提取模块中的待优化参数，wc代表分类模块中全连接层的待优化参数；bceloss(
·
)代表二分类交叉熵损失函数，f(
·
)代表特征提取模块的映射函数，g
p
代表多尺度原型学习模块的映射函数，h代表分类模块的映射函数，
∘
表示复合函数操作符，μ1和μ2代表两个损失系数；clst表示聚集损失，并由式(3)得到：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)式(2)中，表示属于第n个脑电信号样本xn所在类别的原型，∈p；gmp(
·
)代表全局最大池化操作；|| ||1代表l1正则化操作；示例性的，选取μ1=0.8，μ2=10-4
。
19.步骤3.2、在原型投影阶段中，利用式(4)对第j个原型p
jk
进行更新，并用于原型投影阶段的更新：
ꢀꢀꢀꢀꢀꢀꢀꢀ
(4)式(4)中，
⇐
表示赋值，z表示特征提取模块输出的特征图中的图像块集合，并由式(5)得到：
ꢀꢀ
(5)式(5)中，z表示图像块集合z中的任意一个图像块，patches(f(xn))代表特征提取模块输出的特征图f(xn)中与第j个原型p
jk
尺寸相同的所有图像块组成的集合。
20.步骤3.3、定义当前迭代轮数为epoch，并初始化epoch=1；步骤3.4、判断当前迭代轮数epoch是否满足式(6)，若满足，则使用adam优化算法对本身可解释的分类模型进行所有层的全局优化阶段的更新，并更新多尺度原型学习模块中的权值，否则，执行步骤3.5；(epoch≥e0) && (epoch�=0)
ꢀꢀ
(6)式(6)中，e0表示原型投影阶段的起始迭代轮数，&&表示逻辑“与”操作符，%表示模
运算符，e1表示原型投影阶段的间隔迭代轮数；示例性的，选取起始迭代轮数e0=10，间隔迭代轮数e1=5。
21.步骤3.5、判断迭代轮数epoch是否满足式(7)，若满足，则使用adam优化算法对本身可解释的分类模型进行原型投影阶段的更新，并更新分类模型中的每一个权值，否则，执行步骤步骤3.6；(epoch≤e
max
) && ((epoch《e0) || (epoch�≠0))
ꢀꢀ
(7)式(7)中，e
max
表示训练过程的最大迭代轮数，||表示逻辑“或”操作符；示例性的，选取最大迭代轮数e
max
=60。
22.步骤3.6、判断迭代轮数epoch=e
max
是否成立，若成立，则停止训练更新，并得到最优分类模型；否则，epoch 1赋值给epoch后，返回步骤3.4；步骤4、利用最优分类模型对任一脑电信号样本进行分类，得到对应类别的概率值，并按照所设的阈值，对概率值进行二值化分类，从而得到最终的分类结果。
23.为了说明本发明上述方案的性能和有效性，使用近期期刊文献报道的脑电信号分类性能与本发明上述方案得到的性能进行了对比，对比的指标采用了脑电信号分类常用的评价指标，即灵敏度与误报率，灵敏度即正确预测的正类与所有正类之比，误报率即平均每小时将负类预测为正类的次数。
24.具体实施中，数据采用两个国际公开数据集：chb-mit数据集以及american epilepsy society seizure prediction challenge (kaggle)数据集。对于chb-mit数据集，采用了期刊文献报道的四种方法进行对比，如表1所示：1. truong等人采用短时傅里叶变换(stft)提取脑电信号的时频表征，利用卷积神经网络（cnn）对其进行分类，取得了平均灵敏度80.2%，平均误报率0.182/小时的性能；2. ozcan等人通过人工设计脑电信号的特征，并利用3d-cnn对特征进行分类，取得了平均灵敏度79.2%，平均误报率0.202/小时的性能；3. zhang等人通过共空间模式（csp）提取脑电信号的特征，利用cnn进行分类，取得了平均灵敏度93.1%，平均误报率0.103/小时的性能；4. zhao等人考虑到现有深度学习模型的计算复杂度高，设计了轻量级加法神经网络，取得了平均灵敏度91.8%，平均误报率0.067/小时的性能。
25.表 1. 不同方法在chb-mit数据集的预测性能上述对比方法的数据来源均为公开的chb-mit数据集，表1展示了本发明与上述方法的对比结果，本发明的方法取得了93.3%的平均灵敏度，0.054/小时的平均误报率，性能优于上述所有对比方法。
26.对于kaggle数据集，采用了期刊文献报道的三种方法进行对比，如表2所示：1. daoud等人采用深度卷积神经网络和双向长短期记忆神经网络提取脑电信号的特征并分类，取得了平均灵敏度81.5%，平均误报率0.167/小时的性能；2. xu等人采用端到端的卷积神经网络对脑电信号进行特征提取和分类，取得了平均灵敏度80.9%，平均误报率0.134/小
时的性能；3. zhao等人采用残差卷积神经网络对脑电信号进行特征提取和分类，取得了平均灵敏度81.2%，平均误报率0.161/小时的性能；表 2. 不同方法在kaggle数据集的预测性能上述对比方法的数据来源均为公开的kaggle数据集，表2展示了本发明与上述方法的对比结果，本发明的方法取得了88.6%的平均灵敏度，0.146/小时的平均误报率，平均灵敏度优于上述所有对比方法，平均误报率与上述方法性能相当。
27.此外，图4展示了本发明方法在进行脑电信号分类时获得的可解释支撑与模型的推理过程。具体地，对于给定脑电信号样本，本发明方法能够获取与之最相似的若干原型以及原型对应的训练样本片段，并得到相似度值。再结合模型分类模块中透明的推理过程，可作为分类结果的可解释支撑和依据。