一种基于注意力机制和集成学习的睡眠分期方法

1.本发明涉及信号处理技术领域，具体涉及一种基于注意力机制和集成学习的睡眠分期方法。


背景技术：

2.人类大约有三分之一的时间在睡眠中度过，睡眠与人类生理、心理健康休戚相关，是一项非常重要的生命活动。对于临床医学在监测、评估睡眠质量方面具有重要临床意义和实际应用价值。
3.睡眠分期是研究睡眠及相关疾病的基础，是完成睡眠质量评估的前提。对于睡眠分期的研究，一般是将采集的eeg(electroencephalogram，脑电图)分割成30s的片段，每一个片段都由专业医师根据美国睡眠医学学会(aasm)的睡眠分期规则将睡眠分为5个时期。而现有技术中的睡眠分期方法，存在信号特征提取不充分以及数据集类别不平衡的问题。


技术实现要素：

4.本发明实施例的目的在于提供一种基于注意力机制和集成学习的睡眠分期方法，丰富了提取的信号特征，而且减小了数据集类别不平衡的问题。
5.具体技术方案如下：
6.在本发明实施的提供了一种基于注意力机制和集成学习的睡眠分期方法，所述方法包括：
7.获取一维原始脑电图eeg信号，对所述一维原始eeg信号进行预处理，得到对应的二维时频信号；
8.将所述一维原始eeg信号和所述二维时频信号，输入预先训练好的双分支卷积神经网络中，获取所述一维原始eeg信号的不同预设频率范围的第一特征，以及所述二维时频信号的多尺度细化特征；所述双分支卷积神经网络是使用集成学习算法进行训练而得；所述集成学习算法用于增加训练网络模型过程中，样本数较少的样本的权重；
9.将所述第一特征和所述多尺度细化特征进行融合，将融合后的特征输入分类器，得到所述一维原始eeg信号的睡眠分期结果。
10.可选地，获取一维原始脑电图eeg信号，对所述一维原始eeg信号进行预处理，得到对应的二维时频信号，包括：
11.获取一维原始eeg信号；
12.将所述一维原始eeg信号通过连续小波变换cwt得到对应的二维信号；
13.对所述二维信号进行主成分分析降维，得到预设尺寸的二维时频信号。
14.可选地，所述双分支卷积神经网络包括一维网络和二维网络；
15.将所述一维原始eeg信号和所述二维时频信号，输入预先训练好的双分支卷积神经网络中，获取所述一维原始eeg信号的不同预设频率范围的第一特征，以及所述二维时频信号的多尺度细化特征，包括：
16.通过所述一维网络获取所述一维原始eeg信号在不同预设频率范围的特征；
17.通过所述二维网络获取所述二维时频信号的多尺度细化特征。
18.可选地，所述一维网络包括两个并行的卷积核尺寸大小不同的卷积神经网络，用于获取不同睡眠时期对应的不同频率范围的信号特征。
19.可选地，所述二维网络为包括多尺度注意力机制模块的resnet50网络；所述多尺度注意力机制模块包括spc子模块、seweight子模块、softmax子模块和元素积子模块；
20.通过所述二维网络获取所述二维时频信号的多尺度细化特征，包括：
21.将所述二维时频信号输入所述spc子模块，得到所述二维时频信号在多个分支上不同尺度的特征，作为多尺度特征；
22.针对每一分支的多尺度特征，将该多尺度特征输入所述seweight子模块，得到该分支的第一权重；
23.针对每一分支的第一权重，通过所述softmax子模块重新校准该第一权重，获得该分支重新校准的第二权重；
24.针对每一分支，通过元素积子模块将该分支的第二权重和该分支的多尺度特征结合，得到所述二维时频信号的多尺度细化特征。
25.可选地，将所述二维时频信号输入所述spc子模块，得到所述二维时频信号在多个分支上不同尺度的特征，作为多尺度特征，包括：
26.将所述二维时频信号输入所述spc子模块；
27.所述spc模块，根据公式
28.fi＝conv(ki×ki
,gi)(x)
[0029][0030]
得到所述二维时频信号每一分支上的多尺度特征fi；其中，i的取值范围为0到s-1，其中，conv()表示卷积运算，ki表示第i个分支上的卷积核大小，gi表示第i个分支上的卷积组大小，s表示分支的总个数。
[0031]
可选地，针对每一分支的多尺度特征，将该多尺度特征输入所述seweight子模块，得到该分支的第一权重，包括：
[0032]
针对每一分支的多尺度特征，所述seweight子模块将该多尺度特征进行全局平均池化，得到该分支的通道维度的特征；
[0033]
将该分支的通道维度的特征通过sigmoid激活函数，得到该分支的第一权重。
[0034]
可选地，针对每一分支的第一权重，通过所述softmax模块重新校准该第一权重，获得该分支重新校准的第二权重，包括：
[0035]
针对每一分支的第一权重，所述softmax子模块根据公式
[0036][0037]
重新校准该第一权重，得到该分支的第二权重；其中，atti表示第二权重，zi表示第i个分支的第一权重，softmax()表示归一化指数函数。
[0038]
可选地，针对每一分支，通过所述元素积模块将该分支的第二权重和该分支的多尺度特征结合，得到所述二维时频信号的多尺度细化特征，包括：
[0039]
针对每一分支，所述元素积子模块根据公式yi＝fi·
atti得到所述二维时频信号的多尺度细化特征yi；其中，i的取值范围为0到s-1。
[0040]
基于本发明实施例提供的基于注意力机制和集成学习的睡眠分期方法，获取一维原始脑电图eeg信号，对一维原始eeg信号进行预处理，得到对应的二维时频信号；将一维原始eeg信号和二维时频信号，输入预先训练好的双分支卷积神经网络中，获取一维原始eeg信号的不同预设频率范围的第一特征，以及二维时频信号的多尺度细化特征；双分支卷积神经网络是使用集成学习算法进行训练而得；集成学习算法用于增加训练网络模型过程中，样本数较少的样本的权重；将第一特征和多尺度细化特征进行融合，将融合后的特征输入分类器，得到一维原始eeg信号的睡眠分期结果。通过双分支卷积神经网络可以同时提取一维信号和二维信号的特征，且双分支卷积神经网络使用集成学习算法训练而得，不仅丰富了提取的信号特征，而且减小了数据集类别不平衡的问题。
附图说明
[0041]
下面结合附图对本发明作进一步的说明。
[0042]
图1为本发明实施例提供的一种基于注意力机制和集成学习的睡眠分期方法的流程图；
[0043]
图2为本发明实施例提供的集成模型的流程图；
[0044]
图3为本发明实施例提供的另一种基于注意力机制和集成学习的睡眠分期方法的流程图；
[0045]
图4为本发明实施例提供的双分支卷积神经网络的示意图；
[0046]
图5为本发明实施例提供的一维网络的示意图；
[0047]
图6为本发明实施例提供的二维网络的示意图；
[0048]
图7为本发明实施例提供的使用psa module替换resnet50中卷积层的示意图；
[0049]
图8为本发明实施例提供的另一种基于注意力机制和集成学习的睡眠分期方法的流程图；
[0050]
图9为本发明实施例提供的注意力机制模块的网络结构的示意图；
[0051]
图10为本发明实施例提供的spc子模块的结构图；
[0052]
图11为本发明实施例提供的seweight子模块的结构图。
具体实施方式
[0053]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0054]
本发明实施例提供了一种基于注意力机制和集成学习的睡眠分期方法。参见图1，图1为本发明实施例提供的一种基于注意力机制和集成学习的睡眠分期方法的流程图，该方法可以包括以下步骤：
[0055]
s101，获取一维原始脑电图eeg信号，对一维原始eeg信号进行预处理，得到对应的二维时频信号。
[0056]
s102，将一维原始eeg信号和二维时频信号，输入预先训练好的双分支卷积神经网络中，获取一维原始eeg信号的不同预设频率范围的第一特征，以及二维时频信号的多尺度细化特征。
[0057]
s103，将第一特征和多尺度细化特征进行融合，将融合后的特征输入分类器，得到一维原始eeg信号的睡眠分期结果。
[0058]
双分支卷积神经网络是使用集成学习算法进行训练而得；集成学习算法用于增加训练网络模型过程中，样本数较少的样本的权重。
[0059]
基于本发明实施例提供的基于注意力机制和集成学习的睡眠分期方法，通过双分支卷积神经网络可以同时提取一维信号和二维信号的特征，且双分支卷积神经网络使用集成学习算法训练而得，不仅丰富了提取的信号特征，而且减小了数据集类别不平衡的问题。
[0060]
一种实现方式中，需要将一维原始eeg信号和二维时频信号先划分为训练集和测试集，然后输入预先训练好的双分支卷积神经网络中。
[0061]
一种实现方式中，睡眠分期结果可以根据美国睡眠医学学会(aasm)的睡眠分期规则，将睡眠分为5个时期，即清醒期(w)、非快速眼动1期(n1)、非快速眼动2期(n2)、非快速眼动3期(n3)和快速眼动期(rem)。
[0062]
一种实现方式中，可以采用20折交叉验证训练双分支卷积神经网络的网络结构。
[0063]
20折交叉验证的具体步骤为：
[0064]
(1)首先将样本训练集和样本测试集合并，然后均分成20个大小相同的互斥子集，每个子集尽量保证数据分布一致性。
[0065]
(2)每次用19个子集的并集作为训练子集，剩下的一个子集作为测试子集，重复这个操作20次，获得20组实验结果。
[0066]
(3)将20折交叉验证得到的20组实验结果取平均得到最终结果。将该结果作为20折交叉验证的实验结果。
[0067]
在训练过程中，可以采用包括多个弱分类器的集成模型进行训练。例如，选取boosting中的adaboost算法。在训练前，首先赋予每一个样本相同的权重，然后进行第一个弱分类器的训练，在第一个弱分类器训练结束之后，根据当前弱分类器的分类结果对样本权重进行更新，即，增大分类错误的样本的权重，减小分类正确的样本的权重从而使下一个分类器增加对错分样本的关注。对于后续的弱分类器，将上一次训练后得到的弱分类器的学习参数转移到后续的弱分类器，然后在已经更新了样本权重的数据集上进行再次训练。通过这种方法可以得到多个弱分类器，然后通过平均或者投票等集成策略将这些弱分类器集成为一个强分类器来进行分类。
[0068]
参见图2，图2为本发明实施例提供的集成学习算法的流程图。
[0069]
图2中train the 1
st
cnn:(c1(x))、train the 2
st
cnn:(c2(x))...train the m
st
cnn:(cm(x))分别为第一分类器、第二分类器...第m分类器。d1为第一弱分类器中数据集的n个样本的样本权重，且各样本的样本权重di都为1/n，其中，n为数据集中样本的总数。
[0070]
在第一弱分类器训练结束之后，根据第一弱分类器的分类结果对样本权重进行更新，得到第二弱分类器中数据集的n个样本的样本权重d2，并将第一次训练后得到的第一弱分类器的学习参数转移到第二弱分类器，进行第二次训练。重复上述步骤，直到第m分类器训练完成。
[0071]
在一个实施例中，步骤s101，包括：
[0072]
步骤一，获取一维原始eeg信号。
[0073]
步骤二，将一维原始eeg信号通过连续小波变换cwt得到对应的二维信号。
[0074]
步骤三，对二维信号进行主成分分析降维，得到预设尺寸的二维时频信号。
[0075]
一种实现方式中，二维时频信号的预设尺寸可以设置为128*128。
[0076]
在一个实施例中，双分支卷积神经网络包括一维网络和二维网络，参见图3，在图1的基础上，步骤s102包括：
[0077]
s1021，通过一维网络获取一维原始eeg信号在不同预设频率范围的特征。
[0078]
s1022，通过二维网络获取二维时频信号的多尺度细化特征。
[0079]
参见图4，图4为本发明实施例提供的双分支卷积神经网络的示意图。
[0080]
首先，将一维原始eeg信号通过cwt转换为二维时频信号，然后，通过本发明实施例提供的一维网络和二维网络分别提取一维特征和二维特征，其次，将提取的特征进行融合，最后输入分类器中得到睡眠分期结果。
[0081]
在一个实施例中，一维网络包括两个并行的卷积核尺寸大小不同的卷积神经网络，用于获取不同睡眠时期对应的不同频率范围的信号特征。
[0082]
一种实现方式中，研究表明如下表1所示，不同的睡眠阶段具有不同的频率范围。因此，一维网络可以使用具有不同的卷积内核大小的并行卷积神经网络结构，捕获不同范围的时间步长，从而获取来自不同睡眠相关频带的特征。
[0083]
表1
[0084][0085]
参见图5，图5为本发明实施例提供的一维网络的示意图。
[0086]
一维网络包括两个并行卷积神经网络结构，使用了两个卷积核大小不同的卷积层(卷积核尺寸分别为50和400)用于提取不同频率范围的原始eeg信号特征。一维卷积参数conv1d(a，b，c)代表conv1d(filters＝a，kernel_size＝b，strides＝c)。原始信号在经过一层卷积之后，将得到的特征分别通过两个池化层和dropout层。然后将再dropout层的输出数据输入三层卷积核尺寸不同的卷积层中(卷积核尺寸分别为8和6)。将该三层卷积得到的特征通过池化层之后再通过flatten层将两个并行提取的特征进行融合，得到一维原始eeg信号的特征。
[0087]
参见图6，图6为本发明实施例提供的二维网络的示意图。
[0088]
二维网络的主干网络为经典网络resnet50。resnet50网络结构分五个阶段实现，
在第一阶段，分别使用一个卷积层(包括卷积(conv)(7
×
7)、批归一化层(bn)和relu作为激活函数)和一个池化层。后面四个阶段都是由卷积块(convolutional block)和标识块(identity block)组成，卷积块和标识块都由三个重复的卷积层和一个快捷方式模块组成，快捷方式模块用于将传入的未改变的输入数组添加到卷积层的输出中。在卷积块中，与标识块不同的是，输入数组在快捷方式模块通过conv和bn层后参与添加步骤。在卷积块和标识块中，卷积层分别有1
×
1、3
×
3和1
×
1的内核大小。快捷方式模块被用于防止深度网络过拟合，也用于降低和优化计算复杂度。
[0089]
但是resnet50可以提取的特征有限，因此可以使用psa module来替代卷积块(convolutional block)和标识块(identity block)中三个卷积层中的一个卷积层(3
×
3)。参见图7，图7为本发明实施例提供的使用psa module替换resnet50中卷积层的示意图。使用psa module模块可以更好的提取上下文特征。
[0090]
在一个实施例中，二维网络为包括多尺度注意力机制模块的resnet50网络；多尺度注意力机制模块包括spc子模块、seweight子模块、softmax子模块和元素积子模块，参见图8，在图3的基础上，步骤s1022包括：
[0091]
s10221，将二维时频信号输入spc子模块，得到二维时频信号在多个分支上不同尺度的特征，作为多尺度特征。
[0092]
s10222，针对每一分支的多尺度特征，将该多尺度特征输入seweight子模块，得到该分支的第一权重。
[0093]
s10223，针对每一分支的第一权重，通过softmax子模块重新校准该第一权重，获得该分支重新校准的第二权重。
[0094]
s10224，针对每一分支，通过元素积子模块将该分支的第二权重和该分支的多尺度特征结合，得到二维时频信号的多尺度细化特征。
[0095]
参见图9，图9为本发明实施例提供的注意力机制模块的网络结构的示意图。
[0096]
在一个实施例中，步骤s10221包括：
[0097]
步骤一，将二维时频信号输入spc子模块。
[0098]
步骤二，spc子模块，根据公式
[0099]fi
＝conv(ki×ki
,gi)(x)
[0100][0101]
得到所述二维时频信号每一分支上的多尺度特征fi；其中，i的取值范围为0到s-1，其中，conv()表示卷积运算，ki表示第i个分支上的卷积核大小，gi表示第i个分支上的卷积组大小，s表示分支的总个数。
[0102]
一种实现方式中，spc子模块可以以多分支的方式提取输入信号的多尺度空间特征，每个分支的输入通道维度为c。因此，可以获得更丰富的输入信息的位置信息，并在多尺度上进行并行处理，可以获得包含单一类型内核的特征映射。相应地，在金字塔结构中使用多尺度卷积核可以产生不同的空间分辨率和深度。通过压缩输入张量的通道维数，可以有效地提取各通道级特征图上具有不同尺度的空间信息。最后，每个不同尺度fi的特征图都具有共同的信道维度
[0103]
参见图10，图10为本发明实施例提供的spc子模块的结构图。
[0104]
一种实现方式中，通过公式(2)可以得到整个多尺度预处理后的特征图f。
[0105]
f＝cat([f0,f1,
…
,f
s-1
]) (2)
[0106]
在一个实施例中，步骤s10222包括：
[0107]
步骤一，针对每一分支的多尺度特征，seweight子模块将该多尺度特征进行全局平均池化，得到该分支的通道维度的特征。
[0108]
步骤二，将该分支的通道维度的特征通过sigmoid激活函数，得到该分支的的第一权重。
[0109]
一种实现方式中，seweight子模块的操作可以表示为
[0110]
zi＝seweight(fi)
ꢀꢀꢀ
(3)
[0111]
其中，i的取值范围为0到s-1。
[0112]
一种实现方式中，可以使用公式(4)计算整个多尺度通道第一权重向量z。
[0113][0114]
其中，zi表示第i个分支的第一权重
[0115]
参见图11，图11为本发明实施例提供的seweight子模块的结构图。
[0116]
在一个实施例中，步骤s10223包括：
[0117]
针对每一分支的第一权重，softmax子模块根据公式
[0118][0119]
重新校准该第一权重，得到该分支的第二权重；其中，atti表示第二权重，zi表示第i个分支的第一权重，softmax()表示归一化指数函数。
[0120]
一种实现方式中，可以使用公式(6)计算整个多尺度通道第二权重向量att。
[0121][0122]
在一个实施例中，步骤s10224包括：
[0123]
针对每一分支，元素积子模块根据公式yi＝fi·
atti得到二维时频信号的多尺度细化特征yi；其中，i的取值范围为0到s-1。
[0124]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0125]
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于电子设备及存储介质而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0126]
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发
明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。