一种基于特征通道融合和深度学习的癫痫预测系统

1.本发明属于认知神经科学和信息技术领域，尤其涉及一种基于特征通道融合和深度学习的癫痫预测系统。


背景技术：

2.癫痫是一种大脑突发异常反应并以复发为特征的慢性神经系统疾病，是由大脑神经元的异常活动所引起的。这种神经元过度放电引起的癫痫发作通常伴有运动、感觉、情绪或精神功能的紊乱。一旦这种突发性神经系统疾病发作，患者的大脑就会停止正常工作，从而表现出昏厥、身体失衡、抽搐、肌肉收缩、失去意识和直觉等异常反应。对于任何癫痫患者来说，癫痫的发作对患者及其家庭的生活各方面都造成了很大的影响，甚至会危害患者的生命。几个世纪以来，恐惧、误解、歧视和社会耻辱一直围绕着癫痫疾病。今天，这种耻辱感在许多国家仍在继续，并可能影响该病患者及其家人的生活质量。全世界约有5000万人患有癫痫，也使其成为全球最常见的神经系统疾病之一。其中近80％的癫痫患者生活在低收入和中等收入国家，其中的大部分没有得到他们需要的治疗。如果得到适当的诊断和治疗，高达70％的癫痫患者可以免除癫痫疾病的困扰。
3.癫痫发作是可以控制的。目前抗癫痫药物可以较为有效的控制癫痫的发作，是大多数癫痫慢性疾病患者的福音；对患者生活造成重大影响的癫痫，目前可以手术切除癫痫病灶，不过该手术存在较大风险，由于大脑的复杂性，病灶可能影响着患者的其他身体机能，而且不能保证可以准确无误的定位病灶。也因此癫痫的早期预测成为了癫痫发作控制的一个前提，癫痫的提前预测可以使患者提早采取预防性治疗控制癫痫的发作，并可以有效避免癫痫患者在癫痫发作期间进行可能危及生命安全的活动。癫痫的早期预测对于患者及其家庭、对于医务工作者都具有重大的意义。目前癫痫疾病有各种筛查技术，如磁共振成像、脑电图(eeg)和正电子发射断层扫描等。其中脑电图是一种方便且廉价的方法，它可以持续捕捉神经系统疾病的电活动和隐藏特征。脑电图记录分为两种，即颅内脑电图记录(ieeg)和头皮脑电图记录(seeg)。目前非侵入式的头皮脑电图记录明显具有更大的优势，更容易被人们接受，也因此头皮脑电图记录是应用最广泛的癫痫检测和预测方法。
4.现如今随着计算机技术的快速发展和人们在生物基础认知方面的进步，极大地吸引了人们使用数据挖掘、机器学习和深度学习等技术在医疗保健、医疗实践和生物医学工程领域进行数据分析和信号处理工作，通过检测和预测数据进而分析并应用在相关领域。虽然现有已证实的认知对于癫痫的发作来源仍缺乏令人信服的解释和全面的证据，但一些早期研究表明，似乎不可预测的癫痫发作是有可能预测的，并且随着脑电图记录的不断改进，基于eeg的癫痫预测技术也越来越多。


技术实现要素：

5.发明目的：本发明目的在于提出了一种基于特征通道融合和深度学习的癫痫预测研究方法。很好的解决了以往癫痫预测中维度过高、特征信息混叠性高的问题。在识别率方
面，该方法相比传统的特征提取之后直接分类更有优势，能够有效的提高癫痫预测的准确率。
6.技术方案：本发明提出一种基于特征通道融合和深度学习的癫痫预测系统，该系统包括如下模块：
7.数据采集模块：采集获取癫痫患者连续脑电图记录的电活动数据，对癫痫数据进行筛选，采用筛选后的全部电活动数据组建原始数据集；
8.预处理模块：采集到的脑电信号原始数据集进行预处理，去除脑电信号采集过程中设备和环境对信号造成的干扰，预处理步骤依次为滤波、通道筛选、去除工频干扰、剔除伪影，重参考；
9.数据集组建模块：参照采集信号的癫痫发作起止时间，从预处理后的数据集中截取定义的癫痫发作间期、发作前期数据组建癫痫预测数据集；
10.分段处理模块：采用时长为30s滑动窗口对数据集组建模块处理后的数据进行分段处理，滑动过程中要求各段之间重叠50％；
11.通道融合模块：采用非线性降维算法t-sne对分段处理后的各段数据从通道维度进行特征通道融合；
12.样本特征模块：采用短时傅里叶变换对进行特征通道融合后的各段数据进行时域和频域信息的提取，将各段脑电图信号转换为由频率轴和时间轴组成的二维时频张量，组成待训练的样本特征；
13.训练模块：搭建逐通道不同阈值的深度残差收缩神经网络作为分类器，采用网络的软阈值去噪和注意力机制，使用生成的样本特征完成分类器的训练；
14.识别模块：利用中训练好的分类器对待识别的脑电信号进行分类识别，得到识别结果。
15.优选的，数据采集模块中，对癫痫数据进行筛选包含以下步骤：
16.(1.1)只考虑每天癫痫发作少于10次的患者来执行预测任务；
17.(1.2)对于距离前一次发作时间小于30分钟的发作，将其和前一次发作视为一次发作，并将前一次发作的发作起始时间作为此次发作的发作起始时间；
18.癫痫患者连续脑电图记录的电活动数据应至少包含患者24小时的记录数据，并标记其中癫痫开始发作和结束发作的时间。
19.优选的，预处理模块中，所述预处理步骤，使用matlab软件的eeglab插件进行，方法如下：
20.(2.1)滤波：使用fir滤波器滤除500hz以上的频率；
21.(2.2)通道筛选：剔除重复名称的通道、剔除空值大于阈值的通道；
22.(2.3)去除工频干扰：使用滤波器剔除预设特定频率的工频干扰；
23.(2.4)剔除伪影：采用独立成分分析剔除采集的脑电信号中来自环境或者身体中其它电活动的信号；
24.(2.5)重参考：采用全脑平均参考，将全脑所有数据的平均值作为参考数据，对所有电极的电位与参考数据重新作差得到新的电位差，作为新的电极数据；
25.其中，处理后的脑电图记录数据集为x(t)，其脑电图记录时长为t，采样频率为f，通道数为q。
26.优选的，数据集组建模块的功能如下：
27.将癫痫发作间期定义为本次癫痫发作前4小时到上次癫痫发作结束后4小时之间，发作前期定义为癫痫发作前35分钟至5分钟之间的30分钟时间；
28.从预处理后的数据集中截取定义的癫痫发作间期、发作前期数据组建癫痫预测数据集，该数据集包括两部分：发作间期数据x(t1)，总时长为t1，发作前期数据x(t2)，总时长为t2，数据的采样频率f，通道数为q。
29.优选的，分段处理模块具体功能如下：
30.发作间期数据x(t1)，总时长为t1，采用30s的滑动窗口对总时长为t1的发作间期数据进行分段，前一段与后一段的重叠为50％，生成总数为n1＝2(t1/30)-1的时长为30s、通道数为q的分段数据；单段数据的大小为q
×
30f；
31.发作前期数据x(t2)，总时长为t2，采用30s的滑动窗口对总时长为t2的发作前期数据进行分段，前一段与后一段的重叠为50％，生成总数为n2＝2(t2/30)-1的时长为30s、通道数为q的分段数据；单段数据的大小为q
×
30f。
32.优选的，通道融合模块具体功能如下：
33.选择处理后的分段数据中某一段样本，其大小为q
×
30f，其中，q为通道数，f为采样频率，30f代表30s的采样点数；
34.将通道作为高维空间中的样本的全体为x＝{x1,x2,
…
,xq}，在观测高维空间任意两个样本xi和xj相似的条件概率p
j|i
和p
i|j
分别表示为：
[0035][0036][0037]
其中，||.||表示向量2范数，σi和σj分别是以数据点xi和xj为中心的高斯分布方差，则高维空间中联合分布概率p
ij
表示为：
[0038][0039]
设低维空间中的模拟数据点表示为{y1,y2,
…
,yn}，低维空间中任意两个模拟数据点yi和yj之间的联合分布概率q
ij
可以表示为：
[0040][0041]
利用kl散度表示低维空间中模拟点对应高维空间中数据点的模拟正确性，kl散度表示为：
[0042][0043]
其中，p是高维观测空间的联合概率分布，q是低维嵌入空间的联合概率分布；
[0044]
为了获得最佳的低维数据模拟点，利用梯度下降法进行优化，得到最小kl散度，具体表达式如下：
[0045][0046]
通过最小化上式可得到最佳的低维模拟数据点，即结果{y1,y2,
…
,yn}，由此完成从通道数q到n的特征通道融合；对分段后的各段数据从通道维度进行通道融合操作，即将所有q通道融合为一个通道，完成特征通道的融合。
[0047]
优选的，样本特征模块具体功能如下：
[0048]
使用时间窗函数g(t-u)与分段处理后时长为30s的原信号f(t)进行相乘，进行傅里叶变换后不断平移，计算时频能量密度值，方法如下：
[0049][0050]
式中，f(t)为时长30s的原信号，g(t-u)为窗函数，u在窗函数中表示窗口的中心，即根据时域u进行加窗口和平移操作，s(ω,u)为时频能量密度值，其中，ω表示频域，u表示时域，窗函数采用矩形窗g(n)表示，其表示式如下：
[0051][0052]
其中，n为窗口的长度，设置采样频率为f，n为采样点数，并且n的值为采样频率f与时长t的乘积；平移过程中设置矩形窗与上一个窗口重叠50％；
[0053]
对处理后的各段信号的各个通道数据f(t)分别进行如上操作，在每段信号的生成一个大小为(f/2 1)
×
59的二维时频张量，处理后发作间期生成大小为n1×
(f/2 1)
×
59的时频张量矩阵t1，发作前期生成大小为n2×
(f/2 1)
×
59的时频张量矩阵t2，组成了待训练的样本特征t＝[t1,t2]。
[0054]
优选的，训练模块具体功能如下：
[0055]
(8.1)将样本特征加载到深度残差收缩网络的卷积层，对其进行二维卷积处理输出特征记为a；
[0056]
(8.2)将特征a输入到第一层残差收缩单元内，依次经过bn层对特征进行批量归一化处理、经过relu激活函数构成的relu层、二维卷积层(conv_2d)、最大池化层之后输出特征b；特征b再依次经过bn层对特征进行批量归一化处理、经过relu激活函数构成的relu层、二维卷积层、最大池化层之后输出特征c；求c的绝对值得到特征d；特征d经过全局均值池化层(gap)后得到全局均值池化和平均的特征图，将全局均值池化和平均的特征图经过bn层和relu层进行批处理化后输入到两个全连接层中，获得尺度化参数，通过sigmoid函数将尺度化参数规整到0和1之间，将规整后的尺度化参数乘以特征d的平均值作为阈值τ；
[0057]
使用阈值对特征c进行软阈值化；软阈值化是将阈值区间[-τ,τ]内的特征置为0，软阈值公式表示为：
[0058][0059]
其中，x表示输入特征即c，y表示输出特征，τ表示阈值；
[0060]
将软阈值处理后的特征记为e，将特征c与原始特征a进行逐元素相加之后输出为f；
[0061]
(8.3)将特征f输入第二层、第三层残差收缩单元内，迭代(8.2)所述过程，特征输出为g；
[0062]
(8.4)对三层残差收缩单元输出的特征g经过bn层和relu层进行批标准化处理，将每个特征的值分布转化为均值为0和方差为1的标准正态分布，之后将其进行最大池化后输入到输出维度为2的全连接层进行分类，并得到分类结果；输出全连接层通过sigmoid函数将前一层传递来的数据x，转换成概率，用于分类，小于0.5标签为0，否则标签为1，表达式为：
[0063][0064]
优选的，识别模块具体功能如下：
[0065]
对于待识别的脑电信号经过数据采集模块、预处理模块、数据集组建模块、分段处理模块、通道融合模块、样本特征模块处理形成样本特征，将样本特征输入到利用训练好的分类器进行分类识别，得到最终的识别结果：
[0066][0067]
若识别结果为发作前期，则表明带有此段待识别脑电信号的患者将于30分钟之内发作癫痫。
[0068]
有益效果：与现有技术相比，本发明的技术方案具有以下有益技术效果：
[0069]
本发明在癫痫预测领域提出了一种新的解决办法，将多维脑电图进行特征通道融合,并基于短时傅里叶变换提取融合后的时频域特征，有效避免了以往预测方法中维度过高、特征信息混叠性高的缺点。并针对冗余性信息首次引入了带有软阈值去噪和注意力机制的深度残差收缩神经网络应用到癫痫信号的预测上，以此来减少训练过程中冗余信息的影响，大大提高了癫痫预测的准确率。该方法在癫痫患者样本数据上的实验结果表明：非线性降维算法t-sne可以很好的将发作间期和发作前期通道特征数据从高维映射到低维，很好的解决了维度过高、特征信息混叠性高的问题，提取的特征向量在加入软阈值去噪和注意力机制的深度残差收缩神经网络中有较好的分类结果。
附图说明
[0070]
图1本发明提出的基于特征通道融合和深度学习的癫痫预测流程框架图；
[0071]
图2为深度残差收缩神经网络中软阈值函数及其导数；
[0072]
图3为设计采用的残差收缩单元结构图；
[0073]
图4为设计采用的深度残差收缩神经网络结构图。
具体实施方式
[0074]
为使本发明的目的，技术方案和优点更加清楚，下面将结合附图对本发明实施方案作进一步详细阐述。
[0075]
本发明提出一种基于特征通道融合和深度学习的癫痫预测系统，该系统包括如下模块：
[0076]
数据采集模块：采集获取癫痫患者连续脑电图记录的电活动数据，对癫痫数据进
行筛选，采用筛选后的全部电活动数据组建原始数据集；
[0077]
预处理模块：采集到的脑电信号原始数据集进行预处理，去除脑电信号采集过程中设备和环境对信号造成的干扰，预处理步骤依次为滤波、通道筛选、去除工频干扰、剔除伪影，重参考；
[0078]
数据集组建模块：参照采集信号的癫痫发作起止时间，从预处理后的数据集中截取定义的癫痫发作间期、发作前期数据组建癫痫预测数据集；
[0079]
分段处理模块：采用时长为30s滑动窗口对数据集组建模块处理后的数据进行分段处理，滑动过程中要求各段之间重叠50％；
[0080]
通道融合模块：采用非线性降维算法t-sne对分段处理后的各段数据从通道维度进行特征通道融合；
[0081]
样本特征模块：采用短时傅里叶变换对进行特征通道融合后的各段数据进行时域和频域信息的提取，将各段脑电图信号转换为由频率轴和时间轴组成的二维时频张量，组成待训练的样本特征；
[0082]
训练模块：搭建逐通道不同阈值的深度残差收缩神经网络作为分类器，采用网络的软阈值去噪和注意力机制，使用生成的样本特征完成分类器的训练；
[0083]
识别模块：利用中训练好的分类器对待识别的脑电信号进行分类识别，得到识别结果。
[0084]
优选的，数据采集模块中，对癫痫数据进行筛选包含以下步骤：
[0085]
(1.1)只考虑每天癫痫发作少于10次的患者来执行预测任务；
[0086]
(1.2)对于距离前一次发作时间小于30分钟的发作，将其和前一次发作视为一次发作，并将前一次发作的发作起始时间作为此次发作的发作起始时间；
[0087]
癫痫患者连续脑电图记录的电活动数据应至少包含患者24小时的记录数据，并标记其中癫痫开始发作和结束发作的时间。
[0088]
优选的，预处理模块中，所述预处理步骤，使用matlab软件的eeglab插件进行，方法如下：
[0089]
(2.1)滤波：使用fir滤波器滤除500hz以上的频率；
[0090]
(2.2)通道筛选：剔除重复名称的通道、剔除空值大于阈值的通道；
[0091]
(2.3)去除工频干扰：使用滤波器剔除预设特定频率的工频干扰；
[0092]
(2.4)剔除伪影：采用独立成分分析剔除采集的脑电信号中来自环境或者身体中其它电活动的信号；
[0093]
(2.5)重参考：采用全脑平均参考，将全脑所有数据的平均值作为参考数据，对所有电极的电位与参考数据重新作差得到新的电位差，作为新的电极数据；
[0094]
其中，处理后的脑电图记录数据集为x(t)，其脑电图记录时长为t，采样频率为f，通道数为q。
[0095]
优选的，数据集组建模块的功能如下：
[0096]
将癫痫发作间期定义为本次癫痫发作前4小时到上次癫痫发作结束后4小时之间，发作前期定义为癫痫发作前35分钟至5分钟之间的30分钟时间；
[0097]
从预处理后的数据集中截取定义的癫痫发作间期、发作前期数据组建癫痫预测数据集，该数据集包括两部分：发作间期数据x(t1)，总时长为t1，发作前期数据x(t2)，总时长
为t2，数据的采样频率f，通道数为q。
[0098]
优选的，分段处理模块具体功能如下：
[0099]
发作间期数据x(t1)，总时长为t1，采用30s的滑动窗口对总时长为t1的发作间期数据进行分段，前一段与后一段的重叠为50％，生成总数为n1＝2(t1/30)-1的时长为30s、通道数为q的分段数据；单段数据的大小为q
×
30f；
[0100]
发作前期数据x(t2)，总时长为t2，采用30s的滑动窗口对总时长为t2的发作前期数据进行分段，前一段与后一段的重叠为50％，生成总数为n2＝2(t2/30)-1的时长为30s、通道数为q的分段数据；单段数据的大小为q
×
30f。
[0101]
优选的，通道融合模块具体功能如下：
[0102]
选择处理后的分段数据中某一段样本，其大小为q
×
30f，其中，q为通道数，f为采样频率，30f代表30s的采样点数；
[0103]
将通道作为高维空间中的样本的全体为x＝{x1,x2,
…
,xq}，在观测高维空间任意两个样本xi和xj相似的条件概率p
j|i
和p
i|j
分别表示为：
[0104][0105][0106]
其中，||.||表示向量2范数，σi和σj分别是以数据点xi和xj为中心的高斯分布方差，则高维空间中联合分布概率p
ij
表示为：
[0107][0108]
设低维空间中的模拟数据点表示为{y1,y2,
…
,yn}，低维空间中任意两个模拟数据点yi和yj之间的联合分布概率q
ij
可以表示为：
[0109][0110]
利用kl散度表示低维空间中模拟点对应高维空间中数据点的模拟正确性，kl散度表示为：
[0111][0112]
其中，p是高维观测空间的联合概率分布，q是低维嵌入空间的联合概率分布；
[0113]
为了获得最佳的低维数据模拟点，利用梯度下降法进行优化，得到最小kl散度，具体表达式如下：
[0114][0115]
通过最小化上式可得到最佳的低维模拟数据点，即结果{y1,y2,
…
,yn}，由此完成从通道数q到n的特征通道融合；对分段后的各段数据从通道维度进行通道融合操作，即将
所有q通道融合为一个通道，完成特征通道的融合。
[0116]
优选的，样本特征模块具体功能如下：
[0117]
使用时间窗函数g(t-u)与分段处理后时长为30s的原信号f(t)进行相乘，进行傅里叶变换后不断平移，计算时频能量密度值，方法如下：
[0118][0119]
式中，f(t)为时长30s的原信号，g(t-u)为窗函数，u在窗函数中表示窗口的中心，即根据时域u进行加窗口和平移操作，s(ω,u)为时频能量密度值，其中，ω表示频域，u表示时域，窗函数采用矩形窗g(n)表示，其表示式如下：
[0120][0121]
其中，n为窗口的长度，设置采样频率为f，n为采样点数，并且n的值为采样频率f与时长t的乘积；平移过程中设置矩形窗与上一个窗口重叠50％；
[0122]
对处理后的各段信号的各个通道数据f(t)分别进行如上操作，在每段信号的生成一个大小为(f/2 1)
×
59的二维时频张量，处理后发作间期生成大小为n1×
(f/2 1)
×
59的时频张量矩阵t1，发作前期生成大小为n2×
(f/2 1)
×
59的时频张量矩阵t2，组成了待训练的样本特征t＝[t1,t2]。
[0123]
优选的，训练模块具体功能如下：
[0124]
(8.1)将样本特征加载到深度残差收缩网络的卷积层，对其进行二维卷积处理输出特征记为a；
[0125]
(8.2)将特征a输入到第一层残差收缩单元内，依次经过bn层对特征进行批量归一化处理、经过relu激活函数构成的relu层、二维卷积层(conv_2d)、最大池化层之后输出特征b；特征b再依次经过bn层对特征进行批量归一化处理、经过relu激活函数构成的relu层、二维卷积层、最大池化层之后输出特征c；求c的绝对值得到特征d；特征d经过全局均值池化层(gap)后得到全局均值池化和平均的特征图，将全局均值池化和平均的特征图经过bn层和relu层进行批处理化后输入到两个全连接层中，获得尺度化参数，通过sigmoid函数将尺度化参数规整到0和1之间，将规整后的尺度化参数乘以特征d的平均值作为阈值τ；
[0126]
使用阈值对特征c进行软阈值化；软阈值化是将阈值区间[-τ,τ]内的特征置为0，软阈值公式表示为：
[0127][0128]
其中，x表示输入特征即c，y表示输出特征，τ表示阈值；
[0129]
将软阈值处理后的特征记为e，将特征c与原始特征a进行逐元素相加之后输出为f；
[0130]
(8.3)将特征f输入第二层、第三层残差收缩单元内，迭代(8.2)所述过程，特征输出为g；
[0131]
(8.4)对三层残差收缩单元输出的特征g经过bn层和relu层进行批标准化处理，将每个特征的值分布转化为均值为0和方差为1的标准正态分布，之后将其进行最大池化后输
入到输出维度为2的全连接层进行分类，并得到分类结果；输出全连接层通过sigmoid函数将前一层传递来的数据x，转换成概率，用于分类，小于0.5标签为0，否则标签为1，表达式为：
[0132][0133]
优选的，识别模块具体功能如下：
[0134]
对于待识别的脑电信号经过数据采集模块、预处理模块、数据集组建模块、分段处理模块、通道融合模块、样本特征模块处理形成样本特征，将样本特征输入到利用训练好的分类器进行分类识别，得到最终的识别结果：
[0135][0136]
若识别结果为发作前期，则表明带有此段待识别脑电信号的患者将于30分钟之内发作癫痫。
[0137]
图1是本发明提出的基于特征通道融合和深度学习的癫痫预测流程框架图，主要有以下几个步骤：
[0138]
步骤1)采集获取癫痫患者连续脑电图记录的电活动数据，结合实际应用意义对癫痫数据进行筛选，采用筛选后的全部电活动数据组建原始数据集；
[0139]
步骤2)对步骤1)采集到的脑电信号原始数据集进行预处理，去除脑电信号采集过程中设备和环境对信号造成的干扰，预处理步骤依次为滤波、通道筛选、去除工频干扰、剔除伪影，重参考；
[0140]
步骤3)参照步骤1)采集信号的癫痫发作起止时间，从步骤2)预处理后的数据集中截取定义的癫痫发作间期、发作前期数据组建癫痫预测数据集；
[0141]
步骤4)采用时长为30s滑动窗口对步骤3)处理后的数据进行分段处理，滑动过程中要求各段之间重叠50％；
[0142]
步骤5)采用非线性降维算法t-sne对步骤4)分段处理后的各段数据从通道维度进行特征通道融合；
[0143]
步骤6)采用短时傅里叶变换对步骤5)进行特征通道融合后的各段数据进行时域和频域信息的提取，将各段脑电图信号转换为由频率轴和时间轴组成的二维时频张量，组成待训练的样本特征；
[0144]
步骤7)搭建逐通道不同阈值的深度残差收缩神经网络作为分类器，采用网络特有的软阈值去噪和注意力机制，使用步骤6)生成的样本特征完成分类器的训练；图2为深度残差收缩神经网络中软阈值函数及其导数。图3为设计采用的残差收缩单元结构图；
[0145]
图4为设计采用的深度残差收缩神经网络结构图，其中的drsn_block表示图3的残差收缩单元。
[0146]
步骤8)利用步骤7)中训练好的分类器对待识别的脑电信号进行分类识别，得到识别结果。对于待识别的脑电信号，首先对其进行步骤5)和步骤6)的相关操作，提取相关时频域特征，利用训练好的分类器进行分类识别，得到最终的识别结果：
[0147][0148]
若识别结果为发作前期，则表明带有此段待识别脑电信号的患者将于30分钟之内发作癫痫。