一种基于深度学习的HFO自动检测系统的制作方法

一种基于深度学习的hfo自动检测系统
技术领域
1.本发明涉及信号检测技术领域，尤其涉及一种基于深度学习的hfo自动检测系统。


背景技术：

2.20世纪90年代以来，频率在80
‑
500hz的癫痫脑电中的高频振荡(hfo)信号受到越来越多研究学者的关注和研究。研究学者根据频率大小把hfos分成三个类型：rs(ripples，80
‑
250hz)、frs(fast ripples,250
‑
500hz)、vhfos(very high frequency oscillations,1000
‑
2500hz)。其中，vhfos采集难度大并且作用机理并不明确；rs反映了同步神经元活动的抑制场电位，从而促进了长距离的信息传递；frs是病态的，反映自发爆发神经元的动作电位总和。研究表明，hfos的发生与癫痫组织产生的阵发性活动密切相关，且良好的预后与手术切除高hfos发生率的通道呈现高度的相关性，比传统的利用棘波、尖波等癫痫波定位致痫灶更为精确。在颅内间期数据的研究中，高频振荡(hfos)已成为定位致痫灶的一种新的生物标志物。
3.目前用来检测脑电图中hfo信号的方法主要有视觉分析和自动检测两种。视觉评估目前仍是临床诊断中的金标准，专家根据经验对患者脑电中的高频振荡节律进行视觉标记，然而，由于hfo信号持续时间短、波幅小，因此人工分析的过程是十分耗时和繁琐的，此外，人工标记受到医生主观和各种客观因素的影响，漏标和错标是难以避免的，不同医生之间的标注一致性也难以把控。因此，探索hfo信号的自动化检测方法，具有极大的现实意义。
4.为了解决这一问题，自2002年以来，一系列不同的带通信号能量表征方法得到了广泛的研究和应用。在不同的研究中已经报道了许多hfo自动检测器。staba等人提出基于带通滤波信号的均方根(rms)特征来自动检测hfos。gardner等人提出使用信号的短时线长特征作为区分真、伪hfos的标准。chaibi等人提出一种结合了平滑hilbert huang transform(hht)和均方根(rms)特征的hfos检测和分类算法，取得了较高的敏感度和较低的fdr。
5.然而，滤波后的hfos波形有很多与真实hfos波形相似，如尖峰、类脉冲伪影、谐波信号等。因此，虽然上述方法最初可以检测hfos，但它们都存在一个共同的问题，即错误识别，导致特异性较低。
6.进一步地，研究者开始在初始检测之后加入无监督的聚类或有监督的分类来提高系统性能。birot等人提出在高通滤波初始检测之后，使用短时傅里叶变换或小波变换，并计算子频带能量比，以此来将初始检测之后混进真hfos中的伪迹等分离出来。liu等人首先利用基于振幅的初始化阈值检测器，得到hfo候选样本池，然后对原始信号从时域和时频域提取特征，利用高斯混合模型聚类将hfo事件从其他活动中分类筛选出来。
7.近年来，深度学习已被广泛应用于计算机视觉、信号处理等领域，它对数据高阶信息进行抽象建模，不依赖手工特征提取，且在生理信号处理等领域推广使用。研究者将深度学习技术引入hfo自动检测的第二阶段中。zuo等人提出将采集到的候选hfos转换成二维灰度矩阵，然后使用堆叠的卷积神经网络(convolutional neural network,cnn)对候选事件
进一步区分。lai等人提出使用信号的短时能量特征作为初始检测器的标准，得到hfo候选样本池，进行短时傅里叶变换得到hfos候选的时频图像，然后使用深度2d
‑
cnn来进一步区分真、伪hfos。
8.然而，临床上在识别hfos时，不能仅依靠时频图像，还须结合脑电图波形进行分析判断，才能得出结论。尽管已经有很多针对脑电信号或者时频图像的研究被提出，但单一的研究角度(或单一信号，或单一时频图)以及简单的模型设计都导致了现有自动检测工具仍然存在较为严重的误诊、漏诊问题，导致其敏感度或者特异性较低。


技术实现要素：

9.本发明针对上述技术问题，提供一种基于深度学习的hfo自动检测系统。
10.为了实现上述目的，本发明提供如下技术方案：
11.本发明提供一种基于深度学习的hfo自动检测系统，包括：
12.数据采集模块，用于对患者的原始seeg信号进行采集；
13.数据预处理模块，用于将采集到的原始seeg信号进行预处理；
14.阈值初始检测模块，用于对预处理后的信号进行初始检测并建立临床高频振荡的候选事件集；
15.小波变换模块，用于将候选事件集中的数据进行连续小波变换，生成二维时频图像；
16.数据存储模块，用于存储已视觉标记的真假hfos；
17.端到端双分支融合模型，包括针对信号分支构建的一维resnet和lstm的混合网络模块以及针对时频图分支构建的带有cbam的二维resnet网络模块，用于提取信号的深度特征；
18.融合模块，利用多层感知器对融合结果进行分类识别。
19.进一步地，数据预处理模块中预处理的流程如下：
20.s101、截取30min原始seeg信号片段进行后续预处理；
21.s102、对原始脑电信号进行极性转换操作；
22.s103、在使用数据之前将明显受到干扰的通道以及空电极去除；
23.s104、通过50hz倍频陷波滤波器滤除工频干扰及其倍频干扰；
24.s105、通过带通滤波器保留80
‑
500hz频率范围的脑电信号。
25.进一步地，阈值初始检测模块中的算法流程如下：
26.s201、基于80
‑
500hz频段滤波后的信号计算受试者每个导联的标准差，并定义阈值为2.5倍的峰值，并统计每次信号峰值超过阈值的位置；
27.s202、对每128个采样点内的阈值交叉次数进行统计，并记录下交叉次数大于3的位置；
28.s203、对信号进行希尔伯特变换提取脑电信号包络，并设置阈值为3倍的背景中值，记录下超过阈值的位置；
29.s204、对同时满足上述各项条件要求的位置，截取该点前0.1s及后0.4s，共计0.5s的信号片段，作为一条备选hfo数据。
30.进一步地，双分支融合模型是以信号分支和时频图分支两种模态数据作为模型输
入，首先对两种模态数据进行特征学习，然后通过融合模块对两种模态数据的输出进行融合。
31.进一步地，双分支融合模型的方法流程为：
32.s301、以80
‑
500hz带通信号和二维时频图作为模型输入；
33.s302、信号分支被设计成一个混合网络，由一个一维resnet和一个lstm并联形成；时频图分支采用一个二维resnet作为基准，并在每个卷积块后面都嵌入了一个cbam模块；
34.s303、融合模块融合两支路的两个输出向量，利用融合模块的多层感知器作为分类器对真/假hfo进行分类。
35.进一步地，双分支融合模型中的一维resnet网络用于提取信号空间形态上的深度特征，该网络由5个阶段构成，第一个阶段为一个7
×
7的卷积处理，stride为2，然后经过池化处理，此时特征图的尺寸已成为输入的1/4，接下来的四个阶段由四个残差块堆叠构成，每个块由两个叠加的3
×
3卷积组成，每个卷积层后接batchnorm(bn)层和relu激活函数，堆叠的块的个数为[3,4,6,3]。
[0036]
进一步地，双分支融合模型中lstm网络用于提取信号时间维度上的深度特征，其隐藏单元数为100，层数为2，在lstm层后还添加一个dropout层，用于降低冗余。
[0037]
进一步地，双分支融合模型中的二维resnet网络由5个阶段组成，5个阶段由5个残差块堆叠构成，每个块由3个卷积层组成，卷积(conv)分别为1
×
1、3
×
3和1
×
1，用于压缩维度、卷积处理和恢复维度，每个卷积层后接batchnorm(bn)层和relu激活函数，堆叠的块的个数为[3,4,6,3]。
[0038]
进一步地，双分支融合模型中带有cbam的二维resnet网络的构建方法为：采用通道注意力模块将输入的特征图，分别经过基于width和height的全局最大池化和全局平均池化，然后分别经过一个参数共享的多层感知器(multilayer perceptron，mlp)，将多层感知器输出的特征进行基于元素级别的加和操作，再经过sigmoid激活操作，生成最终的ca特征图；采用空间注意力模块，将输入基于通道分别做全局最大池化和全局平均池化，然后沿通道维度做concat操作；经过一个卷积操作，降维为1个channel，再经过sigmoid生成sa特征图；将ca模块与sa模块串联，嵌入到2d
‑
resnet的每一个堆叠块的最后面。
[0039]
进一步地，融合模块的融合方法为：对于某一段备选事件，将来自两分支的输出连接起来，得到关于这段备选事件的融合特征向量，其中，信号分支输出的维度为1
×
612，时频图分支输出的维度为1
×
2048，融合后的维度为1
×
2660；对融合特征向量进行0.5倍下采样，得到1
×
1330维的融合特征；将上述向量送入多层感知器进行训练，其隐藏单元数为500。
[0040]
与现有技术相比，本发明的有益效果为：
[0041]
本发明提供的基于深度学习的hfo自动检测系统，对当前hfos自动检测方法进行优化创新，提出基于双分支特征融合模型的高频振荡信号自动检测系统。以滤波后的带通信号(信号分支)和时频图像(tfpic分支)作为模型的输入，分别建立两个用于深度特征提取的骨干网络。具体地说,信号分支设计为基于resnet1d和长短期记忆(lstm)的混合模型,可以同时捕获信号在时间和空间维度的特性；在tfpic分支，骨干网络被构造为resnet2d 卷积块注意力模块(cbam)，使模型更多的关注tf图像中对正确分类hfos有用的信息。然后融合两个分支的输出，实现hfos的端到端自动识别，提高检测的灵敏度和特异性。
附图说明
[0042]
为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0043]
图1为本发明实施例提供的基于深度学习的hfo自动检测系统的工作流程图。
[0044]
图2为本发明实施例提供的预处理模块的工作流程图。
[0045]
图3为本发明实施例提供的双分支融合模型的工作流程图。
[0046]
图4为本发明实施例提供的1d
‑
resnet lstm混合模型工作流程图。
[0047]
图5为本发明实施例提供的2d
‑
resnet_cbam的工作流程图。
[0048]
图6为本发明实施例提供的融合模块的工作流程图。
具体实施方式
[0049]
为了更好地理解本技术方案，下面结合附图对本发明的方法做详细的说明。
[0050]
本发明提供一种基于深度学习的hfo自动检测系统，整体架构和工作流程如图1所示，包括数据采集模块、数据预处理模块、阈值初始检测模块、小波变换模块、数据存储模块、端到端双分支融合模型和融合模块，其步骤如下：
[0051]
步骤一：首先对患者的原始seeg信号进行采集和预处理，包括分割、滤波等；
[0052]
步骤二：通过阈值检测器初步建立临床高频振荡的候选事件集；
[0053]
步骤三：对数据进行连续小波变换(cwt)，生成二维时频图像；
[0054]
步骤四：结合三种模式的数据(时频图、原始信号和滤波信号)，邀请神经外科专家对hfos的真假进行视觉标记，构建我们的私有数据库；
[0055]
步骤五：设计一个端到端双分支融合模型用于hfo自动检测。
[0056]
其中，以两种模态数据作为模型输入，针对信号支路构建了一维resnet和lstm混合网络，针对时频图(tfpic)支路设计了带有cbam的二维resnet网络。首先对两种模态数据进行特征学习，然后通过构建融合模块对两种模态数据的输出进行融合，利用多层感知器(mlp)分类器对融合结果进行识别。
[0057]
在整体架构层面，我们提出了一种新的两阶段hfos自动检测系统。具体来说，在第一阶段，设计了基于阈值的初始检测器来获取疑似hfos的候选事件集。而在第二阶段，基于候选集，我们构建了深度学习模型，用于进一步检测。
[0058]
关于预处理模块，其总体方法流程如图2所示，具体为：
[0059]
步骤一：原始seeg均为长程脑电记录，截取其中一部分，一般取30min信号片段进行后续预处理；
[0060]
步骤二：双极导联的波形、波幅失真较少，故需要对原始脑电进行极性转换操作；
[0061]
步骤三：在使用数据之前将明显受到干扰的通道以及空电极去除；
[0062]
步骤四：通过50hz倍频陷波滤波器滤除工频干扰及其倍频干扰；
[0063]
步骤五：通过带通滤波器保留80
‑
500hz频率范围的脑电信号。
[0064]
关于阈值的初始检测模块，其高频振荡信号初始检测算法流程如下：
[0065]
步骤一：基于80
‑
500hz频段滤波后的信号计算受试者每个导联的标准差(sd)，并定义阈值为2.5倍的峰值，并统计每次信号峰值超过阈值的位置；
[0066]
步骤二：然后对每128个采样点内的阈值交叉次数进行统计，并记录下交叉次数大于3的位置；
[0067]
步骤三：对信号进行希尔伯特变换提取脑电信号包络，并设置阈值为3倍的背景中值，记录下超过阈值的位置；
[0068]
步骤四：对同时满足上述各项条件要求的位置，截取该点前0.1s及后0.4s，共计0.5s的信号片段，作为一条备选hfo数据。
[0069]
关于双分支融合模型(1d
‑
resnet lstm和2d
‑
resnet_cbam)，总体架构如图3所示，其方法流程为：
[0070]
步骤一：以80
‑
500hz带通信号和2d时频图作为模型输入；
[0071]
步骤二：信号分支被设计成一个混合网络，由一个1d
‑
resnet和一个lstm并联形成；
[0072]
步骤三：tfpic分支总体上采用一个2d
‑
resnet作为基准，并在每个卷积块后面都嵌入了一个cbam模块；
[0073]
步骤四：融合两支路的两个输出向量；
[0074]
步骤五：利用多层感知器作为分类器对真/假hfo进行分类。
[0075]
在深度学习模型方面，我们提出了一种端到端双分支融合模型，其中设计了两个骨干网(1d
‑
resnet lstm和2d
‑
resnet_cbam)，分别学习滤波后带通信号和时频图像的深度特征。
[0076]
具体地，关于信号分支(1d
‑
resnet lstm混合模型)，其总体结构如图4所示，其构建方法为：
[0077]
步骤一：设计一个一维的resnet网络用于提取信号空间形态上的深度特征。该网络由5个阶段构成。第一个阶段为一个7
×
7的卷积处理，stride为2，然后经过池化处理，此时特征图的尺寸已成为输入的1/4。接下来是四个残差块堆叠构成的四个阶段，每个块由两个叠加的3
×
3卷积组成，每个卷积层后接batchnorm(bn)层和relu激活函数用于数据的归一化和激活，块堆叠数目为[3,4,6,3]。
[0078]
步骤二：采用一个lstm单元来提取信号时间维度上的深度特征。其隐藏单元数为100，层数为2，在lstm层后还添加一个dropout层，用于降低冗余。
[0079]
关于时频图分支(2d
‑
resnet_cbam)，其总体结构如图5所示，其构建方法为：
[0080]
步骤一：对患者的脑电信号采用morlet小波基进行时频变换，生成信号的二维彩色时频图像；
[0081]
步骤二：设计一个以二维resnet为基线网络的深度模型，整个模型由5个阶段组成。使用个性化残差块，每个块由3个卷积层(1
×
1,3
×
3,1
×
1)组成，用于压缩维度、卷积处理和恢复维度，每个卷积层后接batchnorm(bn)层和relu激活函数用于数据的归一化和激活，堆叠的块的个数为[3,4,6,3]；
[0082]
步骤三：采用通道注意力(channel attention，ca)模块将输入的特征图，分别经过基于width和height的全局最大池化和全局平均池化，然后分别经过一个参数共享的mlp。将mlp输出的特征进行基于元素级别(elementwise)的加和操作，再经过sigmoid激活操作，生成最终的ca特征图；
[0083]
步骤四：采用空间注意力(spatial attention，sa)模块，将输入基于通道分别做
全局最大池化和全局平均池化，然后沿通道维度做concat操作；经过一个卷积操作，降维为1个channel，再经过sigmoid生成sa特征图；
[0084]
步骤五：将ca模块与sa模块串联，嵌入到2d
‑
resnet的每一个堆叠块的最后面。
[0085]
关于融合模块，其整体结构如图6所示，其方法流程为：
[0086]
步骤一：对于某一段备选事件，将来自两分支的输出连接起来，得到关于这段备选事件的融合特征向量。其中，信号分支输出的维度为1
×
612，时频图分支输出的维度为1
×
2048，故融合后的维度为1
×
2660；
[0087]
步骤二：对融合特征向量进行0.5倍下采样，得到1
×
1330维的融合特征；
[0088]
步骤三：将上述向量送入一个多层感知机进行训练，其隐藏单元数为500。
[0089]
本发明基于深度学习相关技术实现一种新的hfo自动检测系统，在信号分支上，混合网络(1d
‑
resnet lstm)结合了cnn和rnn的优点。cnn负责提取信号形态空间的特征，rnn负责提取信号时间维的特征，或者可以说rnn负责“记忆”。在时频图分支中，2d
‑
resnet_cbam模型更加关注时频图像的有用信息，可以学习真实hfos和非hfos时频图的区别。
[0090]
总体上，本发明采用两阶段的检测流程，第一阶段设计基于阈值的初始检测模块，得到疑似hfos候选事件集；第二阶段为综合利用带通信号和时频图像在分辨真、伪hfos方面的优势，提出将带通信号和经小波变换后的时频图像两种模态的数据作为深度学习模型输入，根据不同的输入分别设计有针对性的骨干网络以提取特征，最后将两个角度的特征进行融合，自动分类真、伪hfos，
[0091]
本发明通过消融实验，我们发现信号分支可以实现高敏感度、低特异性，而时频图分支则可以实现高特异性、低敏感度。这是因为在滤波后的信号中，由于正样本和负样本波形相似，模型在分辨过程中容易出现误差，而在时频图像中，正样本和负样本之间的明显差异可以弥补信号分支的低特异性。在时频图像中，一些真实的hfos时频图像可能没有明显的孤岛效应，但滤波后的信号有明显高于背景的峰值。因此，当我们把这两个分支结合起来的时候，可以得到一个优势互补的模型。
[0092]
此外，目前的研究者大多只关注于信号检测的性能，因此在实验数据划分方面，大多采取了随机划分训练集与测试集的方式。这种方法可以在一定程度上检查模型的性能，然而，在训练集和测试集中可能存在同一患者的不同数据，因此存在数据泄露的问题。在这种情况下，当模型应用于新患者时，很可能会出现性能显著下降，无法满足临床需求。在实际的临床应用中，理想情况是，当考虑一个新患者时，需要将从已有病例中获得的先验知识转移到对新患者的判断上。因此，必须考虑到模型在不同患者之间的泛化能力。
[0093]
在实际的临床应用领域，尽管大量的hfo自动检测方法已经被提出，但对于临床的验证多是采用随机的数据划分方法，该方法一定程度上引入了数据泄露问题，此外，对于使用了交叉验证方法的研究，其方法在某些性能指标方面的表现不尽如人意，模型泛化能力较差，我们所提出的方法在患者间交叉验证的精度、灵敏度、特异性等均在较高水平，足以进行实际的临床应用。
[0094]
在应用层面，考虑到上述临床需求，采用留一法交叉验证，我们以患者为单位对数据进行划分，避免了现有研究中的数据泄露问题。结果表明，即使在交叉验证中，我们的检测方法仍然表现良好，所有指标都优于同类型研究，试验结果如表1所示。
[0095]
表1交叉验证结果
[0096][0097]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。