脑电信号自监督表示学习方法、系统和存储介质

1.本发明涉及信号处理和模式识别技术领域，尤其涉及一种脑电信号自监督表示学习方法、系统和存储介质。


背景技术：

2.脑电信号的模式可以极大地帮助我们了解大脑的正常运作方式以及相关疾病机制。关于脑电信号的研究有很多，比如认知研究、情感识别和神经系统疾病等。记录脑电信号的方法主要有两种，包括非侵入式方法和侵入式方法，但是脑电信号数据的标签获取通常十分困难。随着自监督学习已成为在没有标签的情况下占主导地位的学习范式，越来越多的工作聚焦于利用自监督学习在海量的无标签数据中学习有效的表示。本发明提出的方法旨在对头皮脑电(eeg)和立体脑电(seeg)信号进行自监督表示学习，并将所学表示用于癫痫发作预测应用。
3.由于脑电信号本质上是一种时间序列数据，所以通用的时间序列自监督算法也能用于该任务。现有的方法有基于专门设计的代理任务，比如[saeed,2019]通过对数据进行转换，并训练模型能够很好地区分原始数据和转换后的数据。[p.sarkar,2020]通过对原始数据应用六种变换提出了类似的方法。除此之外，[aggarwal,2019]通过对局部和全局活动模式进行建模来学习具有个体不变性的表示。[franceschi,2019]利用基于时间的负采样和三元组损失来学习可拓展的多维时间序列表示。该三元组损失目标通过最小化正样本(子序列)之间成对距离的同时最大化负样本之间的距离来确保相似的时间序列具有相似的表示。受到对比学习在计算机视觉领域取得的卓越效果的启发，有些方法也将对比学习用于时间序列数据中，比如cpc[oord,2018]通过预测隐空间中的未来表示进行学习，并在各种语音识别任务中取得了很大的提升。ts-tcc[eldele,2021]通过应用时间对比模块和上下文对比模块来学习鲁棒和有差别的表示。此外，tst[zerveas,2021]基于transformer[vaswani,2017]结构,通过预测时间序列数据输入的掩码值进行表示学习。
[0004]
除了上述的时间序列自监督算法外，也有专为eeg数据所设计的自监督表示学习算法。[banville,2020]利了三个自监督代理任务进行eeg数据的表示学习，其中的相对位置预测和时序混排任务受启发于[hyvarinen,2016]，另一个任务则基于cpc[oord,2018]。[mohsenvand,2020]为eeg数据设计了相关的数据增强方式，并将计算机视觉领域的自监督模型simclr[chen,2020]拓展到eeg数据上。[cheng,2020]为eeg和ecg(心电图)设计了基于对比学习的自监督方法，通过利用受试者级别的信息学习个体无关表示。[tang,2021]提出的模型将脑电图视为图，并提出了一个用于自动癫痫检测和分类的图神经网络，以基于自监督的预训练策略揭示脑电图各电极之间的连通性。
[0005]
相较于具有固定规范的eeg数据，不同病人的seeg数据不仅电极数量不同，电极之间的位置也不同。在seeg数据上设计自监督表示学习算法面临着比eeg数据更大的挑战。


技术实现要素：

[0006]
为了解决上述问题，本发明提出了一种脑电信号自监督表示学习方法、系统和存储介质，通过设计的三个自监督任务，实现在脑电信号数据上的自监督表示学习，并将所学表示用于癫痫发作预测应用。
[0007]
本发明采用如下技术方案：
[0008]
第一个方面，本发明提供了一种脑电信号自监督表示学习方法，包括以下步骤：
[0009]
获取各时间段的原始多信道脑电信号数据，利用编码器获得各时间段的局部隐表示和自身上下文表示；根据全局上下文表示计算各时间段的不同信道的相关性，得到稀疏细粒度相关性矩阵，根据稀疏细粒度相关性矩阵计算各时间段各信道的全局表示；根据所有时间段的全局表示预测k1步内时间段的局部隐表示，计算瞬时时移预测任务的损失；
[0010]
根据各时间段的原始多信道脑电信号数据，计算不同时间段不同信道之间的长期相关性矩阵，构造长期相关性伪标签；根据各时间段的自身上下文表示得到段表示，预测不同时间段不同信道之间的相关概率，计算延迟时移预测任务的损失；
[0011]
对所述的各时间段的局部隐表示进行随机替换，根据替换后的新局部隐表示计算新自身上下文表示，根据新自身上下文表示预测各个原始信道对应的局部隐表示是否被其他信道替换，计算替换判别学习预测任务的损失；
[0012]
结合所述的瞬时时移预测任务的损失、延迟时移预测任务的损失和判别学习预测任务的损失，对编码器进行训练；利用训练好的编码器获得待处理的原始多信道脑电信号数据的自身上下文表示，并得到段表示，将所述的段表示作为学习到的脑电信号自监督表示，用于癫痫发作预测任务。
[0013]
第二个方面，本发明提供了一种脑电信号自监督表示学习系统，用于实现上述的脑电信号自监督表示学习方法。
[0014]
第三个方面，本发明提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，用于实现上述的脑电信号自监督表示学习方法。
[0015]
与现有技术相比，本发明的具备的有益效果是：本发明通过图神经网络，设计了k元祖特征、基图关系捕捉机制和多任务机制，提高了在大规模图上近似计算局部基图频率的计算速度。
附图说明
[0016]
图1是根据一示例性实施例示出脑电信号自监督表示学习方法的示意图。
具体实施方式
[0017]
下面结合附图和实施例对本发明进行进一步说明。附图仅为本发明的示意性图解，附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0018]
本实施例中，将脑电信号自监督表示学习方法使用的模型记为mbrain，是基于自监督学习、对比学习、多任务学习、图结构学习和图神经网络的深度学习框架。本发明能够实现给定一系列连续的固定时长的多信道脑电信号数据，通过预训练完的自监督模块中的
编码器，输出每个段、每个信道的有效表示，该表示可以被应用于下游的癫痫发作预测任务。具体来说，本发明首先通过自监督学习模块对原始脑电信号数据进行表示学习；然后，将所学表示用于癫痫发作预测模块的训练和测试。
[0019]
本发明(mbrain)的整体框架由三个主要模块组成：相关性学习模块、时移预测学习模块和替换判别学习模块。其中相关性学习模块基于粗粒度相关性学习更精确的短期数据细粒度相关性；时移预测学习模块分别在两个时间尺度上拉近模式相对更加相似的信号之间的表示，而推开模式相对不同的信号之间的表示；替换判别学习模块在保留信号差异的同时有效地学习共性以增强mbrain的可迁移性。
[0020]
图1展示了本发明算法mbrain的框架示意图。最左边是原始多信道脑电信号段数据，使用编码器来获得局部和全局上下文表示。然后在右边展示了三个自监督任务的大致过程。从上到下，它们对应于替换判别学习任务、瞬时时移预测任务和延迟时移预测任务，其中瞬时时移预测任务利用所提出的相关性学习算法获得的相关性矩阵。通过该多任务机制，mbrain可以从无标签的脑电信号数据中学习有效表示。
[0021]
下面将分别介绍三个模块的具体实施方法。
[0022]
一、相关性学习模块。
[0023]
大脑区域的整体协同作用通常反映了人的特定功能和活动。在正常状态下，信道之间的相关性基本不会发生很大变化。但是处于正常状态的脑电信号与异常的癫痫信号之间会有显著差异。因此，需要一种动态学习策略来捕捉大脑中这种可变的相关性。
[0024]
通过数据观察发现，对于eeg和seeg数据，同一患者的两个不重叠正常段上的相关性矩阵几乎相同。相反，癫痫状态下的相关性矩阵与正常状态下的相关性矩阵差异很大。这些数据观察证实了上述结论，并支持本发明使用相关性矩阵作为eeg和seeg数据的共同属性。但是，在自监督学习阶段，无法获取脑信号的标签信息。幸运的是，得益于癫痫发作的频率低，异常状态的比例非常小，以至于它们对整体相关性计算的影响可以忽略不计。此外，经验表明，计算相关性矩阵所涉及的时间段越多，结果越稳定，方差越小。因此，可以从一名患者的全部数据中得到如下的稳定的粗粒度相关性矩阵：
[0025][0026]
其中，表示期望操作，即对从原始数据获得的所有w长时间段s
t
中计算的细粒度相关性矩阵进行平均；s
t，i
表示t时间段第i个信道的原始脑电信号，s
t，j
表示t时间段第j个信道的原始脑电信号，a0(i，j)表示粗粒度相关性矩阵a0中第i行第j列的元素，i和j都是信道的索引。
[0027]
正如前面的结论所示，虽然以期望的方式获得了稳定的粗粒度相关性矩阵，但对于正常数据，细粒度相关性矩阵仍然存在微小的变化。此外，正常和癫痫发作状态的相关性存在显著差异。因此，细粒度的相关性矩阵应该允许基于a0的变化来更精确地刻画短期相关性。为了实现这个目标，假设真实的相关性矩阵在元素上遵循高斯分布，其位置参数是a0的元素，尺度参数将从数据中学习。通过重参数化方法，从学习到的高斯分布中采样第t个时间段的短期相关性矩阵：
[0028][0029]
[0030]a1，t
(i，j)＝a0(i，j) σ
t
(i，j)
×nt
(i，j)
[0031]
其中，mlp表示多层感知机，表示t时间段第i个信道第τ步的自身上下文表示，定示t时间段第j个信道第τ步的自身上下文表示，n
t
(i，j)表示从标准正态分布中采样的值，softplus(.)是softplus激活函数，σ
t
(i，j)表示t时间段第i、j个信道的相关性所遵循高斯分布的标准差，a
1，t
(i，j)表示t时间段第i、j个信道的相关性。
[0032]
通过上述相关性学习，可学习的方差允许短期相关性灵活地变化。过滤权重低于预定义正阈值θ1的元素，以获得最终t时间段的稀疏细粒度相关性矩阵a
t
：
[0033][0034]
其中，a
t
(i，j)表示稀疏细粒度相关性矩阵a
t
中的第i行第j列的元素，用于表示稀疏化后的t时间段第i、j个信道的相关性；通过这种方式，可以消除低频信号引起的伪相关性并增强稀疏性，这是神经科学相关模型中常见的假设。
[0035]
二、时移预测学习模块。
[0036]
脑电信号数据是非平稳的，这意味着存在太多信号模式无法捕获。为了在更加切实可行的表示空间总结信号模式，本发明采取了一种间接策略，即拉近模式相对更相似的信号之间的表示，而推开模式相对不同的信号之间的表示。由于想要在时间和空间上总结模式，不同信道的模式将在不同的时间步长上进行比较，从而引起表示的时间偏移。此外，考虑到将原始脑电信号划分为多个片段，本发明在两个时间尺度上实施该策略。对于同一时间步长内的时间段的表示，使用瞬时时移来总结短期模式，而延迟时移用于总结跨不同时间步长的段之间的长期模式。
[0037]
(1)瞬时时移。
[0038]
上述的相关性学习模块得到的细粒度相关性矩阵准确地反映了同一时间步内段之间的相关性，具有较高相关性的时间段在表示层面应该更加可预测。本发明将自监督学习任务设置为通过全局表示来预测局部表示，而不是原始时间序列数据。与仅对单信道的自回归相关性建模的方法不同，本发明充分利用了信道之间的相关性。具体来说，本发明从信道本身和其他信道的上下文表示中获得全局表示，详细介绍如下。
[0039]
首先，使用非线性编码器g
enc
将观察到的时间段(包括所有信道)映射到局部d维隐表示其中，是经过g
enc
变换后的序列长度，s
t
是t时刻w长包含c个信道的原始脑电信号数据，c的值与不同患者相关。然后利用自回归模型g
ar
对每个信道前τ长的历史局部信息进行汇总，得到各自的上下文表示，如下所示：
[0040][0041]
其中，z
t，τ-1
表示第t时间段第τ步的隐表示，表示t时间段第τ步的自身上下文表示，表示t时间段第i个信道第τ步的自身上下文表示。
[0042]
到目前为止，只独立地提取所有信道的上下文表示。以第i个信道为例，根据细粒度相关性矩阵a
t
，利用其他信道的信息来帮助预测第i个信道的局部表示。将矩阵视为网络结构，用gnn来聚合其他信道的信息本实施例中，使用一层有向gcn来聚合其他信道的信息，公式如下：
[0043][0044]
其中，θ是可学习的变换矩阵，relu(.)是relu激活函数，表示t时间段第i个信道聚集前τ步的其他信道信息的表示。考虑到本实施例只聚合其他信道的信息，因此去掉了有向gcn中的自环。最后，结合得到全局表示c
t，τ
，mbrain可以基于对比损失infonce预测k1步内的局部表示
[0045][0046][0047]
其中，n
t，i
表示包含一个正样本和若干负样本的隐表示的随机噪声集合，表示集合n
t，i
中的一个正样本的隐表示，即第t时间段第τ k1步的第i个信道的隐表示；c
t，τ，i
表示t时间段第i个信道聚集前τ步的全局表示，zj表示集合n
t，i
中的第j个样本的隐表示，表示期望操作，即对所有时间段所有信道k1步内的对比损失求均值；表示瞬时时移预测任务的损失；是第k1步预测所对应的可学习双线性矩阵。
[0048]
(2)延迟时移。
[0049]
当神经元产生高于某个阈值的电位差时，就会出现活动电位。考虑到癫痫脑信号是来自神经元的无序放电，在癫痫发作期间活动电位更为频繁。此外，活动电位可以沿着大脑中的连接结构传递给其他神经元。连接结构的物理距离将导致到达不同大脑区域的活动电位的时间顺序。因此，在相隔较远的大脑区域间存在着延迟时移的现象。通过数据观察结果也证实，跨多个时间步长的时间段之间仍然存在显著的相关性。
[0050]
对于癫痫发作预测任务，正常和癫痫脑信号之间在幅度、频率和形状等方面存在很大差异。这表明合理的预训练表示应该具有一定的区分两种状态下的脑信号的能力。如果一个简单的分类器可以很容易地预测两个时间段是否高度相关，那么相关性较低的时间段的表示之间将有显著差异。因此，本发明定义了长期预测任务来学习更加可区分的段表示。与瞬时时移类似，首先计算跨几个时间步长的时间段之间的余弦相似度矩阵。然后根据余弦相似度矩阵构造伪标签，以引导本发明的算法在具有更高相关性的时间段之间学习更为相似的表示。
[0051]
对于第t时间段第i个信道，长期相关性矩阵的计算方式如下：
[0052][0053]
其中，j＝1，
…
，c表示信道的索引，k2＝1，
…
，k2表示时间步，最多遍历k2个时间步来计算延迟时移，s
t，i
表示t时间段第i个信道的数据，表示t k2时间段第j个信道的数据，表示t时间段第i个信道与第t k2时间段j信道的长期相关性值。为了鼓励具有更高相关性的片段表示更接近，本实施例中预定义了一个阈值θ2来构造伪标签
[0054][0055]
其中，表示t时间段第i个信道与第t k2时间段j信道是否相关的伪标签。
[0056]
利用伪标签，基于分段表示h
t
来定义延迟时移预测任务的交叉熵损失：
[0057][0058][0059][0060]
其中，是两个段高度相关的预测概率，h
t，i
表示t时间段第i个信道的段表示，表示t k2时间段第j个信道的段表示，表示期望操作，即对所有时间段所有信道k2步内与其他信道的交叉熵损失求均值，是延迟时移预测任务的损失。在本实施例中，从每个集合中随机选择50％的标签进行高效的训练。
[0061]
三、替换判别学习模块。
[0062]
在前面2个模块的具体方法描述中，介绍了每个信道的预训练任务。然而，本发明的目标下游任务——癫痫发作预测，同时关注每个患者以及每一个信道。详细地说，一个患者的不同信道之间以及不同患者之间的癫痫波的特征存在差异性。通过数据观察发现，即使在同一患者中，一个信道中正常信号的振幅与另一个信道中癫痫信号的振幅也可能存在很相似的情况。对于不同类型的癫痫患者，癫痫发作模式也有很大差异。出于这个原因，本发明设计了一种有效的策略来学习不同信道的共性，同时保留它们的差异性，以提高本发明算法的可迁移性和癫痫预测的准确性。
[0063]
对于共性，首先对每个信道的脑电信号数据进行归一化，以消除尺度的影响。所有信道共享相同的编码器g
enc
和自回归模型g
ar
。为了使不同信道的表示更加可区分，本发明提出了一个替换判别任务来实现这个目标。随机替换z
t
中15％的局部表示，替换的候选集包括所有的个序列和每个序列中的所有c个信道。使用符号表示替换后的新局部表示。接下来，可以生成该任务的伪标签y
t
，如下所示：
[0064][0065]
其中，y
t
(τ，i)表示第τ步的第i个信道的伪标签，表示t时间段第τ步第i个信道替换后的新局部表示，i(.)表示该新局部表示被替换前对应的信道索引，τ和i遍历的个序列和c个信道。
[0066]
得到后，将其通过自回归模型后得到新的上下文表示最后，使用一个简单的分类器来区分上下文表示是否被其他信道替换：
[0067][0068][0069]
其中，是被替换的预测概率。e
t，τ，i
[.]表示期望操作，即对所有时间段所有信道τ步内的交叉熵损失求均值，是替换判别学习预测任务的损失。
[0070]
当判别准确率提高时，自回归模型输出的不同信道表示更容易区分。这可以保留不同信道的差异性，增强mbrain在患者之间的可迁移性。结合多任务损失函数联合训练mbrain模型：
[0071]
[0072]
在训练阶段之后，延迟时移中获得的段表示h
t
可以用于进一步的癫痫发作预测任务。
[0073]
在本发明的一项具体实施中，脑电信号自监督表示学习方法包括：
[0074]
步骤i，获取各时间段的原始多信道脑电信号数据，利用编码器获得各时间段的局部隐表示和自身上下文表示；根据全局上下文表示计算各时间段的不同信道的相关性，得到稀疏细粒度相关性矩阵，根据稀疏细粒度相关性矩阵计算各时间段各信道的全局表示；根据所有时间段的全局表示预测k1步内时间段的局部隐表示，计算瞬时时移预测任务的损失；
[0075]
本步骤中，具体实现方式为：
[0076]
步骤1.1，使用非线性编码器g
enc
将观察到的时间段内所有信道的脑电信号数据映射到局部，得到局部隐表示：
[0077][0078]
其中，s
t
是t时间段的脑电信号数据，是经过g
enc
变换后的序列长度，z
t
是t时间段的局部隐表示，表示第t时间段第步的隐表示；
[0079]
利用自回归模型g
ar
对每个信道前τ长的历史局部信息进行汇总，得到各自的上下文表示，如下所示：
[0080][0081]
其中，z
t，τ-1
表示第t时间段第τ步的隐表示，表示t时间段第τ步的自身上下文表示，当
[0082]
步骤1.2，计算稀疏细粒度相关性矩阵：
[0083][0084]a1，t
(i，j)＝a0(i，j) σ
t
(i，j)
×nt
(i，j)
[0085]
其中，mlp表示多层感知机，表示t时间段第i个信道第τ步的自身上下文表示，表示t时间段第j个信道第τ步的自身上下文表示，n
t
(i，j)表示从标准正态分布中采样的值，softplus(.)是softplus激活函数，σ
t
(i，j)表示t时间段第i、j个信道的相关性所遵循高斯分布的标准差，a
1，t
(i，j)表示t时间段第i、j个信道的相关性；
[0086]
过滤相关性小于θ1的元素，得到稀疏细粒度相关性矩阵a
t
：
[0087][0088]
其中，a
t
(i，j)表示稀疏细粒度相关性矩阵a
t
中的第i行第j列的元素，用于表示稀疏化后的t时间段第i、j个信道的相关性。
[0089]
步骤1.3，根据稀疏细粒度相关性矩阵计算各时间段各信道的全局表示：
[0090][0091][0092]
其中，表示t时间段第i个信道聚集前τ步的其他信道信息的表示，θ是可学习
的变换矩阵，relu(.)是relu激活函数，c
t，τ
表示t时间段第i个信道聚集前τ步的全局表示，
[0093]
步骤1.4，根据当前时间段的全局表示预测k1步内时间段的局部隐表示，计算瞬时时移预测任务的损失，包括：
[0094][0095]
其中，n
t，i
表示包含一个正样本和若干负样本的隐表示的随机噪声集合，表示集合n
t，i
中的一个正样本的局部隐表示，即t时间段第τ k1步的第i个信道的局部隐表示，c
t，τ，i
表示t时间段第i个信道聚集前τ步的全局表示，zj表示集合n
t，i
中的第j个样本的局部隐表示，表示期望操作，即对所有时间段所有信道k1步内的对比损失求均值；表示瞬时时移预测任务的损失；是第k1步预测所对应的可学习双线性矩阵；上角标t表示转置。
[0096]
步骤2，根据各时间段的原始多信道脑电信号数据，计算不同时间段不同信道之间的长期相关性矩阵，构造长期相关性伪标签；根据各时间段的自身上下文表示得到段表示，预测不同时间段不同信道之间的相关概率，计算延迟时移预测任务的损失；
[0097]
本步骤中，具体实现方式为：
[0098]
步骤2.1，计算不同时间段不同信道之间的长期相关性矩阵：
[0099][0100]
其中，j＝1，
…
，c表示信道的索引，k2表示时间步，s
t，i
表示t时间段第i个信道的数据，表示t k2时间段第j个信道的数据，表示t时间段第i个信道与第t k2时间段j信道的长期相关性值。
[0101]
步骤2.2，构造长期相关性伪标签：
[0102][0103]
其中，表示t时间段第i个信道与第t k2时间段j信道是否相关的伪标签，θ2为相关性阈值。
[0104]
步骤2.3，根据各时间段的自身上下文表示得到段表示，预测不同时间段不同信道之间的相关概率，公式为：
[0105][0106][0107]
计算延迟时移预测任务的损失，公式为：
[0108][0109]
其中，pooling(.)表示池化操作，h
t
是t时间段的段表示，是t时间段第步的自身上下文表示，mlp(.)表示多层感知机，是两个段高度相关的预测概率，h
t，i
表示t时间段第i个信道的段表示，c表示信道数，表示t k2时间段第j个信道的段表示，表示期望操作，即对所有时间段所有信道k2步内与其他信道的交叉熵损失求均值，是延迟时
移预测任务的损失。
[0110]
步骤3，对所述的各时间段的局部隐表示进行随机替换，根据替换后的新局部隐表示计算新自身上下文表示，根据新自身上下文表示预测各个原始信道对应的局部隐表示是否被其他信道替换，计算替换判别学习预测任务的损失；
[0111]
本步骤中，具体实现方式为：
[0112]
步骤3.1，随机替换步骤1中得到的局部隐表示z
t
中15％的元素，得到替换后的t时间段的新局部隐表示根据得到新自身上下文表示
[0113]
步骤3.2，根据替换后的新局部隐表示生成伪标签：
[0114][0115]
其中，是替换后的t时间段的新局部隐表示中的元素，即替换后的第t时间段第τ步第i信道的隐表示；y
t
(τ，i)表示第τ步的第i个信道的伪标签；i(.)表示新局部隐表示被替换前对应的信道索引；
[0116]
步骤3.3，计算替换判别学习预测任务的损失：
[0117][0118][0119]
其中，是新自身上下文表示中对应第i个信道的向量，是第i个信道被其他信道替换的预测概率，e
t，τ，i
[.]表示期望操作，即对所有时间段所有信道τ步内的交叉熵损失求均值，是替换判别学习预测任务的损失。
[0120]
步骤4，结合所述的瞬时时移预测任务的损失、延迟时移预测任务的损失和判别学习预测任务的损失，对编码器进行训练；利用训练好的编码器获得待处理的原始多信道脑电信号数据的自身上下文表示，并得到段表示，将所述的段表示作为学习到的脑电信号自监督表示，用于癫痫发作预测任务。
[0121]
在本实施例中还提供了一种脑电信号自监督表示学习系统，该系统用于实现上述实施例，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能的。
[0122]
所述的系统包括：
[0123]
脑电信号获取模块，其用于获取获取各时间段的原始多信道脑电信号数据；
[0124]
编码器模块，其用于获得各时间段的局部隐表示和自身上下文表示；
[0125]
相关性学习模块，其用于根据全局上下文表示计算各时间段的不同信道的相关性，得到稀疏细粒度相关性矩阵；
[0126]
时移预测学习模块，其用于根据稀疏细粒度相关性矩阵计算各时间段各信道的全局表示；根据所有时间段的全局表示预测k1步内时间段的局部隐表示，计算瞬时时移预测任务的损失；以及，用于根据各时间段的原始多信道脑电信号数据，计算不同时间段不同信道之间的长期相关性矩阵，构造长期相关性伪标签；根据各时间段的自身上下文表示得到段表示，预测不同时间段不同信道之间的相关概率，计算延迟时移预测任务的损失；
[0127]
替换判别学习模块，其用于对所述的各时间段的局部隐表示进行随机替换，根据
替换后的新局部隐表示计算新自身上下文表示，根据新自身上下文表示预测各个原始信道对应的局部隐表示是否被其他信道替换，计算替换判别学习预测任务的损失；
[0128]
训练模块，其用于结合时移预测学习模块和替换判别学习模块计算得到的损失值，对编码器模块进行训练；
[0129]
自监督表示生成模块，其利用训练好的编码器获得待处理的原始多信道脑电信号数据的自身上下文表示，并根据各时间段的自身上下文表示得到段表示，将所述的段表示作为生成的脑电信号自监督表示，用于癫痫发作预测任务。
[0130]
上述系统中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。对于系统实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述的脑电信号自监督表示学习方法。
[0131]
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡(smart media card，smc)、sd卡、闪存卡(flash card)等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
[0132]
下面通过实验验证了本发明的技术效果。
[0133]
(1)数据说明
[0134]
seeg数据集。本实验中使用的seeg数据集由一家三甲医院提供。对于患有癫痫症的患者，使用4到10个具有52到120个通道的侵入式电极来记录1,000hz或2,000hz的信号。这些数字因患者而异。值得注意的是，由于seeg数据是通过多渠道高频率收集的，这个数据量是非常大的。本实验总共收集了380小时的seeg信号，大小为425gb。分别为数据集中包含的四名患者生成相应的训练集和测试集，并为每位患者独立重复地进行实验。由专家在通道层面对seeg数据进行标注。对于自监督学习阶段，随机抽取1,000个10秒seeg片段进行训练和验证。对于下游癫痫预测任务，首先利用1000个10秒seeg片段(80％用于训练，20％用于验证)。为了测试，本实验采样了另外510个10秒seeg片段，正负采样比为1:50。
[0135]
eeg数据集。本实验使用tusz v1.5.2数据集。它是最大的公共eeg癫痫发作数据库，包含5,612条eeg记录、3,050条临床记录中带注释的癫痫发作和8种癫痫发作类型。该数据集包含标准10-20系统下的19个eeg通道。为了实验效率，本次实验从tusz中采样了一个小数据集，随机抽取3,000个12秒的脑电图片段进行自监督学习。对于下游癫痫检测任务，首先获得3,000个12秒eeg片段(80％用于训练，20％用于验证)。为了测试，本实验另外采样了3,900个12秒eeg片段，正负样本比为1:10。值得注意的是，eeg数据的标签是粗粒度的，这意味着对于1个12秒的eeg片段，我们只有其中是否发生了癫痫的标签。
[0136]
(2)基准算法说明
[0137]
本实验将本发明与现有的几个基准方法进行了比较。
[0138]
simclr[chen,2020]：这是一个简单而有效的视觉表示对比学习框架，我们使用时间序列特定的数据增强方式来适应我们的应用。
[0139]
triplet-loss(t-loss)[franceschi,2019]：该方法采用基于时间的负采样和三元组损失来学习时间序列段的表示。
[0140]
ts-tcc[eldele,2021]：这是一个无监督的时间序列表示学习框架，通过应用时间对比模块和上下文对比模块来学习鲁棒和有差别的表示。
[0141]
time series transformer(tst)[zerveas,2021]：这是一个基于transformer[vaswani,2017]的多变量时间序列无监督表示学习框架，通过预测时间序列数据输入的掩码值训练模型。
[0142]
gts[shang,2021]：这是一个时间序列预测模型，它在多个时间序列中学习一个图结构，并使用gnn同时预测它们。因此，该模型可以从未标记的时间序列数据中学习有用的表示。
[0143]
(3)癫痫发作预测实验
[0144]
在癫痫发作预测实验中，首先在无标签数据上进行模型预训练。在预训练阶段完成后，将模型学习的片段表示用于下游癫痫预测任务。癫痫发作通常持续10秒以上，本发明建议考虑通道之间的相关性。因此，首先利用lstm模型按时间顺序(seeg片段中的10秒和eeg片段中的12秒)独立地编码每个通道的片段表示。然后在同一时间步内对所有通道应用一层的自注意力层。最后，使用两层mlp分类器来预测癫痫是否在时间段内发生。此外，由于eeg数据的标签是粗粒度的，每个12秒eeg片段表示被汇集到一个表示中，然后用于癫痫发作预测。
[0145]
表1 seeg数据集上癫痫发作预测实验的性能(包括四个不同的患者)
[0146][0147]
表2 eeg数据集上癫痫发作预测实验的性能
[0148][0149]
seeg数据集包括4名患者的癫痫发作预测性能如表1所示。由于seeg数据集的正负样本比例不平衡，仅通过精度或召回率之一来评估模型的性能是不合适的选择。在标签不平衡的情况下，f分数是评估模型在癫痫发作预测实验中的性能的主要指标。特别是在临床
应用中，医生更注重发现尽可能多的癫痫发作，因此在本实验中选择了f1分数和f2分数。总体而言，mbrain在所有患者的f1分数和f2分数上的表现均优于所有基准算法，证明mbrain可以从seeg数据中充分学习有效表示。
[0150]
表2展示了eeg数据集上的癫痫发作预测实验结果。按照eeg数据集的通用评估方案，本实验中添加了auroc指标。总体而言，mbrain在eeg数据集上的f1分数、f2分数和auroc上优于所有基准算法。本发明的模型旨在学习通道级表示，而eeg数据集的标签是粗粒度的，它需要对本发明的模型在通道和时间段上输出的表示进行池化操作，以获得用于癫痫发作预测的粗粒度表示。池化操作会在时间和空间上丢失相当一部分信息，导致在eeg数据集上的性能下降。
[0151]
(4)迁移学习实验
[0152]
在迁移学习实验中，首先在一名患者的seeg数据集(即源域)上预训练模型，然后在另一名患者的seeg数据集(即目标域)上训练下游模型和分类器，同时对自监督模型进行微调。最后，在目标域上进行癫痫发作预测实验，并将结果与自监督模型和下游模型都在目标域上训练的情况下的结果进行比较。本次对由四名患者所组成的seeg数据集组成的12个跨域场景进行迁移学习实验。
[0153]
表3跨患者的迁移学习实验的表现(f2分数作为评价指标)
[0154][0155]
表3展示了迁移学习实验在12个跨域场景下的表现。更具体地说，本实验在一名患者上预训练模型并将其转移到剩下的三名患者。b
→
a表示该模型在患者b上进行预训练，然后在患者a上进行癫痫发作预测实验，同时对自监督模型进行微调。“untransferred”行的结果对应于场景a
→
a、b
→
b、c
→
c和d
→
d的性能，如表1所示。与自监督模型和下游模型均针对同一患者进行训练的结果相比，12个跨域场景中有11个的f2-score降低了不到15％。此外，可以观察到，在表1所示的相应未转移条件下，12个跨域场景中有一半的表现优于最佳基准算法。总体而言，实验结果表明mbrain具有出色的可迁移性。
[0156]
(5)消融实验
[0157]
本实验研究了本发明所提出的mbrain中每个模块的有效性。具体来说，将mbrain与移除不同模块的不同模型变体进行比较，如下所示。首先，从瞬时时移预测任务中移除了相关性学习模块，只使用一个通道的上下文表示来预测同一通道的局部表示，该变体表示为mbrain-graph。其次，删除了整个瞬时时移预测任务，记为mbrain-instant。然后，删除了延迟时移预测任务，记为mbrain-delay。最后，删除了替换判别任务，记为mbrain-replace。
[0158]
表4消融实验结果
[0159][0160]
表4展示了对患者a的消融研究的结果。可以观察到，完整的mbrain在所有评估指标上都达到了最佳性能，证明了本发明模型设计中每个模块的有效性。对于mbrain-instant，性能的显着下降说明使用上下文表示来预测局部表示的代理任务非常重要，并且是学习时间序列中的重要表示的关键。对于mbrain-graph，性能下降表明利用通道之间的相关性可以帮助学习更有效的表示。此外，mbrain-delay和mbrain-replace的性能也显着下降，说明建模延迟时移和区分被替换的数据有助于总结和学习更具区分性的表示。
[0161]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。