癫痫检测系统的制作方法

1.本技术涉及辅助医疗技术领域，特别是涉及一种癫痫检测系统。


背景技术：

2.癫痫是一种神经疾病，症状可能包括短暂的失去意识、剧烈抽搐等，癫痫病人的生活质量由于疾病的不可预知性和监测条件的限制而显著下降。目前的临床设备体积大不便携带，限制了远程和实时监测的实施。近年来，随着传感器技术的发展，自动监控设备可以提供持续的动态监测，并且能够精准地捕捉生理信号。利用自动监控设备实时监测患者健康信息，并将癫痫预测算法部署在云端实现远程诊断，使得个性化癫痫检测成为可能。
3.然而，已有的基于自动监控设备进行癫痫检测的算法大多基于单一信号分析，如加速度信号、心电信号等，仍然在数据采集的维度和算法处理能力上存在不足，临床癫痫事件的检出准确率不高。


技术实现要素：

4.本技术实施例提供了一种癫痫检测系统，以至少解决相关技术中基于单一信号进行癫痫检测的检出准确率不高的问题。
5.第一方面，本技术实施例提供了一种癫痫检测系统，包括：数据采集系统和连接所述数据采集系统的云服务器，其中，
6.所述数据采集系统，用于采集用户的多模态数据上传至所述云服务器，并根据所述云服务器返回的癫痫预测结果进行癫痫预警；所述多模态数据包括动态监测数据和静态监测数据；
7.所述云服务器，用于将所述多模态数据输入癫痫检测模型，得到癫痫预测结果；所述癫痫检测模型为基于用户的多模态数据样本与对应的癫痫发作事件训练得到的神经网络模型。
8.在其中一些实施例中，所述数据采集系统包括可穿戴设备和用户终端，其中，
9.所述可穿戴设备，用于实时采集用户的动态监测数据上传至所述云服务器；
10.所述用户终端，用于获取用户的静态监测数据上传至所述云服务器，并根据所述云服务器返回的癫痫预测结果进行癫痫预警。
11.在其中一些实施例中，所述云服务器具体用于：
12.获取用户的动态监测数据，根据所述动态监测数据和第一子模型，确定第一特征信息；其中，所述第一子模型是指利用循环神经网络训练得到的模型；
13.获取所述静态监测数据，根据所述静态监测数据、所述第一特征信息和第二子模型，确定第二特征信息；其中，所述第二子模型是指利用注意力机制训练得到的模型；
14.根据所述第二特征信息生成癫痫预测结果。
15.在其中一些实施例中，所述获取用户的动态监测数据，根据所述动态监测数据和第一子模型，确定第一特征信息，包括：
16.获取多维度的动态监测数据；其中，所述动态监测数据包括至少两个动态向量；
17.将所述动态监测数据输入训练完备的图循环神经网络，得到动态特征矩阵；其中，所述动态特征矩阵的维度与所述动态监测数据的维度相同。
18.在其中一些实施例中，所述将所述动态监测数据输入训练完备的图循环神经网络，得到动态特征矩阵包括：
19.获取所述动态监测数据的所有对应动态向量之间的数据关系图，并将所述数据关系图和所述动态监测数据输入至所述图循环神经网络，以输出所述动态特征矩阵。
20.在其中一些实施例中，所述获取所述静态监测数据，根据所述静态监测数据、所述第一特征信息和所述第二子模型，确定第二特征信息包括：
21.获取静态监测数据；
22.根据所述静态监测数据确定对应的静态特征向量；
23.将所述动态特征矩阵和所述静态特征向量输入至多头注意力机制模型，以输出第二特征信息。
24.在其中一些实施例中，所述将所述动态特征矩阵和所述静态特征向量输入至多头注意力机制模型，以输出第二特征信息包括：
25.根据所述动态特征矩阵和所述静态特征向量，确定多个特征子向量；
26.分别将多个所述特征子向量投影到查询空间、键空间和值空间，获取对应所述特征子向量的查询向量、键向量和值向量；
27.根据多个所述特征子向量的查询向量、键向量和值向量，计算得到第二特征信息。
28.在其中一些实施例中，所述根据所述第二特征信息生成癫痫预测结果包括：
29.根据所述第二特征信息，确定多个隐表示信息；
30.分别对多个所述隐表示信息计算对应的注意力权重；
31.根据多个所述隐表示信息和对应的注意力权重，生成预测概率向量；
32.根据所述概率预测向量和预测目标，确定癫痫预测结果。
33.在其中一些实施例中，所述用户终端，还用于：
34.获取用户基于所述癫痫预警的反馈信息并上传至所述云服务器，以使所述云服务器基于所述反馈信息对所述用户的癫痫检测模型进行更新。
35.在其中一些实施例中，所述云服务器，还用于：
36.基于用户的癫痫预测结果和对应的所述反馈信息，确定损失值；
37.对所述癫痫检测模型中的模型参数进行更新，直至所述损失值小于期望阈值。
38.相比于相关技术，本技术实施例提供的癫痫检测系统包括：数据采集系统和连接所述数据采集系统的云服务器。通过所述数据采集系统采集用户的多模态数据上传至所述云服务器，并根据所述云服务器返回的癫痫预测结果进行癫痫预警；所述云服务器用于将所述多模态数据输入癫痫检测模型，得到癫痫预测结果。所述癫痫检测模型为基于用户的多模态数据样本与对应的癫痫发作事件训练得到的神经网络模型。通过使用多模态数据样本训练得到癫痫检测模型，实现了利用动态监测数据和静态监测数据进行多种生理参数建立得到癫痫检测模型，该癫痫检测模型为多数据联合分析模型，更贴合于实际应用需要，能够提高模型的病理分析能力和癫痫检测的检出准确率。
39.本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他
特征、目的和优点更加简明易懂。
附图说明
40.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
41.图1是本技术其中一个实施例中癫痫检测系统的结构示意图；
42.图2是本技术其中一个实施例中癫痫检测模型的训练过程示意图；
43.图3是本技术其中一个实施例中癫痫检测模型的更新过程示意图；
44.图4是本技术其中一个实施例中癫痫检测模型的结构示意图；
45.图5是本技术其中一个实施例中第一子模型的网络结构示意图的网络结构示意图。
46.附图说明：102、数据采集系统；1021、可穿戴设备；1022、用户终端；104、云服务器。
具体实施方式
47.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。基于本技术提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
48.显而易见地，下面描述中的附图仅仅是本技术的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本技术应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本技术公开的内容相关的本领域的普通技术人员而言，在本技术揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本技术公开的内容不充分。
49.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本技术所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
50.除非另作定义，本技术所涉及的技术术语或者科学术语应当为本技术所属技术领域内具有一般技能的人士所理解的通常意义。本技术所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本技术所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本技术所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本技术所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对
象是一种“或”的关系。本技术所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
51.癫痫检测是利用计算机等工具，利用检测算法来区分癫痫发作与非癫痫发作这两类脑电波(electroencephalogram,eeg)信号。随着数字信号处理和计算机技术的持续发展，癫痫检测技术也不断深入与革新，不断提出的学习算法包括字典学习、人工神经网络、支持向量机、协作表示、贝叶斯线性判别等。
52.本技术所涉及的癫痫检测系统可以应用于癫痫检测过程中。如图1所示，数据采集系统102通过网络与云服务器104进行通信。数据采集系统102获取用户的多模态数据并上传至云服务器104，实现对用户的数据采集。云服务器104部署有癫痫检测算法，云服务器104获取数据采集系统102发送的多模态数据，并将多模态数据输入癫痫检测模型，得到癫痫预测结果并返回至数据采集系统102进行癫痫预警，从而实现癫痫事件远程和实时监测的实施。
53.下面将以磁共振系统为例对本技术实施例进行说明。
54.本实施例提供了一种癫痫检测系统，其特征在于，包括：数据采集系统102和连接所述数据采集系统102的云服务器104。
55.所述数据采集系统102，用于采集用户的多模态数据上传至所述云服务器104，并根据所述云服务器104返回的癫痫预测结果进行癫痫预警。数据采集系统102可以连续实时地采集用户的多模态数据。数据采集系统102包括但不限于用户终端1022、平板、可穿戴设备1021、传感器中的任意一种或其组合。相对于单信号分析，本实施例中多模态数据包括动态监测数据和静态监测数据，基于多模态数据进行联合分析可明显提高临床事件的检出准确率。其中，动态监测数据包括由不同监测仪器的不同数据接收通道在预设时间段内获取的时间序列数据如用户的光电脉搏描计信号(photoplethysmography，ppg)信号、三轴加速度信号、心率数据、血氧饱和度数据、血压数据和体温数据等；静态监测数据表示个体差异的静态基线包括但不限于用户的个人基本信息如姓名、性别、年龄、既往病史等。
56.所述云服务器104部署有癫痫检测算法，云服务器104用于将所述多模态数据输入癫痫检测模型，得到癫痫预测结果。如图2所示，癫痫检测模型为基于用户的多模态数据样本与对应的癫痫发作事件训练得到的神经网络模型，癫痫检测模型可以在系统初始化时训练得到。具体的，在系统初始化阶段，数据采集系统102采集用户的多模态数据得到多模态数据样本，多模态数据样本包括动态监测数据样本(包括ppg信号、加速度信号和生理参数等)和静态监测数据样本，同时由相关专业人员报告用户已发生的癫痫事件的发作时间和发作表现，得到对应的癫痫发作事件。以多模态数据样本为输入，以多模态数据样本对应的癫痫发作事件为输出对预训练神经网络模型进行训练，得到癫痫检测模型。
57.综上，本技术实施例提供的癫痫检测系统包括：数据采集系统和连接所述数据采集系统的云服务器。通过所述数据采集系统采集用户的多模态数据上传至所述云服务器，并根据所述云服务器返回的癫痫预测结果进行癫痫预警；所述云服务器用于将所述多模态数据输入癫痫检测模型，得到癫痫预测结果。所述癫痫检测模型为基于用户的多模态数据样本与对应的癫痫发作事件训练得到的神经网络模型。通过使用多模态数据样本训练得到癫痫检测模型，实现了利用动态监测数据和静态监测数据进行多种生理参数建立得到癫痫检测模型，该癫痫检测模型为多数据联合分析模型，更贴合于实际应用需要，能够提高模型
的病理分析能力和癫痫检测的检出准确率。
58.下面通过优选实施例对本技术实施例进行描述和说明。
59.在上述实施例的基础上，在其中一些实施例中，所述数据采集系统102包括可穿戴设备1021和用户终端1022。其中：可穿戴设备1021和用户终端1022可以是两个独立的设备，也可以集成于一体，本技术在此并不限定。
60.可穿戴设备1021用于实时采集用户的动态监测数据上传至所述云服务器104。所述可穿戴设备1021可以是可穿戴配件如智能手表、可穿戴服装等。在一些实施例中，可以在可穿戴设备1021上搭载传感器获取动态监测数据，如利用ppg技术连续心血状态检测，实现低廉的成本。
61.用户终端1022可以为手机等可移动设备，用户终端1022可以获取用户的静态监测数据上传至所述云服务器104，并根据所述云服务器104返回的癫痫预测结果进行癫痫预警，从而实现实时的癫痫自动检测。
62.在上述实施例的基础上，在其中一些实施例中，所述云服务器104具体用于执行以下步骤：
63.步骤s201，获取用户的动态监测数据，根据所述动态监测数据和第一子模型，确定第一特征信息。
64.具体的，在获取到用户的动态监测数据之后，利用训练完备的第一子模型对该动态检测数据的内部分量之间的关联关系特征进行提取，得到第一特征信息。其中，所述第一子模型为利用循环神经网络训练得到的模型，可以是原始的循环神经网络rnn(recurrent nural network)和其他基于循环神经网络的改进方法，例如长短时记忆神经网络和图循环神经网络等。
65.步骤s202，获取所述静态监测数据，根据所述静态监测数据、所述第一特征信息和所述第二子模型，确定第二特征信息；其中，所述第二子模型是指利用注意力机制训练得到的模型。
66.步骤s203，根据所述第二特征信息生成癫痫预测结果。
67.在本实施例中，注意力机制用于计算输入数据对输出数据的贡献大小，即计算输入数据各自的权重值。该注意力机制可以为子注意力机制和多头注意力机制。静态监测数据可以采用向量形式表示个体差异的静态基线信息，包括年龄、性别等。
68.具体地，在获取到该静态监测数据之后，将该静态监测数据和第一特征信息共同输入至训练完备的第二子模型，通过第二子模型计算静态监测数据和第一目标结果之间的权重后，输出加权后的第二特征信息。第二特征信息可以表示对上述多模态数据中各监测数据之间的关联关系的预测表征结果，根据所述第二特征信息可以确定对应的癫痫预测结果。
69.通过上述步骤，利用循环神经网络训练得到的第一子模型，能够提取动态监测数据的关联关系特征，突破了单一的线性特征计算的方式，从而实现了非线性关联关系计算能力。同时该多模态数据处理方法在对动态监测数据进行特征提取后与静态监测数据一同输入至第二子模型进行权重的分配，再得到第二特征信息可以表征各监测数据加权分配后的计算结果，从而实现了对多模态数据中静态监测数据和动态监测数据的联合表征，通过根据对动态监测数据和静态监测数据具有强关联关系的第二特征信息生成癫痫预测结果，
可以解决表征数据关联性弱，基于单一信号进行癫痫检测的检出准确率不高的问题。
70.在上述实施例的基础上，在其中一些实施例中，所述获取用户的动态监测数据，根据所述动态监测数据和第一子模型，确定第一特征信息，包括：
71.步骤s2011，获取多维度的动态监测数据；其中，所述动态监测数据包括至少两个动态向量。
72.在本实施例中，动态监测数据可以由的不同数据接收通道在预设时间段内获取的时间序列数据矩阵，包括了衡量机体水平的不同指标结果，例如心率、血样饱和度(spo2)、光电脉搏描计信号(photoplethysmography，ppg)等。该动态监测数据包括至少两个动态向量，每个该动态向量表示一个数据接收通道接收到的预设时间段内的时间序列数据。
73.步骤s2012，将所述动态监测数据输入训练完备的图循环神经网络，得到动态特征矩阵。
74.在本实施例中，第一目标模型为训练完备的图循环神经网络，该图循环神经网络的输入数据为由动态监测数据构成的矩阵数据，输出为动态特征矩阵，且输出的动态特征矩阵的维度与输入的动态监测数据的维度相同。
75.示例性的，动态监测数据例如可以包括心率、血氧饱和度、血压、体温、光电脉搏描计信号(photoplethysmography，ppg)等多通道时序数据，可以记为表示如下：
[0076][0077]
其中，m表示信号的个数，n表示在时间切片t内采样得到的序列长度。
[0078]
在本实施例中，图循环神经网络可以是图长短记忆单元graph lstm。图循环神经网络结构包括遗忘门、输入门、输出门和中间状态。遗忘门以一定概率控制是否遗忘上一层的隐藏状态，并结合当前输入数据同时传递到sigmoid函数中。输入门接收前一层隐藏状态输出和当前输入的信息，以一定概率控制是否将中间状态传递到当前时间段内隐状态输出，输出门的值与当前时刻中间状态值逐位相乘即可产生图长短记忆单元的最终输出值。
[0079]
当然，在其他实施例中，还可以通过门控循环单元(gru)或者其它基于循环神经网络的改进方法得到上述动态特征矩阵，此处不再赘述。
[0080]
通过上述步骤，将动态监测数据输入至图循环神经网络训练后的第一子模型中，能够提取动态监测数据的关联关系特征，突破了单一的线性特征计算的方式，从而实现了非线性关联关系计算能力，解决了多模态表征数据关联性弱的问题，达到了对表征数据进行强关联的目的。
[0081]
在上述实施例的基础上，在其中一些实施例中，所述将所述动态监测数据输入训练完备的图循环神经网络，得到动态特征矩阵包括：
[0082]
获取所述动态监测数据的所有对应动态向量之间的数据关系图，并将所述数据关系图和所述动态监测数据输入至所述图循环神经网络，以输出所述动态特征矩阵。
[0083]
在本实施例中，为了表征不同信号之间的相互关系，可以通过邻接矩阵生成动态监测数据的所有对应动态向量之间的数据关系图，并将所述数据关系图和所述动态监测数
据输入至所述图循环神经网络，以输出所述动态特征矩阵。其中，邻接矩阵(adjacency matrix)是一个元素为权值的n
×
n矩阵，邻接关系计算为连接顶点vi和vj的边e
ij
；若不同接收通道中的动态向量之间存在邻接关系e
ij
，若节点为邻接关系则a
ij
≠0，否则为0。该邻接矩阵的定义为：
[0084][0085]
其中，ε为任意实数，为m阶实方阵，m表示接收通道数据的种类。
[0086]
该邻接矩阵表示m个不同接收通道中的数据之间的关联关系，并以该邻接矩阵生成该数据关系图；该数据关系图由表示接收通道数据的顶点(vertex)和表示关联关系的边(edges)组成，定义为：
[0087]
g＝(v,e)
[0088]
其中v＝{vi|i＝1,2,
…
,m}，表示所有顶点的集合，vi＝[x
i1
,x
i2
,
…
x
in
]表示第i个信号实体，e＝{e
ij
|(vi,vj)∈v}表示顶点之间所连接的边集合，e
ij
表示第i个信号实体与第j个信号实体之间的关联关系。
[0089]
需要说明的是，在其他实施例中，该邻接矩阵用来表示不同接收通道数据的功能，还可以用度矩阵(degree matrix)和邻域(neighborhood)实现，具体不再赘述。
[0090]
通过上述步骤，利用邻接矩阵对该动态监测数据的所有该动态向量之间的数据进行矩阵关联，并由此构建数据关系图，以描述所有该动态向量之间的关联关系，并将该数据关系图和动态监测数据一同输入至图循环神经网络训练后的第一子模型中，能够更加准确地提取动态监测数据的关联关系特征，突破了单一的线性特征计算的方式，从而实现了非线性关联关系计算能力的提高，解决了多模态表征数据关联性弱的问题，达到了对表征数据进行强关联的目的。
[0091]
在上述实施例的基础上，在其中一些实施例中，所述将所述动态监测数据输入训练完备的图循环神经网络，得到动态特征矩阵包括，还包括：
[0092]
获取低维度类型权重矩阵；其中，该低维度类型权重矩阵用于减少动态监测数据的数据维度，以及降低每个动态向量之间的潜在相关性；
[0093]
将所有该动态向量与单位向量相乘，并与该低维度类型权重矩阵相乘，得到低维嵌入矩阵；
[0094]
将该低维嵌入矩阵输入至该图循环神经网络，以输出动态特征矩阵。
[0095]
在本实施例中，为了减少边类型的参数个数和潜在的相关性，graph lstm将类型权重矩阵进行低维度的嵌入表示。其中，低维度类型权重矩阵是训练完备的权重矩阵，低维度类型权重矩阵为l
×
l
×
m三维张量，l是当前第一特征信息的维度，m是接收通道数据的种类，即动态监测数据对应动态向量的个数，等于邻接节点的个数。
[0096]
通过上述步骤，训练后的低维度类型权重矩阵通过与所有该动态向量、并与单位向量相乘，能够得到低维嵌入矩阵，从而实现对所有该动态向量之间的关系进行降维，以减少在大量不同通道数据种类的情况下，减少邻接矩阵维度的额外计算开销，解决了多模态数据处理的计算开销大、表征数据关联性弱的问题，达到了降低多模态数据的计算开销，提高预测效率的目的。
[0097]
在上述实施例的基础上，在其中一些实施例中，所述获取所述静态监测数据，根据所述静态监测数据、所述第一特征信息和所述第二子模型，确定第二特征信息包括：
[0098]
步骤s2021，获取静态监测数据。
[0099]
在本实施例中，为了同时解决多通道动态向量关联问题以及在临床实践中动态检测数据的医学解释受到个体差异的影响这两个问题。当根据所述动态监测数据和第一子模型，确定第一特征信息后，需要进一步引入第二子模型加入用户的静态监测数据，以进一步提高模型个性化检测性能。静态监测数据为包括但不限于用户的信息个人基本信息如姓名、性别、年龄、既往病史等。
[0100]
步骤s2022，根据所述静态监测数据确定对应的静态特征向量。
[0101]
在一些实施例中，可以对所述静态监测数据得到对应的静态特征向量；在另一些实施例中，可以对静态监测数据进行投影变换得到的静态特征向量。本技术在此并不限定。
[0102]
步骤s2023，将所述动态特征矩阵和所述静态特征向量输入至多头注意力机制模型，以输出第二特征信息。
[0103]
在本实施例中，所述动态特征矩阵和所述静态特征向量构成多模态数据隐态矩阵，将多模态数据隐态矩阵输入至多头注意力机制模型，将动态监测数据与静态监测数据经过多头注意力机制进行融合，得到第二特征信息。
[0104]
通过上述步骤，引入静态监测数据至第二子模型的运算中能够基于个体差异对所有该动态向量之间的关联关系进行进一步地衡量，并依据个体差异输出不同的该第二子模型的权重分配结果，从而实现了对多模态数据中静态监测数据和动态监测数据的同时表征，解决了多模态数据处理的计算开销大、表征数据关联性弱的问题，达到了降低多模态数据计算开销、对表征数据进行强关联的目的，提高模型的准确性和泛化能力。
[0105]
在上述实施例的基础上，在其中一些实施例中，所述将所述动态特征矩阵和所述静态特征向量输入至多头注意力机制模型，以输出第二特征信息包括：
[0106]
步骤s2023a，根据所述动态特征矩阵和所述静态特征向量，确定多个特征子向量。
[0107]
在本实施例中，所述动态特征矩阵包括至少两个动态向量，所述静态特征向量包括至少一个静态向量，动态向量和静态向量包括多个特征子向量。
[0108]
步骤s2023b，分别将多个所述特征子向量投影到查询空间、键空间和值空间，获取对应所述特征子向量的查询向量、键向量和值向量。
[0109]
示例性的，查询向量、键向量和值向量的计算方式如下：
[0110]
qi,ki,vi＝wq·hi
,wk·hi
,wv·hi
[0111]
其中，hi为特征子向量；qi,ki,vi其分别为查询向量、键向量和值向量，可分别通过将输入向量投影到查询空间、键空间和值空间中获取；wq、wk和wv为投影矩阵，并且不同多头注意力子层之间不共享投影矩阵参数，因此可以在不同空间中捕获输入向量之间的相互关系，多头自注意力层的输出通过拼接和经过全连接层的操作后将包括全局的向量特征，从而实现信息融合。
[0112]
步骤s2023c，根据多个所述特征子向量的查询向量、键向量和值向量，计算得到第二特征信息。
[0113]
在本实施例中，多个所述特征子向量的查询向量、键向量和值向量计算得到每个向量注意力头的权重分配结果，从而得到第二特征信息。具体的，首先根据多个所述特征子
向量的查询向量和键向量计算得到每个向量的注意力概率分布，然后利用该注意力概率分布和对应的值向量得到每个向量的注意力头的权重分配结果，从而得到第二特征信息。
[0114]
示例性地，通过以下各式计算得到得到第二特征信息：
[0115]
为了考虑计算效率，本实施例采用缩放点乘(scaled dot-product)作为注意力函数，具体计算公式如下所示：
[0116][0117][0118]
其中，αi为m 1个注意头的注意力概率分布值；qi,i,i分别为查询向量、键向量和值向量；dk为键向量ki的维度。
[0119][0120][0121]
其中，u
*
为第二特征信息，即动态监测数据与静态监测数据的联合表示；headi表示自注意力的共m 1个注意头；为级联运算，表示将多个表示子空间的注意力层输出拼接在一起；wo为线性投影矩阵；hi表示特征子向量；h
static
为静态特征向量。
[0122]
通过上述步骤，通过利用注意力机制训练得到第二子模型，能够计算得到每个向量的注意力头的权重分配结果，该权重分配结果表示该动态监测数据和该静态监测数据之间的联合表示。该第二子模型能够对引入的静态监测数据对动态监测数据的所有该动态向量之间的关联关系进行进一步衡量，并依据个体差异输出的第二特征信息可以得到不同的权重分配结果，从而实现了对多模态数据中静态监测数据和动态监测数据的联合表征，解决了表征数据关联性弱的问题，达到了对表征数据进行强关联的目的，提高了模型的准确性和泛化能力。
[0123]
在上述实施例的基础上，在其中一些实施例中，所述根据所述第二特征信息生成癫痫预测结果包括：
[0124]
步骤s2031，根据所述第二特征信息，确定多个隐表示信息。
[0125]
在本实施例中，癫痫检测的目的是利用用户的多模态数据来预测患者在未来某一时间窗口是否有癫痫发作的可能。这个问题可以看做是二分类任务，因此我们需要将经过多头注意力机制的输出张量u
*
转换为一个二维向量。此外，值得注意的是，在进行癫痫诊断过程中静态监测数据基线会直接影响动态监测数据的表达，例如婴幼儿的心率、呼吸频率等生理参数要显著高于成年期。因此，在第二子模型的输出部分需要将注意力机制引入个性化表征参数。
[0126]
其中，第二特征信息u
*
表示将动态监测数据与静态监测数据经过多头注意力机制融合后得到的联合表示信息，隐表示信息则为第二特征信息中对应动态向量和静态向量的特征子向量的表示信息
[0127]
步骤s2032，分别对多个所述隐表示信息计算对应的注意力权重。
[0128]
在本实施例中，通过引入不同的个性化表征参数，分别将多个所述隐表示信息投影到查询空间和键空间，获取对应所述隐表示信息的查询向量和键向量，根据所述查询向量和键向量计算得到对应的注意力权重。
[0129]
具体的，基于第二特征信息u
*
的确定注意力权重计算公式如下：
[0130][0131][0132][0133][0134]
其中，其中，为第二特征信息u
*
的多个隐表示信息；query由表示，keys由h
*
表示，通过点积计算动态监测数据在静态基线下的相关性。和均为投影矩阵，即训练完备的个性化表征参数。
[0135]
步骤s2033，根据多个所述隐表示信息和对应的注意力权重，生成预测概率向量。
[0136]
步骤s2034，根据所述概率预测向量和预测目标，确定癫痫预测结果。
[0137]
具体的，将多个所述隐表示信息与对应的注意力权重加权求和，得到预测概率向量s。预测目标的可以为多模态数据的分类任务或者回归任务，例如体征状况的分类、健康状态的级别类型、或者液体浓度的预测等，癫痫预测结果的计算公式如下：
[0138][0139][0140]
其中，w
fin
和b
fin
分别为权重矩阵和偏移向量，σ为sigmod激活函数；为癫痫预测结果，即y∈{0,1}。
[0141]
通过上述步骤，基于第二特征信息可以依据该预测目标分别生成不同的数据预测结果，从而实现了不同预测目标的数据预测，解决了多模态数据难以实现应用的问题，达到完成多模态数据的分类任务或者回归任务的目的。
[0142]
相关技术中，癫痫检测算法没有考虑个体差异性，面向所有个体建立的统一模型往往无法适应个性化需求。
[0143]
在上述实施例的基础上，在其中一些实施例中，所述用户终端1022，还用于：获取用户基于所述癫痫预警的反馈信息并上传至所述云服务器104，以使所述云服务器104基于所述反馈信息对所述用户的癫痫检测模型进行更新。
[0144]
如图3所示，具体的，在本实施例中，当云服务器返回癫痫预测结果后，基于所述癫痫预警的反馈信息可以是是否发生癫痫事件等，可以利用智能手机等用户终端1022将反馈信息发送到远程的云服务器104。在癫痫检测系统的在线实施阶段，可以使用深度学习中常
用的微调(fine-tuning)技术在训练的模型基础上，加入新的用户反馈信息生成个性化模型(如用户模型m1、用户模型m2、用户模型m3等)。其中，微调的具体含义为，使用固定的癫痫检测模型(即第一子模型和第一子模型)参数进行数据的表征。此时，这些网络参数矩阵不再利用反向传播进行计算，而作为已知参数进行顺序计算。
[0145]
具体的，所述云服务器104还用于执行以下步骤：
[0146]
步骤s204，基于用户的癫痫预测结果和对应的所述反馈信息，确定损失值。
[0147]
示例性的，在本实施例中，若反馈信息表示为yi，癫痫预测结果表示为该癫痫预测结果的个数为n，可以利用交叉熵(cross entropy)损失计算得到损失值：
[0148][0149]
当然，在其他实施例中，也可以可以使用均方误差(mean-square error,mse)等其他损失函数计算得到损失值，本技术在此并不限定。
[0150]
步骤s205，对所述癫痫检测模型中的模型参数进行更新，直至所述损失值小于期望阈值。
[0151]
在本实施例中，当云服务器104接收到用户的反馈信息yi后，可以根据用户的反馈信息yi和癫痫检测模型的预测结果使用反向传播算法重新计算癫痫检测模型的网络参数(如参数矩阵wq、wk和wv)，以对用户的癫痫检测模型进行更新直至所述损失值小于期望阈值，从而训练出针对不同年龄、性别的用户的个人模型。
[0152]
通过上述步骤，通过上述步骤，利用交叉熵损失生成第一模型预测结果，可以用来描述分类任务中模型训练的偏差，再将癫痫预测结果反向传播回第二子模型和第一子模型，以校正第二子模型和第一子模型，分别得到个性化的个人模型。云服务器104基于用户终端1022不断提供的反馈信息进行癫痫检测模型更新，提高了癫痫检测的准确率。
[0153]
癫痫检测模型如图4所示，在其中一些实施例中，云服务器104具体用于执行以下步骤：首先获取用户的动态监测数据x
dynamic
，x
dynamic
包括至少两个动态向量x
mn
，将所述动态监测数据输入训练完备的第一子模型a，得到动态特征矩阵h
dynamic
。然后获取静态监测数据x
static
，对静态监测数据x
static
进行数字编码，得到对应的静态特征向量h
static
。接着，对动态特征矩阵和所述静态特征向量构成的多模态数据隐态矩阵h
wave
＝(h1,h2,
…
,hj,
…
,hm,h
static
)输入至第二子模型b，以将动态监测数据与静态监测数据经过多头注意力机制进行融合，得到第二特征信息u
*
，即动态监测数据与静态监测数据的联合表达，即动态监测数据与静态监测数据的联合表达最后根据所述第二特征信息u
*
，确定多个隐表示信息分别对多个所述隐表示信息计算对应的注意力权重根据多个所述隐表示信息和对应的注意力权重，生成预测概率向量s，根据所述概率预测向量s和预测目标，确定癫痫预测结果
[0154]
其中，动态特征数据表示如下：
[0155]
[0156]
静态特征数据表示为x
static
＝[x
b1
,x
b2
,
…
x
bn
]，则静态基线数据与动态监测数据的集合，即多模态数据，表示为h＝{h
dynamic
,h
static
}，其中，m表示信号的个数，n表示在时间切片t内采样得到的序列长度。
[0157]
为了表征不同信号之间的相互关系，可以通过邻接矩阵生成动态监测数据的所有对应动态向量之间的数据关系图。邻接矩阵(adjacency matrix)是一个元素为权值的n
×
n矩阵，邻接关系计算为连接顶点vi和vj的边e
ij
；若不同接收通道中的动态向量之间存在邻接关系e
ij
，若节点为邻接关系则a
ij
≠0，否则为0。邻接矩阵表示如下：
[0158][0159]
其中，ε为任意实数，为m阶实方阵，m表示接收通道数据的种类。
[0160]
该邻接矩阵表示m个不同接收通道中的数据之间的关联关系，并以该邻接矩阵生成该数据关系图；该数据关系图由表示接收通道数据的顶点(vertex)和表示关联关系的边(edges)组成，定义为：
[0161]
g＝(v,e)
[0162]
其中v＝{vi|i＝1,2,
…
,m}，表示所有顶点的集合，vi＝[x
i1
,x
i2
,
…
x
in
]表示第i个信号实体，e＝{e
ij
|(vi,vj)∈v}表示顶点之间所连接的边集合，e
ij
表示第i个信号实体与第j个信号实体之间的关联关系。
[0163]
首先，第一子模型主要用于处理多通道时序波形数据，目的是融合各通道之间的关联关系并提取波形数据的特征，输出动态特征矩阵，动态特征矩阵由graph lstm单元的隐状态向量组成，即h
dynamic
＝(h1,h2,
…
,hm)。
[0164]
如图5所示为第一子模型的网络结构示意图。图循环神经网络结构包括遗忘门、输入门、输出门和中间状态。遗忘门以一定概率控制是否遗忘上一层的隐藏状态，并结合当前输入数据同时传递到sigmoid函数中。输入门接收前一层隐藏状态输出和当前输入的信息，以一定概率控制是否将中间状态传递到当前时间段内隐状态输出，输出门的值与当前时刻中间状态值逐位相乘即可产生图长短记忆单元的最终输出值。具体计算公式如下：
[0165][0166][0167][0168][0169][0170]hi
＝oi⊙
tanh(ci)
[0171]
graph lstm用于动态信息的表征，graph lstm针对每一个邻接节点都引入了对应的遗忘门(forget gate)，遗忘门的门值仅取决于与之对应的邻接节点的隐状态信息。输入门(input gate)和输出门(output gate)的值ii和oi依赖于遗忘门的门值f
tj
所有邻接节点j的隐状态输出加权和与输入向量。其中，节点i的单元存在j个邻接节点graph lstm中存储单元的中间计算结果ci和ui融合了输入门和所有遗忘门的语义信息，并且最终在输出门的作用下产生当前通道的隐状态向量hi。
[0172]
其中，xi为x
dynamic
中第i个种类数据的动态向量；hi为当前输出的隐状态向量；w(i),w
(o)
,w
(u)
,w
(f)
和u(i),u
(o)
,u
(u)
,u
(f)
分别为输入门、输出门、中间状态和遗忘门的两组参数矩阵；b(i),b
(o)
,b
(u)
,b
(f)
为偏置向量；σ、tanh和
⊙
分别为sigmod激活函数、双曲正切函数和点乘计算；
×
t表示张量点积运算，定义为t
×
t
a＝∑m(t
:,:,m
·a:,m
)。权重矩阵u为l
×
l
×
m三维张量，l是当前第一特征信息的维度，m是接收通道数据的种类，即动态监测数据对应动态向量的个数，等于邻接节点的个数。
[0173]
接着，对所述静态监测数据x
static
进行线性变换得到对应的静态特征向量h
static
，所述动态特征矩阵和所述静态特征向量构成多模态数据隐态矩阵h
wave
＝(h1,h2,
…
,hj,
…
,hm,h
static
，将多模态数据隐态矩阵输入至第二子模型，将动态监测数据与静态监测数据经过多头注意力机制进行融合，得到第二特征信息，即动态监测数据与静态监测数据的联合表达
[0174]
qi,ki,vi＝wq·hi
,wk·hi
,wv·hi
[0175]
其中，hi为特征子向量；qi,ki,vi其分别为查询向量、键向量和值向量，可分别通过将输入向量投影到查询空间、键空间和值空间中获取；wq、wk和wv为投影矩阵。
[0176][0177][0178]
其中，αi为m 1个注意头的注意力概率分布值；qi,ki,vi分别为查询向量、键向量和值向量；dk为键向量ki的维度。
[0179][0180][0181]
当得到第二特征信息u
*
后，根据所述第二特征信息生成癫痫预测结果，以及获取用户基于所述癫痫预警的反馈信息yi并上传至所述云服务器104，以使所述云服务器104基于所述反馈信息yi对所述用户的癫痫检测模型进行更新的具体实现方式与上述实施例相同，本技术在此不做赘述。
[0182]
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器
中。
[0183]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0184]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。