一种心电信号特征波形检测方法、装置及存储介质

1.本发明涉及心电信号检测技术领域，尤其是指一种心电信号特征波形检测方法、设备、装置及计算机存储介质。


背景技术：

2.现有的技术中，心电图(electrocardiogram,ecg)是心肌细胞的电活动过程的综合反映，包含许多心脏相关信息。在一个正常的心动周期中，心电图信号主要由一个p波，一个qrs波，一个t波，以及在部分导联中可能会出现的u波构成。其中，p波代表心房的除极过程、qrs波代表心室的除极过程、t波对应心室的复极过程。这些主要波形同时形成了不同的波段，例如pr段定义为p波终点位置到qrs波起点位置，它代表心电信号由心房传导至心室的过程；st段定位为qrs波终点位置到t波起点位置；qt间期定义为q波起点位置到t波终点位置。其示意图如图1所示(参考国标yy0782-2010/iec 60601-2-51：2003)。心电图通常通过在人体体表的固定位置放置电极，并通过导联线和心电图机相连对电信号进行采集。目前临床上通常采用标准十二导联系统，包括双极肢体导联(i、ii、iii导联)，加压单极肢体导联(avr、avl、avf导联)，胸导联(v1、v2、v3、v4、v5、v6导联)。
3.心血管疾病目前已经成为威胁人们生命健康安全的主要因素。心电图信号以其无创、方便的特点成为心脏疾病诊断的主要工具。不同心脏疾病通常心电图上表现为不同波形或波段的畸变，因此对心电信号特征波形的检测是提取心电信号信息以及对心电信号进行辅助诊断的关键。随着信息技术的发展和心电信号采集设备的普及，大量ecg数据涌现，这些数据的分析是一个巨大的挑战，使用计算机对心电信号进行辅助诊断成为目前的一个流行的趋势。
4.近年来，已有一些心电信号波形检测方法被提出，主要分为传统方法和深度学习方法两大类。传统方法通常基于相量变换、混合高斯函数、经验模态分解、小波变换、支持向量机等方法。这些方法主要是基于固定的模型和规则，并根据心脏生理学得到的经验参数提取波形相关特征进行检测，其准确度在很大程度上依赖于超参数选择及其特征分析的准确性。因此这类方法通常泛化能力和鲁棒性较差，对于变异程度大或受噪声影响的信号，难以选择准确的模型和超参数。
5.基于深度学习的波形检测算法，其基础模型通常包含卷积神经网络、循环神经网络、自编码器几类，基于神经网络的波形检测算法相较于需要人工提取特征、确定参数的传统方法具有自适应性强、鲁棒性强、准确度高的特点。但不同的基础网络模型通常由于其自身结构特点具有一定的局限性，例如卷积神经网络通常专注于空间局部信息，循环神经网络主要提取信号的时序信息。心电信号作为一种随时间改变的序列信号，结合时序信息和空间信息能够更全面的获取心电信号特征，因此将卷积神经网络和循环神经网络相结合的算法应用广泛，但循环神经网络中，后一个神经元的计算依赖于前一个神经元的输出，因此只能在前一个神经元计算完成后，将该结果传入后一个神经元，再进行后一个神经元的计算，以此类推，直到得到最终结果，这种依次方式是串行计算，需要消耗昂贵的计算资源。因
此提出一种准确度高且高效的波形检测算法具有十分重要的意义。


技术实现要素：

6.为此，本发明所要解决的技术问题在于克服现有技术中心电信号特征波形检测效率低、准确度低的问题。
7.为解决上述技术问题，本发明提供了一种心电信号特征波形检测方法，包括：
8.将预处理后的待测信号输入多级卷积神经网络模块中，经过一个残差块和多级带下采样层的残差块进行特征提取，得到多级空间特征；
9.将最后一级空间特征和该信号的位置编码信息相加后输入多个transformer编码器模块中，提取时序特征，得到编码特征；
10.将所述编码特征输入解码器中，利用跳层连接并经过多级带上采样层的残差块得到多级解码特征，其中，每一级带上采样层的残差块的输入均为上一级输出和与其对应尺度的空间特征在通道维度上拼接后的特征；
11.将最后一级解码特征经过一个残差块处理后，使用卷积层降低通道数，并经过softmax函数处理得到最终的心电信号特征波形检测结果。
12.优选地，所述预处理为将待测信号进行标准化。
13.优选地，所述残差块包括两组子模块，所述两组子模块包含卷积层、批量归一化层和relu激活层，并且两组子模块中卷积层的卷积核大小相同，输入输出维度保持不变；
14.所述第二组子模块中添加了跳层结构，以便将第一组子模块的输出与第二组子模块的输出进行相加，得到残差块最终的输出。
15.优选地，所述将预处理后的待测信号输入多级卷积神经网络模块前包括：
16.构建心电信号特征波形检测模型，所述心电信号特征波形检测模型包括编码器和所述解码器，所述编码器包括所述多级卷积神经网络模块和所述多个transformer编码器模块；
17.获取每一条数据均来自不同病人的数据集进行标注，并以预设比例划分训练集和测试集；
18.利用所述训练集训练所述心电信号特征波形检测模型直至损失函数收敛，得到训练好的心电信号特征波形检测模型。
19.优选地，所述将最后一级空间特征和该信号的位置编码信息相加后输入多个transformer编码器模块中，提取时序特征，得到编码特征包括：
20.当transformer编码器模块数量设置为1时，将最后一级空间特征和该信号的位置编码信息相加后得到的第一编码特征输入一个多头自注意力模块中，将其得到的输出与所述第一编码特征相加后进行归一化操作，得到第二编码特征；
21.将所述第二编码特征输入一个具有单个隐藏层的前馈网络中，将其得到的输出与所述第二编码特征相加后进行归一化操作，得到所述编码特征。
22.优选地，所述将最后一级空间特征和该信号的位置编码信息相加后得到的第一编码特征输入一个多头自注意力模块中包括：
23.将所述第一编码特征映射h次，得到h组特征向量(q，k，v)，其中q代表要查询的信息，k代表被查询信息的键，v代表被查询信息值；
24.将所述h组特征向量输入缩放点积注意力模块生成h个缩放点积特征图；
25.将所述h个缩放点积特征图串联得到多头自注意力模块的输出。
26.优选地，所述将所述h组特征向量输入缩放点积注意力模块生成h个缩放点积特征图包括：
27.计算第i组特征向量中q和k的点积，得到第i组中v的自注意力权重；
28.利用缩放因子调整所述自注意力权重后，与第i组中v点积，并经过softmax函数处理，得到第i个缩放点积特征图：
[0029][0030]
其中，i代表第i组特征向量，分别为第i组q、k、v对应的线性变换矩阵，t为转置，为所述缩放因子。
[0031]
本发明还提供了一种心电信号特征波形检测的装置，包括：
[0032]
空间特征提取模块，用于将预处理后的待测信号输入多级卷积神经网络模块中，经过一个残差块和多级带下采样层的残差块进行特征提取，得到多级空间特征；
[0033]
时序特征提取模块，用于将最后一级空间特征和该信号的位置编码信息相加后输入多个transformer编码器模块中，提取时序特征，得到编码特征；
[0034]
解码特征提取模块，用于将所述编码特征输入解码器中，利用跳层连接并经过多级带上采样层的残差块得到多级解码特征，其中，每一级带上采样层的残差块的输入均为上一级输出和与其对应尺度的空间特征在通道维度上拼接后的特征；
[0035]
结果检测模块，用于将最后一级解码特征经过一个残差块处理后，使用卷积层降低通道数，并经过softmax函数处理得到最终的心电信号特征波形检测结果。
[0036]
本发明还提供了一种心电信号特征波形检测的设备，包括：
[0037]
存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种心电信号特征波形检测方法的步骤。
[0038]
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种心电信号特征波形检测方法的步骤。
[0039]
本发明的上述技术方案相比现有技术具有以下优点：
[0040]
本发明提出了一种基于卷积神经网络和transformer的心电信号特征波形检测方法，利用卷积神经网络提取信号的空间信息，并利用transformer基于自注意力机制捕获时序特征，transformer中采用多头注意力机制，不同的自注意力模块之间互不干扰，没有依赖关系。可以分别对各个模块计算之后将计算结果整合得到最终输出，这种方式称为并行计算，在实际运算过程中，并行计算的速度比串行计算的速度快，使得心电信号特征波形检测更为高效；为了更加精确的定位，选用跳层连接结构，将卷积神经网络特征提取器的中间结果与相应的解码器特征图在通道维度上拼接，将浅层位置信息和深层语义信息相结合,使得心电信号特征波形检测更为精确。
附图说明
[0041]
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中：
[0042]
图1是本一个正常心动周期内的心电信号示意图；
[0043]
图2为本发明所提供的心电信号特征波形检测方法的实现流程图；
[0044]
图3是本发明的整体架构图；
[0045]
图4是本发明的残差块结构示意图
[0046]
图5是本发明transformer结构示意图；
[0047]
图6是本发明多头注意力机制结构示意图；
[0048]
图7是本发明缩放点积结构示意图；
[0049]
图8是心电信号特征波形标注示意图；
[0050]
图9是正常信号的标签及波形检测结果示意图；
[0051]
图10是含噪信号的标签及波形检测结果示意图；
[0052]
图11是一度房室传导阻滞信号的标签及波形检测结果示意图；
[0053]
图12是室早信号的标签及波形检测结果示意图；
[0054]
图13为本发明实施例提供的一种心电信号特征波形检测的装置的结构框图。
具体实施方式
[0055]
本发明的核心是提供一种心电信号特征波形检测方法、装置、设备及计算机存储介质，使心电信号特征波形检测更为高效准确。
[0056]
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0057]
请参考图2和图3，图2为本发明所提供的心电信号特征波形检测方法的实现流程图，图3为本发明的整体架构图；具体操作步骤如下：
[0058]
s101：将预处理后的待测信号输入多级卷积神经网络模块中，经过一个残差块和多级带下采样层的残差块进行特征提取，得到多级空间特征；
[0059]
所述预处理为将待测信号进行z-score标准化；
[0060]
多级卷积神经网络模块包括一个残差块和多级带下采样层的残差块，本实施例中，包括两级带基于最大池化层构建的下采样层的残差块，其下采样分别倍数依次为1/2和1/5；
[0061]
如图4所示，所述残差块包括两组子模块，所述两组子模块包含卷积层、批量归一化层和relu激活层，并且两组子模块中卷积层的卷积核大小相同，输入输出维度保持不变，所述第二组子模块中添加了跳层结构，以便将第一组子模块的输出与第二组子模块的输出进行相加，得到残差块最终的输出，避免了网络加深可能造成的梯度爆炸或者梯度消失以及网络退化现象。
[0062]
s102：将最后一级空间特征和该信号的位置编码信息相加后输入多个transformer编码器模块中，提取时序特征，得到编码特征；
[0063]
心电信号反映了心脏电活动随时间的变化规律，其信号特征波形是连续有规律的。自注意力机制通过计算特征点之间的相关性来获取权重，却忽略信号的位置信息。因此通常需要将信号的位置编码信息添加到transformer的输入信号中，为了弥补该结构忽略绝对位置信息的缺陷，本发明选择一组transformer编码器的输入信号相同长度的科学系参数作为位置编码，将位置编码和输入特征相加送入transformer编码器模块中，由网络动态学习位置信息。
[0064]
transformer编码器由一个多头自注意力模块和一个具有单个隐藏层的前馈网络组成，每个子层后均跟随一个层归一化模块，且均采用残差结构，如图5所示；
[0065]
transformer对于上下文特征的捕获通过自注意力机制实现，transformer采用多头注意力机制，多头注意力机制能够关注不同位置的不同子空间信息，使其网络捕获更丰富的特征信息，当transformer编码器模块数量设置为1时，将最后一级空间特征和该信号的位置编码信息相加后得到的第一编码特征输入一个多头自注意力模块中，如图6所示：
[0066]
将所述第一编码特征映射h次，得到h组特征向量(q，k，v)，其中代表要查询的信息query，代表被查询信息的键key，代表被查询信息的键key，代表被查询信息值value，r代表实数，d
model
×dq
，d
model
×dk
，d
model
×dv
为q、k、v的维度，它们均为超参数，在训练之前预先设置，本实施例中，d
model
＝128；
[0067]
将所述h组特征向量输入缩放点积注意力模块生成h个缩放点积特征图，h代表子头个数，本实施例中h＝8，如图7所示：
[0068]
计算第i组特征向量中q和k的点积，得到第i组中v的自注意力权重；
[0069]
利用缩放因子调整所述自注意力权重后，与第i组中v点积，并经过softmax函数处理，得到更平滑的第i个缩放点积特征图：
[0070][0071]
其中，i代表第i组特征向量，分别为第i组q、k、v对应的线性变换矩阵(多头自注意力机制的输入q、k、v维度与单头注意力机制内计算维度不同，通过线性变换将其维度转换为单头自注意力机制所需维度，便于进行单头注意力机制的计算)，t为转置(计算过程中为了保证点乘的维度正确，需要对k进行转置后和q相乘)，为所述缩放因子；
[0072]
将所述h个缩放点积特征图串联得到多头自注意力模块的输出：mutihead(q,k,v)＝concat(head1,
…
,headh)wo，wo为输出结果对应的线性变换矩阵；
[0073]
将其得到的输出与所述第一编码特征相加后进行归一化操作，得到第二编码特征，将所述第二编码特征输入具有单个隐藏层的前馈网络中，将其得到的输出与所述第二编码特征相加后进行归一化操作，得到所述编码特征；
[0074]
本实施例中，将transformer编码器模块的个数设置为6，第一个transformer编码器模块的输入为最后一级空间特征和该信号的位置编码信息相加后的特征，后五个transformer编码器模块的输入均为当前transformer编码器模块的上一个transformer编码器模块的输出；为了防止过拟合现象，将丢弃层的丢弃比率设置为0.1。
[0075]
s103：将所述编码特征输入解码器中，利用跳层连接并经过多级带上采样层的残
差块得到多级解码特征，其中，每一级带上采样层的残差块的输入均为上一级输出和与其对应尺度的空间特征在通道维度上拼接后的特征；
[0076]
对于解码器部分，其结构和卷积神经网络特征提取器基本相同，仅将其中的下采样模块替换为上采样模块，上采样模块采用双线性上采样方法，本实施例中包括两级带上采样层的残差块，其上采样倍数分别依次为5和2，为了更加精确的定位，我们选用跳层连接结构，将卷积神经网络特征提取器的中间结果与相应的解码器特征图在通道维度上拼接，将浅层位置信息和深层语义信息相结合；
[0077]
第一级带上采样层的残差块的输入为最后一个transformer编码器模块输出的编码特征，后两级带上采样层的残差块的输入均为上一级带上采样层的残差块的输出。
[0078]
s104：将最后一级解码特征经过一个残差块处理后，使用卷积层降低通道数，并经过softmax函数处理得到最终的心电信号特征波形检测结果。
[0079]
最后使用核为1的卷积层来降低特征图的通道数，通过softmax函数得到最终输出，输出结果的长度和输入信号相同，通道数为4，分别代表该采样点属于p波、qrs波、t波和其他波形的概率。多级编码模块和解码器中各层的参数如表1所示：
[0080]
表1网络层参数
[0081][0082][0083]
表1中c表示输出通道数，k表示卷积核大小，n表示卷积层的通道数，初始值设为32，[
·
]表示舍入函数。
[0084]
本发明提出了一种基于卷积神经网络和transformer的心电信号特征波形检测方法，利用卷积神经网络提取信号的空间信息，并利用transformer基于自注意力机制捕获时序特征，transformer中采用多头注意力机制，不同的自注意力模块之间互不干扰，没有依赖关系。可以分别对各个模块计算之后将计算结果整合得到最终输出，这种方式称为并行
计算，在实际运算过程中，并行计算的速度比串行计算的速度快，使得心电信号特征波形检测更为高效；为了更加精确的定位，选用跳层连接结构，将卷积神经网络特征提取器的中间结果与相应的解码器特征图在通道维度上拼接，将浅层位置信息和深层语义信息相结合,使得心电信号特征波形检测更为精确。
[0085]
基于以上实施例，本实施例对步骤s101进行进一步详细说明：
[0086]
将预处理后的待测信号输入多级卷积神经网络模块前包括：
[0087]
构建心电信号特征波形检测模型，所述心电信号特征波形检测模型包括编码器和解码器，所述编码器包括所述多级卷积神经网络模块和所述transformer编码器模块；
[0088]
获取每一条数据均来自不同病人的数据集进行标注(本实施例采用的数据集为中国生理信号挑战赛(cpsc2018)数据集)，本发明准备的心电信号数据采样率为500hz，心电信号的输入长度固定为统一长度(时间长度为10秒，5000个点)，且心电信号来自不同类别的数据集，其数据分布如表2所示。心电信号类别包括，正常(normal)、i度房室传导阻滞(first-degree atrioventricular block,i-avb)、左束支传导阻滞(left bundle branch block,lbbb)、右束支传导阻滞(right bundle branch block,rbbb)、房性早搏(premature atrial contraction,pac)、室性早搏(premature ventricular contraction,pvc)、st段压低(st-segment depression,std)和st段抬高(st-segment elevated,ste)。
[0089]
表2心电信号数据集分布
[0090][0091]
其中rbbb_pac/pac代表该类心电信号带有右束支阻滞且伴有房性早搏或室性早搏；
[0092]
对所抽取的数据的特征波形位置进行标注，将心电信号中三种主要的特征波形：p波、qrs波和t波，分别标记为1-3，将其他区域标注为0，这些标签之间没有重叠区域，相互独立；p波、qrs波和t波如图8所示，其余部分代表其他波形区域；
[0093]
对标注后的数据集以预设比例划分训练集和测试集；
[0094]
利用所述训练集训练所述心电信号特征波形检测模型直至损失函数收敛，得到训练好的心电信号特征波形检测模型。
[0095]
当前基于深度学习的波形检测算法大多基于现有心电信号数据集，划分训练集和测试集时通常采用对所有数据进行整体划分的方式，未考虑同一患者数据的相似性，这导致这些算法应用在病人间数据上时检测性能降低；本发明不同于大部分波形检测算法中多条数据来自同一个病人，本发明在病人间数据集上进行训练和测试，因此划分训练集和测试集时即可避免同一个病人的数据既存在训练集中也存在测试集中，且在不同类别的子数据集上均具有优异的表现，具有较强的泛化能力。
[0096]
基于以上实施例，本实施例以待输入心电信号sig为例，进行进一步详细说明：
[0097]
准备训练集：
[0098]
准备训练用的数据(n*1*5000)即选自不同类别数据集的心电信号与对应的标签数据(n*1*5000),形成训练集，其中n为训练数据的样本个数；
[0099]
对输入信号进行z-score标准化，然后将标准化后的数据输入网络中进行训练，其优化器为adam算法，adam参数设置如下：学习率lr＝0.001,beta_1＝0.9,beta_2＝0.999,
epsilon＝1e-08，损失函数为dice loss[2]。训练完成后保存loss最小时的模型；
[0100]
准备待测试心电信号：
[0101]
将信号sig重采样至500hz，按长度为5000个数据点(10秒)截取sig[1],sig[2],
…
,sig[i]，若长度达不到5000则在数据末尾填0至5000，保证模型的输入信号为5000个采样点长度；
[0102]
将sig[1],sig[2],...,sig[i]输入训练时保存的特征波形检测模型中，得到对应输出out[1],out[2],...,out[i]，out[i]长度与sig[i]长度相同，即为5000个数据点(10秒)，每个out[i]的尺寸大小为4*5000，5000为信号的长度，4则分别表示该信号各个采样点属于p波、qrs波、t波和其他波形的概率。
[0103]
波形检测结果，如图9、10、11、12所示，分别为正常信号、含噪信号、一度房室传导阻滞信号以及室早信号的标签及波形检测结果，子图中由上到下的图分别为专家标注标签位置以及算法预测位置。
[0104]
请参考图13，图13为本发明实施例提供的一种心电信号特征波形检测的装置的结构框图；具体装置可以包括：
[0105]
空间特征提取模块100，用于将预处理后的待测信号输入多级卷积神经网络模块中，经过一个残差块和多级带下采样层的残差块进行特征提取，得到多级空间特征；
[0106]
时序特征提取模块200，用于将最后一级空间特征和该信号的位置编码信息相加后输入多个transformer编码器模块中，提取时序特征，得到编码特征；
[0107]
解码特征提取模块300，用于将所述编码特征输入解码器中，利用跳层连接并经过多级带上采样层的残差块得到多级解码特征，其中，每一级带上采样层的残差块的输入均为上一级输出和与其对应尺度的空间特征在通道维度上拼接后的特征；
[0108]
结果检测模块400，用于将最后一级解码特征经过一个残差块处理后，使用卷积层降低通道数，并经过softmax函数处理得到最终的心电信号特征波形检测结果。
[0109]
本实施例的心电信号特征波形检测装置用于实现前述的心电信号特征波形检测方法，因此心电信号特征波形检测装置中的具体实施方式可见前文心电信号特征波形检测方法的实施例部分，例如，空间特征提取模块100，时序特征提取模块200，解码特征提取模块300，结果检测模块400，分别用于实现上述心电信号特征波形检测方法中步骤s101，s102，s103，s104，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
[0110]
本发明开发了一种数据驱动的端到端的深度学习模型，通过训练过程自主学习、提取高级特征，不需要进行手动特征分析。本发明采用卷积神经网络和transformer相结合的方式提取信号的时序特征和空间特征，且transformer的自注意力机制可以通过并行结构高效计算。本方法在病人间数据集上进行训练和测试，且在不同类别的子数据集上均具有优异的表现，表现出较强的泛化能力。
[0111]
本发明具体实施例还提供了一种心电信号特征波形检测的设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种心电信号特征波形检测方法的步骤。
[0112]
本发明具体实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种心电信号特征波形检
测方法的步骤。
[0113]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0114]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0115]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0116]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0117]
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。