使用深度神经网络和基于规则的系统进行缩减导联心电图诊断的系统和方法与流程

1.本文公开的主题的实施方案涉及心电图(ecg)的分析，并且更具体地，涉及使用深度神经网络和基于规则的系统自动诊断ecg的方法和系统。


背景技术：

2.心脏病已成为影响全世界人类的最常见疾病。每年有数百万人死于心脏病发作，还有同样数量的人因晚期心脏病接受冠状动脉搭桥手术或球囊血管成形术。早期检测和及时治疗可降低此类事件的概率和/或严重程度。早期检测可提高生活质量并减缓心力衰竭的进展。记录心电图(ecg)是一种用于评估患者心脏状况的非侵入性方法，其可实现心脏异常的早期检测。ecg的特征可使得相对准确且快速地进行诊断。
3.ecg可提供有关心脏正常和/或病理生理学的信息。常规地，使用放置成与患者皮肤接触的十个电极来测量十二个导联。十二个导联提供关于沿着与心脏相交的十二个不同轴线通过心脏的电势的信息，并且这些电势随时间的强度变化提供十二个不同的半周期信号。然后这十二个信号可用于评估心脏状态，并且可能诊断一种或多种心脏状况，诸如心律失常、心肌梗塞、心脏肥大等。
4.然而，在一些情况下，可能希望使用少于常规十二个导联来评估患者心脏的生理状态。十二个导联信号的收集依赖于在患者胸部上放置六个电极，并在患者四肢中的每一者上放置一个电极。然而，在一些情况下，将十个电极中的每一个放置在患者身上可能是不希望的。例如，在手术后，患者的肢体或胸部可能有绷带或缝线，从而妨碍电极放置。在另一个示例中，可能难以将六个胸部电极中的每一个放置在新生儿身上，因为其胸部区域与成年患者的大小相比可能相对较小，或者对新生儿而言不舒服/有刺激。在这些情况下，希望使用少于常规十二个导联来监测患者心脏的状态。
5.常规的诊断方法/算法可能依赖于十二导联ecg，并且当应用于缩减导联ecg时可能产生不一致的诊断，或者可能无法确定诊断(如本文所用，缩减导联ecg将被理解为包括具有常规十二个导联/信号中的一直十一个的ecg)。将常规诊断方法应用于缩减导联ecg的一种尝试包括通过模拟一个或多个缺失导联信号将缩减导联ecg扩展为常规十二导联信号，从而模仿常规完整ecg(如本文所用，完整ecg是指常规十二导联ecg)。然后可将常规诊断方法应用于模拟的完整ecg。
6.然而，本文的发明人已经认识到上述方法的问题。例如，模拟的ecg导联可能具有不同程度的准确性，因此当用于利用根据常规十二导联ecg建立的标准来诊断心脏时，可能产生不一致的结果。此外，模拟ecg导联可消耗大量的计算资源。因此，通常需要探索用于增加ecg诊断系统用于缩减导联ecg数据的诊断准确性同时减少对ecg导联模拟的依赖的技术。


技术实现要素：

7.本公开至少部分地解决了上述问题。在一个实施方案中，可通过包括以下过程的方法来为缩减导联ecg生成诊断而无需模拟缺失导联：获取缩减导联ecg数据，其中缩减导联ecg数据包括少于十二个导联信号；确定少于十二个导联信号中的每一个的类型；基于少于十二个导联信号中的每一个的类型选择深度神经网络；以及使用深度神经网络将少于十二个导联信号映射到诊断。以这种方式，可通过智能地选择在包括与所获取的缩减ecg数据相同类型的ecg导联的缩减导联ecg数据上训练的深度神经网络来确定缩减导联ecg数据的诊断而无需模拟一个或多个缺失导联信号。
8.在单独或与附图联系时，本说明书的以上优势以及其他优势和特征将从以下具体实施方式中显而易见。应当理解，提供以上发明内容是为了以简化的形式介绍在具体实施方式中进一步描述的概念的选择。这并不意味着识别所要求保护的主题的关键或必要特征，该主题的范围由具体实施方式后的权利要求书唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。
附图说明
9.通过阅读以下详细描述并且参考附图，可以更好地理解本公开的各个方面，其中：
10.图1示出了ecg系统的示例性实施方案的框图；
11.图2是示出混合ecg诊断系统的第一实施方案的示意图；
12.图3是示出混合ecg诊断系统的第二实施方案的示意图；
13.图4是示出混合ecg诊断系统的第三实施方案的示意图；
14.图5是示出使用混合系统自动诊断获取的ecg数据的方法的高级流程图；
15.图6是示出使用混合ecg诊断系统自动诊断ecg数据的方法的第一实施方案的流程图；
16.图7是示出使用混合ecg诊断系统自动诊断ecg数据的方法的第二实施方案的流程图；
17.图8是示出使用混合ecg诊断系统自动诊断ecg数据的方法的第三实施方案的流程图；
18.图9是示出根据示例性实施方案的用于训练混合ecg诊断系统以自动诊断ecg数据的方法的流程图；
19.图10示出了根据本公开的示例性实施方案的示例ecg、由基于规则的系统产生的ecg的第一诊断以及由混合ecg诊断系统产生的ecg的第二诊断；
20.图11是示出根据示例性实施方案的缩减导联ecg诊断系统的示意图；
21.图12是示出根据示例性实施方案的用于训练缩减导联ecg诊断系统以自动诊断缩减导联ecg数据的方法的流程图；
22.图13是示出使用缩减导联ecg诊断系统诊断缩减导联ecg数据的方法的流程图。
23.这些附图示出了使用缩减导联ecg诊断系统自动诊断缩减导联ecg数据的所描述系统和方法的特定方面。连同以下描述，附图示出并且解释了本文描述的结构、方法和原理。在这些附图中，为了清晰起见，可放大或以其他方式修改部件的尺寸。没有示出或详细描述众所周知的结构、材料或操作以避免模糊所描述部件、系统和方法的各方面。
具体实施方式
24.以下描述涉及使用包括一个或多个深度神经网络以及基于规则的系统(诸如rawi,atiaf ayal,and muzhir shaban al-ani.“a rule-based expert system for automated ecg diagnosis.”international journal of advances in engineering&technology 6.4(2013):1480(其全部内容据此以引用方式并入用于所有目的)中描述的基于规则的系统)的混合系统自动诊断心电图(ecg)的系统和方法。具体地，以下描述涉及通过将一个或多个深度神经网络与基于规则的系统组合以产生诊断准确性增加和对具体使用情况的适应性增加的混合系统来增加ecg诊断系统的适应性和准确性的系统和方法。该混合系统还可通过学习将缩减导联ecg数据的特征直接映射到诊断而无需模拟缺失的导联信号来实现对缩减导联ecg数据的准确诊断。
25.在一些实施方案中，可经由图1所示的心电图(ecg)诸如ecg系统100从患者获取ecg数据。由此获取的ecg数据可由ecg处理系统102自动诊断，该处理系统实施一个或多个混合ecg诊断系统，诸如分别在图2、图3和图4中示出的混合ecg诊断系统200、300和400中的一个或多个。ecg处理系统102可实施一个或多个混合ecg诊断系统以通过执行图5中所示的方法500、图6中所示的方法600、图7中所示的方法700和/或图8所示的方法800的一个或多个操作来诊断ecg数据。在第一实施方案中，ecg处理系统102可实施混合ecg诊断系统200以使用图6中所示的方法600的一个或多个操作来自动诊断获取的ecg数据。在第二实施方案中，ecg处理系统102可实施混合ecg诊断系统300以使用图7中所示的方法700的一个或多个操作来自动诊断获取的ecg数据。在第三实施方案中，ecg处理系统102可实施混合ecg诊断系统400以使用图8中所示的方法800的一个或多个操作来自动诊断获取的ecg数据。图10示出了可使用以上系统和方法自动诊断的十二导联ecg以及使用单独的基于规则的系统产生的第一错误诊断和使用根据本公开的实施方案的混合ecg诊断系统产生的第二正确诊断的一个实施方案。可根据图9中所示的方法900训练混合ecg诊断系统200、300和400，从而使混合ecg诊断系统能够通过对使用情况特定的数据进行训练来适应具体的使用情况。
26.此外，本公开提供了通过从深度神经网络库(诸如图11中所示的深度神经网络库1104)选择深度神经网络(诸如深度神经网络1110)来自动诊断缩减导联ecg。所选的深度神经网络1110可包括对缩减导联ecg数据训练的深度神经网络，并且可用于图2中所示的混合ecg诊断系统200、图3中所示的混合ecg诊断系统300和/或图4中所示的混合ecg诊断系统400，以通过执行图13中所示的方法1300的一个或多个操作来诊断缩减导联ecg数据。深度神经网络库1104可包括多个不同的深度学习网络，根据图12所示的方法1200使用不同的缩减导联组对每个深度学习网络进行训练。在一个实施方案中，深度神经网络库1104中的第一训练的深度神经网络可包括经由对缩减导联ecg数据进行训练而学习的参数，其中缩减导联ecg数据包括导联类型i、ii、iii、avr、avl和avf(肢体导联)，但缺失导线类型v1、v2、v3、v4、v5和v6(胸部导联)，因此第一训练的深度神经网络可选自深度神经网络库1104以将获取的缩减导联ecg数据映射到诊断，其中获取的缩减导联ecg数据包括在其上训练第一训练的深度神经网络的相同导联类型(导联i、ii、iii、avr、avl和avf)。换句话说，通过使用缩减导联组的不同排列(其中对于常规十二导联ecg存在4,094个不同缩减导联组排列)来训练多个深度神经网络，根据在其上训练深度神经网络的缩减导联ecg数据将训练的深度神经网络存储在深度神经网络库中，通过从在缺失与获取的数据相同的类型的导联的缩减导
联ecg数据上训练的深度神经网络库中选择深度神经网络，可将具有一个或多个缺失导联的获取的ecg数据有效且准确地映射到诊断。
27.如本文所用，导联类型(也称为ecg导联类型)是指十二个或十五个常规测量的ecg导联(i、ii、iii、avr、avl、avf、v1、v2、v3、v4、v5、v6、v7、v8和v9)中的一种。换句话说，常规的十二或15导联ecg包括十二个或15个不同的导联类型中的每一种的一种信号/导联。术语“导联类型”用于区分沿着通过心脏的特定轴进行的ecg测量(导联类型)与ecg测量的特定实例(导联)。例如，训练数据集可包括数千个不同的ecg导联(例如，来自数千名不同的患者，或来自具有重复测量的几百名患者)，但训练数据集可仅包括六导联类型，例如v1、v2、v3、v4、v5和v6。也就是说，训练数据集中的数千个导联中的每一个具有类型v1、v2、v3、v4、v5或v6，并且训练数据集中没有导联具有类型i、ii、iii、avr、avl或avf。
28.此外，如本文所用，完整的导联组、完整的ecg导联组、完整的十二导联ecg、完整的ecg和其他类似术语是指包括十二个不同导联(每一个为十二种导联类型中的每一种)的心电图。例如，从包括类型i导联、类型ii导联、类型iii导联、类型avr导联、类型avl导联、类型avf导联、类型v1导联、类型v2导联、类型v3导联、类型v4导联、类型v5导联和类型v6导联的患者获取的ecg可被称为完整ecg、十二导联ecg、完整的十二导联ecg等。相反，术语缩减导联组、缩减导联ecg数据、缩减导联数据、缩减ecg导联组和其他类似的术语将被理解为是指包括不超过十一个且不少于一个导联(每个为不同的导联类型)的ecg。
29.如本文所用，术语初步诊断应被理解为是指深度神经网络或基于规则的系统的诊断或诊断预测，其本身不被用作最终诊断，而是被输入到一个或多个附加的深度神经网络/基于规则的系统中以向一个或多个附加的深度神经网络/基于规则的系统提供附加信息，从而便于更准确地预测最终诊断(术语最终诊断和诊断在本文中可互换使用)。换句话说，初步诊断可由混合系统生成以在混合系统内部使用，而诊断(也称为最终诊断)可诸如经由显示设备输出给用户，或传输到一个或多个客户端设备。
30.如本文所用，最终诊断、ecg诊断、诊断和其他类似术语将被理解为包括对ecg的一个或多个特征的正常和/或异常进行评估。具体地，ecg诊断可包括对获取的ecg与“基线”或“健康”ecg的一个或多个偏差进行评价，并且可指示一种或多种类型的心律失常，并且可进一步指示一种或多种类型的心律失常潜在的一个或多个预期原因。在一些实施方案中，诊断可包括对ecg进行逐个特征评价，其中指示每个特征如何/是否偏离基线ecg(例如，正常窦性心律、qrs加宽、复极化异常、电轴右偏、左束支传导阻滞等)。
31.参考图1，示出了根据示例性实施方案的心电图(ecg)系统100。ecg系统100包括附接到患者140的一组电极150。电极150电联接到数据采集模块118，因此使数据采集模块118能够通过确定电极150中的两个或更多个电极之间的电势差来测量ecg波形数据。数据采集模块118通信地联接到ecg处理系统102，用于处理、存储和/或诊断由数据采集模块118获取的ecg数据。ecg处理系统102进一步通信地联接到显示设备114和用户输入设备116，该显示设备被配置为显示ecg数据和/或针对ecg数据确定的诊断，该用户输入设备可使用户能够将数据输入到ecg处理系统102中或与非暂态存储器106内的数据交互。此外，ecg系统100可诸如通过网络连接或通过互联网通信地联接到一个或多个客户端设备(未示出)。
32.数据采集模块118被配置为获取电极150中的两个或更多个电极之间的电势的时间轨迹。在ecg系统100中，电极150包括十个电极，这些电极被配置为测量十二导联ecg。在
一些实施方案中，ecg系统100可包括13个电极，并且可被配置为获取十五导联ecg数据。尽管本领域普通技术人员将很好地理解十二导联ecg的含义，但简而言之，十二导联ecg包括沿着与心脏相交的十二个不同轴测量的作为时间函数的心脏电势的记录。因此，十二导联ecg包括十二个不同的时变信号，其中十二个不同的时变信号中的每一个表示沿着不同轴测量的心脏电活动。电极150可包括接触患者皮肤并将存在于皮肤处的电信号传导到电极的导电凝胶。患者140的心脏产生被称为ecg波形的电信号，并且该电信号在本文中也可被称为ecg信号、ecg导联信号、ecg或ecg数据。
33.具体地，电极150包括四个肢体电极，包括放置在患者140的右臂上的电极120(因此通常称为ra)、放置在患者140的右腿上的电极122(因此通常称为rl)、放置在患者140的左臂上的电极138(因此通常称为la)以及放置在患者140的左腿上的电极124(因此通常称为ll)。四个肢体电极可用于沿着与心脏相交的六个不同轴测量心脏电势，其中沿着不同轴测量的每个电势称为导联。四个肢体电极被配置为测量的六个导联被称为i(其包括电极138与电极120之间的电势差)、ii(其包括电极124与电极120之间的电势差)、iii(其包括电极124与电极138之间的电势差)、avr(其包括电极120与电极124和138的平均值之间的电势差)、avl(其包括电极138与电极120和124的平均值之间的电势差)和avf(其包括电极124与电极120和138的平均值之间的电势差)。
34.此外，电极150包括六个胸部电极，包括电极126(通常称为v1)、电极128(通常称为v2)、电极130(通常称为v3)、电极132(通常称为v4)、电极134(通常称为v5)和电极136(通常称为v6)。六个胸部电极与肢体电极结合被配置为通过在水平面(即，垂直于测量六个肢体导联的平面的平面)中与心脏相交的六个不同轴线测量电势。具体地，六个胸部电极被配置为测量的六个导联被称为v1(其包括电极126与电极120、124和138的平均值之间的电势差)、v2(其包括电极128与电极120、124和138的平均值之间的电势差)、v3(其包括电极130与电极120、124和138的平均值之间的电势差)、v4(其包括电极132与电极120、124和138的平均值之间的电势差)、v5(其包括电极134与电极120、124和138的平均值之间的电势差)和v6(其包括电极136与电极120、124和138的平均值之间的电势差)。
35.尽管ecg系统100包括十个电极并且被配置为测量完整的十二导联ecg，但是应当理解，本公开提供了包括多于或少于十个电极的ecg系统和/或包括多于或少于十二个导联的ecg。本公开还提供了不同于以上参考电极120-138描述的电极放置。具体地，本公开的部分涉及使用缩减ecg导联组来提高诊断准确性，该导联组可由具有少于十个电极的ecg系统产生。在一些实施方案中，包括四个肢体电极且没有胸部电极的ecg系统可记录六个肢体导联，但不可记录六个胸部导联。在一些实施方案中，包括四个肢体电极和两个胸部电极(v1和v5)的ecg系统可记录六个肢体导联和六个胸部导联中的两个(v1和v5)，但不可测量其他四个胸部导联(v2、v3、v4和v6)。在一些实施方案中，包括四个肢体电极和两个胸部电极(v2和v5)的ecg系统可记录六个肢体导联和六个胸部导联中的两个(v2和v5)，但不可测量其他四个胸部导联(v1、v3、v4和v6)。
36.由数据采集模块118获取的ecg数据可被传输到ecg处理系统102进行存储和处理(信号过滤、归一化、噪声抑制等)。ecg数据处理系统102可进一步被配置为通过执行本文公开的一种或多种方法的一个或多个操作来自动诊断由数据采集模块118获取的ecg数据。ecg处理系统102包括处理器104和非暂态存储器106，其中处理器104可从非暂态存储器106
读取指令以执行存储在其中的一种或多种方法的一个或多个操作。ecg处理系统102进一步通信地联接到显示设备114和用户输入设备116，它们可分别使用户能够查看ecg处理系统102内的数据和与该数据交互。
37.ecg处理系统102包括处理器104，该处理器被配置为执行存储在非暂态存储器106中的机器可读指令。处理器104可以是单核或多核的，并且在其上执行的程序可被配置用于并行或分布式处理。在一些实施方案中，处理器104可任选地包括分布在两个或更多个设备中的单独部件，这些设备可远程定位和/或被配置用于协调处理。在一些实施方案中，处理器104的一个或多个方面可由在云计算配置中配置的可远程访问的联网计算设备虚拟化和执行。
38.非暂态存储器106可存储深度神经网络模块108、基于规则的系统模块110和ecg数据模块112。深度神经网络模块108又可包括深度神经网络库模块180，其中可存储一个或多个训练的深度神经网络，并且其中深度神经网络库模块180中的每个训练的深度神经网络可包括多个参数(包括权重、偏差和激活函数)。深度神经网络模块108还可包括用于实施一个或多个训练的深度神经网络以通过使用学习的参数将ecg数据映射到诊断或初步诊断来单独或与存储在基于规则的系统模块110中的基于规则的系统结合来自动诊断ecg数据的指令。例如，深度神经网络模块108和基于规则的系统模块110可存储用于实施混合ecg诊断系统(诸如图2中所示的混合ecg诊断系统200、图3中所示的混合ecg诊断系统300和/或图4中所示的混合ecg诊断系统400)的指令。深度神经网络模块108可包括训练和/或未训练的神经网络，并且还可包括与存储在其中的一个或多个神经网络有关的各种数据或元数据。
39.深度神经网络模块108还可包括用于训练存储在其中的一个或多个深度神经网络的指令。深度神经网络模块108可包括在由处理器104执行时使ecg处理系统102进行在下面详细讨论的方法900和/或方法1200的一个或多个操作的指令。在一些实施方案中，深度神经网络模块108包括用于反向传播经由损失函数确定的误差以通过实施一种或多种梯度下降算法来调整一个或多个深度神经网络参数的指令。
40.在一些实施方案中，深度神经网络模块108包括用于从ecg数据模块112智能地选择训练数据对的指令。在一些实施方案中，训练数据对包括对应的ecg数据和基准真相诊断对。在一些实施方案中，深度神经网络模块108包括用于从训练数据对的ecg数据选择性地去除一个或多导联类型以产生缩减导联ecg和对应的基准真相诊断、用于训练深度神经网络以将缩减导联ecg数据的特征映射到诊断而无需模拟一种或多种缺失的导联类型的指令。在一些实施方案中，深度神经网络模块108不设置在ecg处理系统102处。
41.ecg处理系统102还包括基于规则的系统模块110，该基于规则的系统模块可存储用于实施基于规则的系统以基于硬编码的心脏病学家启发/标准诊断ecg数据的指令。在一些实施方案中，基于规则的系统模块110包括用于从ecg数据中提取多个预定特征并将所提取的特征输入到决策树中的指令，其中决策树包括基于所提取的特征的多个分支决策点。基于规则的系统模块110可与深度神经网络模块108协同工作，以实施混合ecg诊断系统，诸如分别在图2、图3和图4中示出的混合ecg诊断系统200、300和400。在一些实施方案中，由基于规则的系统模块110的基于规则的系统产生的初步诊断可被馈送到深度神经网络模块108的深度神经网络，并且深度神经网络可将初步诊断映射到最终诊断。在一些实施方案中，深度神经网络可包括卷积神经网络和决策网络(包括多层感知器)，并且由基于规则的
系统产生的初步诊断可被输入到决策网络的输入层中。然后，决策网络可通过将初步诊断传播通过多个密集连接层直至到达输出层来将初步诊断映射到最终诊断。然后，输出层可输出与多个诊断中的每一个相关联的概率得分，并且概率得分最高的诊断可被显示给用户和/或被传输到通信地联接到ecg处理系统102的客户端设备。在一些实施方案中，由深度神经网络模块108的深度神经网络产生的初步诊断可被输入到基于规则的系统模块110的基于规则的系统中，以被基于规则的系统用于确定最终诊断。
42.非暂态存储器106还包括ecg数据模块112，该数据模块包括由一个或多个数据采集模块或ecg系统获取的ecg数据。在一些实施方案中，ecg数据模块112包括由ecg系统100获取的数据。在一些实施方案中，ecg数据模块112可存储通过与ecg处理系统102之外的一个或多个数据源通信联接获取的ecg数据。存储在ecg数据模块内的ecg数据可根据一种或多种组织方案来组织，或者被配置成数据存储领域中已知的一种或多种数据结构。在一些实施方案中，可通过根据导联组对ecg数据进行索引，从而能够通过导联组快速查找ecg数据来将ecg数据存储在ecg数据模块中。例如，包括六个胸部导联的ecg数据的查询可由ecg处理系统102通过评估包括在其中的每个ecg数据集的索引并返回索引指示ecg数据集包括六个胸部导联的每个ecg数据集来执行。
43.ecg数据模块112还可存储具有多个对应的基准真相诊断的多个ecg数据，其中基准真相诊断由专家心脏病学家基于多个ecg数据生成。在一些实施方案中，ecg数据模块112可包括多个训练数据对，其中每个训练数据对包括ecg数据(包括完整的十二导联ecg或缩减导联ecg)以及对应的专家生成的针对ecg的基准真相诊断。存储在ecg数据模块112内的训练数据可作为深度神经网络训练例程(诸如下图9和图12的方法900和1200中描述的那些)的一部分被深度神经网络模块108查询和使用。
44.暂时转到图10，示出了可由ecg系统100经由数据采集模块118和电极150获取并存储在ecg数据模块112中的ecg数据的一个示例性实施方案。图10示出了心电图1002，其包括十二导联ecg，包括十二种不同的波形/信号，其代表十二种导联类型中的每一种。单次心跳的ecg波形通常被称为pqrst复合波，因为其包括p波、q波、r波、s波和t波。ecg波形还可包括u波，但是这可能不存在于所有ecg中。p波出现在心跳开始时，对应心房活动，而qrst复合波跟随p波，对应心室活动。qrs分量代表心室的电激活，而t波代表其电恢复。st段是一个相对静止的时期。在人类中，已发现t波是用于检测交替的合适间隔。也就是说，交替心跳的t波的变化水平是患者心脏电稳定性的良好指示。在一些实施方案中，可被分析以诊断ecg的ecg波形的特征包括p、q、r、s、t和u波中的每一种的幅度，以及p、q、r、s、t和u波中的一种或多种之间的时间，其被称为间隔或段。例如，p波开始与qrs复合波开始之间的时间间隔被称为pr间隔，并且可用于诊断心脏的生理状况。在另一个示例中，q波开始与t波终止之间的持续时间(称为qt间隔)可用于诊断心脏的生理状况。ecg的其他诊断特征包括心率，其可由心跳到心跳的间隔(诸如q-q间隔、t-t间隔等)和心跳到心跳的p、q、r、s和t幅度和/或间隔变化确定。
45.在一些实施方案中，非暂态存储器106可包括设置在两个或更多个设备上的部件，这些部件可被远程定位和/或配置用于协调处理。在一些实施方案中，非暂态存储器106的一个或多个方面可包括以云计算配置进行配置的能够远程访问的联网存储设备。
46.ecg系统100还可包括用户输入设备116。用户输入设备116可包括触摸屏、键盘、鼠
标、触控板、运动感测相机或被配置为使用户能够与ecg处理系统102内的数据交互并操纵该数据的其他设备中的一种或多种。例如，用户输入设备116可使用户能够选择ecg数据进行诊断。
47.显示设备114可包括一个或多个利用几乎任何类型的技术的显示设备。在一些实施方案中，显示设备114可包括计算机监视器，并且可显示未处理和已处理的ecg数据。显示设备114可与处理器104、非暂态存储器106和/或用户输入设备116组合在共享壳体中，或者可以是外围显示设备，并且可包括监视器、触摸屏、投影仪或本领域已知的可使用户能够查看ecg数据和/或与存储在非暂态存储器106中的各种数据交互的其他显示设备。
48.应当理解，图1中所示的ecg系统100是为了说明而不是限制。另一种合适的ecg处理系统可包括更多、更少或不同的部件。
49.转到图2，示出了混合ecg诊断系统200的第一实施方案。在一些实施方案中，混合ecg诊断系统200可由ecg处理系统102、连接到ecg处理系统102的边缘设备、与ecg处理系统102通信的云设备或它们的任何适当组合来实施。
50.混合ecg诊断系统200包括深度神经网络210和基于规则的系统204，它们被配置为接收ecg数据202和基于接收到的ecg数据产生诊断216。在一些实施方案中，混合ecg诊断系统可被配置为进一步接收辅助输入(未示出)。在一些实施方案中，ecg数据202可包括从ecg系统(诸如ecg系统100)获取的ecg数据的实时流。在一些实施方案中，ecg数据202可包括预先记录的ecg数据，其可从通信联接的数据存储设备(诸如从非暂态存储器106中的ecg数据模块112)传输到混合ecg诊断系统200。在一些实施方案中，ecg数据202可包括十二导联ecg。在一些实施方案中，ecg数据202可包括十五导联数据。在一些实施方案中，ecg数据202可以是包括少于十二个导联但大于零个导联的缩减导联组ecg。
51.在混合ecg诊断系统200中，ecg数据202首先被输入到深度神经网络210中。在一些实施方案中，深度神经网络210包括串联连接的两个深度神经网络，第一个是卷积神经网络212，包括多个卷积层，第二个是决策网络214，包括多个密集连接层(因此决策网络214也可被称为多层感知器或mlp)。来自卷积神经网络212的输出层的输出在决策网络214的输入层处被接收，并被映射到多个预定诊断中的每一个的多个概率得分。在一些实施方案中，可能已经基于用于训练与ecg数据202中的导联组匹配的深度神经网络210的导联组从深度神经网络库(诸如图11中所示的深度神经网络库1104)中智能选择深度神经网络210。在一些实施方案中，可能已经根据图13中所示的方法1300的一个或多个操作选择深度神经网络210。
52.卷积神经网络212被配置为在输入层处接收ecg数据202。在一些实施方案中，可在输入到卷积神经网络212中之前对ecg数据202进行一个或多个预处理操作。在一些实施方案中，预处理可包括ecg归一化(其中ecg数据的范围被映射到0至1的范围)、噪声降低、强度值的二值化、ecg波形减薄等中的一种或多种。在一些实施方案中，卷积神经网络212被配置为接收ecg数据202作为2d数据对象，包括电势的第一维度和时间的第二维度。在ecg数据202包括2d数据对象的实施方案中，卷积神经网络212的输入层可被配置为输入节点/神经元的2d网格，其中每个输入节点/神经元可接收2d ecg数据的不同值作为输入。在一些实施方案中，ecg数据202可包括一个或多个2d图像，其中ecg波形数据在2d图像内以图形方式显示，使得ecg波形数据由2d图像的多个像素强度值编码。在此类实施方案中，卷积神经网络212的输入层可包括与一个或多个2d图像中的像素相同数量的输入节点/神经元，从而使像
素强度值能够一对一地输入到卷积神经网络212的输入层的输入节点/神经元中。
53.在ecg数据202被输入到卷积神经网络212之后，数据通过一个或多个卷积层传播，其中，在每个卷积层中，一个或多个过滤器被应用于输入的ecg数据202，以产生特征映射。每个过滤器包括一个或多个权重，这些权重将输入空间的子区域映射到特征映射的子区域。通常，过滤器可用于检测输入数据(特征映射和/或ecg数据202)中特征的局部结合。过滤器可包括3
×
3的权重网格，其中通过计算3
×
3输入值网格和3
×
3权重网格之间的点积将来自3
×
3输入值网格的数据(例如，ecg数据202或来自先前特征映射的特征)映射到单一输出值。在一些实施方案中，可在训练阶段中学习过滤器的一个或多个权重中的每一个。特征映射的深度对应于应用的过滤器数量，而特征映射的高度和宽度对应于输入ecg数据202(或当前卷积层从其接收数据的先前特征映射)的高度和宽度。特征映射量化一个或多个应用的过滤器与输入数据内的每个空间区域之间的匹配程度。
54.来自特征映射的数据可通过非线性层和/或整流层，以产生激活映射，并且后续层可将激活映射作为输入。在一些实施方案中，可使用组合的整流和非线性层，诸如整流线性单元(relu)。卷积神经网络212还可包括附加卷积层(其中来自先前卷积层的特征映射或激活映射可被视为输入并再次过滤/卷积，以产生包括较高阶特征/复合特征的特征映射/激活映射)、汇集层(其中ecg数据202或特征映射的每个子区域被下采样以产生较低空间分辨率的特征映射)、丢失层(其中一个或多个权重或过滤器在训练阶段被丢弃以减少过度拟合的概率)和正则化层，以及完全连接/密集连接层(其中先前特征映射或激活映射的每个输出/激活/特征被后续层的每个节点/神经元接收)。
55.卷积神经网络212的每个卷积层的一个或多个过滤器可在训练过程中学习，因此可能不需要领域专家(诸如心脏病学家)进行硬编码，从而使卷积神经网络212能够学习识别和提取与准确诊断预测相关的特征，而不是利用预定特征。利用混合ecg诊断系统(诸如混合ecg诊断系统200)诊断ecg数据的技术效果在于，混合ecg诊断系统内的深度神经网络可通过对使用情况特定的数据进行训练来自动学习识别与诊断预测相关的使用情况特定的特征，而无需手动更新硬编码的规则。
56.卷积神经网络212还包括输出层，其中输出层被配置为输出在ecg数据202中提取/识别的多个特征。在一些实施方案中，来自卷积神经网络212的输出包括特征映射，其指示多个学习的特征中的每一个在ecg数据202内多个子区域中的每一个处的出现概率。应当理解，尽管用于描述特征提取器206和卷积神经网络212的术语是相似的，因为特征提取器206和卷积神经网络212都确定/提取ecg数据内的特征，但是应当理解，卷积神经网络212检测ecg数据202的每个子区域处的学习的特征，而特征提取器206提取预选/预定特征，如本文更详细地讨论的。此外，卷积神经网络212和特征提取器206被配置为以基本上不同的方式提取/确定特征。
57.来自卷积神经网络212的输出可被馈送到决策网络214。在一些实施方案中，来自卷积神经网络212的输出包括在ecg数据202中识别的多个特征。决策网络214包括具有多个输入节点/神经元的输入层，其中输入节点/神经元的数量在一些实施方案中可等于卷积神经网络212输出的特征的数量。在一些实施方案中，决策网络214的输入层中的输入节点/神经元的数量可大于来自卷积神经网络212的输出特征的数量，从而使决策网络214能够从一个或多个源接收附加数据。
58.决策网络214包括输入层、输出层和一个或多个隐藏层，其中每个隐藏层包括密集/完全连接层。决策网络214的架构也可被称为多层感知器(mlp)。每个隐藏层的每个神经元通过使用多个权重计算前一层中每个节点的每个输出之间的点积来产生输出，其中每个权重与前一层的神经元唯一地相关。在数学上，这可以用下面的等式表示。
[0059][0060]
其中xi是前一层中的第i个神经元，yj是当前层的第j个神经元的输出/激活，w
ji
是前一层的第i个神经元与当前层的第j个神经元之间的连接的权重/强度，并且bj是当前层中第j个神经元的偏差。在一些实施方案中，激活函数f是例如整流线性单元(relu)函数。在一些实施方案中，f可包括普通relu函数、泄漏relu函数、参数relu函数等。在一些实施方案中，f可包括双曲正切函数、softplus函数、软指数函数、sigmoid函数和机器学习领域中已知的其他激活函数。决策网络可包括基本上任何数量的隐藏层。
[0061]
决策网络214的输出层包括多个输出神经元。在一些实施方案中，每个输出神经元可对应于不同的诊断，并且来自输出层的神经元的值输出可表示/指示与神经元相关联的诊断的概率得分。例如，输出层中对应于诊断k的神经元j可输出介于0与1之间的概率得分，其中概率得分指示应用于输入ecg数据202的诊断k的预测概率，具体地，如果神经元j输出大约0的概率得分，则这指示应用于ecg数据202的诊断k的相对低的概率，而如果神经元j输出大约1的概率得分，则这指示应用于ecg数据202的诊断k的相对高的概率。来自决策网络214的输出层的输出可包括概率得分的向量，即预定多个诊断中的每一个的一个概率得分。由决策网络214的输出层产生的概率得分的向量可被称为初步诊断，因为概率得分可被馈送到基于规则的系统204中以进行进一步分析/诊断。具体地，由深度神经网络210产生的初步诊断被馈送到基于规则的系统204的特征提取器206和决策树208。
[0062]
基于规则的系统204包括特征提取器206和决策树208，并且可被配置为在特征提取器206处接收ecg数据202，以及在特征提取器206和决策树208中的一者或两者处接收初步诊断。
[0063]
在一些实施方案中，特征提取器206可对ecg数据202执行一个或多个预处理操作。在一些实施方案中，特征提取器206可确定接收到的2decg数据中的感兴趣区域，并且反转感兴趣区域中的颜色数据以在白色背景上产生黑色ecg信号/波形。然后，特征提取器206可对2d ecg数据进行二值化(即，2d ecg数据的低于强度阈值的每个像素可被设置为黑色，并且2d ecg数据的高于强度阈值的每个像素可被设置为白色，从而产生包括具有二进制强度分布的像素的2d ecg图像，其中ecg数据202的每个像素是白色或黑色，即1或0)。在对ecg波形进行二值化之后，可执行噪声抑制的一个或多个操作，以移除孤立的黑色像素(即，未连接到ecg波形的黑色像素)。特征提取器206还可通过将ecg波形的厚度设置为一个像素来减薄ecg波形，从而减少ecg波形中包含的冗余信息。因此，特征提取器206可预处理ecg数据202，以实现更有效的特征提取和诊断。此外，在预处理之后，可更容易地存储/处理包含在ecg数据202中的信息，因为可减少或消除冗余数据。
[0064]
特征提取器206包括用于确定ecg数据202的一个或多个预定特征的硬编码的机器可执行指令。在一些实施方案中，ecg的预定特征包括每种波(p、q、r、s、t和u)的幅度、面积
和持续时间/时间间隔，以及(相同类型或不同类型的)波之间的间隔/持续时间。在一些实施方案中，特征提取器206被配置为确定ecg内的波形的一个或多个幅度和/或间隔。在一些实施方案中，特征提取器206可确定p波、q波、r波、s波、t波、u波或由上述波中的两种或更多种的组合形成的复合波中的一种或多种的幅度和周期。在一些实施方案中，特征提取器206可被配置为确定ecg波形内的一个或多个周期/间隔，诸如波间间隔/持续时间或单波的持续时间。特征提取器可通过确定相同波类型的对应特征之间的间隔/持续时间来确定心率，例如通过测量第一q波与第二q波的波峰之间的持续时间，可确定心率。特征提取器可平均一个或多个间隔/持续时间以确定心率，或可基于单个测量间隔外推心率。此外，特征提取器可确定上述波中的一种或两种中的一个或多个心跳到心跳的变化。特征提取器206包括硬编码的预定ecg特征，其中预定ecg特征可由专家心脏病学家确定，并且可包括人类直观的波形特征。
[0065]
在预处理之后，特征提取器206可将基线(也称为等电线)拟合到ecg波形数据。在一些实施方案中，特征提取器206可通过拟合穿过ecg波形中最大数量的黑色像素的水平直线(其中如本文所用的水平线将被理解为是指基本上平行于ecg的x轴延伸的线，其中x轴通常是ecg的时域)并将该水平直线设置为基线来确定基线。基线使得特征提取器206能够确定包括ecg的每个波的振幅和间隔。在一些实施方案中，波的振幅可被确定为波峰与基线之间的y维度(电势)的差异，而波的间隔/持续时间可包括波从基线的初始偏离与波返回基线的x轴上的点之间的x维度(时间)的差异。在一些实施方案中，特征提取器206可用矩形拟合ecg数据202的每个波，其中每个矩形的底与基线平行延伸，并且在与基线相同的高度(y-维度)处延伸。每个矩形的高度(y维度)对应于每个对应波的高度/振幅(y维度)，并且每个波的宽度(x维度)对应于每个波的持续时间/间隔。此外，特征提取器206可基于每个对应矩形的面积(高度乘以宽度)大致确定每个波的面积。在一些实施方案中，特征提取器206可通过首先确定哪个波包括最大振幅并将该波标记为r波来唯一地识别ecg波形的每个波。然后，特征提取器206可基于其他波(p、q、s、t和u)沿x轴相对于r波的位置来确定它们的身份。例如，特征提取器206可将紧接在r波之前的波标记为q波，并且可进而将紧接在q波之前的波标记为p波。类似地，特征提取器206可将紧接在r波之后的波标记为s波，并且可将紧接在s波之后的波标记为t波等。
[0066]
由特征提取器206确定的特征可被馈送到决策树208。在一些实施方案中，决策树208包括一个或多个根节点、一个或多个决策节点或子节点以及一个或多个叶节点。由特征提取器206提取的特征可被输入到一个或多个根节点中，其中可基于一个或多个预定的专家标准/启发来评价特征。除叶节点之外的每个节点可包括一个或多个子节点。每个节点处的评价可确定特征被传播到哪个子节点。从给定节点分支的子节点又可包括一个或多个子节点，并且该模式可继续直到到达一个或多个叶节点。分支为两个或更多个子节点的每个节点可被称为决策节点，因为在其中做出要选择哪个子节点的“决策”。在每个决策节点处，可基于专家标准来评价由特征提取器206确定的ecg数据202的特征，并且评价的结果可确定所提取的特征被传播到哪个子节点。终端节点(也称为叶节点)可包括一个或多个诊断。决策树208可包括多个叶节点，每个叶节点唯一地对应于不同的诊断。ecg数据202的提取特征通过决策树208的分支结构传播，直到到达一个或多个叶节点，并且基于一个或多个叶节点来确定诊断，诸如诊断216。
[0067]
在混合ecg诊断系统200中，由深度神经网络210产生的初步诊断可被馈送到特征提取器206和决策树208中的一者或两者。由深度神经网络210产生的初步诊断可用于修改由特征提取器206确定的一个或多个特征和/或修改由决策树208产生的最终诊断216。在一些实施方案中，由深度神经网络210产生的初步诊断可被基于规则的系统204用来评估和/或修改诊断216的置信度。例如，如果由基于规则的系统204产生的诊断216与由深度神经网络210产生的初步诊断相同，则基于规则的系统204可指示诊断的高置信度评级。相反，如果由基于规则的系统204产生的诊断216偏离由深度神经网络210产生的初步诊断，则基于规则的系统204可指示诊断的低置信度评级。在一些实施方案中，诊断216可包括置信度评级，其指示由深度神经网络210产生的初步诊断与基于规则的系统204之间的一致/不一致程度。
[0068]
诊断216可经由显示设备诸如设备114显示给用户。在一些实施方案中，诊断216可被传输到一个或多个客户端设备、边缘计算设备、服务器、云存储设备等。
[0069]
转到图3，示出了混合ecg诊断系统300的第二实施方案。在一些实施方案中，混合ecg诊断系统300可由ecg处理系统102、连接到ecg处理系统102的边缘设备、与ecg处理系统102通信的云设备或它们的任何适当组合来实施。在混合ecg诊断系统300中，基于规则的系统304基于硬编码的专家标准由ecg数据302确定初步诊断，该初步诊断连同由卷积神经网络312从ecg数据302确定的多个特征被馈送到深度神经网络310的决策网络314的输入层中。然后，决策网络310将由卷积神经网络312产生的多个特征和由基于规则的系统304产生的初步诊断两者映射到诊断316。以这种方式，深度神经网络310被告知使用硬编码的专家标准产生的初步诊断，该初步诊断可被决策网络314用来为ecg数据302产生更准确的诊断316。也就是说，决策网络314可基于从ecg数据302提取的学习特征来更新/修改由基于规则的系统304产生的初步诊断，从而在由基于规则的系统304产生的诊断之上添加额外的灵活性和准确性。
[0070]
在一些实施方案中，ecg数据302可包括从ecg系统(诸如ecg系统100)获取的ecg数据的实时流。在一些实施方案中，ecg数据302可包括预先记录的ecg数据，其可从通信联接的数据存储设备(诸如从非暂态存储器106中的ecg数据模块112)传输到混合ecg诊断系统300。在一些实施方案中，ecg数据302可以是十二导联ecg。在一些实施方案中，ecg数据302可以是十五导联ecg。在一些实施方案中，ecg数据302可以是包括少于十二个导联但大于零个导联的缩减导联组ecg。ecg数据302可以顺序或并行方式被传输到基于规则的系统304和深度神经网络310两者。
[0071]
基于规则的系统304包括特征提取器306和决策树308，该决策树可被配置为在特征提取器306处接收ecg数据302，并且基于其产生/确定初步诊断。基于规则的系统304可以基本上类似于上文描述的基于规则的系统204的方式配置，然而，在一些实施方案中，基于规则的系统304可不被配置为从深度神经网络310接收初步诊断。特征提取器306可以类似于上文参考特征提取器206描述的方式对ecg数据302执行一个或多个预处理操作。在预处理之后，特征提取器306可确定ecg数据302的一个或多个预定特征，诸如上文参考特征提取器206更详细描述的。由特征提取器206确定的特征可被馈送到决策树308，该决策树以基本上类似于上述决策树208的方式配置。简而言之，ecg数据302的提取特征通过决策树308的分支结构传播，直到到达一个或多个叶节点，并且基于一个或多个叶节点来确定初步诊断。
由决策树308产生的初步诊断可被传输到深度神经网络310的决策网络314的输入层。
[0072]
深度神经网络310可以基本上类似于深度神经网络210的方式配置。深度神经网络310包括串联连接的两个深度神经网络，第一个是卷积神经网络312，包括多个卷积层，第二个是决策网络314，包括多个密集连接层(因此决策网络314也可被称为多层感知器或mlp)。
[0073]
卷积神经网络312可包括类似于上文描述的卷积神经网络212的卷积神经网络。卷积神经网络312包括一个或多个卷积层(这些卷积层包括一个或多个学习过滤器)，并且被配置为在输入层处接收ecg数据302，并使用一个或多个学习过滤器将ecg数据302映射到多个特征/特征映射。在一些实施方案中，由卷积神经网络312产生的输出可包括特征映射，该特征映射连同由决策树308产生的初步诊断可被输入到决策网络314的输入层中。
[0074]
决策网络314可以基本上类似于决策网络214的方式配置，然而，决策网络314被配置为接收来自卷积神经网络312的输出和由决策树308产生的初步诊断。在一些实施方案中，决策网络314的输入层可包括被配置为接收由卷积神经网络312的输出层输出的多个特征/特征映射的第一多个神经元以及被配置为接收由决策树308产生的初步诊断的第二多个神经元。将初步诊断输入到决策网络314的输入层中的技术效果在于，深度神经网络310可基于由卷积神经网络312在ecg数据302中识别的一个或多个特征来调整/修改初步诊断，其中卷积神经网络312可学习提取/识别与使用情况特定的数据中的正确诊断相关的ecg特征，而无需重新编程/重新编码。来自卷积神经网络312的输出层的输出连同由基于规则的系统310的决策树308产生的初步诊断在决策网络314的输入层处被接收，并被映射到诊断316。在一些实施方案中，诊断316包括多个预定诊断中的每一个的多个概率得分。在一些实施方案中，诊断316包括概率得分的向量，其中向量的每一行对应于不同的诊断或诊断特征。
[0075]
在一些实施方案中，可基于用于训练与ecg数据302中的导联组匹配的深度神经网络310的导联组从深度神经网络库(诸如图11中所示的深度神经网络库1104)中智能选择深度神经网络310。在一些实施方案中，可能已经根据图13中所示的方法1300的一个或多个操作选择深度神经网络310。
[0076]
转到图4，示出了混合ecg诊断系统400的第三实施方案。在一些实施方案中，混合ecg诊断系统400可由ecg处理系统102、连接到ecg处理系统102的边缘设备、与ecg处理系统102通信的云设备或它们的任何适当组合来实施。在混合ecg诊断系统400中，ecg数据402被馈送到基于规则的系统404，该基于规则的系统基于ecg数据402产生第一初步诊断。然后第一初步诊断被传输到深度神经网络410，该深度神经网络将第一初步诊断和ecg数据402两者映射到第二初步诊断。然后第二初步诊断被反馈到基于规则的系统404中，并用于产生诊断416。以这种方式，混合ecg诊断系统400可结合深度神经网络的自适应特征映射，其具有反映专家标准的直观和透明的决策模型，以产生针对特定使用情况定制的诊断，并且具有比单独在深度神经网络中可实现的透明度更大的透明度。
[0077]
在一些实施方案中，ecg数据402可包括从ecg系统(诸如ecg系统100)获取的ecg数据的实时流。在一些实施方案中，ecg数据402可包括预先记录的ecg数据，其可从通信联接的数据存储设备(诸如从非暂态存储器106中的ecg数据模块112)传输到混合ecg诊断系统400。在一些实施方案中，ecg数据402可以是十二导联ecg。在一些实施方案中，ecg数据402可以是十五导联ecg。在一些实施方案中，ecg数据402可以是包括少于十二个导联但大于零
个导联的缩减导联组ecg。ecg数据402可以顺序或并行方式被传输到基于规则的系统404和深度神经网络410两者。
[0078]
基于规则的系统404包括特征提取器406和决策树408，该决策树可被配置为在特征提取器406处接收ecg数据402，并且基于其产生/确定第一初步诊断。基于规则的系统404被进一步配置为将由深度神经网络410产生的第二初步诊断结合到特征提取器406和决策树408中的一者或多者中，并且结合第二初步诊断基于ecg数据402来确定诊断416。特征提取器406可以类似于上文参考特征提取器406描述的方式对ecg数据402执行一个或多个预处理操作。在预处理之后，特征提取器406可确定ecg数据402的一个或多个预定特征，诸如上文参考特征提取器206更详细描述的。在一些实施方案中，由深度神经网络410产生的第二初步诊断可用于更新/修改特征提取器406的一个或多个参数。
[0079]
可将由特征提取器406确定的特征馈送到决策树408，该决策树以基本上类似于上述决策树208的方式配置。在一些实施方案中，由深度神经网络410产生的第二初步诊断可用于更新/修改决策树408的一个或多个参数。简而言之，ecg数据402的提取特征可通过决策树408的分支结构传播，直到到达一个或多个叶节点，并且基于一个或多个叶节点来确定第一初步诊断。由决策树408产生的第一初步诊断可被传输到深度神经网络410的决策网络414的输入层。
[0080]
深度神经网络410可以基本上类似于深度神经网络210的方式配置。深度神经网络410包括串联连接的两个深度神经网络，第一个是卷积神经网络412，包括多个卷积层，第二个是决策网络414，包括多个密集连接层(因此决策网络414也可被称为多层感知器或mlp)。
[0081]
卷积神经网络412可包括类似于上文描述的卷积神经网络212的卷积神经网络。卷积神经网络412包括一个或多个卷积层(这些卷积层包括一个或多个学习过滤器)，并且被配置为在输入层处接收ecg数据402，并使用一个或多个学习过滤器将ecg数据402映射到特征映射/多个特征。在一些实施方案中，由卷积神经网络412产生的输出可包括特征映射，该特征映射连同由决策树408产生的第一初步诊断可被输入到决策网络414的输入层中。
[0082]
决策网络414可以基本上类似于决策网络214的方式配置，然而，决策网络414被配置为接收来自卷积神经网络412的输出和由决策树408产生的第一初步诊断。在一些实施方案中，决策网络414的输入层可包括被配置为接收由卷积神经网络412的输出层输出的多个特征/特征映射的第一多个神经元以及被配置为接收由决策树408产生的第一初步诊断的第二多个神经元。将第一初步诊断连同卷积神经网络412从ecg数据402映射的多个特征输入到决策网络414的输入层中的技术效果在于，深度神经网络410可基于由卷积神经网络412在ecg数据402中识别的一个或多个特征来调整/修改第一初步诊断，其中卷积神经网络412可学习提取/识别与使用情况特定的数据中的基准真相诊断相关的ecg特征，而无需重新编程/重新编码。
[0083]
来自卷积神经网络412的输出层的输出连同由基于规则的系统410的决策树408产生的第一初步诊断在决策网络414的输入层处被接收，并被映射到第二初步诊断。在一些实施方案中，第二初步诊断包括多个预定诊断中的每一个的多个概率得分。在一些实施方案中，第二初步诊断包括概率得分的向量，其中向量的每一行对应于不同的诊断或诊断特征。
[0084]
在一些实施方案中，可基于用于训练与ecg数据402中的导联组匹配的深度神经网络410的导联组从深度神经网络库(诸如图11中所示的深度神经网络库1104)中智能选择深
度神经网络410(也就是说，数据中存在的用于训练深度神经网络410的导联类型与ecg数据402中存在的导联类型相同)。在一些实施方案中，可能已经根据图13中所示的方法1300的一个或多个操作选择深度神经网络410。
[0085]
由深度神经网络410的决策网络414产生的第二初步诊断可被反馈到基于规则的系统404，并且可基于其调整特征提取器406和/或决策树408的一个或多个参数。在一些实施方案中，基于规则的系统404可使用第二初步诊断来确定最终诊断416的置信度/确定性。在接收到由深度神经网络410产生的第二初步诊断之后，基于规则的系统404可重新评价ecg数据402以产生诊断416。诊断416可包括最终诊断，并且可存储在存储器中，经由显示设备显示，和/或传输到一个或多个客户端设备。以这种方式，混合ecg诊断系统400结合递归/反馈诊断方案，其中基于规则的系统404的初始诊断预测可用于形成深度神经网络410的诊断预测，该诊断预测又可被基于规则的系统404用来产生最终诊断预测。上述递归诊断方案的技术效果在于，可增强诊断准确性、置信度和一致性。
[0086]
转到图5，示出了使用混合ecg诊断系统诊断ecg数据的示例性方法500的流程图。在一些实施方案中，方法500可由ecg系统100、连接到ecg系统100的边缘设备、与ecg系统100通信的云设备或它们的任何适当组合执行。方法500可实现一名或多名患者的一个或多个ecg的自动、准确和使用情况特定的诊断。
[0087]
方法500开始于502，其中ecg数据由ecg系统获取。ecg数据可包括一个或多个导联信号/波形，其指示心脏随时间变化的电活动。在一些实施方案中，获取ecg数据可包括使用与患者电接触的十个电极测量十二导联ecg，如上文参考图1更详细地描述。在一些实施方案中，获取ecg数据可包括使用十三个电极测量十五导联ecg。在一些实施方案中，获取ecg数据可包括使用少于十个电极测量缩减导联ecg。获取的ecg数据可存储在存储器中以供稍后处理。在一些实施方案中，在操作502处获取的ecg数据包括电势随时间变化的2d数据，其中沿着y轴绘制电势，沿着x轴绘制时间。在操作502处获取的ecg数据可以一种或多种格式存储，包括scp-ecg、dicom-ecg、hl7 aecg和ecg领域中已知的其他存储格式。在操作502处获取ecg数据可在各种条件下发生，诸如当患者静息时、运动期间或在救护车中时。
[0088]
在操作504处，通过执行方法600、700和/或800中的一种或多种，使用混合ecg诊断系统200、300和/或400中的一个或多个来确定在操作502处获取的ecg数据的诊断。在第一示例性实施方案中，操作504包括混合ecg诊断系统200执行方法600的一个或多个操作，以基于所获取的ecg数据来确定诊断。在第二示例性实施方案中，操作504包括混合ecg诊断系统300执行方法700的一个或多个操作，以基于所获取的ecg数据来确定诊断。在第三实施方案中，操作504包括混合ecg诊断系统400执行方法800的一个或多个操作，以基于所获取的ecg数据来确定诊断。在一些实施方案中，ecg系统执行方法500可基于所获取的ecg数据的一个或多个特征在混合ecg诊断系统的第一实施方案、第二实施方案和第三实施方案之间进行选择。
[0089]
在操作506处，经由显示设备显示诊断。诊断可指示ecg数据是否包括异常(心律失常)以及ecg表现/显示异常的哪些特征的指示。在正常/健康ecg的情况下，诊断可指示未检测到心律失常/异常。在一些实施方案中，显示设备包括其中可向用户显示诊断的图形用户界面。在一些实施方案中，显示设备可包括联接到ecg系统的设备，诸如ecg系统的操作者可查看的显示设备114。操作者可查看所显示的诊断，并且可基于其采取一个或多个动作。诊
断可包括指示ecg数据的一个或多个特征的一行或多行文本，以及对一个或多个特征的诊断评估。暂时转到图10，示出了诊断的两个示例性实施方案，第一诊断1004在没有深度神经网络的情况下使用基于规则的系统产生，第二诊断1006使用本文讨论的混合ecg诊断系统(诸如混合ecg诊断系统200、300和400)产生。如图10所示，第一诊断1004包括指示对心率、轮廓(包括qrs复合波、st-t波)和ecg 1002的总体正常/异常以及所指示的正常/异常潜在的一个或多个生理机制的评估的文本消息。同样，第二诊断1006包括指示对心率、轮廓(包括qrs复合波、st-t波)和心脏的一个或多个生理特征和ecg 1002的总体正常/异常以及所指示的正常/异常(如电解质紊乱、冠状动脉阻塞的可能位置等)潜在的一个或多个生理机制的诊断评估的消息。
[0090]
在操作508处，ecg系统可将诊断传输到一个或多个客户端系统。客户端系统可包括通过有线或无线连接或者通过网络(诸如互联网)通信地联接到ecg系统的一个或多个客户端设备。在一些实施方案中，操作508包括将诊断传输到电子邮件地址、url、客户端云存储账户、云服务或其他客户端相关联账户。
[0091]
在操作508之后，方法500可结束。以这种方式，方法500可使得能够使用混合ecg系统自动诊断获取的ecg数据，从而能够快速且准确地确定诊断，并且其中诊断可显示给用户(诸如医生或医疗保健专业人员)，和/或分发给一个或多个客户端设备。
[0092]
转到图6，示出了使用混合ecg诊断系统自动确定ecg数据的诊断的方法600的第一实施方案的流程图。方法600可作为方法500的一部分来执行，如操作504所指示的。在一些实施方案中，方法600可由混合ecg诊断系统200执行，该混合ecg诊断系统由ecg系统100、连接到ecg系统100的边缘设备、与ecg系统100通信的云设备或它们的任何适当组合来实施。方法600可实现一名或多名患者的一个或多个ecg的自动、准确和使用情况特定的诊断。
[0093]
方法600开始于602，其中获取的ecg数据由混合ecg诊断系统接收，其中训练的混合ecg诊断系统包括基于规则的系统(诸如上述基于规则的系统204)和深度神经网络(诸如上述深度神经网络210)。接收到的ecg数据包括一个或多个ecg波形/信号，其指示心脏随时间变化的电活动。在一些实施方案中，接收到的ecg数据可包括来自十二导联ecg的数据，如上文参考图1更详细地描述的。在一些实施方案中，接收到的ecg数据可包括来自十五导联ecg的数据。在一些实施方案中，接收到的ecg数据可包括来自缩减导联ecg的数据。在一些实施方案中，接收到的ecg数据包括电势随时间变化的2d数据，其中沿着y轴绘制电势，沿着x轴绘制时间。接收到的ecg数据可被格式化为scp-ecg、dicom-ecg、hl7aecg或ecg领域已知的其他存储格式。
[0094]
在操作604处，接收到的ecg数据被输入到深度神经网络的卷积神经网络的输入层中，并被映射到多个特征。也就是说，在操作604处，卷积神经网络使用一个或多个卷积层从ecg数据提取一个或多个特征。卷积神经网络的输入层可包括被配置为接收ecg数据的多个神经元/输入节点。在一些实施方案中，卷积神经网络的输入层的每个神经元可被配置为从ecg数据接收单个值，其中单个值可对应于ecg波形的图像的像素强度值。在一些实施方案中，接收到的ecg数据可包括2d数据结构，诸如矩阵或阵列，并且卷积神经网络的输入层中输入神经元的数量可等于矩阵/阵列中条目的数量，并且此外，输入神经元可被配置为反映接收到的2d ecg数据的排列的2d排列，从而保留在2d ecg数据内编码的空间关系。
[0095]
卷积神经网络包括一个或多个卷积层，包括每个卷积层中的一个或多个过滤器。
过滤器包括多个权重，其中过滤器的每个权重用于计算接收到的ecg数据中的对应值或来自先前特征映射的点积，ecg数据(或先前特征映射)之间的点积的结果用于确定当前特征映射。过滤器权重是在训练阶段学习的，而不是硬编码的，从而使卷积神经网络能够学习识别与不同数据集/使用情况的诊断结果相关的不同特征，即使这些特征对人类专家来说可能看起来不直观。
[0096]
在一个或多个卷积层中的每一个中，所述层中包括的一个或多个过滤器通过接收到的ecg数据的每个子区域，其中子区域的大小是预定的，并且应用于每个子区域的过滤器的输出用于产生特征映射。在一些实施方案中，子区域可包括来自图像的一组连续值。在一些实施方案中，接收到的ecg数据包括ecg波形的2d图像，并且子区域包括来自2d图像内的空间连续区域的预定数量的像素强度值。
[0097]
特征映射包括多个值，这些值指示一个或多个应用的过滤器与接收到的ecg数据(或先前特征映射)的每个子区域之间的匹配程度，从而指示存在于接收到的ecg数据中的多个特征。在一些实施方案中，特征映射的子区域中的较高值指示给定过滤器与对应于特征映射的子区域的接收到的ecg数据的子区域之间的较大匹配程度。也就是说，特征映射中相对较高的值指示由ecg数据中存在的过滤器表示的特征的相对较高的概率。特征映射可包括n个维度(其中n是大于1的正整数)，其中特征映射的n-1个维度对应于输入数据的维度，其中特征映射的第n个维度用于存储应用的每个过滤器的结果。换句话说，特征映射的第n个维度的大小对应于应用于输入数据的过滤器的数量。
[0098]
来自卷积神经网络的输出由卷积神经网络的输出层中的多个神经元产生，这些神经元接收紧接在前的特征映射作为输入。在一些实施方案中，来自卷积神经网络的输出包括存在于接收到的ecg数据中的一个或多个特征。在一些实施方案中，来自卷积神经网络的输出包括使用一个或多个卷积层从接收到的ecg数据产生的特征映射。
[0099]
在操作606处，由卷积神经网络产生的多个特征被输入到深度神经网络的决策网络中，并被映射到接收到的ecg数据的初步诊断。决策网络包括输入层，该输入层包括多个神经元，这些神经元被配置为接收来自卷积神经网络的输出；多个完全/密集连接层；以及输出层，该输出层包括多个神经元，这些神经元被配置为产生多个预定诊断中的每一个的概率得分。在一些实施方案中，输入层的神经元和由卷积神经网络产生的输出/特征的数量可能相同，从而在来自卷积神经网络的输出与决策网络的输入神经元之间实现一一对应。决策网络能够使用多个学习的权重和偏差将由卷积神经网络产生的多个特征映射到初步诊断(包括一个或多个诊断评估)。
[0100]
在操作608处，基于规则的系统接收由深度神经网络产生的初步诊断以及在操作602处接收的ecg数据，并基于其确定诊断。在一些实施方案中，由深度神经网络产生的初步诊断可用于调整基于规则的系统的一个或多个标准。在一些实施方案中，初步诊断可用于选择一种或多种类型的预定特征以供基于规则的系统的特征提取器提取。在一些实施方案中，初步诊断连同由特征提取器提取的特征可被馈送到基于规则的系统的决策树中，并用于确定接收到的ecg数据的最终诊断。在一些实施方案中，由深度神经网络产生的初步诊断可用于生成某些诊断的置信度得分或多个诊断(如心室束支传导阻滞和缺血两者)的多个置信度得分。
[0101]
在操作608之后，方法600可结束。以这种方式，方法600能够使用包括深度神经网
络和基于规则的系统的混合系统来确定接收到的ecg数据的诊断，其中ecg数据由深度神经网络映射到初步诊断，并且初步诊断连同ecg数据被基于规则的系统用来确定最终诊断。因此，方法600使得能够使用利用可适应深度神经网络确定的初步诊断来微调基于规则的系统的诊断预测，其中可在使用情况特定的数据上训练深度神经网络。
[0102]
转到图7，示出了使用混合ecg诊断系统自动确定ecg数据的诊断的方法700的第二实施方案的流程图。方法700可作为方法500的一部分来执行，如操作504处所指示的。在一些实施方案中，方法700可由混合ecg诊断系统300执行，该混合ecg诊断系统由ecg系统100、连接到ecg系统100的边缘设备、与ecg系统100通信的云设备或它们的任何适当组合来实施。方法700可实现一名或多名患者的一个或多个ecg的自动、准确和使用情况特定的诊断。
[0103]
方法700开始于702，其中获取的ecg数据由混合ecg诊断系统接收，其中混合ecg诊断系统包括基于规则的系统(诸如上述基于规则的系统304)和深度神经网络(诸如上述深度神经网络310)。接收到的ecg数据包括一个或多个ecg波形/信号，其指示心脏随时间变化的电活动。在一些实施方案中，接收到的ecg数据可包括来自十二导联ecg的数据，如上文参考图1更详细地描述的。在一些实施方案中，接收到的ecg数据可包括来自十五导联ecg的数据。在一些实施方案中，接收到的ecg数据可包括来自缩减导联ecg的数据。在一些实施方案中，接收到的ecg数据包括电势随时间变化的2d数据，其中沿着y轴绘制电势，沿着x轴绘制时间。接收到的ecg数据可被格式化为scp-ecg、dicom-ecg、hl7 aecg或ecg领域已知的其他存储格式。
[0104]
在操作704处，接收到的ecg数据被输入到基于规则的系统中，并被基于规则的系统用来确定初步诊断。在一些实施方案中，将接收到的ecg数据输入到基于规则的系统中包括将接收到的ecg数据输入到基于规则的系统的特征提取器中。在一些实施方案中，特征提取器可在提取特征之前对输入的ecg数据执行一个或多个预处理操作。特征提取器可如上文参考特征提取器306所述被配置为确定存在于接收到的ecg数据中的一个或多个预定特征。在一些实施方案中，预定特征可包括一个或多个波幅度、波间隔/持续时间和/或波间间隔/持续时间。
[0105]
提取的特征可被输入到决策树(诸如上述决策树308)中。决策树可基于在一个或多个决策节点处作出的一个或多个决策来确定从根节点到叶节点的路径，其中决策基于用于评价由特征提取器确定的一个或多个提取特征的硬编码专家标准。叶节点可包括接收到的ecg数据的一个或多个诊断评估，并且可用于确定用于输入到深度神经网络的决策网络中的初步诊断。
[0106]
在操作706处，接收到的ecg数据被输入到深度神经网络的卷积神经网络(诸如卷积神经网络312)的输入层中，并被映射到多个特征。也就是说，在操作706处，卷积神经网络使用一个或多个卷积层从ecg数据提取一个或多个特征。卷积神经网络的输入层可包括被配置为接收ecg数据的多个神经元。卷积神经网络还包括一个或多个卷积层，包括每个卷积层中的一个或多个过滤器。来自卷积神经网络的输出由卷积神经网络的输出层中的多个神经元产生。在一些实施方案中，来自卷积神经网络的输出包括存在于接收到的ecg数据中的一个或多个学习特征。在一些实施方案中，学习特征可包括一个或多个波特征或波特征的结合。在一些实施方案中，来自卷积神经网络的输出包括使用一个或多个卷积层从接收到的ecg数据产生的特征映射。
[0107]
在操作708处，由卷积神经网络输出的多个特征连同由基于规则的系统确定的初步诊断被输入到深度神经网络的决策网络(诸如决策网络314)中，并被映射到接收到的ecg数据的最终诊断。决策网络包括输入层，该输入层包括被配置为接收来自卷积神经网络的输出的多个神经元以及由基于规则的系统确定的初步诊断。在一些实施方案中，决策网络的输入层包括被配置为接收从卷积神经网络输出的多个特征的第一多个神经元以及被配置为接收由基于规则的系统确定的初步诊断的第二多个神经元。决策网络还包括一个或多个完全/密集连接层以及输出层，该输出层包括多个神经元，这些神经元被配置为产生多个预定诊断中的每一个的概率得分。可根据决策网络的输出确定最终诊断。在一些实施方案中，决策网络可输出多个预定诊断中的每一个的概率得分，其中概率得分指示相关诊断的可能性，并且可基于相关概率得分选择被选择为最终诊断的诊断(或多个诊断)。
[0108]
在操作708之后，方法700可结束。根据图7中描述的方法确定ecg数据的诊断的技术效果在于，决策网络可被告知基于专家标准确定的初始/初步诊断，这可提供许多优点，包括降低决策网络对接收到的ecg数据的可变性的敏感性。具体地，可通过结合使用不同诊断方法进行的第二诊断预测来使决策网络对ecg数据的微小变化不那么敏感。
[0109]
转到图8，示出了使用混合ecg诊断系统自动确定ecg数据的诊断的方法800的第三实施方案的流程图。方法800可作为方法500的一部分来执行，如操作504所指示的。在一些实施方案中，方法800可由混合ecg诊断系统400执行，该混合ecg诊断系统由ecg系统100、连接到ecg系统100的边缘设备、与ecg系统100通信的云设备或它们的任何适当组合来实施。方法800可实现一名或多名患者的一个或多个ecg的自动、准确和使用情况特定的诊断。
[0110]
方法800开始于802，其中获取的ecg数据由混合ecg诊断系统接收，其中混合ecg诊断系统包括基于规则的系统(诸如上述基于规则的系统404)和深度神经网络(诸如上述深度神经网络410)。接收到的ecg数据包括一个或多个ecg波形/信号，其指示心脏随时间变化的电活动。在一些实施方案中，接收到的ecg数据可包括来自十二导联ecg的数据，如上文参考图1更详细地描述的。在一些实施方案中，接收到的ecg数据可包括来自十五导联ecg的数据。在一些实施方案中，接收到的ecg数据可包括来自缩减导联ecg的数据。在一些实施方案中，接收到的ecg数据包括电势随时间变化的2d数据，其中沿着y轴绘制电势，沿着x轴绘制时间。接收到的ecg数据可被格式化为scp-ecg、dicom-ecg、hl7 aecg或ecg领域已知的其他存储格式。
[0111]
在操作804处，接收到的ecg数据被输入到基于规则的系统中，并被基于规则的系统用来确定第一初步诊断。在一些实施方案中，将接收到的ecg数据输入到基于规则的系统中包括将接收到的ecg数据输入到基于规则的系统的特征提取器中。在一些实施方案中，特征提取器可在提取特征之前对输入的ecg数据执行一个或多个预处理操作。特征提取器可如上文参考特征提取器406所述被配置为确定存在于接收到的ecg数据中的一个或多个预定特征。在一些实施方案中，预定特征可包括一个或多个波幅度、波间隔/持续时间和/或波间间隔/持续时间。
[0112]
提取的特征可被输入到决策树(诸如上述决策树408)中。决策树可基于在一个或多个决策节点处作出的一个或多个决策来确定从根节点到叶节点的路径，其中决策基于用于评价由特征提取器确定的一个或多个提取特征的硬编码专家标准。叶节点可包括接收到的ecg数据的一个或多个诊断评估，并且可用于确定用于输入到深度神经网络的决策网络
中的初步诊断。
[0113]
在操作806处，接收到的ecg数据被输入到深度神经网络的卷积神经网络(诸如卷积神经网络412)的输入层中，并被映射到多个特征。也就是说，在操作806处，卷积神经网络使用一个或多个卷积层从ecg数据提取一个或多个特征。卷积神经网络的输入层可包括被配置为接收ecg数据的多个神经元。卷积神经网络还包括一个或多个卷积层，包括每个卷积层中的一个或多个过滤器。来自卷积神经网络的输出由卷积神经网络的输出层中的多个神经元产生。在一些实施方案中，来自卷积神经网络的输出包括存在于接收到的ecg数据中的一个或多个学习特征。在一些实施方案中，学习特征可包括一个或多个波特征或波特征的结合。在一些实施方案中，来自卷积神经网络的输出包括使用一个或多个卷积层从接收到的ecg数据产生的特征映射。
[0114]
在操作808处，由卷积神经网络输出的多个特征连同由基于规则的系统确定的第一初步诊断被输入到深度神经网络的决策网络(诸如决策网络414)中，并被映射到接收到的ecg数据的第二初步诊断。决策网络包括输入层，该输入层包括被配置为接收来自卷积神经网络的输出的多个神经元以及由基于规则的系统确定的第一初步诊断。在一些实施方案中，决策网络的输入层包括被配置为接收从卷积神经网络输出的多个特征的第一多个神经元以及被配置为接收由基于规则的系统确定的第一初步诊断的第二多个神经元。决策网络还包括一个或多个完全/密集连接层以及输出层，该输出层包括多个神经元，这些神经元被配置为产生多个预定诊断中的每一个的概率得分。可根据决策网络的输出确定第二初步诊断。在一些实施方案中，决策网络可输出多个预定诊断中的每一个的概率得分，其中概率得分指示相关诊断的可能性，并且可基于相关概率得分选择被选择为第二初步诊断的诊断(或多个诊断)。
[0115]
在操作810处，基于规则的系统接收由深度神经网络产生的第二初步诊断以及在操作802处接收的ecg数据，并基于其确定最终诊断。在一些实施方案中，由深度神经网络产生的第二初步诊断可用于调整基于规则的系统的一个或多个参数。在一些实施方案中，初步诊断可用于选择一种或多种类型的预定特征以供基于规则的系统的特征提取器提取。在一些实施方案中，第二初步诊断连同由特征提取器提取的特征可被馈送到基于规则的系统的决策树中，并用于确定接收到的ecg数据的最终诊断。
[0116]
在操作810之后，方法800可结束。以这种方式，方法800采用递归诊断方案，其中可使用深度神经网络将由基于规则的系统确定的第一初步诊断映射到第二初步诊断。第二初步诊断又可被基于规则的系统用来产生最终诊断。上述递归诊断方案的技术效果在于，可增强诊断准确性、置信度和一致性。
[0117]
参考图9，示出了用于训练深度神经网络(诸如图2、图3和图4中分别所示的深度神经网络210、310和410)的方法900的流程图。方法900可由图1所示的ecg系统100来实施。在一些实施方案中，方法900可由存储在ecg处理系统102的非暂态存储器106中的深度神经网络模块108来实施。尽管本文同时训练卷积神经网络和决策网络两者，并且使用相同的训练数据集进行训练，但是应当理解，本公开提供了使用不同的训练数据集分别训练卷积神经网络和决策网络。
[0118]
方法900开始于操作902，其中来自多个训练数据对的训练数据对可被馈送到深度神经网络的输入层，其中训练数据对包括ecg数据和对应的基准真相诊断，并且其中深度神
经网络的输入层包括串联联接到决策网络的卷积神经网络的输入层。在一些实施方案中，训练数据对和多个训练数据对可存储在ecg处理系统中，诸如ecg处理系统102中的ecg数据模块112中。在其他实施方案中，可经由ecg处理系统与外部存储设备之间的通信联接(诸如经由与远程服务器的互联网连接)来获得训练数据对。在一些实施方案中，经由专家分析和/或经由经验分析产生基准真相诊断。
[0119]
在一些实施方案中，基于深度神经网络的预期使用情况，从存储的ecg数据中智能地选择训练数据对。在一些实施方案中，馈送到深度神经网络的ecg训练数据对可包括ecg数据和针对ecg数据确定的基准真相诊断，以及与ecg训练数据对有关的一条或多条元数据。元数据可包括关于ecg训练数据对的细节，诸如一名或多名患者细节(例如，人口统计细节、健康细节等)、一个或多个ecg系统细节、一个或多个ecg条件(例如，静息ecg、运动ecg、梗塞后ecg等)。元数据可基于其中包括的一个或多个细节来实现训练数据对的自动和智能选择，从而实现对使用情况特定的深度神经网络的训练。在一些实施方案中，可使用基于包括的元数据智能选择的训练数据对来训练用于分析老年患者的ecg数据的深度神经网络模型，其中包括的元数据指示患者的年龄大于阈值年龄。
[0120]
在操作904处，基于规则的系统(诸如上文所述的基于规则的系统204、304和404)基于ecg数据确定的初步诊断可被馈送到深度神经网络。在一些实施方案中，初步诊断可被馈送到与卷积神经网络串联联接的决策网络的输入层，其中决策网络的输入层被进一步配置为基于ecg训练数据接收由卷积神经网络确定的多个特征。
[0121]
在操作906处，深度神经网络通过以下方式将输入的ecg数据映射到诊断：通过使ecg数据通过卷积神经网络的一个或多个卷积层以从ecg数据中提取多个特征，并且通过使用决策网络将多个特征(以及在一些实施方案中，由基于规则的系统确定的初步诊断)映射到诊断。在一些实施方案中，深度神经网络的输出包括概率得分的向量，其中向量的每一行对应于预定诊断，并且其中对应于预定诊断的行中的概率得分指示预定诊断适用于ecg数据的可能性。
[0122]
在操作908处，由ecg处理系统计算由深度神经网络产生的诊断与包括在ecg训练数据对内的基准真相诊断之间的差异。在一些实施方案中，包括在基准真相诊断内的每个诊断的基准真相概率得分可为1，而不包括在基准真相诊断中的每个诊断的基准真相概率得分可为0，并且计算由深度神经网络产生的诊断与基准真相诊断之间的差异可包括针对每个诊断计算预测概率得分与基准真相概率得分之间的差异。在一些实施方案中，计算诊断与基准真相诊断之间的差异可包括将计算的差异输入到损失函数中，其中损失函数可包括对计算的差异执行的一个或多个数学运算。
[0123]
在操作910处，基于在操作908处计算的差异来调整深度神经网络的权重和偏差。差异可通过决策网络和卷积网络的层反向传播，从决策网络的输出层开始，并逐层向后进行到卷积神经网络的输入层。可基于梯度(误差函数的一阶偏导数或一阶偏导数的近似值，相对于被评价的权重或偏差)来调整深度神经网络的每一层的权重和偏差。然后，可通过将针对权重(或偏差)确定(或近似获得)的梯度的负乘积与预定步长相加来更新深度神经网络的每个权重(和偏差)。然后方法900可结束。应当注意，可重复方法900，直到深度神经网络的权重和偏差收敛，方法900的每次迭代的深度神经网络的权重和/或偏差的变化率低于阈值，或者获得低于预定验证误差阈值的验证误差(使用与训练数据集不同的验证数据集
来确定)。一旦深度神经网络完成，它可存储在非暂态存储器中。在一些实施方案中，训练的深度神经网络可存储在深度神经网络库(诸如图1所示的深度神经网络库模块180)中。
[0124]
以这种方式，方法900使得混合ecg诊断系统能够使用智能选择的ecg训练数据对来学习从ecg数据映射到诊断。方法900可使混合ecg诊断系统能够通过对使用情况特定的数据进行训练来更容易地适应具体使用情况。
[0125]
转到图10，示出了ecg数据1002(在本文中也称为心电图1002)的示例性实施方案，其中ecg数据1002的第一诊断1004由基于规则的系统单独产生，ecg数据1002的第二诊断1006由根据本公开的示例性实施方案的混合ecg诊断系统产生。ecg数据1002可由ecg系统(诸如ecg系统100)使用放置成与患者皮肤电接触的十个电极来获取。ecg数据1002可存储在非暂态存储器中，诸如ecg数据模块112中。ecg数据1002包括十二导联ecg，包括针对同一患者同时测量的十二种不同波形/信号。具体地，ecg数据1002包括导联类型i、ii、iii、avr、avl、avf、v1、v2、v3、v4、v5和v6，这些类型可使用上文参考图1更详细地描述的十个电极来测量。
[0126]
诊断的两个示例性实施方案在图10中示出，第一诊断1004在没有深度神经网络部件的情况下使用基于规则的系统产生，第二诊断1006使用本文讨论的混合ecg诊断系统(诸如混合ecg诊断系统200、300和400)产生。第一诊断1004包括指示对窦性心律、qrs复合波和ecg数据1002的总体正常/异常以及所指示的正常/异常潜在的一个或多个生理机制的评估的文本消息。同样，第二诊断1006包括指示对窦性心律、心脏的一个或多个生理特征和ecg 1002的总体正常/异常以及所指示的正常/异常潜在的一个或多个生理机制的诊断评估的消息。第二诊断1006正确地确定ecg数据1002指示电轴右偏和左束支传导阻滞，而第一诊断1004没有作出该确定。因此，证明经由混合ecg诊断系统确定的诊断的诊断准确性提高。
[0127]
转到图11，示出了深度神经网络库1104的示例性实施方案。深度神经网络库1104可存储在一个或多个计算系统的非暂态存储器中。在一个实施方案中，深度神经网络库1104可存储在ecg处理系统102的非暂态存储器106中的深度神经网络库模块180中。深度神经网络库可与本文所述的一种或多种系统或方法结合使用。在一些实施方案中，可能已经基于要诊断的ecg数据中存在的导联类型从深度神经网络库诸如深度神经网络库1104中智能地选择分别在混合ecg诊断系统200、300和400中示出的深度神经网络210、310和410。在一些实施方案中，响应于接收到要诊断的缩减导联ecg数据，混合ecg诊断系统可基于训练的深度神经网络的一个或多个元数据从深度神经网络库中自动选择训练的深度神经网络。在一个实施方案中，响应于接收到缺失导联v1-v6的十二导联ecg数据，可从深度神经网络库中选择使用缺失导联v1-v6的ecg数据训练的深度神经网络。以这种方式，混合ecg诊断系统可确定缩减导联ecg数据的诊断而无需模拟一种或多种缺失导联。
[0128]
深度神经网络库1104包括多个训练的深度神经网络，包括深度神经网络1110和深度神经网络1130。在一些实施方案中，深度神经网络库1104中包括的深度神经网络包括经由对缩减导联ecg数据进行训练而学习的参数。深度神经网络库1104包括多个训练的深度神经网络，如深度神经网络1110与深度神经网络1130之间的省略号所指示。在一些实施方案中，深度神经网络库1104可包括十二导联ecg的每个缩减导联组排列的一个或多个训练的深度神经网络，其中对于十二导联ecg存在4,094个缩减导联组排列，因此，在一些实施方案中，4,094个不同的训练的深度神经网络可存储在深度库1104中。在一些实施方案中，深
度神经网络库1104可包括十五导联ecg的每个缩减导联组排列的一个或多个训练的深度神经网络，其中对于十五导联ecg存在32,766个缩减导联组排列。如本文所用，缩减导联组排列包括针对一组n种导联类型产生的不同导联组，其中每个排列可包括1至n-1种导联类型(不包括包含所有缺失导联或没有缺失导联的缩减导联组，因为这些是不重要的排列)。
[0129]
包括串联布置的卷积神经网络1112和决策网络1114的深度神经网络1110可包括在使用第一缩减导联组的训练过程(诸如下文描述的方法1200)中学习的多个参数(权重和偏差)。类似地，包括卷积神经网络1132和决策网络1134的深度神经网络1130可包括在使用第二缩减导联组的训练过程中学习的多个参数，其中第一缩减导联组和第二缩减导联组是不同的(也就是说，第一缩减导联组的导联类型与第二缩减导联组的导联类型之间不存在一一对应关系)。深度神经网络1110和深度神经网络1130可根据一条或多条元数据进行索引，从而使得能够基于接收到的ecg数据快速查询和选择训练的深度神经网络。在一些实施方案中，存储在深度神经网络库1104内的深度神经网络可根据在其上训练它们的缩减导联组数据进行索引，从而使得能够基于接收到的缩减导联ecg数据自动选择深度神经网络。
[0130]
换句话说，通过使用缩减导联组的不同排列来训练多个深度神经网络，根据在其上训练深度神经网络的缩减导联ecg数据将训练的深度神经网络存储在深度神经网络库中，通过从在缺失与获取的数据相同的类型的导联的缩减导联ecg数据上训练的深度神经网络库中选择深度神经网络，可将具有一个或多个缺失导联的获取的ecg数据有效且准确地映射到诊断。
[0131]
参考图12，示出了用于训练深度神经网络(诸如图2、图3和图4中分别所示的深度神经网络210、310和410)以将缩减导联ecg数据映射到诊断的方法1200的流程图。方法1200可由图1所示的ecg系统100来实施。在一些实施方案中，方法1200可由存储在ecg处理系统102的非暂态存储器106中的深度神经网络模块108来实施。尽管本文同时训练卷积神经网络和决策网络两者，并且使用相同的训练数据集进行训练，但是应当理解，本公开提供了使用不同的训练数据集分别训练卷积神经网络和决策网络。
[0132]
方法1200开始于操作1202，其中选择包括十二导联组和对应的基准真相诊断的ecg训练数据对。在一些实施方案中，ecg训练数据对可选自存储在非暂态存储器中(诸如ecg处理系统102中的ecg数据模块112中)的多个训练数据对。在其他实施方案中，可经由ecg系统与外部存储设备之间的通信联接(诸如经由与远程服务器的互联网连接)来获得训练数据对。在一些实施方案中，经由专家分析和/或经由经验分析产生基准真相诊断。
[0133]
在一些实施方案中，基于深度神经网络的预期使用情况，从存储的ecg数据中智能地选择ecg训练数据对。在一些实施方案中，ecg训练数据可包括十二导联ecg数据和针对十二导联ecg数据确定的基准真相诊断，以及与ecg训练数据对有关的一条或多条元数据。元数据可包括关于ecg训练数据对的细节，诸如一名或多名患者细节(例如，人口统计细节、健康细节等)、一个或多个ecg系统细节/设置、一个或多个ecg条件(例如，静息ecg、运动ecg、梗塞后ecg等)。元数据可基于其中包括的一个或多个细节来实现ecg训练数据对的自动和智能选择，从而实现对使用情况特定的深度神经网络的训练。
[0134]
在操作1204处，从十二导联组选择性地移除一个或多个导联以产生缩减导联组。在一些实施方案中，缩减导联组可包括一至十一种不同的导联类型，也就是说，十二导联组包括少于十二个导联和多于零个导联，每个导联具有不同的导联类型。在一些实施方案中，
包括在ecg训练数据对中的每个ecg导联包括导联类型的指示。在一些实施方案中，待移除的导联的数量和类型可由用户选择，或者根据训练例程自动确定。
[0135]
在操作1206处，将缩减导联组馈送到深度神经网络。在一些实施方案中，在操作1206处，将包括少于十二个导联的缩减导联组输入到串联联接到决策网络的卷积神经网络的输入层中。
[0136]
在操作1208处，基于规则的系统(诸如上文所述的基于规则的系统204、304和404)基于缩减导联ecg数据确定的初步诊断可被馈送到深度神经网络。在一些实施方案中，初步诊断可被馈送到与卷积神经网络串联联接的决策网络的输入层，其中决策网络的输入层被进一步配置为基于ecg训练数据接收由卷积神经网络确定的多个特征。
[0137]
在操作1208处，深度神经网络通过以下方式将缩减导联组映射到诊断：通过使ecg数据通过卷积神经网络的一个或多个卷积层以从缩减导联组中提取多个特征，并且通过使用决策网络将多个提取的特征(以及在一些实施方案中，由基于规则的系统确定的初步诊断)映射到诊断。在一些实施方案中，深度神经网络的输出包括概率得分的向量，其中向量的每一行对应于预定诊断，并且其中对应于预定诊断的行中的概率得分指示预定诊断适用于缩减导联组的可能性。
[0138]
在操作1212处，计算由深度神经网络产生的诊断与包括在ecg训练数据对内的基准真相诊断之间的差异。在一些实施方案中，包括在基准真相诊断内的每个诊断的基准真相概率得分可为1，而不包括在基准真相诊断中的每个诊断的基准真相概率得分可为0，并且计算由深度神经网络产生的诊断与基准真相诊断之间的差异可包括针对每个诊断计算预测概率得分与基准真相概率得分之间的差异。在一些实施方案中，计算诊断与基准真相诊断之间的差异可包括使用损失函数，其中损失函数可包括对诊断和基准真相诊断执行的一个或多个数学运算。
[0139]
在操作1214处，基于在操作1212处计算的差异来调整深度神经网络的权重和偏差。差异可通过决策网络和卷积神经网络的层反向传播，从决策网络的输出层开始，并逐层向后进行到卷积神经网络的输入层。可基于梯度(计算误差的一阶偏导数或一阶偏导数的近似值，相对于被评价的权重或偏差)来调整深度神经网络的每一层的权重和偏差。然后，可通过减去梯度(针对正在调整的权重或偏差确定或近似获得)乘以预定步长的乘积来更新深度神经网络的每个权重(和偏差)。
[0140]
在操作1216处，ecg处理系统可确定深度神经网络的验证误差是否低于阈值。可使用验证数据集来确定验证误差，该验证数据集包括多个缩减导联组和对应的基准真相诊断，其中包括在验证数据集中的数据不同于包括在训练数据集中的数据。可通过以与上文关于操作1212所述的基本相同的方式计算由深度神经网络基于验证数据预测的多个诊断与对应的多个基准真相诊断之间的差异来确定验证误差。如果在操作1216处，确定验证误差不小于阈值，则方法1200进行到操作1202，其中选择新的ecg训练数据对，并且操作1204-1216在新的ecg训练数据对上执行。
[0141]
然而，如果在1216处，ecg处理系统确定深度神经网络的验证误差低于阈值，则方法1200进行到操作1218，该操作包括将训练的深度神经网络存储在深度神经网络库(诸如图11中所示的深度神经网络库1104)中。在一些实施方案中，将训练的深度神经网络存储在深度神经网络库中包括使用一条或多条元数据对训练的深度神经网络进行索引，其中元数
据可包括用于训练深度神经网络的缩减导联组中存在的ecg导联的类型。基于在深度神经网络的训练阶段使用的减少的缩减导联组中存在的导联类型对存储的训练的深度神经网络进行索引的技术效果在于，ecg处理系统可快速查询和选择用于混合ecg诊断系统的训练的深度神经网络，其中混合ecg诊断系统将用于诊断包含与所选的训练的深度神经网络相同的缩减导联组的缩减导联ecg数据。在操作1218之后，方法1200可结束。
[0142]
转到图13，示出了使用混合ecg诊断系统诊断缩减导联ecg数据的示例性方法1300的流程图。在一些实施方案中，方法1300可由ecg系统100、连接到ecg系统100的边缘设备、与ecg系统100通信的云设备或它们的任何适当组合执行。方法1300可实现一名或多名患者的一个或多个缩减导联ecg的自动、准确和使用情况特定的诊断。
[0143]
方法1300开始于操作1302，其中缩减导联ecg数据由ecg系统获取。缩减导联ecg数据可包括一个或多个导联信号/波形其指示心脏随时间变化的电活动。缩减导联ecg数据可缺失一种或多种导联信号。在一些实施方案中，缩减导联ecg数据可包括少于十二个导联且大于零个导联。在一些实施方案中，获取缩减导联ecg数据可包括使用与患者电接触的少于十个电极来测量少于十二个导联，如上文参考图1更详细地描述。获取的ecg数据可存储在存储器中以供稍后处理。在一些实施方案中，在操作1302处获取的缩减导联ecg数据包括电势随时间变化的2d数据，其中沿着y轴绘制电势，沿着x轴绘制时间。减小在操作1302处获取的缩减导联ecg数据可以一种或多种格式存储，包括scp-ecg、dicom-ecg、hl7aecg和ecg领域中已知的其他存储格式。在操作1302处获取缩减导联ecg数据可在各种条件下发生，诸如当患者静息时、运动期间或在救护车中时。
[0144]
在操作1304处，确定从获取的缩减导联ecg数据中缺失的导联类型。在一些实施方案中，包括在缩减导联ecg数据中的每个ecg导联可包括导联类型标识符，其中导联类型标识符可包括与缩减导联ecg数据相关联的一条元数据。确定缺失导联类型可包括将包括在缩减导联ecg数据内的导联类型标识符与标准导联类型组进行比较。在一些实施方案中，确定从获取的缩减导联ecg数据中缺失哪些导联类型可包括将缩减导联ecg数据的一组导联类型标识符与标准十二导联组进行比较。在一些实施方案中，确定从获取的缩减导联ecg数据中缺失哪些导联类型可包括将缩减导联ecg数据的一组导联类型标识符与标准十五导联组进行比较。
[0145]
在操作1306处，基于在操作1304处确定的缺失导联的类型从深度神经网络库中选择用于诊断缩减导联ecg数据的深度神经网络。所选的深度神经网络可用于混合ecg诊断系统(诸如上文参考图2、图3、图4所述的那些)中，以自动确定获取的缩减导联ecg数据的诊断。在一些实施方案中，从深度神经网络库中选择训练的深度神经网络包括使用针对缩减导联ecg数据确定的一个或多个缺失导联类型来查询深度神经网络库，以及基于从缩减导联ecg数据中缺失的ecg导联类型选择与从用于训练深度神经网络的ecg训练数据中缺失的导联类型匹配的深度神经网络。在一些实施方案中，从深度神经网络库中选择训练的深度神经网络包括使用包括在缩减导联ecg数据内的一个或多个导联来查询深度神经网络库，以及基于获取的缩减导联ecg数据中存在的导联类型选择与用于训练深度神经网络的ecg训练数据中存在的导联类型匹配的深度神经网络。深度神经网络库内的深度神经网络可基于在训练阶段使用的ecg训练数据的一个或多个属性进行索引。在一个实施方案中，深度神经网络库内的深度神经网络可基于在训练阶段使用的ecg训练数据中存在(和/或从其缺
失)的导联类型进行索引。通过选择使用与获取的缩减导联ecg数据相同的缩减导联组训练的深度神经网络，可进行更准确且一致的诊断而无需模拟一种或多种缺失导联。
[0146]
在操作1308处，使用混合ecg诊断系统200、300和/或400中的一个或多个，采用在操作1306处选择的深度神经网络来确定在操作1302处获取的缩减导联ecg数据的诊断。混合ecg诊断系统可使用上文更详细描述的方法600、700和800的步骤中的一个或多个来确定缩减导联ecg数据的诊断。在第一示例性实施方案中，操作1308包括混合ecg诊断系统200执行方法600的一个或多个操作，以基于所获取的ecg数据来确定诊断。在第二示例性实施方案中，操作1308包括混合ecg诊断系统300执行方法700的一个或多个操作，以基于所获取的ecg数据来确定诊断。在第三实施方案中，操作1308包括混合ecg诊断系统400执行方法800的一个或多个操作，以基于所获取的ecg数据来确定诊断。在一些实施方案中，ecg系统执行方法1300可基于所获取的ecg数据的一个或多个特征在混合ecg诊断系统的第一实施方案、第二实施方案和第三实施方案之间进行选择。
[0147]
以这种方式，方法1300通过基于从获取的缩减导联ecg数据中缺失的一个或多个导联类型从深度神经网络库中智能地选择深度神经网络并将所选的深度神经网络结合到混合ecg诊断系统中，能够使用混合诊断系统将获得的缩减导联ecg快速、准确且计算有效地映射到诊断。
[0148]
当介绍本公开的各种实施方案的元件时，词语“一个”、“一种”和“该”旨在意指存在这些元件中的一个或多个元件。术语“第一”、“第二”等不表示任何顺序、量或重要性，而是用于将一个元件与另一个元件区分开。术语“包括”、“包含”和“具有”旨在是包含性的，并且意指除了列出的元件之外还可存在附加元件。如本文使用术语“连接到”、“联接到”等，一个对象(例如，材料、元件、结构、构件等)可以连接到或联接到另一个对象，而无论该一个对象是否直接连接或联接到另一个对象，或者在该一个对象和另一个对象之间是否存在一个或多个介入对象。此外，应当理解，对本公开的“一个实施方案”或“实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。
[0149]
除了任何先前指示的修改之外，本领域技术人员可以在不脱离本描述的实质和范围的情况下设计出许多其他变型和替换布置，并且所附权利要求书旨在覆盖此类修改和布置。因此，尽管上面已经结合当前被认为是最实际和最优选的方面对信息进行了具体和详细的描述，但对于本领域的普通技术人员将显而易见的是，在不脱离本文阐述的原理和概念的情况下，可以进行许多修改，包括但不限于形式、功能、操作方式和使用。同样，如本文所使用的，在所有方面，示例和实施方案仅意图是说明性的，并且不应以任何方式解释为限制性的。