用于呼吸支持推荐的系统和方法与流程

用于呼吸支持推荐的系统和方法
1.相关申请的交叉引用
2.本技术要求名称为“systems and methods for respiratory support recommendations”并且于2020年6月29日提交的印度专利申请202041027500的优先权。上面引用的申请的全部内容据此以引用方式并入以用于所有目的。
技术领域
3.本文所公开的主题的实施方案涉及提供临床推荐，并且更具体地涉及使用基于机器学习/人工智能的模型来提供呼吸支持模式推荐。


背景技术：

4.某些呼吸病症的治疗可包括呼吸支持干预，诸如补充氧气、无创通气或有创通气。呼吸支持可包括通过鼻套管或其他设备供应的附加氧气，而无正压。无创通气可以是呼吸支持，包括正压，通过面罩、鼻罩或没有气管插管的其他机构施用。有创通气可以是经由气管内导管或气管造口术导管递送到患者肺部的呼吸支持。当治疗诸如covid-19的新兴病症时，关于向患者提供哪种类型的呼吸支持、何时提供这种呼吸支持以及该呼吸支持的参数的临床决策可基于很少的依据，或者基于用于其他病症的治疗方案。因此，在没有既定实践的情况下，可能过迟地对covid-19患者施用呼吸支持、治疗过于激进或者可能未施用适当类型的呼吸支持。例如，当无创通气可能同样有益时，一些患者可能被施加有创通气，这可能增加患者将招致副作用的可能性。此外，在covid-19的急性爆发期间，呼吸支持资源可能变得稀缺，并且因此围绕何时对患者插管以及何时拔管制定的循证决策可为表现出需要有创通气的严重症状的患者释放这些关键资源。


技术实现要素：

5.本公开至少部分地解决了上述问题。在一个实施方案中，本公开提供了一种方法，该方法包括：从患者的患者成像信息提取成像特征；从该患者的患者临床数据提取非成像特征；将这些成像特征和这些非成像特征键入到经训练以根据这些成像特征和这些非成像特征输出呼吸支持推荐的联合模型；以及显示由该联合模型输出的一个或多个呼吸支持推荐。
6.在单独或与附图联系时，本说明书的以上优势以及其他优势和特征将从以下具体实施方式中显而易见。应当理解，提供以上发明内容是为了以简化的形式介绍在具体实施方式中进一步描述的概念的选择。这并不意味着识别所要求保护的主题的关键或必要特征，该主题的范围由具体实施方式后的权利要求书唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。
附图说明
7.通过阅读以下详细描述并且参考附图，可以更好地理解本公开的各个方面，其中：
8.图1示意性地示出了根据本公开的实施方案的包括支持推荐系统的示例性集成纵向呼吸管理系统，该支持推荐系统可基于成像数据和非成像数据两者生成用于向患者施用呼吸支持的推荐。
9.图2是示出了根据本公开的实施方案的用于经由图1的支持推荐系统生成呼吸支持推荐的方法的流程图。
10.图3是示出了根据本公开的实施方案的用于从成像数据提取成像特征以用于输入到支持推荐系统以便生成呼吸支持推荐的方法的流程图。
11.图4是示出了根据本公开的实施方案的用于从临床数据提取非成像特征以用于输入到支持推荐系统以便生成呼吸支持推荐的方法的流程图。
12.图5是示出了根据本公开的实施方案的患者的示例性成像数据和非成像数据的时间线，该示例性成像数据和非成像数据可被收集并用作支持推荐系统的输入，以用于生成呼吸支持推荐。
13.图6是可被输出以供在显示设备上显示的示例性图形用户界面，该示例性图形用户界面包括根据图2的方法生成的呼吸支持推荐。
14.附图示出了所述系统和方法的具体方面。连同以下描述，附图示出并且解释了本文描述的结构、方法和原理。在这些附图中，为了清晰起见，可放大或以其他方式修改部件的尺寸。没有示出或详细描述众所周知的结构、材料或操作以避免模糊所描述部件、系统和方法的各方面。
具体实施方式
15.在covid-19阳性受试者中，机械通气(插管)的及时干预是患者成功恢复的关键。相反地，预测患者的及时脱机(拔管)对于限制由于过度机械通气而引起的潜在损害同样重要。另外，考虑到covid-19病例的增加和对通气机的需求，通气需求的准确预测可有助于管理有限的通气机资源，并且有助于将护理提供给合适的患者。另外，在一些情况下，无创通气或常规氧气支持可以是足够的。在此类情况下，预测对无创通气或氧气支持的需要以及提示性设置(例如，氧含量(fio2)和呼气末正压通气(peep))可以是有帮助的。
16.因此，本文提供实施方案以解决使用基于集成人工智能(ai)的方法和系统连续监测covid-19患者和其他类型的呼吸病症(诸如细菌性肺炎、流行性感冒、急性呼吸窘迫症候群等)的患者并且预测这些患者对通气(有创/无创)或氧气支持的需要的挑战。本文所述的基于集成ai的方法依赖于疾病状态/进展的两组生物标志物——成像生物标志物和非成像生物标志物。成像生物标志物包括(但不限于)胸部x光、计算机断层摄影(ct)图像和超声图像。非成像生物标志物包括在住院过程中的患者信号，例如生命体征、实验室测试、血液动力学测试、通气相关信号和患者病史信息。成像生物标志物和非成像生物标志物两者都可包括可由本文所述的模型使用以评估患者病症并且提供未来呼吸支持需求的机器学习预测的信息。例如，纵向成像扫描(例如，其中随时间推移进行多次扫描/当患者正表现出covid-19或其他类型的呼吸病症时)可揭示恶化的疾病病症或恢复的模式。例如，这可包括恢复期期间肺超声图像上的胸膜线增厚、b-线汇合和a-线出现。
17.本文所述的基于ai的方法可包括多个ai模型，该多个ai模型可单独地以及一起评估成像生物标志物和非成像生物标志物，以便提供用于呼吸支持的推荐(例如，特定患者是
否应当被插管以进行有创通气)，并且在一些示例中，提供所推荐的呼吸支持的机器设置。以此方式，来自不同线索的生物标志物(成像和非成像)可被组合并且用于连续监测covid-19患者、预测这些患者的插管、拔管、无创通气事件或氧气支持需求。
18.图1示意性地示出了可在医疗设施(诸如医院)中实现的示例性集成纵向呼吸管理系统100。系统100可包括支持推荐系统102。支持推荐系统102可包括资源(例如，处理器104和非暂态存储器106)，这些资源被分配用于接收一个或多个患者的呼吸监测数据(包括成像数据和非成像数据)，将患者呼吸数据作为输入键入到一个或多个呼吸支持模型，并且显示该一个或多个模型的输出，其中该输出可被临床医生用来指导临床决策，这些临床决策包括启动、转变和停止呼吸治疗，诸如有创或无创氧气递送。在一些实施方案中，支持推荐系统102被结合到医疗设施系统的一个或多个设备中，例如，图片存档和通信系统(pacs)、医院操作系统、呼吸治疗设备或其他医疗设备或者成像设备。在一些实施方案中，支持推荐系统102设置在经由有线连接和/或无线连接通信地耦接到各种医疗设施设备和系统的设备(例如，边缘设备、服务器等)处。在一些实施方案中，支持推荐系统102设置在可从各种医疗设施设备和系统接收临床数据和图像的单独设备(例如，工作站)处。支持推荐系统102可耦接到用户输入设备120和显示设备118。
19.支持推荐系统102包括处理器104，该处理器被配置为执行存储在非暂态存储器106中的机器可读指令。处理器104可以是单核或多核处理器，并且在其上执行的程序可被配置用于并行处理或分布式处理。在一些实施方案中，处理器104可任选地包括遍布于两个或更多个设备中的单独部件，这些单独部件可远程定位和/或被配置用于协同处理。在一些实施方案中，处理器104的一个或多个方面可被虚拟化并且由在云计算配置中配置的可远程访问的联网计算设备来执行。
20.非暂态存储器106可存储成像模型108、非成像模型110、联合模型112、成像数据114和非成像数据116。成像模型108可被配置为接收来自一个或多个医学图像(例如，超声图像、计算机断层摄影图像、磁共振图像等)的成像信息/成像特征(这些成像信息/成像特征可作为成像数据114的一部分保存)作为输入并且基于该输入输出一个或多个呼吸支持推荐。如下文将更详细描述，一个或多个呼吸支持推荐可包括针对患者的所推荐的呼吸支持模式(例如，无支持、氧气支持、无创通气或机械通气)，并且在所推荐的支持模式包括某种呼吸支持的一些示例中，包括所推荐支持的所推荐的设置/参数(例如，所推荐的通气机参数)。
21.成像模型108可以是机器学习/人工智能模型，诸如决策树或人工神经网络。因此，成像模型108可包括一个或多个决策树、深度神经网络或其他模型。当成像模型108包括深度神经网络时，该深度神经网络可包括多个参数(包括权重、偏差、激活函数)以及用于实现一个或多个深度神经网络以接收成像特征并且将成像特征映射到输出的指令，其中该输出可包括一个或多个呼吸支持推荐和/或可用于确定一个或多个呼吸支持推荐的输出(例如，数值分数)。当成像模型108包括决策树时，决策树可包括多个参数和/或超参数(包括节点、叶等)，以及用于实现一个或多个决策树以接收成像特征并且将成像特征映射到输出的指令。成像模型108可包括经训练和/或未经训练的神经网络、决策树等，并且还可包括与存储在其中的一个或多个神经网络有关的各种数据或元数据。
22.非成像模型110可被配置为接收来自一个或多个患者监测设备、患者电子医疗记
录、实验室服务等的临床信息/非成像特征(这些临床信息/非成像特征可作为非成像数据116的一部分保存)作为输入并且基于该输入输出一个或多个呼吸支持推荐，如上文针对成像模型108所解释的。非成像模型110可以是机器学习/人工智能模型，诸如决策树或人工神经网络。因此，非成像模型110可包括一个或多个决策树、深度神经网络或其他模型。当非成像模型110包括深度神经网络时，该深度神经网络可包括多个参数(包括权重、偏差、激活函数)以及用于实现一个或多个深度神经网络以接收非成像特征并且将非成像特征映射到输出的指令，其中该输出可包括一个或多个呼吸支持推荐和/或可用于确定一个或多个呼吸支持推荐的输出(例如，数值分数)。当非成像模型110包括决策树时，决策树可包括多个参数和/或超参数(包括节点、叶等)，以及用于实现一个或多个决策树以接收成像特征并且将成像特征映射到输出的指令。非成像模型110可包括经训练的和/或未经训练的神经网络、决策树等，并且还可包括与存储在其中的一个或多个神经网络有关的各种数据或元数据。
23.联合模型112可被配置为分别从成像模型108和非成像模型110接收组合的/级联的成像特征和非成像特征作为输入，并且基于该输入输出一个或多个呼吸支持推荐，如上文针对成像模型108和非成像模型110所解释的。联合模型112可以是机器学习/人工智能模型，诸如决策树或人工神经网络。因此，联合模型112可包括一个或多个决策树、深度神经网络或其他模型。当联合模型112包括深度神经网络时，该深度神经网络可包括多个参数(包括权重、偏差、激活函数)以及用于实现一个或多个深度神经网络以接收成像特征和非成像特征并且将成像特征和非成像特征映射到输出的指令，其中该输出可包括一个或多个呼吸支持推荐和/或可用于确定一个或多个呼吸支持推荐的输出(例如，数值分数)。当联合模型112包括决策树时，决策树可包括多个参数和/或超参数(包括节点、叶等)，以及用于实现一个或多个决策树以接收成像特征并且将成像特征映射到输出的指令。联合模型112可包括经训练的和/或未经训练的神经网络、决策树等，并且还可包括与存储在其中的一个或多个神经网络有关的各种数据或元数据。
24.在一些示例中，非暂态存储器106还可存储训练模块117，该训练模块包括用于训练存储在成像模型108、非成像模型110和联合模型112中的机器学习/ai模型中的一个或多个机器学习/ai模型的指令。训练模块117可包括指令，这些指令当由处理器104执行时致使支持推荐系统102进行成像模型108、非成像模型110和/或联合模型112的监督学习(例如，训练)。在一些实施方案中，训练模块117包括用于实现一个或多个梯度下降算法、应用一个或多个损失函数和/或训练例程以用于调整本文所述的机器学习/ai模型中的一个或多个机器学习/ai模型的参数的指令。在一些实施方案中，训练模块117包括用于从成像数据114智能地选择训练数据对的指令，其中这些训练数据对包括患者的医学图像和该患者的对应地面实况数据(例如，临床发现以及向患者施用的先前和随后的呼吸支持和患者的结果的专家注释)。成像数据114可包括可由外部源(例如，专家临床医生、软件等)针对训练资格选择的成像数据，使得并非成像数据114中的全部成像数据都可由训练模块117用于训练。在一些实施方案中，训练模块117包括用于从非成像数据116智能地选择训练数据对的指令，其中这些训练数据对包括患者的临床数据和该患者的对应地面实况数据(例如，向患者使用的先前和随后的呼吸支持和患者的结果的专家注释)。非成像数据116可包括可由外部源(例如，专家临床医生、软件等)针对训练资格选择的非成像数据，使得并非非成像数据116中的全部非成像数据都可由训练模块117用于训练。模型可基于多个度量来训练，其中模型
根据训练数据对中的数据(成像/非成像)进行计算、评估等，并且训练模块117将来自模型的输出与该训练数据对的地面实况数据进行比较。误差的阈值绝对值可用于训练模型，使得如果模型输出和训练数据对的对应地面实况数据之间的绝对值超过阈值绝对值，则训练模块117可不将模型输出标记为成功。在一些实施方案中，训练模块117不设置在支持推荐系统102处。
25.成像模型108、非成像模型110和/或联合模型112的训练可包括使用预处理的并且然后提取的成像特征和非成像特征(例如，而不是原始数据)，如下文关于图3和图4所解释的。为了获得通用稳健模型，基于物理学和生物学线索的数据增强可用于生成更多样本。此外，如果缺少注释，则可使用自监督学习技术来生成标记数据。
26.成像模型108、非成像模型110和联合模型112可各自被训练以便为患有给定病症(诸如covid-19)的患者提供呼吸支持推荐。因此，成像模型108、非成像模型110和联合模型112中的每一者可用特定于具有covid-19的确定或疑似诊断的患者的训练数据来训练。然而，本文所述的模型可被训练以提供用于其他类型的呼吸病症(诸如细菌性肺炎、流行性感冒、急性呼吸窘迫症候群等)的呼吸支持推荐。
27.非暂态存储器106还存储成像数据114。成像数据114包括，例如，从mr成像系统捕获的磁共振(mr)图像、由超声系统获取的超声图像等。非暂态存储器106还存储非成像数据116，该非成像数据可包括患者临床数据，诸如从医疗设备(例如，心率监测器、脉搏血氧计、心电图)捕获的患者监测数据、从电子医疗记录(emr)系统捕获的患者病史、从emr系统或实验室服务捕获的实验室结果等。
28.在一些实施方案中，非暂态存储器106可包括设置在两个或更多个设备上的部件，这些部件可被远程定位和/或配置用于协调处理。在一些实施方案中，非暂态存储器106的一个或多个方面可包括在云计算配置中配置的可远程访问的联网存储设备。
29.用户输入设备120可包括触摸屏、键盘、鼠标、触控板、运动感测相机或被配置为使得用户能够与支持推荐系统102内的数据交互并操纵该数据的其他设备中的一者或多者。例如，用户输入设备120可使得用户能够选择患者成像数据和非成像数据以键入到成像模型108、非成像模型和/或联合模型112中，以便被提供针对患者的一个或多个呼吸支持推荐。
30.显示设备118可包括利用几乎任何类型的技术的一个或多个显示设备。在一些实施方案中，显示设备118可包括计算机监测器，并且可显示本文所述的一个或多个呼吸支持推荐。显示设备118可与处理器104、非暂态存储器106和/或用户输入设备120组合在共享壳体中，或者可以是外围显示设备，并且可包括监测器、触摸屏、投影仪或本领域已知的可使得用户能够查看呼吸支持推荐和/或与存储在非暂态存储器106中的各种数据交互的其他显示设备。
31.支持推荐系统102通信地连接到至少一个网络130。此类通信连接以及网络本身可包括但不限于广域网(wan)；局域网(lan)；互联网；有线或无线(例如，光学、蓝牙、射频(rf))网络；基于云的计算机、路由器、服务器、网关等计算基础结构；或与其相关联的允许系统或其部分与一个或多个计算设备进行通信的它们的任何组合。
32.网络130可示例性地为与医疗设施的一部分(例如，医院的特护病房或部门)相关联的网络，或者可更广泛地跨整个医院的医疗设备定位。还将认识到，虽然本文所公开的系
统和方法的一些实施方案和具体实施可试图在医院的单个医院或医院的单个病房上操作，但其他实施方案可连接多个医院网络，包括当前归属或操作或以其他方式彼此附属的医院。在另外的实施方案中，虽然单独医院或医院组可使用支持推荐系统102，但支持推荐系统102可从多个医院网络(包括同时彼此无关的那些医院网络)接收并处理信息。
33.如图1所描绘，系统100包括多个医疗设备124。医疗设备124可包括生理监测设备以及患者治疗设备。生理监测设备可包括但不限于心率监测器、血压氧合监测器、呼吸监测器、心电图(ecg)监测器、脑电图(eeg)监测器或肌电图(emg)监测器。患者治疗设备可包括但不限于机械通气机，这些机械通气机包括有创通气机和无创通气设备(例如，正压通气机)，以及氧气支持设备(例如，从合适的供应装置递送氧气的鼻套管)。然而，将认识到，治疗设备还可包括不仅递送患者治疗而且测量患者生理参数的能力。例如，本文所述的通气机的实施方案可包括可操作以测量患者呼出的气体浓度的气体分析模块。
34.多个医疗设备124可经由网络130向支持推荐系统102发送患者临床数据。患者临床数据(例如，机器数据、所监测的患者生理参数数据)的数据流可以如从医疗设备获取的时间序列格式获得，并且可包括但不限于警报的时间序列信息、设备状态、设备设置、消息和所测量数据。来自医疗设备的时间序列数据可以是波形或二进制格式、音频数据、图像数据和/或视频数据。
35.系统100包括多个成像设备128。多个成像设备可包括但不限于磁共振成像(mri)设备、计算机断层摄影(ct)设备、正电子发射断层摄影(pet)设备、x光设备(包括数字乳腺摄影设备、荧光镜透视检查设备、介入设备等)、超声设备、单光子发射计算机断层摄影(spect)设备和/或它们的组合。成像设备的另外示例可包括视频和/或音频记录设备。多个成像设备128可耦接到图片存档和通信系统(pacs)126。每个成像设备可被配置为获取患者的医学图像并且将所获取图像发送到pacs 126以用于长期存储。pacs 126可存储图像，并且当被请求时，可检索一个或多个图像并且将所检索图像发送到一个或多个连接的设备，诸如经由网络130耦接到pacs 126的支持推荐系统102。虽然图1示出了通信地耦接到pacs 126的支持推荐系统102和通信地耦接到pacs 126的成像设备128，但在一些示例中，成像设备128中的一个或多个成像设备可直接通信地耦接到支持推荐系统102(经由网络130)。
36.支持推荐系统102还经由网络130耦接到emr系统122。emr系统122可以是经由安全医院界面的外部数据库，或者emr系统122可以是本地数据库(例如，容纳在医疗设施的设备上)。emr系统122可以是存储在大容量存储设备中的数据库，该大容量存储设备被配置为与安全信道(例如，https和tls)进行通信，并且以加密形式存储数据。此外，emr系统122被配置为控制对患者电子医疗记录的访问，使得仅经授权的医疗保健提供者可编辑和访问电子医疗记录。患者的emr可包括患者人口统计信息、家族病史、既往病史、生活方式信息、已有的医学病症、当前药物治疗、过敏、手术史、既往医疗筛检和程序、既往住院和访视等。
37.应当理解，图1所示的系统100是为了说明而不是限制。另一系统可包括更多、更少或不同的部件。本文所述设备中的一个或多个可通过云或其他计算机网络来实现。例如，虽然支持推荐系统102和pacs 126在图1中被示出为各自构成单个实体，但应当理解，支持推荐系统102和/或pacs 126可跨多个设备分布，诸如跨多个服务器分布。
38.参考图2，示出了根据实施方案的用于针对患有covid-19的患者生成呼吸支持推荐的方法200的流程图。方法200可由支持推荐系统102根据存储在非暂态存储器106中由处
理器104执行的指令来实施。相对于图1的系统100的系统和设备来描述方法200，但应当理解，在不脱离本公开的范围的情况下，方法200可用其他系统和设备来执行。方法200可响应于针对特定患者生成呼吸支持推荐的请求(例如，由用户经由用户输入设备诸如用户输入设备120键入)来执行。在其他示例中，方法200可在接收到特定患者的新数据时自动执行，或者方法200可以预先确定的频率(例如，每小时一次、每天一次等)自动执行。虽然方法200是关于具有covid-19的确定或疑似病例的患者来描述的，但在一些示例中，方法200可被执行以针对具有诸如流行性感冒或其他类型的肺炎的其他病症的患者生成呼吸支持推荐。
39.在202处，接收患者成像扫描信息。患者成像扫描信息可包括患者的医学图像、医学图像的发现(其可作为图像上的注释或作为与图像相关联的报告的一部分而包括)以及与医学图像相关联的其他信息(例如，诸如获取图像的日期的元数据)。患者成像扫描信息可从pacs(例如，pacs126)和/或从一个或多个成像设备(例如，多个成像设备128中的一个或多个成像设备)接收。患者成像扫描信息可至少暂时存储在支持推荐系统上(例如，作为成像数据114的一部分)。
40.在204处，接收患者非成像临床数据。患者非成像临床数据可包括患者的病史(例如，从存储在emr系统122中的患者的emr接收)、患者的实验室结果以及患者的患者监测/医疗设备数据(例如，从一个或多个医疗设备诸如多个医疗设备124中的一个或多个医疗设备接收)。附加数据可包括在临床数据中，诸如先前和/或当前施用的治疗和其他干预(当未包括在医疗设备数据中时)。
41.在206处，从成像扫描信息导出成像特征，并且从临床数据导出非成像特征。下文相对于图3和图4提供关于特征导出/提取过程的附加细节。简而言之，将成像扫描信息预处理并供应到一个或多个特征提取器，该一个或多个特征提取器可从医学图像提取临床和模型相关特征，诸如相关解剖特征、解剖外观(例如，纹理)、成像特征(例如，超声图像中的b-线)等。同样地，将临床数据预处理并供应到一个或多个特征提取器，该一个或多个特征提取器可从临床数据提取模型相关特征诸如信号包络、信号均值、标准差等，参数特定特征诸如ecg qt间期、心率等。
42.在208处，将成像特征输入到成像模型中，并且将非成像特征输入到非成像模型中。成像模型可以是经训练以根据成像特征输出呼吸支持推荐的机器学习/ai模型，诸如图1的成像模型108。例如，成像模型可以是深度神经网络，并且可将成像特征(如下文相对于图3所述的特征提取器所输出的)键入到深度神经网络的输入层中，并且可使用深度神经网络将成像特征映射到输出。将成像特征映射到输出可包括：将来自成像特征的数据输入到深度神经网络的输入层/输入图块中；以及通过深度神经网络的每个层传播输入数据，直到由深度神经网络的输出层产生输出。在一些实施方案中，深度神经网络包括卷积神经网络。
43.非成像模型可以是经训练以根据非成像特征输出呼吸支持推荐的机器学习/ai模型，诸如图1的非成像模型110。在非成像模型是深度神经网络(诸如卷积神经网络)的示例中，非成像特征可输入到深度神经网络的输入层/输入图块中并且通过深度神经网络的每个层传播，直到由深度神经网络的输出层产生输出。
44.在210处，将成像特征和非成像特征输入到联合模型中。联合模型可以是经训练以根据成像特征和非成像特征输出呼吸支持推荐的机器学习/ai模型，诸如图1的联合模型112。为了将组合的成像特征和非成像特征键入到联合模型中，可将成像特征和非成像特征
级联，并且/或者可使用另一神经网络将成像特征和非成像特征嵌入到潜在空间中。在联合模型是深度神经网络的示例中，组合的成像特征和非成像特征可输入到深度神经网络的输入层/输入图块中并且通过深度神经网络的每个层传播，直到由深度神经网络的输出层产生输出。
45.在212处，在合适的显示设备(例如，显示设备118)上显示成像模型、非成像模型和/或联合模型的输出。这些模型可输出两组输出——呼吸支持模式输出和相关设置输出。呼吸支持模式输出可包括对氧气支持、无创通气、机械通气或无呼吸支持的推荐。因此，呼吸支持模式输出可包括启动、继续或终止一种或多种呼吸支持模式(例如，氧气支持、无创通气等)的推荐。相关设置输出可包括相关呼吸支持模式的所推荐的设置，诸如fio2水平或peep水平、潮气量等。模式变量可以是二进制的(例如，可向每种呼吸支持模式给出是/否推荐)并且设置可以是连续的。此外，输出可包括标签和置信度分数。
46.在一些示例中，可显示来自成像模型、非成像模型和联合模型中的每一者的输出。在其他示例中，可仅显示来自联合模型的输出。此外，当成像特征不可用时(例如，尚未获取患者的相关医学图像)，可仅显示来自非成像模型的输出。在仅显示来自联合模型(而不是成像模型和非成像模型)的输出的示例中，输出可与输出是准确的相对置信度水平一起显示。如果来自各种模型(例如，联合模型、成像模型和非成像模型)的输出一致(例如，每个模型输出相同的呼吸支持模式和相关设置)，则置信度水平可较高。如果模型之间存在不一致(例如，成像模型输出与非成像模型不同的呼吸支持模式)，则置信度水平可较低。以此方式，如果模型之间存在不一致，则可显示预测的低置信度，并且是否遵循推荐可由临床医生自行决定。不一致程度反映推荐的置信度——一致程度越低，置信度就越低，反之亦然。
47.输出可显示为患者专用图形用户界面(诸如图6所示的示例性界面)的一部分。在其他示例中，输出可显示在基于文本的用户界面(tui)上。在其他示例中，输出可显示为多患者仪表板的一部分，其中显示多个covid-19患者的呼吸支持状态(例如，在护士站或其他单元的显示设备上或病房专用显示设备上，或在护理提供者设备上)。通过对多个患者执行方法200并且然后在单个仪表板中显示每个患者的输出推荐，可以加速的方式通知和执行关于资源管理和患者治疗的临床医生决策，从而避免临床医生对参考个体患者记录的需要。另外，成像模型、非成像模型和联合模型的输出可保存在存储器中。输出推荐可作为患者emr的一部分、作为跟踪患者状态和推荐的仪表板和/或作为分析数据的一部分来保存，该分析数据可用于训练/更新本文所述的模型以及由管理员或其他管理机构用来指导治疗方案和资源管理。
48.在一些示例中，可确定并且显示对模型输出的贡献因子，如在214处所示。例如，如果最近的肺部ct图像表明患者病症的改善并且该肺部ct图像被视为联合模型的输出的贡献因子(例如，推荐患者拔管)，则肺部ct是推荐的贡献因子的指示可与模型输出一起显示。基于由模型指派给所使用的每个因子的贡献权重值，可将肺部ct图像视为联合模型的输出的贡献因子，其中较高的贡献权重值对应于更显著的贡献。可基于包括在模型计算中的历史频率、当因子包括在模型计算中时的模型输出的准确度与当未包括因子时的模型输出的准确度的比较等，将贡献权重值指派给因子。此外，为了从非临床数据识别相关因子，可利用特定模型诊断工具。例如，可使用梯度提升/基于树的模型中的熵最小化器来识别对总体训练损失的最小化贡献更多的特征。推断后，可利用诸如捕获每个特征的预期边际贡献的
沙普利值的技术来识别相关/贡献因子。根据成像数据，可使用来自引导反向传播族的技术来突出输入图像的哪个区域对特定决策做出贡献。方法200然后结束。
49.图3是示出了用于从患者成像扫描信息提取成像特征的方法300的流程图。方法300可根据存储在诸如支持推荐系统102的计算设备的非暂态存储器中的指令来执行。在一些示例中，方法300可作为方法200的一部分来执行，例如以便提取输入到成像模型中的成像特征。
50.在302处，将成像扫描信息输入到成像特征提取器模块中。成像扫描信息可包括医学/诊断图像，并且在一些示例中，包括与图像相关联的临床医生发现。例如，医学图像可包括肺部ct图像，并且发现可包括肺部包括符合covid-19的不透明病变的指示。在其他示例中，成像扫描信息可仅包括医学图像。
51.在304处，预处理成像扫描信息。预处理可包括视场(fov)归一化、大小归一化(调整大小和裁剪)、强度归一化等。归一化可包括去除额外的图像数据，诸如fov外部的图像数据，使得可向模型提供一致大小和位置的fov图像数据，以增加预处理成像扫描信息的准确度。在306处，从预处理的成像扫描信息提取成像特征。预处理的图像可通过传统的计算机视觉模块、临床特征模块以及神经网络模块。提取成像特征可包括提取纹理特征，如在308处所示。成像纹理特征的示例包括梯度直方图(hog)、尺度不变特征变换(sift)和小波分解。提取成像特征可包括经由神经网络提取成像特征，如在310处所示。神经网络特征可从标准的预先训练的架构(如vggnet等)获得，或者在相同数据上使用基于自动编码器的架构来获得。提取成像特征可包括提取临床特征，如在312处所示。临床特征可包括扫描特定特征，诸如受影响区域的面积、双侧特征、不透明度或超声图像中b-线的存在等。此外，在一些示例中，可提取图像中的特征随时间推移的变化，诸如ct图像中的时间变化，这些变化可表明异常的进展以及返回到常态。
52.在314处，可级联所提取的成像特征，并且可在316处输出所级联的成像特征。所级联的提取成像特征可作为输入键入到成像模型和/或联合模型，如相对于图2所解释的，和/或用于训练成像模型和联合模型。方法300然后结束。
53.图4是示出了用于从患者临床数据提取非成像特征的方法400的流程图。方法400可根据存储在诸如支持推荐系统102的计算设备的非暂态存储器中的指令来执行。在一些示例中，方法400可作为方法200的一部分来执行，例如以便提取输入到非成像模型中的非成像特征。
54.在402处，将临床数据输入到非成像特征提取器模块中。临床数据可包括生命体征、实验室测试、干预、患者病史等。生命体征可包括所测量或所推断的生理参数，诸如心率、血氧饱和度、呼吸率等。生命体征可包括时间序列数据，例如随时间推移的多个值。此外，当可用时，临床数据可包括患者治疗设备设置。
55.在404处，预处理临床数据。预处理可包括噪声去除和滤波、数据插补、尺度归一化等。此外，预处理可包括用平均值替换丢失信号，该平均值可包括捕获信号的存在或不存在的指示变量。在预处理期间，可在特定时间窗口上回顾性地收集样本(例如，过去3小时的临床数据)，并且可在所收集样本上提取特征以映射到地面实况推荐。在406处，从预处理的临床数据提取非成像特征。预处理的临床数据可通过信号特定特征模块、统计模块以及神经网络模块。提取非成像特征可包括提取信号特定特征，如在408处所示。信号特定特征的示
例可包括在心电图(ecg)上提取的特征——qt间期、pr间期、心率等。提取非成像特征可包括经由神经网络提取非成像特征，如在410处所示。神经网络特征可在相同数据上使用基于自动编码器的架构来获得或从相关问题转移。提取非成像特征可包括提取统计特征，如在412处所示。统计特征可包括像均值的平均值、标准差和高阶矩、在变化的时间窗口上计算的短期平均值和长期平均值等。
56.在414处，可级联所提取的非成像特征，并且可在416处输出所级联的非成像特征。所级联的提取非成像特征可作为输入键入到非成像模型和/或联合模型，如相对于图2所解释的，和/或用于训练非成像模型和联合模型。方法400然后结束。
57.图5示出了患者在医疗设施停留期间的患者数据和事件的示例性时间线500，其中患者具有疑似或确诊的covid-19状态。时间线500包括由曲线502示出的示例性患者生命体征、由曲线504示出的呼吸支持参数、由黑色圆示出的实验室测试事件(例如，实验室测试506)、由白色三角形示出的成像扫描(例如，成像扫描508)、由灰色五边形示出的其他干预(例如，干预510)以及患者病史确认(由患者病史512示出)，每一者都根据时间绘制。
58.如时间线500所理解的，当患者被允许进入医疗设施时，在入院后获得患者病史512。然后，开始监测患者的生命体征。生命体征可包括呼吸率、spo2和心率，尽管其他生命体征/医疗数据是可能的。可以合适的频率(例如，每秒一次、每分钟一次等)连续地或周期性地测量或推断生命体征，但应理解为以相对高的频率测量或推断。曲线502示出了生命体征(例如，spo2)的示例性曲线图，该曲线图可通过随时间推移绘制测量值或推断值来获得，并且应当理解，针对患者测量或推断的每个生命体征/医疗数据可具有其自己的波形/数据时间序列。
59.可接收实验室测试，诸如实验室测试506，此时可向患者施加氧气支持。一旦进行氧气支持，可接收氧气支持参数，从而指示氧气浓度、流速等。当进行氧气支持时，可获得患者的成像扫描，诸如成像扫描508。当患者病症改变或未能改善时，向患者施加无创通气，并且因此所接收的呼吸支持参数从氧气支持参数切换到无创通气参数，这些无创通气参数还可包括所供应的空气/氧气的压力、通气速率等等。当进行无创通气时，可对患者执行另一种类型的干预，如干预510所示。干预可包括俯卧动作或另一种干预。当患者病症改变或未能改善时，向患者施加有创通气，并且因此所接收的呼吸支持参数从无创通气参数切换到通气机参数，这些通气机参数可包括分钟通气量(mv)、吸入氧气分数(fio2)、呼气末正压通气(peep)、呼气末二氧化碳(etco2)、峰值吸气压(pip)、潮气量(tv)等。
60.当通气时，可接收实验室测试，可执行附加干预，并且可执行附加成像扫描。当将相对于图5所示和所述的成像数据和非成像数据键入到如本文所述的成像模型、非成像模型和联合模型中时，可做出可指导图5所示的临床决策的推荐。例如，实验室测试506和生命体征可作为非成像数据被键入到非成像模型，这可推荐氧气支持。一旦执行成像扫描508，就可将所获取的医学图像键入到成像模型中，并且可将医学图像和非成像数据(例如，生命体征和实验室测试结果)键入到联合模型中，这可推荐向患者施加无创通气。又如，当执行附加成像扫描时，接收实验室测试结果，并且当利用有创通气机给患者通气时收集生命体征，可将成像数据和非成像数据输入到联合模型中，这可输出关于通气机机器设置的推荐。
61.以此方式，本文所述的方法可以是集成的且纵向的，因为可集成多种不同类型的数据以实现如本文所述的推荐。此外，可随时间推移以合适的频率将数据输入到模型，其中
当可用时添加新数据作为输入。这可在患者病症改变时提供变化的推荐。此外，成像扫描信息可随时间推移用于指导治疗决策，诸如通气机机器设置、是否插管或拔管等，这可使推荐更稳健和/或增加推荐的置信度(例如，相对于仅依赖非成像数据)。
62.因此，本文公开了一种系统的实施方案，该系统通过以下方式来使用成像生物标志物和非成像生物标志物的集成纵向ai分析而连续地监测covid-19受试者或患有其他呼吸病症的受试者并且预测这些受试者的通气需求：接收跨住院的不同时间点的一个或多个成像扫描，在住院期间连续地接收非成像临床参数，使用ai/机器学习(ml)方法来从纵向成像扫描导出特征和模型，使用ai/ml方法来从非成像参数导出特征和模型，并且使用组合器ai模块来融合来自个体和联合模型的特征和分数，以预测插管、拔管和不同的呼吸支持模式以及有创/无创通气和氧气支持的设置。这可包括显示用于增加可解释性的决策的“贡献”因子。ai/ml方法可包括常规机器学习方法如提升树或多模式神经网络架构以融合成像生物标志物和非成像生物标志物。相对于组合器ai模块，可应用的一个示例性组合器为决策组合器，其中对来自两个模型的结果进行平均。例如，成像模型将给出不同呼吸支持选项的某些可能性，而非成像模型也将提供其自己的可能性。来自两个模型的输出可被平均并呈现给最终用户。这将减少来自模型中的任一个模型的错误预测，并且提供更稳定的预测。又如，可训练另一机器学习模型，这将对来自两个模型的预测起作用，并且可在训练期间优化另一机器学习模型以匹配地面实况氧气支持推荐。在推断期间，可部署该模型以组合来自成像模型和非成像模型的推断。
63.图6示出了示例性图形用户界面(gui)600，该gui可被输出以供在显示设备(例如，显示设备118)上显示，以便使本文所述的支持推荐模型的输出可视化。例如，gui 600可作为上述方法200的一部分来显示。gui600包括临床数据随时间推移的曲线图602。曲线图602包括fio2、呼吸率(rr)、spo2、心率(hr)、etco2、paco2和pao2，但是其他条患者医疗数据是可能的。gui 600还包括示例性医学图像604。曲线图602所示的临床/医疗设备数据以及医学图像604(和其他医学图像)可被输入到成像模型、非成像模型和/或联合模型，如上文相对于图2所描述的。模型可输出呼吸支持推荐，这些呼吸支持推荐显示为gui 600的一部分。例如，如图所示，输出可包括呼吸模式预测和设置预测。
64.gui 600示出了随时间推移而作出的输出的进展，该进展与曲线图602时间对准。例如，模型可推荐机械通气时间0至18小时，其中tv设置为7ml/kg。模型可推荐无创通气时间18小时至49小时，其中呼气气道正压(epap)设置为5cm h2o。在时间49小时，模型可推荐无呼吸支持。在一些示例中，在gui 600中显示的示例性医学图像(例如，医学图像604)可以是被视为对最新推荐的贡献因子的图像，例如，图像可示出减轻的covid症状，从而促使推荐从呼吸支持移除患者。
65.将患者医疗数据的成像特征和非成像特征两者键入到经训练以输出呼吸支持推荐的一个或多个模型的技术效应在于，可生成具有更高置信度的更稳健的推荐，这些推荐可指导临床医生在所建立的方案不是广泛可用的情况下(诸如在covid-19的爆发期间)做出患者护理决策。
66.本公开还提供了对一种方法的支持，该方法包括：从患者的患者成像信息提取成像特征；从该患者的患者临床数据提取非成像特征；将这些成像特征和这些非成像特征键入到经训练以根据这些成像特征和这些非成像特征输出呼吸支持推荐的联合模型；以及显
示由该联合模型输出的一个或多个呼吸支持推荐。在该方法的第一示例中，该方法还包括：将这些成像特征键入到经训练以根据这些成像特征输出呼吸支持推荐的成像模型，并且其中显示由该联合模型输出的一个或多个呼吸支持推荐包括：显示由该联合模型和该成像模型输出的一个或多个呼吸支持推荐。在该方法的第二示例中，该第二示例任选地包括第一示例，该方法还包括：将这些非成像特征键入到经训练以根据这些非成像特征输出呼吸支持推荐的非成像模型，并且其中显示由该联合模型输出的一个或多个呼吸支持推荐包括：显示由该联合模型和该非成像模型输出的一个或多个呼吸支持推荐。在该方法的第三示例中，该第三示例任选地包括第一示例和第二示例中的一者或两者，由该联合模型输出的该一个或多个呼吸支持推荐包括启动、继续或终止呼吸支持模式的推荐。在该方法的第四示例中，该第四示例任选地包括第一示例至第三示例中的一者或多者或每一者，该呼吸支持模式包括氧气支持、无创通气或有创通气。在该方法的第五示例中，该第五示例任选地包括第一示例至第四示例中的一者或多者或每一者，由该联合模型输出的该一个或多个呼吸支持推荐还包括该呼吸支持模式的一个或多个所推荐的设置。在该方法的第六示例中，该第六示例任选地包括第一示例至第五示例中的一者或多者或每一者，该联合模型是机器学习模型。在该方法的第七示例中，该第七示例任选地包括第一示例至第六示例中的一者或多者或每一者，该联合模型是经训练以根据这些成像特征和这些非成像特征输出该一个或多个呼吸支持推荐的神经网络。在该方法的第八示例中，该第八示例任选地包括第一示例至第七示例中的一者或多者或每一者，该神经网络用训练数据进行训练，该训练数据包括多个患者的训练成像特征和训练非成像特征以及该多个患者的地面实况，其中该多个患者中的每个患者都接收到covid-19的疑似或确定诊断。在该方法的第九示例中，该第九示例任选地包括第一示例至第八示例中的一者或多者或每一者，该患者成像信息包括该患者的一个或多个医学图像。在该方法的第十示例中，该第十示例任选地包括第一示例至第九示例中的一者或多者或每一者，该患者临床数据包括该患者的患者病史、该患者的所测量或所推断的医疗设备数据和/或该患者的实验室测试结果。
67.本公开还提供对一种系统的支持，该系统包括：存储器，该存储器存储经训练的深度神经网络和多个特征提取模块；以及处理器，该处理器可通信地耦接到该存储器并且被配置为：经由该多个特征提取模块中的一个或多个特征提取模块从患者的患者成像信息提取成像特征；经由该多个特征提取模块中的一个或多个特征提取模块从该患者的患者临床数据提取非成像特征；使用该经训练的深度神经网络将这些成像特征和这些非成像特征映射到一个或多个输出；并且输出该一个或多个输出以供在显示设备上显示，其中该一个或多个输出包括针对该患者的一个或多个呼吸支持推荐。在该系统的第一示例中，从该患者成像信息提取成像特征包括：提取该患者成像信息中的解剖特征、该患者成像信息中的纹理特征以及该患者成像信息中的临床特征中的一者或多者。在该系统的第二示例中，该第二示例任选地包括第一示例，这些临床特征包括选定解剖区域的面积、双侧特征、不透明度以及该患者成像信息中b-线的存在中的一者或多者。在该系统的第三示例中，该第三示例任选地包括第一示例和第二示例中的一者或两者，该患者临床数据包括该患者的患者病史、该患者的所测量或所推断的医疗设备数据和/或该患者的实验室测试结果。在该系统的第四示例中，该第四示例任选地包括第一示例至第三示例中的一者或多者或每一者，从该患者临床数据提取非成像特征包括：从所测量或所推断的医疗设备数据提取信号特定特征
和/或统计特征。在该系统的第五示例中，该第五示例任选地包括第一示例至第四示例中的一者或多者或每一者，该一个或多个呼吸支持推荐包括启动、继续或终止呼吸支持模式的推荐。在该系统的第六示例中，该第六示例任选地包括第一示例至第五示例中的一者或多者或每一者，该呼吸支持模式包括氧气支持、无创通气或有创通气。在该系统的第七示例中，该第七示例任选地包括第一示例至第六示例中的一者或多者或每一者，该一个或多个呼吸支持推荐还包括该呼吸支持模式的一个或多个所推荐的设置。
68.本公开还提供对一种系统的支持，该系统包括：存储器，该存储器存储经训练的深度神经网络；以及处理器，该处理器可通信地耦接到该存储器并且被配置为：从患者的一个或多个医学图像提取成像特征，从该患者的患者临床数据提取非成像特征，将这些成像特征和这些非成像特征键入到该经训练的深度神经网络，该经训练的深度神经网络经训练以根据这些成像特征和这些非成像特征输出呼吸支持推荐，显示由该经训练的深度神经网络输出的一个或多个呼吸支持推荐，并且显示这些成像特征中的哪一个或多个成像特征和/或这些非成像特征中的哪一个或多个非成像特征对该一个或多个呼吸支持推荐做出贡献的指示。
69.以上描述本公开的一个或多个具体实施方案以提供透彻的理解。这些描述的实施方案仅是用于使用机器学习/ai模型来生成呼吸支持推荐的系统和方法的示例。本领域技术人员将理解，在不脱离本公开的实质的情况下，可以在实施时修改实施方案中描述的具体细节。
70.当介绍本公开的各种实施方案的元件时，词语“一个”、“一种”和“该”旨在意指存在这些元件中的一个或多个元件。术语“第一”、“第二”等不表示任何顺序、量或重要性，而是用于将一个元件与另一个元件区分开。术语“包括”、“包含”和“具有”旨在是包含性的，并且意指除了列出的元件之外还可存在附加元件。如本文使用术语“连接到”、“联接到”等，一个对象(例如，材料、元件、结构、构件等)可以连接到或联接到另一个对象，而无论该一个对象是否直接连接或联接到另一个对象，或者在该一个对象和另一个对象之间是否存在一个或多个介入对象。此外，应当理解，对本公开的“一个实施方案”或“实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。
71.除了任何先前指示的修改之外，本领域技术人员可以在不脱离本描述的实质和范围的情况下设计出许多其他变型和替换布置，并且所附权利要求书旨在覆盖此类修改和布置。因此，尽管上面已经结合当前被认为是最实际和最优选的方面对信息进行了具体和详细的描述，但对于本领域的普通技术人员将显而易见的是，在不脱离本文阐述的原理和概念的情况下，可以进行许多修改，包括但不限于形式、功能、操作方式和使用。同样，如本文所使用的，在所有方面，示例和实施方案仅意图是说明性的，并且不应以任何方式解释为限制性的。