用于利用深度学习模型的计算机辅助诊断的方法和系统与流程

1.本文所公开的主题的实施方案涉及诊断性成像，并且更具体地涉及用于诊断性成像的计算机辅助诊断。


背景技术：

2.医疗成像系统通常用于获得受检者(例如患者)的内部生理信息。例如，医学成像系统可用于获得受检者的骨骼结构、内脏器官(例如，脑部、心脏、肺部)、血管血流和各种其他特征的图像。医学成像系统可包括磁共振成像(mri)系统、计算机断层摄影(ct)系统、x射线系统、超声系统、核医学系统和各种其他成像模态。
3.放射科医生专门使用经由此类医学成像系统获取的图像来诊断和治疗损伤和疾病。可对放射科医生进行培训以使用医学成像系统获取医学图像，或者放射科医生可以与受过专门培训的成像技术人员合作以控制医学成像系统以获取医学图像。放射科医生查看和解释医学图像以确定诊断。


技术实现要素：

4.在一个实施方案中，一种方法包括：用成像系统获取受试者的医学图像；用与机构的放射科医生相关联的放射科医生模型为医学图像生成计算机辅助诊断，该放射科医生模型包括借助由放射科医生提供的多个诊断进行训练的深度神经网络；经由显示设备显示医学图像和计算机辅助诊断；以及基于该医学图像选择性地更新放射科医生模型、与机构相关联的机构模型以及与包含机构的地理区域相关联的地理模型中的一者或多者。以此方式，被配置作为放射科医生的数字孪生(digital twin)的深度神经网络模型可为放射科医生提供辅助，提高准确度，同时避免深度神经网络模型的过度拟合。
5.应当理解，提供上面的简要描述来以简化的形式介绍在具体实施方式中进一步描述的精选概念。这并不意味着识别所要求保护的主题的关键或必要特征，该主题的范围由具体实施方式后的权利要求书唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。
附图说明
6.通过参考附图阅读以下对非限制性实施方案的描述将更好地理解本发明，其中以下：
7.图1是根据本发明的实施方案的用于放射科医生的深度学习模型的集成的计算环境的框图；
8.图2是示出根据本发明的实施方案的用于放射科医生的深度学习模型的集成的示例性架构的框图；
9.图3是示出根据本发明的实施方案的用于用放射科医生的深度学习模型提供计算机辅助诊断的示例性方法的高级别流程图；
10.图4是示出根据本发明的实施方案的用于更新放射科医生的深度学习模型的集成中的一个或多个模型的示例性方法的高级别流程图；并且
11.图5是示出根据本发明的实施方案的用于部署放射科医生的一个或多个更新后的深度学习模型的示例性方法的高级别流程图。
具体实施方式
12.以下描述涉及用于利用深度学习模型的计算机辅助诊断的各种实施方案。具体地，提供了用于用深度神经网络集成对放射科医生生态系统进行建模的系统和方法。系统(诸如图1中所示的系统)包括多个机构，每个机构与一个或多个放射科医生相关联，分布在具有不同诊断性成像协议和实践的多个地理区域上。尽管在理想情况下，诊断建议的方法论是客观的，但是放射科医生作出的诊断取决于放射科医生的判断和个人偏好，因此，诊断建议的方法论最终是主观的。不同放射科医生的诊断偏好可能迥然不同。为了向放射科医生提供适应不同放射科医生的不同偏好的准确的计算机辅助诊断，可提供连续学习深度神经网络集成，作为放射科医生数字孪生，以辅助放射科医生进行诊断。此类深度学习模型的集成(诸如图2所示的深度学习模型的集成)还包括用于每个机构的深度学习模型、用于每个地理区域的深度学习模型以及基线神经网络模型。最初借助来自多名放射科医生的数据对基线神经网络模型进行训练，然后对其进行定制以匹配放射科医生的独特诊断方法和偏好。具体地，还将基线神经网络定制为地理特定的模型，进而将该地理特定的模型定制为机构特定的模型，进而将该机构特定的模型定制为放射科医生特定的模型。深度神经网络的集成是借助来自多个机构和地区的众多放射科医生的成像和报告数据进行连续但有选择性的训练，并且因此包括放射科医生生态系统的数字孪生。通过对深度神经网络的输出和/或放射科医生的原始注释和诊断进行校正，基于反馈连续地对集成中的层级结构的每个级别的深度神经网络进行更新。该集成允许进行连续的时间上的更新和明智的集成比较，从而允许对放射科医生特定的数字孪生进行个性化处理，同时保持集成级别的一致性。此外，用于提供计算机辅助诊断的方法(诸如图3中所示的方法)还允许放射科医生在其它机构处访问其他放射科医生的数字孪生，作为“第二意见”来改善放射科医生的诊断和放射科医生的数字孪生的计算机辅助诊断。用于更新集成的不同级别的方法(诸如图4中所示的方法)包括参照放射科医生的诊断评估放射科医生模型、机构模型和地理模型的性能。可基于模型的性能选择性地更新和部署模型，如图5所示。
13.图1是根据本发明的实施方案的用于放射科医生的深度学习模型的集成的计算系统100的框图。计算系统100包括机构101的计算系统110，该计算系统经由网络140以能够通信的方式地联接到多个机构150中的每个机构151以及服务器160。机构101和多个机构150中的每个机构151包括医学机构或设施，诸如医院或诊所。
14.机构101包括成像系统105，该成像系统被配置为获取受试者(诸如患者)的至少一部分的医学图像。成像系统105可包括医学成像系统，诸如x射线放射照相系统、超声成像系统、计算机断层摄影(ct)成像系统、核医学成像系统，诸如正电子发射断层摄影(pet)系统、磁共振成像(mri)系统等。例如，机构101可包括各种成像模态的多个成像系统105。
15.机构101还包括显示设备107，该显示设备被配置为显示经由成像系统105获取的医学图像，以便由机构101的放射科医生查看。显示设备107可包括用几乎任何类型的技术
的一个或多个显示设备。在一些实施方案中，作为非限制性示例示例，显示设备107可包括计算机监视器。显示设备107可以与用户接口108和共享壳体中的计算系统110中的一者或多者组合，也可以是外围显示设备并且可包括本领域已知的监视器、触摸屏、投影仪或其它显示设备。
16.放射科医生可经由用户接口108提供关于经由显示设备107显示的医学图像的用户输入，诸如诊断、医学图像的注释等。用户接口108可包括一个或多个输入设备，包括但不限于触摸屏、键盘、鼠标、触控板、运动感测相机，或被配置为使用户能够与机构101的计算系统110内的数据进行交互并对其进行调控的另一设备。
17.机构101的计算系统110包括处理器112，该处理器被配置为执行存储在存储器114中的机器可读指令。处理器112可包括单核处理器或多核处理器，并且在其上执行的程序可以被配置为用于进行并行或分布式处理。在一些实施方案中，处理器112可以可选地包括分布在两个或更多个设备中的单独部件，这些单独部件可被远程定位以及/或者被配置用于协调处理。在一些实施方案中，处理器112的一个或多个方面可被虚拟化并由以云计算配置进行配置的能够远程访问的联网计算设备执行。
18.存储器114可包括非暂态存储器。存储器114还可存储机构101的机构模型122、至少包括放射科医生的放射科医生模型125的多个放射科医生模型124、差异引擎128、训练模块132、图像数据135(诸如经由成像系统105获取的医学图像数据)和诊断数据139(诸如由放射科医生经由用户接口108输入的医学图像的诊断)。机构模型122可包括深度学习模型(诸如深度神经网络)，并且可借助由机构101的所有放射科医生提供的一组医学图像和对应的一组医学图像的诊断进行训练。多个放射科医生模型124的每个放射科医生模型125还可包括深度学习模型(诸如深度神经网络)，并且可借助一组医学图像和对应的一组医学图像的诊断进行训练，该医学图像由机构101的给定放射科医生提供。即专用放射科医生模型125可存储在供与机构101相关联的每个放射科医生使用的存储器114中。机构模型122和多个放射科医生模型124的每个放射科医生模型125可包括一个或多个深度神经网络，包括多个权重和偏差、激活函数、损失函数、梯度下降算法，以及用于实现一个或多个深度神经网络以接收医学图像数据并且将输入的医学图像数据映射到诊断输出的指令。为此，存储器114可存储用于实现神经网络(诸如卷积神经网络(cnn)或另一类型的神经网络架构)的指令。
19.因此，放射科医生模型125是放射科医生的数字孪生，使得放射科医生模型125接受医学图像作为输入并且为医学图像生成诊断作为输出，其中，对放射科医生模型125进行训练，如本文所述，使得由放射科医生模型125生成的诊断类似于由放射科医生提供的诊断。类似地，通过用医学图像以及来自与机构101相关联的所有放射科医生的诊断对机构模型122进行训练，因此，机构模型122是机构101的数字孪生，使得机构模型122接受医学图像作为输入并且为医学图像生成诊断作为输出，其中，由机构模型122生成的诊断可以类似于由所有放射科医生共同工作提供的诊断。
20.存储器114还包括差异引擎128，该差异引擎被配置为评估由放射科医生提供的诊断与由对应的放射科医生模型125为放射科医生生成的计算机辅助诊断之间的差异。如本文进一步所述，差异引擎128可基于此类差异来评估是否更新深度学习模型中的一者或多者。此外，在一些示例中，差异引擎128可被配置为评估其它深度学习模型(诸如机构模型
122和/或地理模型(未示出))的性能，以便确定是否应该更新深度学习模型。本文参照图4对用于差分引擎128的示例性方法进行进一步描述。
21.训练模块132包括用于训练存储在存储器114中的一个或多个深度神经网络的指令，诸如机构模型122和多个放射科医生模型124。作为说明性和非限制性示例，训练模块132可包含指令，该指令在由处理器112执行时使处理器112根据由对应于放射科医生模型125的放射科医生提供的诊断数据139和由成像系统105获取的图像数据135来更新或训练多个放射科医生模型124中的放射科医生模型125。在一些示例中，训练模块132可以在存储新的图像数据集135和对应的诊断数据139之后更新多个放射科医生模型124中的每个放射科医生模型125，使得每个放射科医生模型125被连续更新，或在其它示例中，训练模块132可以在收集一批图像数据135和对应的诊断数据139之后，基于该批图像数据135和对应的诊断数据139更新每个放射科医生模型125。训练模块132可还包括与存储在存储器114中的一个或多个神经网络模型相关联的各种数据，诸如训练数据、训练例程或参数(例如，权重和偏差)，用于训练多个放射科医生模型124中的每个放射科医生模型125和机构模型122。
22.在一些实施方案中，存储器114可包括设置在两个或更多个设备上的部件，这些部件可被远程定位和/或配置用于协调处理。在一些实施方案中，存储器114的一个或多个方面可包括以云计算配置进行配置的能够远程访问的联网存储设备。
23.应当理解，在图1中示出了机构101的计算环境，包括计算系统110、显示设备107、用户接口108和成像系统105的元件，以便进行说明而非限制。另一个适当的计算环境可包括更多、更少或不同的部件，该部件用于实现本文进一步描述的方法。
24.此外，如上所述，图1的计算系统100还包括多个机构150。可以按类似于机构101的方式配置多个机构150中的每个机构151，使得每个机构151还包括类似于机构101的计算系统110、成像系统105、显示设备107和用户接口108的计算系统、成像系统、显示设备和用户接口。因此，可为每个机构151配置类似于机构101的机构模型122的机构模型，以及类似于多个放射科医生模型124的多个放射科医生模型。
25.如本文进一步讨论的，在一些示例中，机构(诸如机构101)的放射科医生可向机构101(例如，或甚至向多个机构150中的机构151)的另一名放射科医生请求“第二意见”。例如，患者可建议访视在第二机构处的第二放射科医生以获得关于诊断的第二意见。因此，放射科医生可经由用户接口108请求第二意见，该第二意见包括由第二放射科医生的放射科医生模型生成的第二计算机辅助诊断。可经由网络140将第二计算机辅助诊断从多个机构150中的对应机构151发送到计算系统110，并且经由显示设备107显示。由于多个机构150中的每个机构151可分布在大地理区域或甚至全世界，因此，计算系统100提供了轻松获得位于另一机构的第二放射科医生的“第二意见”的能力，而无需患者访问第二机构或甚至无需第二放射科医生提供第二诊断。
26.计算系统100还包括经由网络140以能够通信的方式地联接到机构101和多个机构150的服务器160。服务器160包括处理器162，该处理器被配置为执行存储在存储器164中的机器可读指令。处理器162可包括单核处理器或多核处理器，并且在其上执行的程序可以被配置为用于进行并行或分布式处理。在一些实施方案中，处理器162可以可选地包括分布在两个或更多个设备中的单独部件，这些单独部件可被远程定位以及/或者被配置用于协调处理。在一些实施方案中，处理器162的一个或多个方面可被虚拟化并由以云计算配置进行
配置的能够远程访问的联网计算设备执行。
27.存储器164可包括存储多个模型166和差异引擎168的非暂态存储器。模型166可包括多个深度学习模型，至少包括一个基线深度学习模型、多个地理模型、多个机构模型和多个放射科医生模型。差异引擎168可被配置为评估模型166中的一个或多个模型相对于模型166中的一个或多个其它模型的性能，并且确定是否将模型166中的一个或多个模型部署到一个或多个机构，诸如机构101或多个机构150中的机构151。
28.在一些实施方案中，存储器164可包括设置在两个或更多个设备上的部件，这些部件可被远程定位和/或配置用于协调处理。在一些实施方案中，存储器164的一个或多个方面可包括以云计算配置进行配置的能够远程访问的联网存储设备。
29.因此，如本文进一步所述，服务器160可包括中央服务器，该中央服务器被配置为在多个机构150和机构101之间协调模型更新和更新后的深度学习模型的部署。应当理解，计算系统100可包括多个服务器，诸如服务器160。例如，如本文进一步所述，深度学习模型的集成可包括多个地理模型。在一些示例中，可为多个地理模型中的每个地理模型提供服务器160，其中为每个地理模型提供的服务器160位于对应于地理模型的地理区域内。
30.为了进一步说明上文提到的深度学习模型的集成，图2是示出根据本发明的实施方案的用于放射科医生的深度学习模型的集成200的示例性架构的框图。深度学习模型的集成200包括基线模型210、多个地理模型220、多个机构模型230和多个放射科医生模型240。
31.基线模型210包括借助来自多名放射科医生的诊断数据进行训练的基线神经网络模型。可复制和部署基线模型210以最初形成多个地理模型220、多个机构模型230和多个放射科医生模型240。
32.可为位于第一地理区域中的第一多个机构分配第一地理模型222，而可为位于第二地理区域中的第二多个机构分配第二地理模型224，使得多个地理模型220至少包括第一地理模型222和第二地理模型224。可根据地理区域之间的成像协议或诊断协议的差异来确定地理区域的范围。
33.第一地理区域至少包括分别分配了第一机构模型232和第二机构模型234的第一机构和第二机构。第二地理区域至少包括分别分配了第三机构模型236和第四机构模型238的第三机构和第四机构。因此，多个机构模型230至少包括第一机构模型232、第二机构模型234、第三机构模型236和第四机构模型238。
34.第一机构采用分别分配了第一放射科医生模型241和第二放射科医生模型242的第一放射科医生和第二放射科医生，而第二机构采用分配了第三放射科医生模型243的第三放射科医生。类似地，第三机构采用分配了第四放射科医生模型244的第四放射科医生，而第四机构采用分配了第五放射科医生模型245和第六放射科医生模型246的第五放射科医生和第六放射科医生。因此，多个放射科医生模型240至少包括第一放射科医生模型241、第二放射科医生模型242、第三放射科医生模型243、第四放射科医生模型244、第五放射科医生模型245和第六放射科医生模型246。
35.如上所述，最初可借助来自所有的放射科医生的诊断数据对基线模型210进行训练，并且可将基线模型210部署为多个地理模型220中的每一者、机构模型230中的每一者和放射科医生模型240中的每一者。当每个放射科医生提供附加的诊断时，多个放射科医生模
型240的对应放射科医生模型变成为放射科医生定制。因此，多个放射科医生模型240中的每个放射科医生模型是对应的放射科医生的数字孪生，使得多个放射科医生模型240中的每个放射科医生模型被定制成匹配放射科医生的独特诊断方法和偏好。
36.此外，基于机构采用的放射科医生的诊断，对多个机构模型230中的每个机构模型进行时间上的更新，使得每个机构模型包括机构的数字孪生。例如，借助由第一放射科医生提供的诊断数据对第一放射科医生模型241进行连续训练，并且借助由第二放射科医生提供的诊断数据对第二放射科医生模型242进行连续训练的同时，借助来自第一放射科医生和第二放射科医生两者的诊断数据对第一机构模型232进行连续更新。
37.类似地，基于来自对应地理区域内的机构的放射科医生的诊断，对多个地理模型220中的每个地理模型进行时间上的更新。例如，借助来自第一放射科医生和第二放射科医生的诊断数据对第一机构模型232进行训练，并且借助来自第三放射科医生的诊断数据对第二机构模型234进行训练的同时，借助来自第一放射科医生、第二放射科医生和第三放射科医生的诊断数据对第一地理模型222进行训练。
38.通过将深度学习模型的集成200建立为基线模型210、多个地理模型220、多个机构模型230和多个机构模型240，可评估给定模型相对于其它模型的性能的性能。例如，可评估给定放射科医生模型相对于与放射科医生相关的机构模型和地理模型的性能的性能。通过以此类方式评估放射科医生模型的性能，可检测到放射科医生表现的差别。例如，如果放射科医生相对于机构内的其他放射科医生表现不佳(例如，由于犯了多个诊断错误或忽视了其他放射科医生通常会提供的注释)，则该放射科医生的放射科医生模型的性能可能显著不同于该机构的机构模式的性能。以此方式，可检测到放射科医生表现不佳，并且可采取措施来改善放射科医生的表现。类似地，如果特定的放射科医生相对于其他放射科医生表现佳(例如，通过提供更准确的诊断和更详细的注释)，则该放射科医生的放射科医生模型的性能也可能显著不同于机构的机构模型的性能。由于此类放射科医生模型的优异性能通过集成200传播，因此其他放射科医生模型最终受益于改进的放射科医生模型的性能。此外，通过在整个集成200中传播个别放射科医生模型的定制更新，例如通过应用明智的集成更新，可避免过度拟合，从而通常提高所有放射科医生模型的性能。
39.应当理解，图2中示出的地理模型220的数量、机构模型230的数量和放射科医生模型240的数量是说明性的和非限制性的。在实施过程中，集成200可包括多得多的多个地理模型220、机构模型230和放射科医生模型240。
40.此外，集成200的每个深度学习模型可包括深度神经网络，诸如卷积神经网络。例如，集成200的深度学习模型可配置有卷积神经网络架构，诸如u-net架构。然而，应当理解，集成200可配置有其它深度学习模型架构、深度神经网络架构的组合等。此外，在一些示例中，深度学习模型还可配置有用于提供计算机辅助诊断的具有自然语言组件的自然语言处理系统。
41.图3是示出根据本发明的实施方案的用于用放射科医生的深度学习模型提供计算机辅助诊断的示例性方法300的高级别流程图。具体地，方法300涉及用放射科医生模型生成计算机辅助诊断并且接收来自放射科医生的反馈，用于更新放射科医生模型。参照图1和图2的系统和部件描述了方法300，但是应当理解，方法300可在不脱离本公开的范围的情况下用其他系统和部件来实现。例如，方法300可由机构(诸如机构101)的计算系统(诸如计算
系统110)执行。方法300可作为可执行指令存储在非暂态存储器(诸如计算系统110的存储器114)中，并且可由处理器(诸如计算系统110的处理器112)执行以执行本文所述的动作。
42.方法300在305处开始。在305处，方法300用成像系统获取医学图像。例如，方法300可控制成像系统105获取患者的医学图像。作为另一示例，方法300可检索经由成像系统105获取的患者的医学图像，可将该医学图像存储为图像数据135。
43.在310处，方法300接收放射科医生的指示。所指示的放射科医生包括意图查看医学图像的放射科医生。因此，可经由用户接口108接收放射科医生的指示，作为放射科医生的用户输入。作为另一示例，方法300可(例如，基于存储在存储器114中的用户登录信息)确定正在访问医学图像以进行查看的放射科医生。
44.在315处，方法300用与放射科医生相关联的放射科医生模型为医学图像生成计算机辅助诊断。例如，方法300可基于对放射科医生的指示从多个放射科医生模型124中选择放射科医生模型125，并且将医学图像输入到放射科医生模型125中。放射科医生模型125对医学图像进行处理并输出计算机辅助诊断。
45.在320处，方法300(例如，经由显示设备107)显示医学图像，以供放射科医生查看。此外，在325处，方法300显示计算机辅助诊断以供放射科医生查看。可经由显示设备107显示计算机辅助诊断。此外，可将计算机辅助诊断与医学图像相邻显示或叠加在医学图像上。
46.在330处，方法300接收来自放射科医生的诊断和/或接收来自放射科医生对计算机辅助诊断进行的校正或注释。例如，在查看医学图像和计算机辅助诊断之后，放射科医生可经由用户接口108将诊断和/或校正或注释输入到计算机辅助诊断。
47.在335处，方法300输出诊断、计算机辅助诊断和医学图像。例如，可将诊断、计算机辅助诊断和医学图像输出到存储器114以进行存储。另外，方法300可将诊断、计算机辅助诊断和医学图像输出到差异引擎128，以用于评估放射科医生模型125的性能并且可用训练模块132对放射科医生模型125进行更新。
48.继续在340处，方法300确定是否请求第二意见。例如，放射科医生可经由用户接口108请求第二意见，其中，该第二意见包括第二放射科医生模型的第二计算机辅助诊断。在一些示例中，对第二意见的请求可以指定第二放射科医生，使得第二计算机辅助诊断可由与第二放射科医生相关联的放射科医生模型生成。第二放射科医生可由放射科医生从与跟放射科医生相关联的机构相关联的多个放射科医生中选择，或者可从与另一机构相关联的多个放射科医生中选择。作为另一示例，放射科医生可指定特定机构，使得第二计算机辅助诊断可由与机构相关联的放射科医生模型生成，或由与机构相关联的机构模型生成。在一些示例中，该请求可不包括特定的第二意见的放射科医生或机构的规格，并且可使用默认模型生成第二意见。
49.如果在340处未请求第二意见(“否”)，则方法300返回。然而，如果请求了第二意见(“是”)，则方法300继续到345。在345处，方法300用第二模型为医学图像生成第二计算机辅助诊断。如上所述，第二模型可包括与第二意见的请求中指定的第二放射科医生相关联的第二放射科医生模型、与请求中指定的第二机构相关联的机构模型，或默认模型。
50.在用第二模型生成第二计算机辅助诊断之后，方法300继续到350。在350处，方法300例如经由显示设备107显示第二计算机辅助诊断。方法300还可以将第二计算机辅助诊断输出到存储器114以进行存储。然后，方法300返回。
51.图4是示出根据本发明的实施方案的用于更新放射科医生的深度学习模型的集成中的一个或多个模型的示例性方法400的高级别流程图。具体地，方法400涉及基于放射科医生针对至少一个计算机辅助诊断的反馈评估集成中的一个或多个深度学习模型的性能，并且相应地更新深度学习模型中的一者或多者。参照图1和图2的系统和部件描述了方法400，但是应当理解，方法400可在不脱离本公开的范围的情况下用其他系统和部件来实现。方法400可由机构(诸如机构101)的计算系统(诸如计算系统110)执行。另外，方法400的部分可由机构101的计算系统110执行，而方法400的其它部分可由位于远离机构101处的中央服务器(诸如服务器160)执行。
52.方法400在405处开始。在405处，方法400接收医学图像、与医学图像相关联并由放射科医生提供的诊断，以及通过将医学图像输入与放射科医生相关联的放射科医生模型而生成的计算机辅助诊断。例如，方法400可接收在如上所述的335处输出的医学图像、诊断和计算机辅助诊断。
53.在410处，方法400用与放射科医生相关联的机构模型生成第三计算机辅助诊断。例如，方法400可通过将医学图像输入到与放射科医生相关联的机构的机构模型来生成第三计算机辅助诊断。由机构模型输出的计算机辅助诊断在本文中被称为“第三”计算机辅助诊断，以将该计算机辅助诊断与在315处由放射科医生模型生成的计算机辅助诊断以及在345处可选地由第二模型生成的第二计算机辅助诊断区分开来。
54.继续在415处，方法400用与放射科医生相关联的地理模型生成第四计算机辅助诊断。例如，方法400可通过将医学图像输入到与放射科医生相关联的地理区域的地理模型来生成第四计算机辅助诊断。类似于第三计算机辅助诊断，由地理模型输出的计算机辅助诊断在本文中被称为“第四”计算机辅助诊断，以将该计算机辅助诊断与在315处由放射科医生模型生成的计算机辅助诊断、在345处可选地由第二模型生成的第二计算机辅助诊断以及在410处由机构模型生成的第三计算机辅助诊断区分开来。
55.在用机构模型和地理模型获得附加的计算机辅助诊断之后，方法400继续基于由放射科医生提供的诊断来评估每个深度学习模型的性能。为此，在420处，方法400基于诊断和计算机辅助诊断来评估放射科医生模型的性能。例如，方法400可计算诊断与计算机辅助诊断之间的差异。应当理解，评估放射科医生模型的性能的特定方法可取决于计算机辅助诊断的类型。作为非限制性和说明性示例，计算机辅助诊断可包括医学图像中的病灶的检测或分类以及医学图像中的病灶(如果检测到的话)的位置的指示。类似地，诊断可包括对医学图像中的病灶的观察以及对医学图像中的病灶的位置的注释。因此，模型的性能可包括计算如计算机辅助诊断和诊断中所指示的病灶的位置的差异。如果该位置存在巨大差异，导致放射科医生模型错误地识别医学图像中的病灶的位置，则方法400可相应地评估放射科医生模型的性能。作为另一示例，由放射科医生提供的诊断可能指示医学图像中没有观察到病灶，这可能指示放射科医生模型未正确检测医学图像中的病灶。因此，方法400可相应地确定放射科医生模型的性能。例如，方法400可基于计算机辅助诊断相对于诊断的准确度来计算性能分数，其中，较高的分数对应于较高的准确度。另选地，在可以计算差异的情况下，方法400可以简单地计算诊断与计算机辅助诊断之间的差异。在此类示例中，较小的差异对应于较高的放射科医生模型的准确度。
56.继续在425处，方法400基于诊断和第三计算机辅助诊断来评估机构模型的性能，
并且在430处，方法400基于诊断和第四计算机辅助诊断来评估地理模型的性能。方法400对机构模型和地理模型的性能的评估类似于如上文所述的对放射科医生模型的性能的评估。
57.在435处，方法400确定是否更新放射科医生模型。例如，如果计算机辅助诊断不准确(如上文所述的性能分数或计算机辅助诊断与诊断之间的差异所指示)，则可基于医学图像和诊断来更新放射科医生模型。方法400可使用放射科医生模型的阈值性能来确定是否更新放射科医生模型。例如，如果放射科医生模型的性能低于放射科医生模型的阈值性能，则可更新放射科医生模型。然而，在一些示例中，即使放射科医生模型的性能是完美的，也可以更新放射科医生模型，使得诊断与计算机辅助诊断之间没有差异。如果不更新放射科医生模型(“否”)，则方法400继续到445。然而，如果要更新放射科医生模型(“是”)，则方法400继续到440。在440处，方法400更新放射科医生模型。例如，更新放射科医生模型可包括使用医学图像和诊断对放射科医生模型进行训练。在更新放射科医生模型之后，方法400继续到445。
58.在445处，方法400确定是否更新机构模型。可基于机构模型参照该诊断的性能对该机构模型进行更新。例如，方法400还可使用机构模型的阈值性能(类似于上文所述的放射科医生模型的阈值性能)，其中，当机构模型的性能低于机构模型的阈值性能时，方法400确定对机构模型进行更新。然而，在一些示例中，机构模型的阈值性能可不同于放射科医生模型的阈值性能，因为可针对放射科医生模型的性能评估机构模型的阈值性能。例如，当放射科医生模型的性能显著不同于机构模型的性能时，方法400可确定对机构模型进行更新。如果不更新机构模型(“否”)，则方法400继续到455。然而，如果要更新机构模型(“是”)，则方法400继续到450。在450处，方法400更新机构模型。方法400可基于医学图像和诊断来更新机构模型，例如，通过使用医学图像和诊断对机构模型进行训练。在一些示例中，方法400还可使用其它医学图像以及先前用于训练放射科医生模型但不用于训练机构模型的诊断对机构模型进行训练。在更新机构模型之后，方法400继续到455。
59.在455处，方法400确定是否更新地理模型。可基于医学图像和诊断(例如，如上所述，基于地理模型参照诊断的性能)更新地理模型。例如，方法400还可使用地理模型的阈值性能(类似于机构模型的阈值性能)，其中，当地理模型的性能低于地理模型的阈值性能时，方法400可确定更新地理模型。该地理模型的阈值性能可不同于放射科医生模型的阈值性能和机构模型的阈值性能，因为可将机构模型的性能与地理模型的阈值性能进行比较以确定是否更新地理模型。例如，如果机构模型的性能显著不同于地理模型的性能，并且低于地理模型的阈值性能，则方法400可确定更新地理模型。如果不更新地理模型(“否”)，则方法400继续到465。然而，如果要更新地理模型(“是”)，则方法400继续到460。在460处，方法400更新地理模型。方法400可基于医学图像和诊断来更新地理模型，例如通过使用医学图像和诊断对地理模型进行训练。在一些示例中，方法400还可使用其它医学图像以及先前用于训练放射科医生模型和/或机构模型但不用于训练地理模型的诊断对地理模型进行训练。以此方式，最终可将对集成的较低级别模型(诸如放射科医生模型和机构模型)进行的更新传播到集成的较高级别模型(诸如地理模型)。在更新地理模型之后，方法400继续到465。
60.在465处，方法400输出诊断和计算机辅助诊断。作为示例，可将诊断和计算机辅助诊断输出到存储器(诸如机构101中的计算系统110的存储器114)。另外或另选地，可将诊断和计算机辅助诊断输出到服务器160以用于存储和/或对集成中的深度学习模型进行附加
评估和训练。
61.在470处，如果已更新模型中的任何模型，则方法400输出一个或多个模型更新。例如，可将任何更新后的模型存储在计算系统110的存储器114中，使得更新后的模型可用于生成计算机辅助诊断。另外，可将一个或多个模型更新输出到服务器160以存储和/或用于评估和训练，如本文关于图5进一步所述。然后，方法400返回。
62.图5是示出根据本发明的实施方案的用于部署放射科医生的一个或多个更新后的深度学习模型的示例性方法500的高级别流程图。具体地，方法500涉及评估更新后的深度学习模型以确定是否在深度学习模型的集成内部署更新后的深度学习模型。参照图1和图2的系统和部件描述了方法500，但是应当理解，方法500可在不脱离本公开的范围的情况下用其他系统和部件来实现。例如，方法500可实现为非暂态存储器(诸如存储器164)中的可执行指令，并且由服务器(诸如服务器160)的处理器(诸如处理器162)执行。
63.方法500在505处开始。在505处，方法500接收一个或多个模型更新。方法500可接收在470处输出的一个或多个模型更新，例如，对应于对放射科医生模型、机构模型和地理模型中的一者或多者进行的模型更新。
64.继续在510处，方法500确定放射科医生模型是否已更新。如果放射科医生模型未更新(“否”)，则方法500继续到520。然而，如果放射科医生模型已更新(“是”)，则方法500继续到515。在515处，方法500评估更新后的放射科医生模型的性能。方法500可通过使用包括多张医学图像和对应诊断的专用评估数据集评估更新后的放射科医生模型的性能。即方法500可将评估数据集的多张医学图像输入到更新后的放射科医生模型中，并且将由更新后的放射科医生模型输出的对应计算机辅助诊断和评估数据集的已知诊断进行比较。因此，方法500可确定更新后的放射科医生模型相对于更新之前的放射科医生模型是否得到改善。然后，方法500前进至520。
65.在520处，方法500确定机构模型是否已更新。如果机构模型未更新(“否”)，则方法500继续到530。然而，如果机构模型已更新(“是”)，则方法500继续到525。在525处，方法500评估更新后的机构模型的性能。可用评估数据集以与如上文所述的更新后的放射科医生模型相似的方式评估更新后的机构模型的性能。方法500还可确定更新后的机构模型的性能相对于更新之前的机构模型是否得到改善。然后，方法500前进至530。
66.在530处，方法500确定地理模型是否已更新。如果地理模型未更新(“否”)，则方法500继续到540。然而，如果地理模型已更新(“是”)，则方法500继续到535。在535处，方法500评估更新后的地理模型的性能。可用评估数据集以与如上文所述的更新后的放射科医生模型相似的方式评估更新后的地理模型的性能。方法500还可确定更新后的地理模型相对于更新之前的地理模型是否得到改善。然后，方法500前进至540。
67.在540处，方法500确定是否更新基线模型。例如，如果更新后的模型中的一者或多者的性能得到改善，则方法500可确定更新基线模型。如果不更新基线模型，则方法500继续到550。然而，如果要更新基线模型，则方法500继续到545。在545处，方法500更新基线模型。方法500可通过将一个或多个模型更新结合到基线模型来更新基线模型。作为另一示例，方法500可通过使用用于获得一个或多个模型更新的相同医学图像和诊断对基线模型进行训练来更新基线模型。然后，方法500前进至550。
68.在550处，方法500确定是否部署更新后的模型中的一者或多者。如果更新后的模
型的性能得到改善，则方法500可确定部署更新后的模型。例如，如果更新后的放射科医生模型的性能得到改善而更新后的机构模型的性能未得到改善，则方法500可确定部署更新后的放射科医生模型以置换放射科医生模型，但不部署更新后的机构模型。在一些示例中，方法500可响应于机构要求更新特定模型的请求而确定部署一个或多个更新后的型模型之一。另外或另选地，方法500可基于自先前部署更新后的模型以来的实耗时间来确定部署一个或多个更新后的模型之一。例如，方法500可被配置为定期部署更新后的模型，诸如一个月一次或一年一次。以此方式，在部署之前，可借助足量的数据对更新后的模型进行充分测试和训练。如果不部署一个或多个更新后的模型中的一者或多者(“否”)，则方法500继续到555。在555处，方法500存储一个或多个不部署的更新后的模型。例如，方法500可将一个或多个不部署的更新后的模型存储在存储器164中。方法500还可将待部署的一个或多个更新后的模型存储在存储器164中。然后，方法500返回。
69.此外，如果要部署一个或多个更新后的模型中的一者或多者(“是”)，则方法500继续到560。在560处，方法500部署一个或多个待部署的更新后的模型。例如，如果要部署更新后的放射科医生模型，则方法500将更新后的放射科医生模型发送到机构以供使用。另选地，由于更新后的放射科医生模型可能已经存储在机构中，方法500可发送使用更新后的放射科医生模型以代替先前的放射科医生模型的指示。然后，方法500返回。
70.本公开的技术效果包括用计算系统自动生成医学图像的诊断。本公开的另一技术效果包括显示自动生成的医学图像的诊断。本公开的又另一技术效果包括显示与位于另一地理区域的放射科医生的诊断偏好相对应的自动生成的医学图像的诊断，而无需由放射科医生输入。本公开的另一技术效果包括对被配置作为放射科医生的数字孪生的深度神经网络模型的集成进行训练。
71.在一个实施方案中，一种方法包括：用成像系统获取受试者的医学图像；用与机构的放射科医生相关联的放射科医生模型为医学图像生成计算机辅助诊断，该放射科医生模型包括借助由放射科医生提供的多个诊断进行训练的深度神经网络；经由显示设备显示医学图像和计算机辅助诊断，以及基于医学图像选择性地更新放射科医生模型、与机构相关联的机构模型以及与包含机构的地理区域相关联的地理模型中的一者或多者。
72.在该方法的第一示例中，该方法还包括用与第二放射科医生相关联的第二放射科医生模型生成第二计算机辅助诊断，并且经由显示设备向放射科医生显示该第二计算机辅助诊断。在可选地包括第一示例的该方法的第二示例中，该方法还包括经由用户接口接收来自放射科医生的医学图像的诊断，其中，基于医学图像选择性地更新放射科医生模型、机构模型和地理模型中的一者或多者包括基于诊断和医学图像选择性地更新放射科医生模型、机构模型和地理模型中的一者或多者。在可选地包括第一示例和第二示例中的一者或多者的该方法的第三示例中，该方法还包括基于诊断和计算机辅助诊断来评估放射科医生模型的性能，其中，选择性地更新放射科医生模型、机构模型和地理模型中的一者或多者包括响应于放射科医生模型的性能低于放射科医生模型的性能阈值，基于医学图像和诊断来更新放射科医生模型。在可选地包括第一示例至第三示例中的一者或多者的该方法的第四示例中，该方法还包括用机构模型为医学图像生成第三计算机辅助诊断，并且基于诊断和第三计算机辅助诊断来评估机构模型的性能，其中，选择性地更新放射科医生模型、机构模型和地理模型中的一者或多者包括响应于机构模型的性能低于机构模型的性能阈值，基于
医学图像和诊断来更新机构模型。在可选地包括第一示例至第四示例中的一者或多者的该方法的第五示例中，该方法还包括用地理模型为医学图像生成第四计算机辅助诊断，并且基于该诊断和该第四计算机辅助诊断来评估地理模型的性能，其中，选择性地更新放射科医生模型、机构模型和地理模型中的一者或多者包括响应于地理模型的性能低于地理模型的性能阈值，基于医学图像和诊断来更新地理模型。在可选地包括第一示例至第五示例中的一者或多者的该方法的第六示例中，该方法还包括基于医学图像和诊断来更新基线深度神经网络模型，其中，该基线深度神经网络模型最初是借助多个放射科医生的诊断决策进行训练，并且其中，放射科医生模型、机构模型和地理模型最初是从基线深度神经网络模型生成的。在可选地包括第一示例至第六示例中的一者或多者的该方法的第七示例中，该方法还包括评估放射科医生模型相对于机构模型和地理模型中的一者或多者的性能。
73.在另一个实施方案中，一种方法包括：用成像系统获取受试者的医学图像；用与机构的放射科医生相关联的放射科医生模型为医学图像生成计算机辅助诊断，该放射科医生模型包括借助由放射科医生提供的多个诊断进行训练的深度神经网络；经由显示设备向放射科医生显示医学图像和计算机辅助诊断；经由用户接口接收来自放射科医生的医学图像的诊断；以及基于诊断选择性地更新放射科医生模型、与该机构相关的机构模型以及与包含该机构的地理区域相关联的地理模型中的一者或多者。
74.在该方法的第一示例中，该方法还包括：经由用户接口从放射科医生接收第二放射科医生对第二意见的请求；用与第二放射科医生相关联的第二放射科医生模型生成第二计算机辅助诊断；以及经由显示设备向放射科医生显示第二计算机辅助诊断。在可选地包括第一示例的该方法的第二示例中，该方法还包括：经由网络将请求传递到与第二放射科医生相关联的第二机构的计算系统，第二放射科医生模型存储在第二机构的计算系统处，第二计算机辅助诊断由第二机构的计算系统用第二放射科医生模型生成；以及经由网络从计算系统接收第二计算机辅助诊断。在可选地包括第一示例和第二示例中的一者或多者的该方法的第三示例中，该方法还包括：基于诊断和计算机辅助诊断来评估放射科医生模型的性能，其中，选择性地更新放射科医生模型、机构模型和地理模型中的一者或多者包括响应于放射科医生模型的性能低于放射科医生模型的性能阈值，基于医学图像和诊断来更新放射科医生模型。在可选地包括第一示例至第三示例中的一者或多者的该方法的第四示例中，该方法还包括用机构模型为医学图像生成第三计算机辅助诊断，并且基于诊断和第三计算机辅助诊断来评估机构模型的性能，其中，选择性地更新放射科医生模型、机构模型和地理模型中的一者或多者包括响应于机构模型的性能低于机构模型的性能阈值，基于医学图像和诊断来更新机构模型。在可选地包括第一示例至第四示例中的一者或多者的该方法的第五示例中，该方法还包括：用地理模型为医学图像生成第四计算机辅助诊断，并且基于诊断和第四计算机辅助诊断来评估地理模型的性能，其中，选择性地更新放射科医生模型、机构模型和地理模型中的一者或多者包括响应于地理模型的性能低于地理模型的性能阈值，基于医学图像和诊断来更新地理模型。在可选地包括第一示例至第五示例中的一者或多者的该方法的第六示例中，该方法还包括：基于医学图像和诊断来更新基线深度神经网络模型，其中，该基线深度神经网络模型最初是借助多个放射科医生的诊断决策进行训练，并且其中，放射科医生模型、机构模型和地理模型最初是从基线深度神经网络模型生成的。在可选地包括第一示例至第六示例中的一者或多者的该方法的第七示例中，该方法还包括
评估放射科医生模型相对于机构模型和地理模型中的一者或多者的性能。
75.在另一个实施方案中，一种方法包括：借助多名放射科医生的诊断决策对基线神经网络模型进行训练，借助与地理区域相对应的多名放射科医生的子组的诊断决策对基线神经网络模型进行训练以生成地理模型，借助与地理区域中的机构相对应的多名放射科医生的该子组中的子组的诊断决策对地理模型进行训练以生成机构模型，借助多名放射科医生中的放射科医生的诊断决策对机构模型进行训练(该放射科医生与地理区域中的机构相关联)以生成放射科医生模型，借助放射科医生模型为患者生成计算机辅助诊断，从放射科医生接收关于计算机辅助诊断的反馈，并且基于反馈选择性地更新基线神经网络模型、地理模型、机构模型和放射科医生模型中的一者或多者。
76.在该方法的第一示例中，该方法还包括：借助对应于第二地理区域的多名放射科医生的第二子组的诊断决策对基线神经网络模型进行训练以生成第二地理模型；借助对应于第二地理区域中的第二机构的多名放射科医生的第二子组的子组的诊断决策对第二地理模型进行训练以生成第二机构模型，以及借助多名放射科医生中的第二放射科医生的诊断决策对第二机构模型进行训练(第二放射科医生与第二地理区域中的第二机构相关联)以生成第二放射科医生模型。在可选地包括第一示例的该方法的第二示例中，该方法还包括接收多名放射科医生中的第二放射科医生对第二意见的请求，并且将请求发送到第二机构的计算系统。在可选地包括第一示例和第二示例中的一者或多者的该方法的第三示例中，该方法还包括从第二机构的计算系统接收由第二放射科医生的第二放射科医生模型生成的第二计算机辅助诊断，以及向放射科医生显示第二计算机辅助诊断。在可选地包括第一示例至第三示例中的一者或多者的该方法的第四示例中，基于反馈选择性地更新基线神经网络模型、地理模型、机构模型和放射科医生模型中的一者或多者包括参照该反馈来评估基线神经网络模型、地理模型、机构模型和放射科医生模型中的每一者的性能，并且响应于性能低于相应的性能阈值，选择性地更新基线神经网络模型、地理模型、机构模型和放射科医生模型中的一者或多者。在可选地包括第一示例至第四示例中的一者或多者的该方法的第五示例中，该方法还包括评估放射科医生模型相对于机构模型、地理模型和基线神经网络模型的性能的性能，以识别放射科医生模型与机构模型、地理模型和基线神经网络模型中的一者或多者的差别。
77.在又另一实施方案中，一种系统包括被配置为获取受试者的医学图像的成像系统、被配置为显示医学图像的显示设备；以及包括处理器和非暂态存储器的计算系统，该非暂态存储器存储最初借助多名放射科医生的诊断决策进行训练的多个神经网络模型，该非暂态存储器配置有指令，该指令在被执行时使处理器：基于由第一放射科医生针对经由成像系统获取的第一组医学图像提供的诊断决策来训练多个神经网络模型中的第一神经网络模型；基于由第二放射科医生针对经由成像系统获取的第二组医学图像提供的诊断决策，对多个神经网络模型中的第二神经网络模型进行训练；接收放射科医生的指示以查看医学图像；响应于指示第一放射科医生的放射科医生的指示，用第一神经网络模型生成第一计算机辅助诊断；响应于指示第二放射科医生的放射科医生的指示，用第二神经网络模型生成第二计算机辅助诊断；以及经由显示设备将第一计算机辅助诊断或第二计算机辅助诊断与医学图像一起显示。
78.在该系统的第一示例中，非暂态存储器还配置有指令，该指令在被执行时使处理
器经由以能够通信的方式地联接到计算系统的用户接口接收来自第一放射科医生或第二放射科医生的关于医学图像的诊断，并且基于诊断来更新第一神经网络模型或第二神经网络模型。在可选地包括第一示例的该系统的第二示例中，多个神经网络模型还包括借助第一放射科医生的诊断决策和第二放射科医生的诊断决策进行连续训练的第三神经网络模型。在可选地包括第一示例和第二示例中的一者或多者的该系统的第三示例中，非暂态存储器还配置有指令，该指令在被执行时使处理器评估第一神经网络模型和第二神经网络模型相对于第三神经网络模型的性能的性能，并且将更新从第三神经网络模型传播到第一神经网络模型和第二神经网络模型中的一者或多者，以防止第一神经网络模型和第二神经网络模型中的一者或多者过度拟合。在可选地包括第一示例至第三示例中的一者或多者的该系统的第四示例中，非暂态存储器还配置有指令，该指令在被执行时使处理器经由用户接口接收第三放射科医生对第三计算机辅助诊断的请求。在可选地包括第一示例至第四示例中的一者或多者的该系统的第五示例中，非暂态存储器还配置有指令，该指令在被执行时使处理器向第二计算系统发送请求，并从第二计算系统接收第三计算机辅助诊断，该第三计算机辅助诊断由具有神经网络模型的第二计算系统生成，该神经网络模型是借助第三放射科医生的诊断决策进行训练的。
79.如本文所用，以单数形式列举并且以单词“一个”或“一种”开头的元件或步骤应当被理解为不排除多个所述元件或步骤，除非明确说明此类排除。此外，对本发明的“一个实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。此外，除非明确地相反说明，否则“包含”、“包括”或“具有”具有特定特性的元件或多个元件的实施方案可包括不具有该特性的附加此类元件。术语“包括”和“在...中”用作相应的术语“包含”和“其中”的简明语言等同形式。此外，术语“第一”、“第二”和“第三”等仅用作标记，而不旨在对其对象施加数字要求或特定位置次序。
80.该书面描述使用示例来公开本发明，包括最佳模式，并且还使相关领域中的普通技术人员能够实践本发明，包括制造和使用任何设备或系统以及执行任何包含的方法。本发明可取得专利权的范围由权利要求书限定，并且可包括本领域普通技术人员想到的其他示例。如果此类其它示例具有与权利要求书的字面语言没有区别的结构元件，或者如果它们包括与权利要求书的字面语言具有微小差别的等效结构元件，则此类其它示例旨在落入权利要求书的范围内。