在成像点处用于对使成像工作流程效率更高的选择的即时建议的设备的制作方法

1.本发明涉及图像处理系统、移动式图像处理设备在所述系统中的用途、移动式处理设备、图像处理方法、计算机程序单元以及计算机可读介质。


背景技术：

2.以前，操作医学成像仪器的人主要是诸如放射技师(x射线、ct或mri)、超声技师(超声)或核医学技术人员(nm成像)等专业操作人员。然而，一种新的趋势正在出现，其中，由不太合格的工作人员负责执行检查。这种没有保障的做法可能会导致临床质量的损失。
3.操作者(在本文中被称为“用户”)负责在整个检查过程中执行一组工作步骤，包括例如以下各项，具体根据仪器的模态和具体情况：
4.(i)患者定位，
5.(ii)在流程进行的同时调整成像扫描的参数，
6.(iii)自行执行采集，以及
7.(iv)在成像仪器的控制台处对结果得到的图像进行审查和后处理。
8.一旦完成了成像检查，现代放射学工作流程中的后续步骤通常就被组织起来，使得操作者以电子方式将图像发送到图像数据库(pacs)以进行存储，并且同时经由阅读工作列表将图像发送到另一经过训练的专家(医学认证的放射科医师)以用于解读检查的发现结果。取决于许多因素(例如，医学状况的紧迫性和机构特异性工作负荷组织形式)，这种解读常常以异步方式发生，这意味着在图像采集与图像解读之间存在显著的时间延迟。
9.人工智能(ai)有潜力补偿合格人员的不足的问题，同时还能提高临床效率。ai系统是计算机实施的系统。它们基于机器学习算法，已经在训练数据上对这些机器学习算法进行了预先训练以执行任务，例如，在检查期间帮助用户的任务。虽然这样的ai系统已经存在，但是它们通常被集成到针对给定医学设施的给定成像仪器或医院it基础设施中。此外，这些ai系统可能因设施而异，并且可能不容易操作，或者ai输出可能并不总是容易理解。此外，一些医学设施(例如，农村地区或新兴市场中的医学设施)可能根本没有这样的ai系统。


技术实现要素：

10.因此，会需要解决上述缺陷中的至少一些缺陷的系统和方法。
11.本发明的目的通过独立权利要求的主题来解决，其中，进一步的实施例被并入在从属权利要求中。应当注意，根据本发明的图像处理系统的下述方面等同地适用于系统中的移动式图像处理设备的用途、移动式处理设备、图像处理方法、计算机程序单元以及计算机可读介质。
12.根据本发明的第一方面，提供了一种成像系统，包括：
13.医学成像装置(在本文中也被称为“成像器”)，其包括探测器和显示单元，所述探测器用于在成像会话中采集患者的第一图像；所述显示单元用于在屏幕上显示所述第一图
像；
14.移动式图像处理设备，其与所述医学成像装置不同，所述移动式图像处理设备包括：
15.接口，其用于接收所述第一图像的表示；
16.图像分析器，其被配置为分析所述表示并且基于所述分析在所述成像会话期间计算医学决策支持信息；以及
17.板载显示设备，其用于显示所述决策支持信息。
18.移动式图像处理设备(“mip”)优选与医学成像装置不同并且独立于医学成像装置。该接口是通用接口并且提供与一系列不同医学成像装置(甚至是不同模态)的互操作性。该接口没有被嵌入到成像仪器中，在这个意义上讲，该接口是独立的，因此移动式设备能够被接口连接到任意成像器。mip能够用作现有成像装置的附件。能够在成像点处使用mip。具体地，分析器被配置为实时(也就是说，在成像会话期间)计算决策支持信息(“dsi”)。成像会话包括患者驻留在成像装置中或成像装置处的时间段，或者至少包括在患者处于成像装置所在的检查室中的时间段。
19.在实施例中，所述移动式图像处理设备的所述接口包括成像部件，所述成像部件被配置为在所述成像会话期间捕获所显示的第一图像作为第二图像，所述第二图像形成所述表示。
20.换句话说，该实施例基于所显示的图像的直接成像(“图像的图像”)。在其他实施例中，如果成像装置被如此装备，则接口被布置为ncf或蓝牙。其他实施例仍然包括局域网、无线局域网等。
21.在实施例中，所述决策支持信息包括以下各项中的一项或多项：ii)与所述患者有关的推荐工作流程，ii)与所述第一图像有关的图像质量的指示，ii)关于医学发现的指示，iii)优先级信息。
22.在实施例中，所述推荐工作流程与针对所述患者设想的先前定义的工作流程不同。
23.在实施例中，关于图像质量的指示包括以下各项中的任意一项或多项的指示：a)患者定位，b)准直器设置，c)对比度，d)分辨率，e)噪声，f)伪影。
24.在实施例中，所述图像分析器包括预先训练的机器学习部件。
25.在实施例中，自动将所述推荐工作流程付诸实现，或者在通过所述移动式设备的用户接口接收到用户指令之后将所述推荐工作流程付诸实现。
26.在实施例中，所述图像分析器被完全集成到所述移动式设备中，或者其中，所述图像分析器的至少部分被集成到远程设备中，所述远程设备能通过通信网络被通信性耦合到所述移动式设备。
27.在实施例中，所述移动式图像处理设备是手持式设备，所述手持式设备包括以下各项中的任一项：i)移动电话，ii)膝上型计算设备，iii)平板电脑。
28.在另一方面中，提供了一种移动式图像处理设备，在根据上述实施例中的任一个实施例的系统(sys)中使用所述移动式图像处理设备。
29.在另一方面中，提供了所述移动式图像处理设备在根据上述实施例中的任一实施例的系统中的一种用途。
30.在另一方面中，提供了一种移动式图像处理设备，其包括成像部件和分析器逻辑单元，所述成像部件能够采集表示与患者有关的医学信息的图像，所述分析器逻辑单元被配置为基于所述图像来计算与所述患者有关的决策支持信息，其中，所述成像部件包括与所述成像部件的自动聚焦模块协作的图像识别模块，所述识别模块被配置为识别所述成像部件的视场中的至少一个矩形对象。
31.在实施例中，所述分析器逻辑单元被实施在处理器电路中，所述处理器电路被配置用于并行计算，所述处理器电路例如为多核处理器、gpu或其部分。
32.图像分析器可以被包括在片上系统(soc)电路中。
33.一种图像处理方法，包括以下步骤：
34.由医学成像装置的探测器在成像会话中采集患者的第一图像；
35.在屏幕上显示所述第一图像；
36.由与所述医学成像装置不同的移动式图像处理设备接收所述第一图像的表示；
37.分析所述表示并且基于所述分析在所述成像会话期间计算医学决策支持信息，并且
38.在板载显示设备上显示所述决策支持信息。
39.在另一方面中，提供了一种计算机程序单元，其在由至少一个处理单元运行时适于使所述处理单元执行所述方法。
40.在另一方面中，提供了一种其上存储有所述程序单元的计算机可读介质。
41.在本文中提到的“用户”是至少部分地以管理或组织方式参与成像流程的医学人员。
[0042]“患者”是要被成像的人，或者在兽医环境中是动物(特别是哺乳动物)。
[0043]“机器学习(“ml”)部件”是实施ml算法的任何计算单元或布置。ml算法能够从示例(“训练数据”)中学习。这种学习(即，由ml部件执行的能通过性能度量测量的任务的性能)通常随着训练数据而提高。一些ml算法基于ml模型，该ml模型是基于训练数据来调整的。
附图说明
[0044]
现在将参考以下附图来描述本发明的示例性实施例，这些附图不是按比例绘制的，其中：
[0045]
图1示出了成像布置的框图；
[0046]
图2是如实施例中所设想的并且可以在图1的布置中使用的移动式图像处理设备的框图；
[0047]
图3示出了如实施例中所设想的移动式图像处理设备的用例；
[0048]
图4示出了与定位设备结合使用的移动式图像处理设备；
[0049]
图5示出了用于移动式图像处理设备的定位设备的各种实施例；
[0050]
图6-9示出了可以使用所提出的移动式图像处理设备的通信网络的实施例；
[0051]
图10示出了图像处理的流程图；并且
[0052]
图11示出了机器学习模型。
具体实施方式
[0053]
参考图1，图1示出了在医学或临床设置中设想的布置ar的示意性框图。然而，以下描述不一定局限于医学领域。
[0054]
在医学设施(例如，全科医生营业所、诊所、医院或其他设施)中，患者pat在登记台cd处进行登记。患者pat要么已经被分配了处置计划pl，要么在登记cd处被分配处置计划pl。处置计划pl规定了要针对患者执行的许多医学流程。这样的流程的一个步骤可以包括用于诊断或治疗目的的成像。成像能够由成像装置ia来完成。
[0055]
成像装置ia可以是任何模态，例如，透射成像或发射成像。透射成像包括例如利用ct扫描器或其他仪器执行的基于x射线的成像。也可以设想到磁共振成像mri和超声成像。发射成像包括pet/spect和其他核医学模态。为了执行成像，患者pat被引入成像装置ia所在的成像室ir中(参见图4)。
[0056]
在成像会话期间，要求患者的图像im，图像im优选是数字形式的，并且可以帮助医生进行诊断。为了便于在成像会话期间进行正确成像，该布置包括计算机化的系统sys以支持对图像1a的成像操作。用户us1不一定是拥有医学学位的医生，而可以是医学技术人员或训练较少的用户。系统sys促进安全和正确地使用成像器，即使对于医学技能水平低、半熟练或接受在职培训的工作人员来说也是如此。
[0057]
系统sys优选包括移动式图像处理设备mid，用户us1能够操作该移动式图像处理设备mid来帮助他或她在成像会话中正确且安全地采集患者pat的图像。设备mid(在本文中被称为“移动式设备”mid)与成像装置ia是不同且分离的。如将在下面更全面地探讨的，移动式设备mid包括通用接口if，通过该通用接口if能够接收由成像装置采集的图像(在本文中被称为“源图像”im)的副本im’。
[0058]
移动式设备mid特别包括图像分析器iaz部件，该图像分析器iaz部件允许分析副本图像im，以获得能够在移动式设备mid的板载显示器od上显示的决策支持信息。该信息能够帮助用户us1评估例如源图像im是否具有足够的质量。所显示的信息可以包括对针对进一步的步骤的建议，如果发现源图像im质量较差，则该建议可以包括重新进行成像的建议。额外地或替代地，该信息可以指示医学状况的存在，并且还可以包括用于改变预先分配的计划pl的建议。基于由移动式设备mi执行的分析，可以调整或者改变计划pl，这将在下面更全面地解释。
[0059]
取决于所显示的决策支持信息，用户us1可以决定通过医院通信网络cn将源图像im转发到诸如pacs之类的图像储存库。医院信息基础设施his可以包括能够通过通信网络cn访问的其他数据库db、服务器sv或其他用户us2的其他工作站ws2。除了将源图像转发到储存库之外或者代替将源图像转发到储存库，可以将源图像直接转发到在工作站ws2处的医生us2以用于解读或“读取”，从而例如建立诊断。替代地，医生可以从pacs中取回成像器。如上所述，技术人员us1通常不参与对影像的解读。这项任务留给拥有医学学位的医生us2，他们接受过图像阅读方面的训练。由移动式设备mid支持的成像器1a用户us1能够将他或她的注意力完全集中在根据协议正确采集足够质量的源图像im的技术考量上。医生us2然后能够放心“已经采集了正确的图像”这件事，并且他或她的注意力能够集中在解读影像上，而不会被图像采集的技术方面所打扰。
[0060]
现在更详细地转向设想的布置ar，并且继续参考图1，成像装置ia通常包括信号源
ss。在成像会话中的图像采集期间，信号源ss发射询问信号，该询问信号与患者体内的组织相互作用。作为与组织相互作用的结果，该信号被修改。探测器单元d然后探测经如此修改的信号。采集电路将探测到的信号(例如，强度)转换成数字图像(即，源图像im)。
[0061]
技术用户us1从包括固定式计算设备的操作者控制台oc执行对成像参数的调整和在整个图像采集过程中对成像装置的整体控制。操作者控制台oc可以与成像器ia位于同一房间ir中，或者可以位于单独的房间中。
[0062]
操作者控制台被通信性耦合到与操作者控制台oc和成像器ia相关联的显示设备(在本文中被称为监视器md)。所采集的图像由采集电路转发到能由用户us1操作的操作者控制台oc中的计算单元ws1(即，工作站)。
[0063]
操作者控制台可以通过网络cn被通信性耦合到his中。
[0064]
所采集的源图像im可以被显示在主监视器md上。这允许用户us1粗略确定源图像是否正确。以前，如果用户us1感觉图像是正确的，则可以通过通信网络将例如以时间系列采集的一幅或多幅源图像(运动图片)转发到医院信息结构中，从而到达其预期目的地(例如，pacs)，或者可以将例如以时间系列采集的一幅或多幅源图像(运动图片)直接转发到处于医生us2的工作站ws2处的医生us2。
[0065]
如本文所提出的，在用户us1做出将源图像im转发到医院基础设施中的决定之前，用户us1可以使用移动式设备mid来分析源图像以确定图像质量和/或医学发现。该分析是由移动式设备mid采集源图像im的副本im’，然后分析副本图像im’来完成的。有利地，如本文所提出的，移动式设备mid不与医院信息结构或成像装置ia或操作者控制台或工作站集成或“捆绑”在一起。相反，移动式成像处理设备mid是单独的、非依赖性的、独立的单元，其优选被设想为能够独立分析接收到的副本im’以计算决策信息并且在用户us1自己的显示器od上显示该决策信息。这是有利的，因为并不是所有的医学设施都具有在成像点处提供的图像质量评估功能。具体地，在给定的科室或设施处的给定的成像装置处，图像质量评估功能可以被集成到工作站ws1或操作者控制台中，也可以不被集成到工作站ws1或操作者控制台中。用户us1可以在线路上，也就是说，用户us1可以被分配到同一医学医院的不同科室，或者实际上可以被分配到地理区域中的不同医学设施处工作，并且因此被要求操作来自不同制造商和/或跨不同模态的一系列不同的医学成像仪器。在这种情况下，用户us1能够始终如一地使用他或她自己的移动式设备mid来可靠地分析所采集的影像，而与给定的基础设施无关。这确保了在各个设施之间护理质量的一致性。
[0066]
现在参考图2的框图，图2提供了所设想的移动式图像处理设备mid的更多细节。如上所述，移动式设备mid包括通用接口in，无论给定的成像基础设施如何，该通用接口in都允许接收副本im’。
[0067]
在一个实施例中，通用接口in被布置为具有图像传感器s的相机。移动式设备mid可以被布置为智能电话、平板电脑、膝上型电脑、笔记本电脑或具有集成相机的任何其他计算设备。
[0068]
移动式设备mid具有其自己的板载显示器od。在该显示器上，可以根据要求显示所采集的副本im’。额外地或替代地，由图像分析器iaz提供的决策信息可以被显示在板载显示设备od上。
[0069]
图像分析器iaz可以是由人工智能驱动的。特别地，图像分析器iaz可以作为预先
训练的机器学习部件或模型而被包括在内。图像分析器iaz可以在移动式设备mid的处理单元上运行。处理单元可以包括通用电路和/或专用计算电路(例如，gpu)，或者可以是多核多处理器的专用核。优选地，处理单元被配置用于并行计算。这种配置在底层机器学习模型是诸如卷积网络之类的神经网络的情况下特别有利。这种类型的机器学习模型能够通过向量、矩阵或张量乘法来有效实施。这种类型的计算能够在并行计算基础设施中得到加速。
[0070]
移动式设备mid还可以包括通信仪器，该通信仪器包括发射器tx和接收器rx。通信仪器允许与医院网络cn相连接。设想的通信能力包括以下各项中的一项或多项：wi-fi、无线电通信、蓝牙、nfc或其他通信能力。
[0071]
在优选实施例中，移动式设备被配置用于“图像的图像”功能以采集源图像im的副本im’。更具体地，在已经采集了源图像im并将其显示在主显示器md上之后，用户us1操作移动式设备mid来捕获在主显示器md上显示的源图像im的图像。如此捕获的图像形成副本图像im’。
[0072]
为了更好地帮助用户us1捕获该副本图像im’，图像传感器s可以被耦合到自动聚焦af功能，该自动聚焦af功能自动调节聚焦和/或曝光。更优选地，自动聚焦af被耦合到图像识别模块irm，该图像识别模块irm帮助用户us1以对在主监视器md上显示的源图像im的良好聚焦的方式捕获副本图像im’。为此，图像识别模块irm被配置为在视场中搜索正方形或矩形对象，因为这正是当在主监视器md上显示源图像时源图像的预期形状或主显示器md本身的形状。在利用自动对象形状识别进行聚焦期间，可以在视场中指示所捕获的对象的轮廓以对用户us1提供帮助。例如，可以对表示在当前视场中表示的主显示器md的边界或当前在主显示器上显示的源图像im本身的边界的正方形或矩形的轮廓进行可视化。
[0073]
一旦正确的对象被聚焦，用户就通过操作虚拟或真实的快门按钮ui来请求图像捕获。所捕获的图像(即，副本im’)被存储在移动式设备mid的内部存储器中。所捕获的副本图像im’被转发给成像器分析器iaz以用于分析。为了排除不相关的信息，可以在分析之前自动裁剪所捕获的图像，使得剩余的像素信息仅表示根据源图像im得到的医学信息。
[0074]
副本im’的分辨率通常低于源图像im的分辨率，并且由图像传感器s的分辨率能力来决定。为了适当地考虑这种分辨率下降的因素，移动式设备可以包括允许用户输入源图像的原生分辨率的设置菜单。可以自动获得或者可以由用户提供传感器的分辨率能力，因此可以自动获得或者可以由用户提供图像的副本im’的分辨率。基于该数据(即，这两个分辨率或其比率)，图像分析器iaz能够在分析副本图像im’时考虑这种分辨率下降的因素。
[0075]
用户能够指定的其他设置可以包括成像的目的，特别是对感兴趣解剖结构的指定，例如，胸部、头部、手臂、腿部或腹部。用户还可以输入患者的某些一般患者特性，例如，性别、年龄、体重(如果有的话)。优选地，板载显示器接受触摸屏输入。诸如图形用户接口ui之类的ui可以被显示在板载屏幕上，通过该ui，用户能够应用或访问上述设置。
[0076]
图像分析器iaz优选分两个阶段分析图像。在第一阶段中，确定图像质量(例如，分辨率、正确的准直器设置(如果有的话)等)。也可以分析图像对比度。一旦图像质量满足了某些预定义标准，就可以进一步分析图像以确定医学状况。如果发现医学状况，就可以(优选以优先级级别)在板载显示器od上标示该医学状况。先前级别可以包括对“低”、“中”或“高”优先级的指定和/或医学状况的名称。替代地，可以使用更精细或更粗糙的优先级级别粒度。例如，如果确定存在传染病(例如，肺结核)，则可以将该医学状况被标示为高度紧迫
情况。如果没有发现任何医学状况，则可以显示确认指示(例如，“ok”)或根本没有指示。额外地或替代地，显示针对图像质量的指示，以便向用户指示当前iq是否满足预定义iq准则。预定义iq准则可以是用户可配置的。
[0077]
因此，由图像分析器计算的决策支持信息可以包括以下各项中的任意一项或多项：iq、医学发现和/或相关联的优先级级别。额外地或替代地，如果发现医学状况，则可以建议和显示有关的工作流程。这个建议的工作流程可能与当前分配的计划pl不同。如果用户接受所提出的工作流程变更，则用户可以操作用户接口ui来启动和配准变更后的计划pl’。这可以通过移动式设备连接到网络cn并向登记台cd或责任医生us2等发送适当消息来完成。如果iaz发现iq有缺陷，则可以提出重新拍摄图像，任选地还可以建议更新成像参数。用户us1然后可以使用ui来接受重新拍摄的提议，并且将经适当格式化的消息发送到操作控制台oc以调节成像参数和/或启动图像的重新拍摄。
[0078]
移动式设备mid的上述功能可以通过在具有成像能力的普通手持式设备中安装软件来实施。这能够通过用户us1将“应用”从分发服务器(即，“应用商店”)下载到他们的普通手持式设备上来完成。
[0079]
为了更好地帮助用户us1捕获源图像的副本图像im’，可以向移动式设备mid提供位置设备pd，如现在将参考图4和图5a-5d中的实施例所讨论的那样。然而，这样的位置设备pd是任选的，并且替代地，当捕获图像im’时，用户可以简单地将设备保持在主屏幕md前面，如图3中的示意性用例所示。
[0080]
首先参考图4，图4示出了允许用户将移动式设备mid与主显示器并排放置的另一定位设备pd。因此，定位设备包括接收移动式设备的支架，该支架具有夹子或附接单元，利用该夹子或附接单元，支架能够被附接到例如主监视器md的侧面边缘或顶部边缘。因此，用户us1能够在不用手的情况下容易地操作移动式设备mid和控制台co，并且清楚地查看移动式设备mid的主显示器md和板载显示器od。
[0081]
现在参考图5a，图5a以平面图示出了定位设备pd的另外的实施例。该实施例可以包括在其一端具有夹子或其他附接单元的臂。该臂能经由附接单元被附接到主监视器md的边缘。定位设备pd在其另一端终止于优选铰接的支架，以接收成像设备mid。使用这样的定位设备允许用户在不用手的情况下操作，并且可以通过语音识别来触发图像采集，其中，用户发出诸如“捕获”之类的预定义话语来操作移动式设备mid以在当前视场中捕获图像。图像分析器可以包括考虑环形偏差α的逻辑单元，当移动式设备不是从正前方而是以所述角度α成角度捕获图像时，预期到环形偏差α。由于支架的铰接连接，因此可以调节该角度。
[0082]
虽然相机设备优选被完全集成到移动式设备中，但是在所有实施例中可能并不一定都是这种情况，其中，如图5b所示，存在通过蓝牙或任何其他无线或有线通信手段与移动式设备mid通信性耦合的外部相机设备xc。在该实施例中，外部相机可以经由头带pd被附接到用户的前额。这种布置允许在完整的前额正面视图中捕获成像而不是以如图4a所示的角度捕获成像。再次地，可以通过语音命令或者通过用户使用由移动式设备mid提供的真实或虚拟的快门按钮来启动对副本im’的图像采集。替代地，但未示出，外部相机xc可以被定位在监视器前面的小三脚架上并被适当对准。
[0083]
图5c中的定位设备pd的实施例也允许在正面捕获图像。在该实施例中，这是通过使用围绕用户的颈部的颈带或系索来实现的，其中，移动式设备悬挂在连接器上。在使用
中，移动式设备然后可以被定位在用户us1的胸部上，以允许采集处于正面视图的图像，特别是当使用在设备mid前面面向设备mid的相机(如果有的话)时。与从后面面向设备mid的相机相反，从前面面向设备mid的(“自拍”)相机是一种能够利用指向所述对象的设备mid的用户接口或板载显示器od捕获对象的影像的相机。
[0084]
在根据图5d的另一实施例中，提供了被附接到移动式设备mid的集成相机的取景器的广角适配器pa。例如，这种附接可以经由吸盘来实现。广角适配器允许使光路以一定角度转向。在成像期间，移动式设备可以被平放在表面上(其中取景器面朝上)，例如被平放在操作者控制台的壁架或工作平台上。
[0085]
现在参考图6，图6示出了可以如何在医院信息技术基础设施中使用移动式设备的一个示例。虽然图像分析器iaz可以被完全集成到移动式设备mid中，但是也可以设想到替代实施例，其中，图像分析能力的至少部分或全部被外包给“智能引擎”se，该“智能引擎”se可以被布置为通信网络cn的服务器sv中的一个服务器sv中的功能，或者实际上被布置在不是该网络的部分但可连接到该网络的远程服务器中。例如，在安装了上述应用程序后，用户可以购买订购项目来访问基于云的图像分析器功能。
[0086]
虽然移动式设备mid本身独立于给定的医院基础设施或成像器ia，但是通过诸如蓝牙、局域网、无线局域网或其他连接手段之类的标准化接口仍然可以实现某种程度的集成，使得用户可以基于接收到的决策支持信息直接从移动式设备请求通过医院网络将源图像im转发到pacs、其他用户us等。
[0087]
进一步参考图6，在实施例中，取决于被分配给分析的副本图像im’的优先级，能够建立多个不同的读取队列rq和rq-。对应的源图像im然后被划分到那些队列中。具体地，基于对其对应的副本图像的分析，被授予比其他图像的优先级更高的优先级的源影像被转发到更高优先级的读取队列rq，而那些不太紧迫的图像被转发到用于不太紧迫的影像rq-的第二图像队列。这允许图像阅读器us2更好地管理它们的工作负荷。
[0088]
具体地，基于智能引擎对副本图像的分析，通过网络cn将对应的源图像im从成像器ia路由到pacs。用户可以从移动式设备mid请求这种路由，或者用户可以从工作站ws1或控制台oc请求这种路由。智能引擎se分析图像，并且将决策支持信息转发给提出的设备mid。然后，用户us1可以经由来自设备mid的确认性反馈来授权使用适当的ae(应用实体)标题将源图像从成像器转发到pacs，从而进入相应的队列rq和rq-中。
[0089]
智能引擎可以包括在本地it基础设施sv中的适当硬件上运行的软件部件。根据需要，可以使用局域网或无线局域网或其他方式来实施与所提出的设备mid的网络连接。在实施例中，存在反馈通信通道，该反馈通信通道使得放射科医师us2能够在图像读取时提供图像质量反馈，这种情况可能在实际图像采集之后大量发生。
[0090]
可以收集反馈信息和/或决策支持信息并且将其作为统计信息存储在相同或单独的数据库qs中。统计信息stat表示在相关医学设施或此类设施组处产生的影像的iq(图像质量)的总体情况。在图7中进一步图示了这方面。图7提供了智能引擎与图像质量统计信息的数据库的集成的示意性概览图，其目的是用于回顾性分析特定时间段内的图像质量状态。图7图示了所提出的设备mid可以如何被集成到更大的图像质量监控系统中，从而使得能够例如由放射工作管理人员对图像质量状态进行回顾性分析。这样的评估既可以作为质量改进措施开始时的基线评估，也可以持续监控图像质量。从pacs中检索图像，并且将在智
能引擎上做出的质量测量结果存储在质量统计信息的数据库中。可以自动地、一次地或定期地或根据用户请求将统计分析的中间结果转发到移动式设备mid，并且可以将该中间结果显示在板载显示器od上。可以使用网络服务器来托管智能引擎以及用于统计数据stat的数据库管理系统。
[0091]
图8是在用户自适应训练情况下集成有智能引擎的网络的示意性概览图。图像质量信息和有关的统计信息stat用于对特定时间段内的图像质量状态的回顾性分析的目的。可以实施用户自适应训练。对图像质量统计信息的分析识别了针对特定用户us1的个人训练推荐，其能够经由推荐的系统来部署。由智能引擎服务器托管的质量统计数据库qs与用户特异性训练内容td相连接。在实施例中，用户us1能够使用标准的办公室pc来启动客户端(例如，基于网络的瘦客户端)以访问定制的内容td。移动式设备mid可以与瘦客户端一起用作用于访问训练内容的应用程序。已经运行的训练会话及其结果被存储在训练记录数据库中。该系统包括训练用户接口，该训练用户接口允许检索推荐(例如，来自主管或更有经验的同事的推荐，他们已经审查了用户特异性统计信息)、训练框架和训练内容中的任何一项或多项。在实施例中，可以使用基于网络客户端的报告应用来访问该信息。训练内容可以被存储在智能引擎se上。内容可以是可定制的，例如可以由管理员来定制。
[0092]
图9示出了集成有智能引擎以部署临床决策支持系统的网络的示意性概览图。所提出的设备mid用于显示经由可以由智能引擎运行的临床决策支持应用对(例如经由局域网传输的)图像im或副本图像im’的分析的结果。具体地，所提出的设备mid可以用于在成像点处显示临床决策支持的结果。副本图像im’或所采集的源图像im被发送到智能引擎服务器se并且由临床决策支持应用进行分析。即时反馈被发送到移动式设备mid以引起用户us1的注意，特别是对于要求立即执行工作流程步骤的高优先级图像hp。例如，如果在图像中检测到传染病，则必须立即将患者与医院中的其他患者隔离以防止传播。其他低优先级图像lp被转发到pacs并且被存储在适当的文件夹(ae标题)中。
[0093]
应当理解，图6-9中的实施例的原理(例如，阅读队列、统计评价等)也可以被实施在没有远程智能引擎的实施例中，也就是说，也可以被实施在其中图像分析器被完全或部分实施在移动式设备mid本身上的实施例中。
[0094]
现在参考图10，图10示出了与上述系统有关的图像处理方法的流程图。然而，将意识到，下面描述的方法不一定与上面描述的系统相联系。因此，下面的方法本身可以被理解为一种教导。
[0095]
在步骤s1010处，由成像装置在成像会话中采集患者的第一数字图像(在本文中被称为源图像)。
[0096]
在任选的步骤s1020处，在第一显示单元的固定屏幕上显示源图像。
[0097]
在步骤s1030处，在图像处理设备处接收源图像的第二数字表示(“副本”图像)。图像处理设备优选是移动式(例如手持式)设备并且独立于固定的计算单元且与固定的计算单元不同，固定的计算单元例如为被耦合到医学成像装置的工作站和/或操作者控制台。
[0098]
在步骤s1040处，分析该第二图像(即，副本图像)以在成像会话期间计算与源图像有关的医学支持信息。
[0099]
在步骤s1050处，在移动式处理设备的机载显示设备上显示所计算的医学决策支持信息。
[0100]
在任选的步骤s1060处，通过移动式设备的用户接口来接收用户响应。用户响应表示与所显示的决策支持信息相联系的请求动作。用户可以例如请求执行所建议的工作流程步骤中与患者有关的一个或多个工作流程步骤。所请求的(一个或多个)工作流程步骤可能不同于预先分配的工作流程，所请求的(一个或多个)工作流程步骤可以包括重新拍摄图像，或者转介给专家，或者在此刻的医学设施或另一医学设施中预订其他医学仪器。
[0101]
在另外的步骤s1070中，通过经由网络向接收方(例如，登记台cd或与医生相关联的设备)发送对应的消息来发起用户请求。
[0102]
替代地，所推荐的一个或多个工作步骤是自动实施的，而无需用户通过接口进行确认。在该实施例中，在分析(一幅或多幅)副本图像时，通过向相关网络参与者发送相应的消息或控制信号来启动改变的工作流程，所述相关网络参与者包括成像器1a、医院it基础设施等。
[0103]
在实施例中，副本图像是由移动式设备的成像部件捕获的。副本图像是“图像的图像”，换句话说，副本图像是由成像部件采集的源图像的图像表示，同时源图像被显示在与成像装置相关联的主显示设备上。
[0104]
成像部件优选被集成到移动式成像设备中，但是也可以替代地使用可连接到移动式设备的外部成像部件。代替这种“图像的图像”方案，也可以通过其他接口方式(例如，nfc、wi-fi、电子邮件或文本消息的附件)或者通过蓝牙传输将源图像的副本转发到移动式成像设备。
[0105]
所计算的决策支持信息包括以下各项中的一项或多项：与患者有关的推荐工作流程、源图像的图像质量的指示以及与患者有关的医学发现的指示，例如，医学状况以及优选相关联的优先级信息。优先级信息表示医学发现的紧迫性。
[0106]
优选地，对决策支持信息的计算是在两阶段顺序处理流程中完成的。在第一阶段中，确定图像质量。如果发现图像质量是足够的，则仅针对医学发现和/或工作流程建议而分析影像。例如，基于所分析的图像计算的工作流程可能与最初在登记时与患者相关联的工作流程不同。例如，如果在图像中检测到原始工作流程先前没有设想到的意料之外的医学状况，则可能要求工作流程的这种改变。例如，如果患者要接受对某个器官(例如，肝脏)的癌症处置，则设想到某个工作流程。然而，如果对副本图像的分析意外揭示出患者实际上患有肺炎，则需要改变工作流程以在进行癌症处置之前首先处置肺炎。
[0107]
图像质量分析可以包括对患者定位、准直器设置(如果有的话)、对比度、分辨率、图像噪声或伪影的评估。可以考虑这些因素中的一些或全部因素并且以合适的度量将其表示为单个图像质量得分，或者以不同的度量通过单独的得分来测量每种因素。如果在实施例中发现图像质量足够高，则在移动式设备的板载屏幕上不进行进一步的显示。替代地并且优选地，当认为图像质量是足够的时，给出提示性图形指示。例如，可以以适当的着色方案(例如，绿色或其他着色方案)显示提示性“勾号”符号。如果发现图像质量不足，也会在板载显示器上以提示性符号(例如，红十字或其他符号)指示这种情况。如果发现医学状况，则在移动式显示设备的板载显示器上通过适当的文本或其他符号来指示这种情况。也可以额外地或替代地显示基于发现的推荐工作流程。
[0108]
在实施例中，移动式设备的用户接口可以被配置为通过用户接口来接收用户输入。响应于如此接收的用户输入，然后可以通过经由通信网络如此发送合适的消息并将其
向前发送到患者登记cd来启动可能提出的工作流程。额外地或替代地，可以将具有发现的消息发送到第二用户us2(例如，责任医生)以提醒其关注患者。
[0109]
优选地，在移动式设备处接收到源图像的表示之后，实时提供决策支持信息。特别地，作为决策支持信息的分析结果在几秒钟或其分数内可用。分析所要求的计算可以全部由移动式设备的处理单元来执行，或者可以部分或全部被外包给具有更强大处理能力的外部远程服务器。
[0110]
在实施例中，推荐工作流程可以包括基于分析要重新拍摄图像的推荐。技术人员us1然后能够决定遵循这个建议。由于决策支持信息的实时可用性，在成像会话期间，当患者仍在成像装置中或在成像装置处时，用户能够立即注意到这一点并重新拍摄图像。能够避免通过网络向医院信息基础设施(例如，pacs)不必要地发送有缺陷的图像。这允许减少网络流量和内存空间的浪费。
[0111]
在实施例中，分析步骤s1040基于预先训练的机器学习模型。机器学习模型已经在可从同一医院或其他医院的图像存储库中检索的历史患者数据上进行了预先训练。优选地，使用监督学习方案，其中，历史影像由有经验的临床医生预先标示。标示提供了目标数据，该目标数据包括以下各项中的任意一项或多项：关于在历史影像中存在的医学状况的指示、关于所提出的工作流程的指示，以及图像质量是否被认为足够的指示。
[0112]
机器学习部件的训练可以包括以下步骤：在一次或多次迭代中，接收训练数据，将机器学习算法应用于训练数据。作为该应用的结果，然后获得预先训练的模型，然后能够在部署中使用该预先训练的模型。在部署中，能够将新的数据(例如，不是来自训练集的副本图像im)应用于预先训练的模型以获得针对该新的数据的期望的决策支持信息。
[0113]
所显示和捕获的源图像不一定是单幅静止图像，而是可以是多幅顺序显示的源图像，即，运动图片或视频。以上内容和以下内容均等同地适用于这样的视频或运动图片。
[0114]
现在参考图11，图11示出了可以在实施例中使用的神经网络模型。然而，可以使用诸如支持向量机、决策树等其他机器学习技术来代替神经网络。话虽如此，神经网络(特别是卷积网络)已经被发现是特别有益的，尤其是在图像数据方面。
[0115]
具体地，图11是卷积神经网络cnn的示意图。在训练后获得的完全配置的nn(将在下面对其进行更全面的描述)可以被认为是两个空间之间的潜在映射的近似结果的表示以及图像质量度量、医学发现和处置计划中的任何一项或多项的图像和空间的近似结果的表示。这些空间能够被表示为潜在高维空间中的点，例如，图像是n
×
n的矩阵，其中，n是像素的数量。iq度量、医学发现和处置平面能够被类似地编码为向量、矩阵或张量。例如，工作流程可以被实施为矩阵或向量结构，其中，每个条目表示一个工作流程步骤。学习任务可以是分类和/或回归中的一项或多项。图像的输入空间可以包括4d矩阵，以表示矩阵的时间系列，因此它是视频序列。
[0116]
合适的经过训练的机器学习模型或部件试图近似这个映射。该近似可以在学习或训练过程中实施，其中，在基于训练数据的优化方案中调节本身形成高维空间的参数。
[0117]
更详细地，机器学习部件可以被实现为神经网络(“nn”)，特别是卷积神经网络(“cnn”)。继续参考图11，这更详细地示出了如本文在实施例中所设想的cnn架构。
[0118]
cnn能以两种模式操作：“训练模式/阶段”和“部署模式/阶段”。在训练模式中，基于训练数据集来训练cnn的初始模型以产生经过训练的cnn模型。在部署模式中，对预先训
练的cnn模型馈送非训练的新的数据以在正常使用期间操作。训练模式可以是一次性操作，也可以在重复的训练阶段中持续进行这种操作以提高性能。到目前为止，关于这两种模式的所有内容都适用于任何类型的机器学习算法并且不限于cnn或nn。
[0119]
cnn包括分层组织的互连节点的集合。cnn包括输出层ol和输入层il。输入层il可以是矩阵，其大小(行和列)与训练输入图像相匹配。输出层ol可以是向量或矩阵，其大小与针对图像质量度量、医学发现和处置计划所选取的大小相匹配。
[0120]
cnn优选具有深度学习架构，也就是说，在ol和il之间有至少一个，优选有两个或更多个隐藏层。隐藏层可以包括一个或多个卷积层cl1、cl2(“cl”)和/或一个或多个池化层pl1、pl2(“pl”)和/或一个或多个全连接层fl1、fl2(“fl”)。cl未完全连接，并且/或者从cl到下一层的连接可能会有所不同，但通常被固定在fl中。
[0121]
节点与表示节点响应于来自前一层中的较早节点的输入的程度的数值(被称为“权重”)相关联。
[0122]
所有权重的集合定义了cnn的配置。在学习阶段中，使用学习算法(例如，前向-后向(“fb”)传播或其他优化方案或其他梯度下降方法)，基于训练数据来调节初始配置。关于目标函数的参数来获取梯度。
[0123]
训练模式优选是受监督的，也就是说，训练模式优选基于带注释的训练数据。带注释的训练数据包括成对或训练数据项。对于每一对，一项是训练输入数据，而另一项是先验已知与其训练输入数据项正确关联的目标训练数据。这种关联定义了注释并且优选由人类专家提供。训练对包括作为训练输入数据的历史影像并且与每幅训练图像相关联，是以下各项中的任何一项或多项的标签的目标：iq指示、图像所表示的医学发现的指示、优先级级别的指示、针对给定图像所要求的(一个或多个)工作流程步骤的指示。
[0124]
在训练模式中，优选地，将多个这样的对应用于输入层以传播通过cnn，直到在ol处出现输出为止。最初，输出通常与目标不同。在优化期间，重新调节初始配置，以便在针对所有对的输入训练数据和它们的相应目标之间实现良好的匹配。该匹配是借助于相似性量度来测量的，该相似性量度能够用目标函数或代价函数来公式化表示。目的是调节参数以产生低代价，即，良好的匹配。
[0125]
更具体地，在nn模型中，将输入训练数据项应用于输入层(il)并使输入数据项传递通过卷积层cl1、cl2以及可能的一个或多个池化层pl1、pl2的(一个或多个)级联组，并且最后传递到一个或多个全连接层。卷积模块负责基于特征的学习(例如，识别患者特性和背景数据中的特征等)，而全连接层负责更抽象的学习，例如，特征对处置的影响。输出层ol包括表示针对相应目标的估计结果的输出数据。
[0126]
根据图11的层的确切分组和顺序仅仅是一个示例性实施例，并且在不同的实施例中也设想了层的其他分组和顺序。而且，每种类型的层(即，cl、fl、pl中的任何一种)的数量可以与图11所示的布置不同。cnn的深度也可能与图11所示的深度不同。所有上述内容均等同地适用于本文设想的其他nn，例如，全连接的经典感知型nn、深度或非深度nn以及递归nn等。与上述内容不同的是，在不同的实施例中也可以设想无监督学习或强化学习方案。
[0127]
如本文所设想的，带注释的(经标示的)训练数据可能需要被重新格式化成结构化的形式。如上所述，带注释的训练数据可以被布置为向量或矩阵或张量(维度高于2的阵列)。这种重新格式化可以由数据预处理器模块(未示出)来完成，数据预处理器模块例如为
脚本程序或过滤器，其运行通过当前设施的his的患者记录以提取患者特性的集合。
[0128]
将训练数据集应用于初始配置的cnn，然后根据学习算法(例如，前面提到的fb传播算法)来处理训练数据集。在训练阶段结束时，然后可以在部署阶段中使用经过如此预先训练的cnn来计算针对新的数据的决策支持信息，也就是说，在训练数据中不存在的新采集的副本图像。
[0129]
上述步骤中的一些或全部步骤可以以硬件、软件或其组合来实施。硬件中的实施方式可以包括经适当编程的fpga(现场可编程门阵列)或硬连线的ic芯片。为了良好的响应性和高吞吐量，可以使用诸如gpu或tpu等多核处理器来实施机器学习模型的上述训练和部署，特别是针对nn的上述训练和部署。
[0130]
在本文中公开的一个或多个特征可以被配置或实施为在计算机可读介质内编码的电路/利用在计算机可读介质内编码的电路来实施，和/或其组合。电路可以包括分立电路和/或集成电路、专用集成电路(asic)、片上系统(soc)及其组合、机器、计算机系统、处理器和存储器、计算机程序。
[0131]
在本发明的另一示例性实施例中，提供了一种计算机程序或计算机程序单元，其特征在于，其适于在适当的系统上运行根据前述实施例中的一个实施例的方法的方法步骤。
[0132]
因此，计算机程序单元可以被存储在计算机单元中，该计算机程序单元也可以是本发明的实施例的部分。该计算单元可以适于执行或引起对上述方法的步骤的执行。此外，该计算单元可以适于操作上述装置的部件。该计算单元能够适于自动操作和/或运行用户的命令。计算机程序可以被加载到数据处理器的工作存储器中。因此，可以装备数据处理器来执行本发明的方法。
[0133]
本发明的该示例性实施例覆盖从一开始就使用本发明的计算机程序，以及借助于将现有程序更新转换为使用本发明的程序的计算机程序这二者。
[0134]
另外，计算机程序单元可以能够提供所有必要步骤以完成如上所述的方法的示例性实施例的流程。
[0135]
根据本发明的另外的示例性实施例，提出了一种计算机可读介质，例如，cd-rom，其中，该计算机可读介质具有被存储于所述计算机可读介质上的计算机程序单元，所述计算机程序单元由前面的章节所描述。
[0136]
计算机程序可以被存储和/或分布在合适的介质上(特别地，但不是必须地，非瞬态介质)，例如，与其他硬件一起或作为其他硬件的部分供应的光学存储介质或固态介质，但是也可以以其他形式分布，例如，经由互联网或其他有线或无线的电信系统来分布。
[0137]
然而，计算机程序也可以存在于网络(如万维网)上，并且能够从这样的网络被下载到数据处理器的工作存储器中。根据本发明的另外的示例性实施例，提供了用于使计算机程序单元可用于下载的介质，所述计算机程序单元被布置为执行根据本发明的先前描述的实施例中的一个实施例的方法。
[0138]
必须注意，本发明的实施例是参考不同主题来描述的。尤其地，一些实施例是参考方法型权利要求来描述的，而其他实施例是参考装置型权利要求来描述的。然而，除非另有说明，否则本领域技术人员将从以上和以下的描述中推断出，除了属于一种类型的主题的特征的任意组合之外，涉及不同主题的特征之间的任意组合也被认为在本技术中得到公
开。然而，所有的特征都能够被组合来提供多于特征的简单加合的协同效应。
[0139]
虽然已经在附图和前面的描述中详细图示和描述了本发明，但是这样的图示和描述应当被认为是图示性或示例性的，而非限制性的。本发明不限于所公开的实施例。本领域技术人员通过研究附图、公开内容以及权利要求，在实践请求保护的发明时能够理解并实现对所公开的实施例的其他变型。
[0140]
在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以实现在权利要求中记载的若干项的功能。虽然某些措施被记载在互不相同的从属权利要求中，但是这并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记都不应被解释为对范围的限制。