医学图像显示设备和使用其显示医学图像的方法与流程

1.本公开的实施例涉及一种医学图像显示设备和使用其显示医学图像的方法。


背景技术：

2.超声诊断设备将由探头的换能器生成的超声信号发送到对象，并检测关于从对象反射的信号的信息，从而获得对象的内部部分(例如，软组织或血流)的至少一个图像。
3.超声成像设备是紧凑且负担得起的，并且能够实时显示图像。此外，由于这种超声成像设备因缺少辐射暴露而非常安全，因此这种超声成像设备已经与其他类型的诊断成像设备(诸如，x射线诊断设备、计算机断层扫描(ct)扫描仪、磁共振成像(mri)设备、核医学诊断设备等)一起被广泛使用。
4.因为超声图像具有低信噪比(snr)，所以可通过与ct图像或mr图像的图像配准来补偿限制。通过从超声图像和ct/mr图像中提取特征并将所提取的特征彼此匹配来执行图像配准。
5.然而，当器官的形状变形或者其位置通过超声探头移动时，难以容易地执行图像配准。


技术实现要素：

6.技术问题
7.提供了用于将超声图像与先前获得的医学图像进行配准并输出配准结果的医学图像显示设备和医学图像显示方法。
8.技术方案
9.根据本公开的一个方面，一种医学图像显示方法包括：经由医学图像显示设备的超声探头向对象发送超声信号并接收来自所述对象的超声回波信号；基于所述超声回波信号获得第一超声图像；执行所述第一超声图像与先前获得的第一医学图像之间的图像配准；经由所述超声探头获得所述对象的第二超声图像；通过对所述第一医学图像进行变换以对应于所述第二超声图像来获得第二医学图像；以及将所述第二医学图像与所述第二超声图像一起显示。
10.根据本公开的另一方面，一种医学图像显示设备包括：显示器；超声探头，被配置为向对象发送超声信号并接收来自所述对象的超声回波信号；存储器，存储一个或更多个指令；以及处理器，被配置为执行所述一个或更多个指令以执行以下操作：基于所述超声回波信号获得第一超声图像；执行所述第一超声图像与先前获得的第一医学图像之间的图像配准；控制所述超声探头以获得所述对象的第二超声图像；通过对所述第一医学图像进行变换以对应于所述第二超声图像来获得第二医学图像；以及控制所述显示器将所述第二医学图像与所述第二超声图像一起显示。
11.根据本公开的另一方面，一种计算机可读记录介质在其上记录有程序，所述程序用于在计算机上执行根据本公开所呈现的实施例的医学图像显示方法中的至少一种。
12.存储在记录介质中的应用可旨在根据本公开所呈现的实施例的医学图像显示方法中的至少一种来执行功能。
附图说明
13.图1是示出根据示例性实施例的超声诊断设备的框图；
14.图2a、图2b和图2c分别是示出根据示例性实施例的超声诊断设备的示图；
15.图3是根据实施例的医学图像显示设备输出医学图像的方法的流程图；
16.图4是根据实施例的医学图像显示设备将超声图像与医学图像配准的方法的流程图；
17.图5示出了根据实施例的医学图像显示设备将超声图像应用于人工智能(ai)模型的示例；
18.图6示出了根据实施例的医学图像显示设备显示关于是否满足图像配准的条件的信息的示例；
19.图7示出了根据实施例的医学图像显示设备显示关于是否满足图像配准的条件的信息的示例；
20.图8示出了根据实施例的医学图像显示设备识别是否满足图像配准的条件的示例；
21.图9示出了根据实施例的医学图像显示设备识别是否满足图像配准的条件的示例；
22.图10示出了根据实施例的医学图像显示设备将医学图像应用于ai模型的示例；
23.图11示出了根据实施例的医学图像显示设备执行超声图像与医学图像之间的图像配准的示例；
24.图12是根据实施例的医学图像显示设备对医学图像应用校正操作的方法的流程图；以及
25.图13示出了根据实施例的当医学图像显示设备将校正操作的结果应用于医学图像时获得的结果。
具体实施方式
26.本说明书描述了本公开的原理并阐述了其实施例，以阐明本公开的权利要求的范围且允许本领域普通技术人员实现本公开的实施例。本公开的实施例可具有不同的形式。
27.下面参照附图更详细地描述特定示例性实施例。
28.在下面的描述中，即使在不同的附图中，相同的附图标记也用于相同的要素。提供描述中定义的事项(诸如，具体的构造和要素)，以帮助全面理解示例性实施例。因此，易于理解的是，可在没有那些具体定义的事项的情况下执行示例性实施例。此外，因为公知的功能或构造可能以不必要的细节使示例性实施例不清楚，所以没有详细描述公知的功能或构造。
29.本文使用的诸如“部件”和“部分”的术语表示可通过软件或硬件实施的术语。根据示例性实施例，多个部件或部分可通过单个单元或元件实施，或者单个部件或部分可包括多个元件。
30.在一系列要素之前的诸如
“……
中的至少一个”的表述修饰整个系列的要素，而不是修饰系列中的单独要素。
31.可按照功能块组件和各种处理操作来描述本公开的一些实施例。这些功能块中的一些或全部可由执行特定功能的任何数量的硬件组件和/或软件组件来实现。例如，本公开的功能块可由一个或更多个微处理器或者由用于执行特定功能的电路组件来实现。例如，根据本公开的功能块可利用任何编程或脚本语言来实现。可使用在一个或更多个处理器上执行的各种算法来实现功能块。此外，本公开可采用用于电子配置、信号处理和/或数据处理的相关领域的技术。术语“机构”、“元件”、“装置”和“构造”在广义上使用，并且不限于机械实施例或物理实施例。
32.在整个说明书中，将理解的是，当部件被称为“连接”或“耦合”到另一部件时，其可“直接连接”到另一部件，或者“电耦合”到另一部件并且一个或更多个中间元件介于它们之间。在整个说明书中，当部件“包括”或“包含”要素时，除非存在与其相反的特定描述，否则该部件还可包括其他要素而不排除其他要素。
33.此外，各个附图中示出的连接线或连接件旨在表示附图中的组件之间的示例性功能关系和/或物理或逻辑耦合。在实际装置中，组件之间的连接可由替代或附加的功能关系、物理连接或逻辑连接来表示。
34.在示例性实施例中，图像可包括由各种医学成像设备(诸如，磁共振成像(mri)设备、计算机断层扫描(ct)设备、超声成像设备或x射线设备)获取的任何医学图像。
35.此外，在本说明书中，作为将被成像的事物的“对象”可包括人、动物或者其一部分。例如，对象可包括人的一部分(即，器官或组织)或体模。
36.在整个说明书中，超声图像是指基于发送到对象并从对象反射的超声信号而处理的对象的图像。
37.在本说明书中，医学图像显示设备是能够输出存储在其中的医学图像、经由网络接收的医学图像和从对象获得的医学图像中的至少一种的电子设备。
38.例如，医学图像显示设备可包括医学成像设备(诸如，能够获得超声图像的超声成像设备)。可选地，医学图像显示设备可包括计算装置(诸如，通用计算机(例如，pc)和移动装置(例如，智能电话、平板个人计算机(pc)等))，所述计算装置经由网络输出从服务器(例如，医学图像传输系统(诸如，图像归档和通信系统(pacs)))获得的医学图像。
39.根据实施例，可使用ai技术的视觉理解技术来执行说明书中呈现的图像配准。
40.ai技术包括机器学习(深度学习)技术，机器学习(深度学习)技术使用用于对输入的数据和元素的特征进行自主分类/学习的算法以及用于通过使用机器学习算法来模拟人脑的功能(诸如，认知和决策)的技术。在ai领域内，视觉理解是用于以与人类视觉系统执行的方式相同的方式识别和处理对象的技术，并且包括对象识别、对象跟踪、图像检索、人识别、场景理解、空间理解、图像增强等。
41.根据本公开，与ai相关的功能可经由处理器和存储器来操作。处理器可被配置为一个或多个处理器。在这种情况下，一个或多个处理器可以是通用处理器(诸如，中央处理单元(cpu)、应用处理器(ap)或数字信号处理器(dsp))、专用图形处理器(诸如，图形处理单元(gpu)或视觉处理单元(vpu))或者专用ai处理器(诸如，神经处理单元(npu))。一个或多个处理器根据存储在存储器中的预定义操作规则或ai模型来控制待处理的输入数据。可选
地，当一个或更多个处理器是专用ai处理器时，专用ai处理器可设计有专门用于处理特定ai模型的硬件结构。
42.可经由训练过程来创建预定义的操作规则或ai模型。这意味着通过经由学习算法基于大量训练数据训练基本ai模型来创建被设置为执行期望特性(或目的)的预定义操作规则或ai模型。训练过程可由在其中执行ai的设备本身或者经由单独的服务器和/或系统来执行。学习算法的示例可包括但不限于监督学习、无监督学习、半监督学习和强化学习。
43.ai模型可由多个神经网络层组成。每个神经网络层具有多个权重值，并且可经由前一层中的计算结果与多个权重值之间的计算来执行神经网络计算。可通过训练ai模型的结果来优化分配给每个神经网络层的多个权重值。例如，可修改多个权重值以减少或最小化在训练过程期间由ai模型获取的损失值或代价值。人工神经网络可包括深度神经网络(dnn)，并且可以是例如卷积神经网络(cnn)、dnn、递归神经网络(rnn)、受限玻尔兹曼机(rbm)、深度信念网络(dbn)、双向递归dnn(brdnn)或深度q网络(dqn)，但不限于此。
44.可通过根据预定义标准学习作为训练数据输入的多个文本数据和图像数据来创建在此呈现的ai模型。ai模型可通过响应于输入数据执行学习函数来生成结果数据，并输出结果数据。
45.此外，ai模型可包括被训练以执行至少一个功能的多个ai模型。
46.根据实施例，可在医学图像显示设备中构建ai模型。医学图像显示设备可通过使用ai模型执行超声图像与ct/mr图像之间的配准，并显示配准的图像。
47.根据实施例，医学图像显示设备可将获得的医学图像发送到构建ai模型的电子设备(例如，服务器)，并且通过使用从电子设备接收的数据来输出医学图像。
48.例如，医学图像显示设备可将从对象获得的超声图像发送到服务器，从服务器接收与超声图像配准的ct/mr图像，并显示得到的ct/mr图像。
49.将理解的是，尽管在此可使用包括诸如“第一”、“第二”等序数的术语来描述各种要素，但是这些要素不应受这些术语的限制。这些术语用于将一个要素与另一要素区分开。
50.在下文中，将参照附图详细描述实施例。
51.图1是示出根据示例性实施例的超声诊断设备100(即，诊断设备)的配置的框图。
52.参照图1，超声诊断设备100可包括探头20、超声收发器110、控制器120、图像处理器130、一个或更多个显示器140、存储器150(例如，内存)、通信器160(即，通信装置或通信接口)以及输入接口170。
53.超声诊断设备100可以是推车型超声诊断设备或便携式超声诊断设备(其是便携式的、可移动的、移动的或手持式的)。便携式超声诊断设备100的示例可包括智能电话、膝上型计算机、个人数字助理(pda)和平板个人计算机(pc)，其中的每个可包括探头和软件应用，但是实施例不限于此。
54.探头20可包括多个换能器。多个换能器可响应于由探头20从发送器113接收的发送信号而将超声信号发送到对象10。多个换能器可接收从对象10反射的超声信号以生成接收信号。另外，探头20和超声诊断设备100可形成在一个主体中(例如，设置在单个壳体中)，或者探头20和超声诊断设备100可单独形成(例如，单独地设置在单独的壳体中)但是无线地或经由线链接。另外，根据实施例，超声诊断设备100可包括一个或更多个探头20。
55.控制器120可控制发送器113以使发送器113基于包括在探头20中的多个换能器的
位置和焦点来生成将施加到多个换能器中的每个的发送信号。
56.控制器120可基于多个换能器的位置和焦点来控制接收器115，以通过将从探头20接收的接收信号从模拟信号转换为数字信号并对转换为数字形式的接收信号进行求和来生成超声数据。
57.图像处理器130可通过使用从超声接收器115生成的超声数据来生成超声图像。
58.显示器140可显示生成的超声图像和由超声诊断设备100处理的各种信息。根据本示例性实施例，超声诊断设备100可包括两个或更多个显示器140。显示器140可包括与触摸面板组合的触摸屏。
59.控制器120可控制超声诊断设备100的操作以及超声诊断设备100的内部元件之间的信号流。控制器120可包括用于存储用于执行超声诊断设备100的功能的程序或数据的存储器以及用于处理程序或数据的处理器和/或微处理器(未示出)。例如，控制器120可通过从输入接口170或外部设备接收控制信号来控制超声诊断设备100的操作。
60.此外，控制器120可包括将超声图像与来自不同模态的医学图像进行配准的ai模型125。
61.可训练ai模型125以识别是否满足用于在超声图像与医学图像之间执行图像配准的条件并输出识别的结果。
62.可训练ai模型125以获得超声图像中的特征，并通过将获得的特征与医学图像中的对应特征进行比较和匹配来执行图像配准。
63.可训练ai模型125以通过将超声图像中的特征与医学图像中的对应特征进行比较来对医学图像执行校正操作。可训练ai模型125以通过将校正操作的结果应用于医学图像来对医学图像执行形状校正。
64.超声诊断设备100可包括通信器160，并且可经由通信器160连接到外部设备(例如，服务器、医疗设备和便携式装置(诸如，智能电话、平板个人计算机(pc)、可穿戴装置等))。
65.通信器160可包括能够与外部设备通信的至少一个元件。例如，通信器160可包括短程通信模块、有线通信模块和无线通信模块中的至少一个。
66.通信器160可从外部设备接收控制信号和数据，并将接收到的控制信号发送到控制器120，使得控制器120可响应于接收到的控制信号来控制超声诊断设备100。
67.控制器120可经由通信器160将控制信号发送到外部设备，使得可响应于控制器120的控制信号来控制外部设备。
68.例如，连接到超声诊断设备100的外部设备可响应于经由通信器160接收的控制器120的控制信号来处理外部设备的数据。
69.用于控制超声诊断设备100的程序可安装在外部设备中。程序可包括用于执行控制器120的部分操作或控制器120的整体操作的命令语言。
70.程序可预先安装在外部设备中，或者可由外部设备的用户通过从提供应用的服务器下载程序来安装。提供应用的服务器可包括存储程序的记录介质。
71.存储器150可存储用于驱动和控制超声诊断设备100的各种数据或程序、输入超声数据和/或输出超声数据、超声图像、应用等。
72.输入接口170可接收用于控制超声诊断设备100的用户输入，并且可包括键盘、按
钮、小键盘、鼠标、轨迹球、轻推开关、旋钮、触摸板、触摸屏、麦克风、运动输入装置、生物特征输入装置等。例如，用户输入可包括用于操纵按钮、小键盘、鼠标、轨迹球、轻推开关或旋钮的输入、用于触摸触摸板或触摸屏的输入、语音输入、运动输入和生物信息输入(例如，虹膜识别或指纹识别)，但示例性实施例不限于此。
73.传感器190可包括能够获得关于探头20的位置的信息的至少一个传感器。例如，传感器190可包括用于产生特定范围内的磁场的磁场发生器、用于检测磁场中的电磁感应的电磁传感器以及用于追踪电磁传感器的位置的位置追踪器。
74.下面参照图2a、图2b和图2c描述根据本示例性实施例的超声诊断设备100的示例。
75.图2a、图2b和图2c是示出根据示例性实施例的超声诊断设备的示图。
76.参照图2a和图2b，超声诊断设备100a和100b可包括主显示器121和子显示器122。主显示器121和子显示器122中的至少一个可包括触摸屏。主显示器121和子显示器122可显示由超声诊断设备100a和100b处理的超声图像和/或各种信息。主显示器121和子显示器122可提供图形用户界面(gui)，从而接收用于控制超声诊断设备100a和100b的用户数据输入。例如，主显示器121可显示超声图像，并且子显示器122可将用于控制超声图像的显示的控制面板显示为gui。子显示器122可通过显示为gui的控制面板来接收用于控制图像的显示的数据输入。超声诊断设备100a和100b可通过使用输入的控制数据来控制主显示器121上的超声图像的显示。
77.参照图2b，超声诊断设备100b可包括控制面板165。控制面板165可包括按钮、轨迹球、轻推开关或旋钮，并且可从用户接收用于控制超声诊断设备100b的数据。例如，控制面板165可包括时间增益补偿(tgc)按钮171和冻结按钮172。tgc按钮171用于针对超声图像的每个深度设置tgc值。此外，当在扫描超声图像期间检测到冻结按钮172的输入时，超声诊断设备100b可在该时间点保持显示帧图像。
78.控制面板165中包括的按钮、轨迹球、轻推开关和旋钮可作为gui提供给主显示器121或子显示器122。
79.参照图2c，超声诊断设备100c可包括便携式装置。便携式超声诊断设备100c的示例可包括例如包括探头和应用的智能电话、膝上型计算机、个人数字助理(pda)或平板pc，但是示例性实施例不限于此。
80.超声诊断设备100c可包括探头20和主体40。探头20可通过有线或无线方式连接到主体40的一侧。主体40可包括触摸屏145。触摸屏145可显示超声图像、由超声诊断设备100c处理的各种信息以及gui。
81.图3是根据实施例的医学图像显示设备输出医学图像的方法的流程图。
82.医学图像显示设备可获得第一超声图像(操作310)。
83.根据实施例，医学图像显示设备可经由与其连接的探头20获得超声图像。
84.例如，医学图像显示设备可以是超声诊断设备100。超声诊断设备100可将超声信号发送到对象10并接收来自对象10的超声回波信号。超声诊断设备100可基于超声回波信号获得超声图像。
85.根据实施例，医学图像显示设备可经由通信器160从超声诊断设备和服务器中的至少一个获得超声图像。
86.例如，医学图像显示设备可从经由网络连接的超声诊断设备接收由超声诊断设备
获得的超声图像数据。作为另一示例，医学图像显示设备可从服务器(例如，诸如pacs的医学图像传输系统)接收超声图像数据。
87.医学图像显示设备可执行在操作310中获得的第一超声图像与第一医学图像之间的图像配准(操作330)。
88.根据实施例，第一医学图像可以是先前获得的医学图像。
89.根据实施例，第一医学图像可以是存储在医学图像显示设备的存储器中的图像。
90.根据实施例，第一医学图像可以是由医学图像显示设备从服务器(例如，诸如pacs的医学图像传输系统)接收的医学图像。
91.根据实施例，第一医学图像可以是ct图像、mr图像和三维(3d)超声图像中的至少一种。可选地，第一医学图像可以是x射线图像和二维(2d)超声图像中的至少一种。
92.医学图像显示设备可通过将第一超声图像和第一医学图像中的至少一种应用于ai模型来执行图像配准。
93.根据实施例，医学图像显示设备可通过将第一超声图像应用于ai模型来获得第一超声图像中的特征。
94.例如，医学图像显示设备可将第一超声图像应用于构建在其中的ai模型。可选地，医学图像显示设备可通过将与第一超声图像有关的数据发送到在其上构建ai模型的服务器来将第一超声图像应用于ai模型。
95.ai模型可通过分析应用于其的第一超声图像来识别第一超声图像中的特征。ai模型还可基于第一超声图像中的特征来识别第一超声图像中的对象。
96.根据实施例，医学图像显示设备可通过将第一超声图像中的特征与第一医学图像中的对应特征进行比较和匹配来执行第一超声图像与第一医学图像之间的图像配准。
97.例如，医学图像显示设备可通过使用构建在其中的ai模型来识别和匹配第一超声图像中的特征以及第一医学图像中的特征中的对应特征。
98.此外，可预先获得第一医学图像中的特征。可选地，可通过将第一医学图像应用于构建在医学图像显示设备中的ai模型来获得第一医学图像中的特征。
99.根据实施例，医学图像显示设备可将第一超声图像发送到服务器，并且通过将从服务器接收的第一超声图像中的特征中的对应特征与第一医学图像中的特征进行匹配来执行图像配准。在这种情况下，服务器可通过将第一超声图像应用于构建在服务器上的ai模型来获得第一超声图像中的特征。
100.根据实施例，医学图像显示设备可将第一超声图像和第一医学图像发送到服务器，并且通过将从服务器接收的第一超声图像中的特征与第一医学图像中的特征进行匹配来执行图像配准。在这种情况下，服务器可通过将第一超声图像应用于构建在服务器上的ai模型来从第一超声图像获得特征。此外，服务器可通过将第一医学图像应用于构建在服务器上的ai模型来从第一医学图像获得特征。
101.根据实施例，医学图像显示设备可将第一超声图像和第一医学图像发送到服务器，并且从服务器接收用于执行图像配准的数据(例如，第一超声图像中的特征的位置信息和第一医学图像中的特征的位置信息)。医学图像显示设备可通过使用从服务器接收的数据来执行第一医学图像与第一超声图像之间的图像配准。
102.医学图像显示设备可获得第二超声图像(操作350)。
103.根据实施例，医学图像显示设备可经由连接到医学图像显示设备的探头20获得超声图像。
104.根据实施例，医学图像显示设备可经由通信器160从超声诊断设备和服务器中的至少一个获得超声图像。
105.根据实施例，第二超声图像可以是随着探头20移动而新获得的超声图像。在这种情况下，医学图像显示设备可获得其中对象的形状随着探头20按压对象而改变的第二超声图像。
106.省略了关于操作310的重复描述以避免冗余。
107.医学图像显示设备可通过将第一医学图像变换为与第二超声图像对应来获得第二医学图像(操作370)。
108.根据实施例，医学图像显示设备可通过将第二超声图像应用于ai模型来获得第二超声图像中的特征。
109.例如，医学图像显示设备可将第二超声图像应用于构建在医学图像显示设备上的ai模型。可选地，医学图像显示设备可通过将与第二超声图像有关的数据发送到在其上构建ai模型的服务器来将第二超声图像应用于ai模型。
110.ai模型可识别第二超声图像中的特征。ai模型可基于第二超声图像中的特征来识别第二超声图像中的对象。
111.根据实施例，ai模型可通过将第二超声图像中的特征与第一医学图像中的特征进行比较来识别第二超声图像与第一医学图像之间的差异。
112.例如，ai模型可通过分别将第二超声图像中的特征的位置与第一医学图像中的特征的位置进行比较来识别第二超声图像与第一医学图像之间的差异。此外，ai模型可将第二超声图像中的特征的位置与第一医学图像中的特征的位置进行比较，从而获得关于第二超声图像和第一医学图像中的匹配特征的位置的变化的第一信息。
113.根据实施例，ai模型可通过基于第二超声图像和第一医学图像中的匹配特征对第一医学图像进行变换来获得第二医学图像。
114.例如，ai模型可通过移动第一医学图像中的特征使得它们对应于第二超声图像中的特征的位置来获得第二医学图像。在这种情况下，ai模型可通过将第一信息应用于第一医学图像中的特征来移动第一医学图像中的特征。可通过移动第一医学图像中的特征来生成第二医学图像。
115.根据实施例，ai模型可通过将第一超声图像中的特征与第二超声图像中的特征进行比较来识别第一超声图像与第二超声图像之间的差异。
116.例如，ai模型可通过分别将第一超声图像中的特征的位置与第二超声图像中的特征的位置进行比较来追踪第二超声图像中的对象。
117.作为另一示例，ai模型可将第一超声图像中的特征的位置与第二超声图像中的特征的位置进行比较，从而获得关于第一超声图像和第二超声图像中的匹配特征的位置的变化的第二信息。
118.根据实施例，ai模型可通过基于第一超声图像和第二超声图像中的匹配特征对第一医学图像进行变换来获得第二医学图像。
119.例如，ai模型可通过将第二信息应用于第一医学图像中的特征来移动第一医学图
像中的特征。可通过移动第一医学图像中的特征来生成第二医学图像。在这种情况下，因为在操作330中执行图像配准以将第一超声图像中的特征与第一医学图像中的对应特征匹配，所以可将第二信息应用于第一医学图像中的特征。
120.医学图像显示设备可从ai神经网络获得第二医学图像。例如，构建在医学图像显示设备中的ai神经网络可将第二医学图像存储在医学图像显示设备的存储器中。作为另一示例，构建在服务器上的ai神经网络可通过网络将第二医学图像发送到医学图像显示设备。
121.医学图像显示设备可显示第二医学图像(操作390)。
122.根据实施例，医学图像显示设备可将第二医学图像与第二超声图像一起显示。
123.根据实施例，医学图像显示设备可在执行图像处理之后显示第二医学图像，使得可容易地识别第二超声图像和第二医学图像中的对象。
124.例如，医学图像显示设备可执行图像处理以对对象进行颜色编码。可选地，医学图像显示设备可执行图像处理以用预定义颜色指示对象的边界。
125.图4是根据实施例的医学图像显示设备将超声图像与医学图像配准的方法的流程图。
126.医学图像显示设备可将第一超声图像应用于ai模型(图1的125)(操作331)。
127.因为可在操作331中类似地应用上面已经参照操作330描述的将第一超声图像应用于ai模型的方法，所以这里将省略其重复描述。
128.ai模型125可获得第一超声图像中的特征(操作333)。
129.可训练ai模型125以通过学习作为训练数据的多个超声图像从超声图像获得特征，每个超声图像包括对象(例如，前列腺、肝脏、肾脏等)。
130.根据实施例，可训练ai模型125以获得对象(例如，前列腺、肝脏、肾脏等)的边界作为特征。
131.根据实施例，可训练ai模型125以获得在语义分割中使用的欧几里德距离作为特征，语义分割以逐像素的方式对超声图像和医学图像中的每个进行分类。
132.ai模型125可获得从对象的边界到每个图像像素的欧几里德距离。
133.根据实施例，可训练ai模型125以识别对象的边界并获得指示距对象的边界的欧几里德距离的距离图图像(如下面参照图5更详细地描述的)。
134.根据实施例，ai模型125可将获得的第一超声图像中的特征输出到医学图像显示设备。
135.医学图像显示设备可识别是否满足图像配准的条件(操作335)。
136.根据实施例，医学图像显示设备可基于在操作333中获得的第一超声图像中的特征来识别是否满足图像配准的条件。
137.例如，医学图像显示设备可基于对象的边界来识别对象的总宽度，并且基于第一超声图像中的对象的宽度与识别出的对象的总宽度的比值来识别是否满足图像配准的条件(如下面参照图6和图7更详细地描述的)。
138.作为另一示例，医学图像显示设备可基于对象占据第一超声图像的比例来识别是否满足图像配准的条件(如下面参照图8更详细地描述的)。
139.作为另一示例，医学图像显示设备可基于从探头发送的超声信号被定位的方向来
识别是否满足图像配准的条件(如下面参照图9更详细地描述的)。
140.医学图像显示设备可显示关于图像配准的信息(操作337)。
141.根据实施例，医学图像显示设备可显示关于是否满足图像配准的条件的信息。
142.例如，医学图像显示设备可显示指示正在超声图像中显示的对象的比例小于特定百分比值的信息。
143.作为另一示例，医学图像显示设备可显示指示超声图像中的对象的尺寸小于预设尺寸的信息。
144.作为另一示例，医学图像显示设备可显示指示超声信号未被发送到对象的信息。
145.根据实施例，医学图像显示设备可显示关于配准的医学图像的形状是否已经被校正的信息(如下面参照图6和图7更详细地描述的)。
146.图5示出了根据实施例的医学图像显示设备将超声图像应用于ai模型的示例。
147.参照图5，医学图像显示设备可将超声图像510应用于ai模型125。
148.根据实施例，可在医学图像显示设备中构建ai模型125。可选地，ai模型125可构建在经由网络连接到医学图像显示设备的服务器上。为方便起见，描述了在医学图像显示设备中构建ai模型125的实施例。对于本领域普通技术人员易于理解的是，下面描述的ai模型125的细节可类似地应用于根据本公开的其他实施例的ai模型。
149.根据实施例，可通过学习作为训练数据的多个超声图像(每个超声图像包括对象)来训练ai模型125，以从超声图像获得特征。
150.例如，可将多个超声图像(每个超声图像包括前列腺)作为训练数据输入到ai模型125。超声图像中的每个超声图像可被分割成多段。超声图像中的每个超声图像可将前列腺的边界表示为特征。ai模型125可通过使用cnn从多个分割的超声图像中的每个获得特征向量。
151.根据实施例，可训练ai模型125以将对象的边界识别为特征。此外，可训练ai模型125以基于识别出的对象的轮廓获得对象轮廓图图像。
152.例如，ai模型125可基于从多条训练数据获得的特征向量来识别应用于ai模型125的超声图像510中的对象(例如，前列腺)的边界。ai模型125可通过分割超声图像510来获得特征向量，并且基于获得的特征向量来识别对象的边界。ai模型125可基于识别出的对象的轮廓从超声图像510获得对象轮廓图图像530。
153.根据实施例，可训练ai模型125以获得在语义分割中使用的欧几里德距离作为特征，语义分割以逐像素的方式对超声图像进行分类。
154.例如，ai模型125可获得从对象的边界到每个图像像素的欧几里德距离。ai模型125可获得表示距对象的边界的欧几里德距离的距离图图像550。ai模型125可通过利用相同颜色对具有距对象的边界的相等欧几里德距离的区域进行颜色编码来生成距离图图像550。
155.图6和图7分别示出了根据实施例的医学图像显示设备显示关于是否满足图像配准的条件的信息的示例。
156.参照图6和图7，医学图像显示设备可分别在显示器140上显示一对包括对象611的超声图像610和包括对象631的医学图像630以及一对包括对象711的超声图像710和包括对象731的医学图像730。此外，医学图像显示设备可通过使用各种方法显示关于是否满足在
一对超声图像610和医学图像630或者一对超声图像710和医学图像730之间执行图像配准的条件的信息。
157.超声图像610和710中的对象611和711的位置根据由超声探头发送的超声信号被定向的方向而改变。
158.当将图6的超声图像610与图7的超声图像710进行比较时，图6所示的对象611完全包括在超声图像610中，而图7所示的对象711的仅一部分包括在超声图像710中。换句话说，图7的对象711部分地在超声图像710之外。当对象611和711分别在更大程度上部分地落在超声图像610和710之外时，图像配准的准确度降低。
159.根据实施例，医学图像显示设备可识别使用ai模型125识别的对象611和711的轮廓是否分别完全包括在超声图像610和710中。换句话说，医学图像显示设备可识别对象611和711分别落在超声图像610和710之外的程度。
160.例如，医学图像显示设备可分别基于使用ai模型125识别的对象611和711的边界来识别超声图像610和710中的对象611和711的区域。医学图像显示设备可基于超声图像610和710中的对象611和711的区域来识别对象611和711分别包括在超声图像610和710中的程度。
161.具体地，医学图像显示设备可识别完全包括对象611的超声图像610中的对象611的整个区域。医学图像显示设备可识别仅包括对象711的一部分的超声图像710中的对象711的区域。医学图像显示设备可获得超声图像710中包括的对象711的区域相对于对象711的整个区域的比例。医学图像显示设备可基于获得的比例来识别对象711被包括在超声图像710中的程度。
162.作为另一示例，医学图像显示设备可分别基于使用ai模型125识别的对象611和711的边界来确定超声图像610和710中的对象611和711的位置。医学图像显示设备可基于超声图像610和710中的对象611和711的位置来识别对象611和711分别被包括在超声图像610和710中的程度。
163.根据实施例，医学图像显示设备可通过将对象被包括在超声图像中的程度与预设阈值进行比较来识别是否满足用于执行图像配准的条件。例如，当超声图像710中包括的对象711的区域相对于对象711的整个区域的比例小于50％时，医学图像显示设备可识别出不满足执行图像配准的条件。
164.根据实施例，医学图像显示设备可基于使用传感器获得的关于探头20的位置的信息来识别是否满足用于执行图像配准的条件。例如，医学图像显示设备可通过使用由磁场发生器产生的磁场的特定范围内的电磁传感器来追踪探头20的移动，从而识别对象611和711分别落在超声图像610和710之外的程度。
165.根据实施例，医学图像显示设备可显示指示不满足用于执行图像配准的条件的信息。例如，医学图像显示设备可显示指示对象711落在超声图像710之外的通知。
166.根据实施例，医学图像显示设备可通过将对象被包括在超声图像中的程度与预设阈值进行比较来获得关于图像配准的可靠性的信息。医学图像显示设备可显示关于图像配准的可靠性的信息。
167.例如，医学图像显示设备可通过在显示器140上显示分别与预设阈值相对应的条形图635和735来显示关于图像配准的可靠性的信息。
168.具体地，医学图像显示设备可将超声图像710中包括的对象711的区域相对于对象711的整个区域的比例与被设定为30％、50％或70％的阈值进行比较的结果显示为条形图735。
169.图8示出了根据实施例的医学图像显示设备识别是否满足图像配准的条件的示例。
170.当超声图像810中的对象811过小或过大时，可能不满足用于执行图像配准的条件。
171.因此，参照图8，医学图像显示设备可基于对象811占据超声图像810的比例来识别是否满足用于执行图像配准的条件。
172.根据实施例，医学图像显示设备可基于使用ai模型125识别的对象811的边界来获得对象811占据超声图像810的比例。
173.例如，医学图像显示设备可基于使用ai模型125识别的对象811的边界来识别超声图像810中的对象811的区域。医学图像显示设备可基于该对象811的区域来获得对象811占据超声图像810的比例。
174.根据实施例，医学图像显示设备可通过将对象811占据超声图像810的比例与预设阈值进行比较来识别是否满足用于执行图像配准的条件。
175.例如，当对象811占据超声图像810的比例小于20％时，医学图像显示设备可识别出不满足用于执行图像配准的条件。
176.作为另一示例，当对象811占据超声图像810的比例为90％或更大时，医学图像显示设备可识别出不满足用于执行图像配准的条件。
177.根据实施例，医学图像显示设备可显示指示不满足用于执行图像配准的条件的信息。例如，医学图像显示设备可显示指示超声图像810中的对象811过小或过大的通知。
178.根据实施例，医学图像显示设备可通过将对象811占据超声图像810的比例与预设阈值进行比较来获得关于图像配准的可靠性的信息。医学图像显示设备可显示关于图像配准的可靠性的信息。
179.图9示出了根据实施例的医学图像显示设备识别是否满足图像配准的条件的示例。
180.当从探头20发送的超声信号被定向的方向25不朝向对象10时，难以执行图像配准。
181.因此，参照图9，医学图像显示设备可基于从探头20发送的超声信号被定向的方向25来识别是否满足用于执行图像配准的条件。
182.根据实施例，医学图像显示设备可通过基于经由传感器获得的关于探头20的位置的信息识别从探头20发送的超声信号被定向的方向25，来识别是否满足用于执行图像配准的条件。
183.例如，医学图像显示设备可通过在由磁场发生器产生的磁场的特定范围内经由电磁传感器追踪探头20的移动，来识别从探头20发送的超声信号被定向的方向25。
184.根据实施例，医学图像显示设备可基于通过使用ai模型125在超声图像中识别的对象10的边界，来识别从探头20发送的超声信号被定向的方向25。
185.例如，医学图像显示设备可基于使用ai模型125识别的对象10的边界来识别对象
10在超声图像中的位置。医学图像显示设备可基于对象10在超声图像中的位置，来识别从探头20发送的超声信号被定向的方向25。
186.根据实施例，医学图像显示设备可显示指示不满足用于执行图像配准的条件的信息。例如，医学图像显示设备可显示指示从探头20发送的超声信号被定向的方向25不朝向对象10的信息。
187.图10示出了根据实施例的医学图像显示设备将医学图像应用于ai模型的示例。
188.参照图10，医学图像显示设备可将医学图像1010应用于ai模型125。
189.根据实施例，ai模型125可构建在医学图像显示设备中。可选地，ai模型125可构建在经由网络连接到医学图像显示设备的服务器上。为方便起见，描述了在医学图像显示设备中构建ai模型125的实施例。对于本领域普通技术人员易于理解的是，下面描述的ai模型125的细节可类似地应用于本公开的其他实施例的ai模型。
190.根据实施例，医学图像1010可以是ct图像、mr图像和3d超声图像中的至少一种。
191.根据实施例，可通过学习作为训练数据的多个医学图像(每个医学图像包括对象)来训练ai模型125以从医学图像获得特征。
192.例如，多个医学图像(每个医学图像包括前列腺)可作为训练数据被输入到ai模型125。每个医学图像可包括切片图像。切片图像可被分割成多段。每个医学图像可将前列腺的边界表示为特征。ai模型125可通过使用cnn从多个分割的截面医学图像中的每个获得特征向量。
193.根据实施例，可训练ai模型125以将对象的边界识别为特征。例如，可训练ai模型125以将3d医学图像中的对象的边界识别为特征。作为另一示例，可训练ai模型125以将截面图像中的对象的边界识别为特征。
194.此外，可训练ai模型125以基于识别出的对象的轮廓来获得对象轮廓图图像。
195.例如，ai模型125可基于从多条训练数据获得的特征向量来识别应用于ai模型125的医学图像1010中的对象(例如，前列腺)的边界。ai模型125可通过分割医学图像1010来获得特征向量，并基于获得的特征向量识别对象的边界。ai模型125可基于识别出的对象的轮廓从医学图像1010获得对象轮廓图图像。
196.根据实施例，可训练ai模型125以获得在语义分割中使用的欧几里德距离作为特征，语义分割以逐像素的方式对超声图像进行分类。
197.例如，ai模型125可获得距对象的边界的欧几里德距离。ai模型125可获得表示距对象的边界的欧几里德距离的3d距离图图像1030。ai模型125可通过利用相同颜色对具有距对象的边界的相等欧几里德距离的区域进行颜色编码来生成3d距离图图像1030。
198.根据实施例，ai模型125可通过对3d距离图图像1030进行切片来生成截面距离图图像1050。
199.例如，ai模型125可通过基于关于探头的位置的信息对3d距离图图像1030进行切片来生成截面距离图图像1050。
200.根据实施例，可预先获得医学图像1010中的特征。例如，医学图像1010中的特征可通过构建在服务器中的ai神经网络从预先获得的医学图像1010获得，然后可被发送到医学图像显示设备。作为另一示例，可通过构建在医学图像显示设备中的ai神经网络从预先获得的医学图像1010获得医学图像1010中的特征。
201.图11示出了根据实施例的医学图像显示设备执行超声图像与医学图像之间的图像配准的示例。
202.参照图11，医学图像显示设备可通过使用ai模型125执行超声图像1110与医学图像1120之间的图像配准。
203.根据实施例，医学图像显示设备可执行3d超声图像与3d医学图像之间的图像配准。
204.根据实施例，医学图像显示设备可执行2d超声图像与通过对3d医学图像进行切片而生成的截面图像之间的图像配准。例如，医学图像显示设备可基于经由传感器获得的关于探头20的位置的信息从3d医学图像中提取截面图像。医学图像显示设备可执行选择的截面图像与2d超声图像之间的图像配准。
205.根据实施例，由ai模型125执行的超声图像1110与医学图像1120之间的图像配准可被划分为两个阶段。
206.例如，ai模型125可执行超声图像1110与医学图像1120之间的整体配准(阶段1图像配准)，然后执行超声图像1110中的对象1111与医学图像1120中的对象1121之间的精确配准(阶段2图像配准)。
207.根据实施例，ai模型125可通过将来自超声图像1110的特征与来自医学图像1120的对应特征进行比较和匹配来执行超声图像1110与医学图像1120之间的图像配准。
208.例如，ai模型125可通过将来自超声图像1110的特征的位置与来自医学图像1120的对应特征的位置进行比较和匹配来执行超声图像1110与医学图像1120之间的图像配准。
209.作为另一示例，ai模型125可通过将超声图像1110中的对象1111的边界与医学图像1120中的对象1121的边界进行比较和匹配来执行超声图像1110与医学图像1120之间的图像配准。
210.作为另一示例，ai模型125可通过将来自超声图像1110的对象1111的距离图图像与来自医学图像1120的对象1121的距离图图像进行比较和匹配来执行超声图像1110与医学图像1120之间的图像配准。
211.根据实施例，通过旋转超声图像1110和医学图像1120中的至少一个以便将来自超声图像1110的特征与来自医学图像1120的对应特征进行比较和匹配，ai模型125可执行超声图像1110与医学图像1120之间的图像配准。
212.例如，ai模型125可旋转超声图像1110和医学图像1120中的至少一个，以执行超声图像1110与医学图像1120之间的整体图像配准。ai模型125可旋转超声图像1110和医学图像1120中的至少一个，以将超声图像1110中的对象1111的特征与医学图像1120中的对象1121的对应特征进行匹配。
213.根据实施例，ai模型125可通过将来自超声图像1110的特征与来自医学图像1120的对应特征进行比较和匹配，来对超声图像1110中的对象1111和医学图像1120中的对象1121中的至少一个执行形状校正。
214.例如，ai模型125可对超声图像1110中的对象1111和医学图像1120中的对象1121中的至少一个执行形状校正，以便精确地对超声图像1110和医学图像1120进行配准(如下面参照图12更详细地描述的)。
215.图12是根据实施例的医学图像显示设备对医学图像应用校正操作的方法的流程
图。
216.医学图像显示设备可将第二超声图像应用于ai模型125(操作351)。第二超声图像是在图3的操作350中获得的超声图像。
217.根据实施例，第二超声图像可以是随着探头20移动而新获得的超声图像。在这种情况下，医学图像显示设备可获得其中对象的形状由于探头20施加的压力而改变的第二超声图像。
218.ai模型125可获得第二超声图像中的特征(操作352)。ai模型125可将获得的第二超声图像中的特征输出到医学图像显示设备。
219.因为操作352与参照图4描述的操作333类似，所以这里将省略其重复描述。
220.医学图像显示设备可识别是否存在对第一医学图像执行校正操作的结果(操作353)。
221.根据实施例，医学图像显示设备可经由ai模型125识别是否存在执行用于改变第一医学图像中的对象的形状的校正操作的结果。
222.医学图像显示设备可不通过将对第一医学图像执行校正操作的结果应用于第一医学图像来执行附加校正操作。因此，医学图像显示设备可快速执行图像配准并显示对第一医学图像应用形状校正的结果。
223.当存在对第一医学图像执行校正操作的结果时，医学图像显示设备可进行到操作354。另一方面，当不存在对第一医学图像执行校正操作的结果时，医学图像显示设备可进行到操作355。
224.医学图像显示设备可识别探头20的位置是否已经改变(操作354)。
225.根据实施例，医学图像显示设备可基于经由传感器获得的关于探头20的位置的信息来识别探头20的位置是否已经改变。例如，医学图像显示设备可通过在由磁场发生器产生的磁场的特定范围内利用电磁传感器追踪探头20的移动来识别探头20的位置是否已经改变。
226.当探头20的位置改变时，医学图像显示设备可进行到操作355。另外，当探头20的位置未改变时，医学图像显示设备可进行到操作371。
227.换句话说，当探头20的位置未改变时，医学图像显示设备进行到操作371，从而快速执行图像配准并显示已经应用了形状校正的医学图像。
228.医学图像显示设备可执行用于对第一医学图像进行变换的校正操作(操作355)。
229.根据实施例，医学图像显示设备可通过经由ai模型125将在操作352中获得的第二超声图像中的特征与第一医学图像中的对应特征进行比较和匹配，来执行用于对第一医学图像进行变换的校正操作。
230.例如，ai模型125可执行校正操作以获得用于校正差异的向量，每个差异在来自第二超声图像的每个特征的位置与来自第一医学图像的其对应特征的位置之间。
231.作为另一示例，ai模型125可执行校正操作，以获得用于校正分别从第二超声图像和第一医学图像获得的对象的轮廓之间的差异的向量。
232.作为另一示例，ai模型125可执行校正操作，以获得用于校正分别从第二超声图像和第一医学图像获得的对象的距离图图像之间的差异的向量。
233.医学图像显示设备可通过将校正操作的结果应用于第一医学图像来获得第二医
学图像(操作371)。
234.根据实施例，医学图像显示设备可通过使用ai模型125将在操作355中执行的校正操作的结果应用于第一医学图像，从而获得包括已经应用了形状校正的对象的第二医学图像。
235.例如，ai模型125可通过将用于校正差异的向量应用于第一医学图像来获得包括已经应用了形状校正的对象的第二医学图像，每个差异在来自第二超声图像的每个特征的位置与来自第一医学图像的其对应特征的位置之间。
236.作为另一示例，ai模型125可通过将用于校正分别从第二超声图像和第一医学图像获得的对象的轮廓之间的差异的向量应用于第一医学图像，来获得包括已经应用了形状校正的对象的第二医学图像。
237.作为另一示例，ai模型125可通过将用于校正分别从第二超声图像和第一医学图像获得的对象的距离图图像之间的差异的向量应用于第一医学图像，来获得包括已经应用了形状校正的对象的第二医学图像。
238.根据实施例，构建在医学图像显示设备中的ai神经网络可将第二医学图像存储在医学图像显示设备的存储器中。作为另一示例，构建在服务器上的ai神经网络可通过网络将第二医学图像发送到医学图像显示设备。
239.图13示出了根据实施例的当医学图像显示设备将校正操作的结果应用于医学图像时获得的结果。
240.参照图13，在图3的操作310中获得的第一超声图像中识别对象1311。在图3的操作350中获得的第二超声图像1310中识别对象1313。在图3的操作330中与第一超声图像配准的第一医学图像1330中识别对象1331。对象1353被包括在图3的操作370中获得的第二医学图像1350中。
241.当将第一超声图像与第一医学图像1330配准时，第一超声图像中的对象1311与第一医学图像1330中的对象1331匹配。因此，第一超声图像中的对象1311的形状类似于第一医学图像1330中的对象1331的形状。
242.此外，第二医学图像1350中的对象1353具有通过基于第二超声图像1310中的对象1313改变第一医学图像1330中的对象1331的形状而获得的形状。因此，第二超声图像1310中的对象1313的形状类似于第二医学图像1350中的对象1353的形状。
243.根据实验结果，当医学图像显示设备是包括具有8个逻辑核的i7-4790中央处理单元(cpu)(以3.60ghz运行)、16千兆字节(gb)随机存取存储器(ram)和nvidia quadro k2200图形处理单元(gpu)的计算机时，校正医学图像需要每帧115ms的平均时间。因此，根据本公开的实施例，医学图像显示设备可实时校正医学图像以对应于超声图像并显示所得图像。
244.此外，实验结果表明，根据本公开的实施例的校正医学图像的结果在体模实验中具有1.595
±
1.602mm的误差(欧几里德距离的平均平移配准误差(average trans-registration error))，而在临床实验中具有3.068
±
1.599mm的误差(欧几里德距离的平均平移配准误差)。因此，所公开的实施例的医学图像显示设备可对与超声图像配准以对应于超声图像的医学图像进行校正，并显示已经应用了校正结果的医学图像，从而清楚地向用户提供关于对象的信息。
245.本公开的实施例可通过其中存储有计算机可执行指令和数据的非暂时性计算机
可读记录介质来实现。指令可以以程序代码的形式存储，并且在被处理器执行时生成预定义的程序模块以执行预设操作。此外，指令可在被处理器执行时执行根据实施例的预设操作。