用于关联多成像模态中的关注区域的系统和方法与流程

1.本技术于2021年3月25日作为pct国际专利申请提交，并要求于2020年3月27日提交的美国临时专利申请序列号63/000702的优先权的权益，其全部公开内容通过引用完全并入本文。


背景技术：

2.医学成像提供了一种非入侵性方法来可视化患者的体内结构。可视化方法可被用来筛查和诊断患者体内的癌症。例如，早期筛查可以检测乳房内可能是癌性的病变，以便在疾病的早期进行治疗。
3.乳房x射线摄影和断层摄影利用x射线辐射来可视化乳房组织。这些技术通常被用来筛查患者的潜在癌性的病变。传统的乳房x射线摄影涉及从不同角度获取乳房的二维图像。断层摄影产生多幅x射线图像，每幅都是通过乳房整个厚度的乳房的离散断层或切片的图像。断层摄影拼凑成乳房的三维可视化。乳房x射线摄影和断层摄影通常在患者站立着且患者乳房组织受压迫的情况下实施。
4.如果发现病变，诊断超声可能是确定患者是否患有肿瘤的下一步骤。超声使用通常由压电换能器产生的声波来对患者体内的组织进行成像。超声成像提供了可使得更容易识别实性肿块的不同组织视图。超声探头通过产生弧形声波来集中声波，该弧形声波传播到体内并从患者体内不同组织之间的层被部分地反射。被反射的声波由换能器检测，并被转换为可由超声扫描仪处理的电信号以形成组织的超声图像。超声通常在患者处于仰卧位置且患者乳房不受压时实施。超声通常在患者处于仰卧位置且患者乳房组织不受压迫的情况下实施。
5.在诊断超声成像程序期间，技术人员和放射科医师经常难以导航到和定位先前在x射线成像期间识别的病变。将来自x射线成像的病变位置关联到超声成像具有挑战性，这是因为前者是在患者直立且乳房组织受压迫的情况下实施的，而后者则是在患者躺下且乳房组织不受压迫的情况下实施的。此外，超声成像具有不同水平的对比度，并且具有与x射线成像不同的外观。随着技术的进步，在x射线成像程序中检测到的病变变得越来越小，这使得在超声图像中定位小病变得更加困难。
6.本公开正是针对此背景做出的。于此提供技术和改进。


技术实现要素：

7.本公开的示例针对一种定位乳房内的关注区域的方法。在计算设备处接收乳房内的目标病变的位置的指示。该目标病变是之前在使用第一成像模态对乳房成像期间识别的。通过第二成像模态获得乳房的图像，并在图像中识别潜在病变。通过在计算系统上运行的病变匹配引擎来分析包括目标病变的第一图像，以使用人工智能将其与包括潜在病变的第二图像进行比较。确定潜在病变对应于目标病变的概率，并输出置信度水平指示符以显示在图形用户界面上。
8.在另一方面中，一种病变识别系统包括处理设备和存储指令的存储器，所述指令在被处理设备执行时便利下述操作的实施。所述操作包括：访问乳房的x射线图像，该x射线图像包括用视觉标记指示的已识别的病变；接收乳房的超声图像，该超声图像包括潜在病变的指示；使用人工智能病变分类器来分析潜在病变和已识别的病变；生成置信度分数，该置信度分数指示超声图像中的潜在病变与x射线图像中已识别的病变匹配的可能性；以及，在图形用户界面上显示与置信度分数相关联的输出。
9.在又一方面中，一种非暂态机器可读存储介质存储可执行指令，所述可执行指令在被处理器执行时便利下述操作的实施。所述操作包括：从数据存储获得针对目标病变的数据，其中，该数据是之前通过x射线成像获得的，并且包括目标病变的至少一幅图像和针对目标病变在乳房内的位置的坐标；记录通过超声成像获得的乳房图像；基于目标病变的坐标，在通过超声获得的所记录的乳房图像中识别一般关注区域；识别该一般关注区域中的潜在病变；使用人工智能病变分类器分析潜在病变，以将潜在病变与目标病变进行比较和确定潜在病变对应于目标病变的置信度水平；以及，在图形用户界面上输出置信度水平的指示符(指示提示)。
10.在另一方面中，一种病变识别系统包括至少一个光学相机、投影仪、处理设备和存储指令的存储器，所述指令在被处理设备执行时便利下述操作的实施。所述操作包括：使用所述至少一个光学相机拍摄患者乳房的至少一幅光学图像；访问乳房的至少一幅断层摄影图像；接收该至少一幅断层摄影图像上的目标病变的指示；使用用于区域匹配的人工智能算法和非刚性可变形模型来进行分析，以共同配准(co-registering)乳房的该至少一幅光学图像和该至少一幅断层摄影图像；基于该共同配准和目标病变的指示来创建概率图，其中，该图指示目标病变位于乳房上的多个点中的每个点的可能性；以及，用该投影仪将该概率图投影到乳房上。
11.在附图和以下描述中阐述了一种或更多种技术的细节。这些技术的其它特征、目标和优点从说明书、附图和权利要求中显而易见。
附图说明
12.图1示出用于定位乳房内的关注区域的一个示例系统。
13.图2示出用于管理包括成像数据的医疗保健数据的一个示例系统的示意图。
14.图3是一个示例性x射线成像系统的示意图。
15.图4是图3的x射线成像系统的立体视图。
16.图5描绘处于针对左侧斜位(lmlo，即left mediolateral oblique)成像方向的乳房定位状态下的x射线成像系统。
17.图6描绘一个示例超声成像系统。
18.图7描绘图6的超声成像系统在用于患者乳房时的一个示例。
19.图8是可用来实施本公开的一个或更多个方面的一个示例性计算系统的示意图。
20.图9是示出识别乳房内的关注区域的一个示例方法的流程图。
21.图10示出图1的图形用户界面的一个示例显示。
22.图11示出用于关联由不同模态获得的图像中的病变的一个示例系统的示意图。
23.图12是示出一个关联病变的示例方法的流程图。
具体实施方式
24.本公开涉及用于使用成像设备定位乳房组织内的病变的系统和方法。具体地说，计算系统利用机器学习来导航到潜在病变，并提供体现用超声成像在乳房中识别的病变与用x射线成像识别的病变之间的关联的置信度水平指示符。
25.评估乳房健康的一个重要步骤在于筛查性x射线成像程序(例如乳房x射线摄影或断层摄影)。在大约10-15％的病例中在x射线图像中识别出这样的病变，该病变使得患者被召回进行额外的成像以确定病变是否潜在癌变。然后进行诊断成像，这通常采用超声技术。超声成像可以更准确地区分囊肿和实性肿块，如果需要活检的话，超声是首选的成像模态。
26.尽管超声有好处，但临床医生可能会觉得在实施超声成像时难以定位在x射线成像期间识别的相同病变。这是由于三个主要因素。首先是与x射线成像程序(例如乳房x射线摄影或断层摄影)相比，超声程序中的乳房的位置不同。通常而言，在x射线成像期间，患者处于直立位置，且乳房受压迫；而在超声期间，患者通常处于仰卧位置，且乳房不受压迫。该位置差别可导致难以将x射线图像中发现的病变与超声产生的图像相关联。
27.第二个原因是超声成像模态看起来与具有不同对比度的x射线成像不同。可能会难以确信在超声中识别的病变是否是先前通过x射线成像识别的相同病变。
28.第三，随着技术不断改进，可以用x射线成像程序检测到的病变变得越来越小。这使得医疗保健从业者更难在超声图像中找到这些病变。
29.本文所述的计算系统运作，以提供用超声识别的病变与用x射线成像识别的病变之间的关联的置信度水平指示符。该计算系统使用在数字乳房断层摄影(dbt)病例库和相应的放射科医生相关诊断超声病例库上训练的人工智能(ai)模型。该ai模型分析新的dbt和超声图像，以确定一个病变是否与另一个病变关联。此外，该ai模型可以给用户提供置信度水平指示符，以帮助他们确定他们是否找到了相同的病变。在某些情况下，该ai模型可以与电磁或光学跟踪输入结合使用，以加速在超声期间导航到目标区域和减小要分析的成像组。在一些示例中，该ai模型利用形态因子来计算置信度水平。形态因子包括可被用来识别乳房具体区域的乳房组织形态特征。在一些示例中，形态因子是乳房表面上的视觉特征，比如痣、斑和纹身。
30.图1示出用于定位乳房内的关注区域的一个示例病变识别系统100。系统100包括计算系统102、x射线成像系统104和超声成像系统106。在一些示例中，病变识别系统100运作，以基于在首次识别关注位置的x射线成像程序期间收集的数据，来在超声成像期间将医疗保健从业者引导到乳房内的关注位置。在一些示例中，病变识别系统100在显示器上给医疗保健从业者提供置信度水平指示符，以帮助医疗保健从业者确认在超声图像上可见的病变是否是先前在x射线图像中识别的相同病变。
31.计算系统102运作，以处理和存储从x射线成像系统104和超声成像系统106接收的信息。在图1的示例中，计算系统102包括病变匹配引擎110和数据存储112。在一些示例中，病变匹配引擎110和数据存储112容纳在计算系统102的存储器中。在一些示例中，计算系统102从比如云计算环境的远程服务器访问病变匹配引擎110和数据存储112。尽管图1将计算系统102示出为独立于系统100的其它部件，但它也可以结合在x射线计算设备116、超声计算设备118或用于患者护理的其它计算设备中。在一些示例中，计算系统102包括两个或更多个计算设备。
32.病变匹配引擎110运作，以分析目标病变的x射线图像和潜在病变的超声图像，来确定潜在病变是否与目标病变相同。在图1的示例中，dbt训练数据的数据存储122被用来训练人工智能单元124。dbt训练数据存储122存储具有对应的超声图像和x射线图像的已识别病变的多个示例病例。示例病例是经医疗保健专业人员确认的匹配。人工智能单元124使用机器学习算法分析这些示例病例，以识别可被用来匹配超声图像与x射线图像的特征。这些特征被用来生成图像分类器。
33.可以利用多种机器学习技术来生成病变分类器。在一些示例中，机器学习算法是有监督的机器学习算法。在其它示例中，机器学习算法是无监督的机器学习算法。在一些示例中，机器学习算法基于人工神经网络。在一些示例中，神经网络是深度神经网络(dnn)。在一些示例中，机器学习算法是卷积深度神经网络(cnn)。在一些示例中，使用两个或更多个网络的组合来生成分类器。在一些示例中，使用两种或更多种算法来从示例病例数据生成特征。
34.图像分析器126利用所得到的经过训练的机器学习分类器来比较x射线图像和超声图像组。使用多种指标来比较病变，包括形状、颜色、边际、取向、纹理、图案、密度、硬度、大小和乳房内的深度。在一些示例中，这些指标是数值。置信度评估器128与图像分析器126结合起来运作，以确定用超声成像识别的潜在病变与用x射线成像识别的病变是否相同的置信度水平。在一些示例中，由置信度评估器128生成置信度分数。在一些示例中，置信度水平可以指示置信度的类别，比如“高”、“中”或“低”。在替代示例中，置信度水平以百分比形式提供，比如“99％”、“75％”或“44％”。最后，图形用户界面(gui)130运作，以在计算设备的显示器上呈现信息。在一些示例中，gui 130在被分析的一幅或更多幅组织图像上显示置信度水平指示符。
35.在一些示例中，病变匹配引擎110运作，以对不同类型的两种图像执行区域匹配。在一些示例中，使用人工智能算法执行该区域匹配，以使用乳房组织的形态因子和其它特征来在两个不同成像模态之间匹配乳房区域。在一些示例中，该分析使用共同配准技术来提供对于预期病变位于乳房上的位置的概率值。在一些示例中，人工智能模型与非刚性可变形模型结合起来运作，以确定目标病变和潜在病变相同的可能性。
36.数据存储112运作，以存储从x射线成像系统104、超声成像系统106和病变匹配引擎110接收的信息。在一些示例中，数据存储112实际上是两个或更多个分别的数据存储。例如，一个数据存储可以是存储来自x射线成像系统的图像的远程数据存储。另一个数据存储可以被本地容纳在计算系统102内。在一些示例中，数据存储112可以是电子病历(或电子医疗记录，emr)系统的一部分。
37.x射线成像系统104运作，以使用x射线辐射拍摄乳房组织的图像。x射线成像系统104包括x射线成像设备114和与x射线成像设备114通信的x射线计算设备116。在一些示例中，x射线成像系统104执行数字乳房断层摄影(dbt)。参照图3至5更详细地说明x射线成像设备114。x射线计算设备116运作，以接收来自医疗保健提供者h的输入，来操作x射线成像设备114和查看从x射线成像设备114接收的图像。
38.超声成像系统106运作，以使用超声波拍摄乳房组织的图像。参照图6至7更详细地说明超声成像系统106。超声成像系统106包括超声计算设备118和超声成像设备120。超声计算设备118运作以接收来自医疗保健提供者h的输入，来操作超声成像设备120和查看从
超声成像设备120接收的图像。
39.图1示出从x射线成像系统104获得的信息如何可以被超声成像系统106使用。医疗保健提供者h操作x射线计算设备116，以使用x射线成像设备114拍摄患者p的乳房的x射线图像。x射线图像可以作为常规健康筛查的一部分拍摄。在筛查期间，医疗保健提供者h识别出患者p的乳房中的一个或更多个关注区域，这些关注区域需要额外分析以确定这些关注区域内的病变是否潜在癌变和需要活检。
40.在一些示例中，可以在x射线计算设备116处记录关注区域的坐标，和将其传达给计算系统102。使用如在代理人案号为04576.0112usp1的同样未决的美国专利申请中描述的组织变形模型来分析由x射线计算设备116记录的坐标，该美国专利申请通过引用全部并入本文。
41.在一些示例中，第一坐标组识别在乳房受压迫时所识别的病变的位置。第一坐标组被翻译成第二坐标组，该第二坐标组识别在乳房不受压迫时所识别的病变的预测位置。在超声图像中识别对应于第二坐标组的关注区域。这使医疗保健工作者能够识别超声图像中的潜在病变。
42.该分析的输出是预测坐标组，可以将其传达给超声计算设备118以在之后的成像检查中使用，该之后的成像检查可能在与之前执行成像程序的位置不同的位置。通过使用超声成像设备120，操作超声计算设备118的医疗保健提供者h使用这些预测坐标以导航到患者p的乳房上的关注区域。
43.在一些示例中，x射线图像与从超声成像设备120接收的超声图像一起在超声计算设备118的用户界面上显示。可在超声计算设备118上显示额外信息，比如关注区域的预测坐标和患者乳房的图像上的生物标记的指示。在一些示例中，在图像上显示指示目标病变的位置的视觉标记。在一些示例中，可在图像上显示指示目标病变最可能位于哪里的概率图。
44.操作超声计算设备118的医疗保健提供者h在超声图像中定位可能与先前在对于同一患者p的x射线图像中识别的病变匹配的潜在病变。超声图像和潜在病变的指示被传达给计算系统102以供分析。在一些示例中，乳房x射线摄影图像、目标关注区域和b模式(b-mode)成像在相同的gui上显示。gui 130有助于在视觉上将超声系统的操作员引导到关注区域，同时还自动记录超声探头的位置、取向和注释。
45.在一些示例中，包括所识别的病变的x射线图像和包括潜在病变的超声图像由计算系统102的病变匹配引擎110分析。病变匹配引擎110输出针对潜在病变的置信度水平指示，并且将该置信度水平指示传达给超声计算设备118。该置信度水平指示可以是显示在超声计算设备118上的gui上的数值、颜色或类别。一个示例gui在图10中示出。
46.在一些示例中，如在图11至12中所述，病变匹配引擎110运作以生成概率图。在一些示例中，光学相机拍摄正在通过超声进行检查的乳房的图像。使用共同配准(co-registration)技术和人工智能区域匹配，来访问和分析先前获得的乳房的x射线图像。由该分析生成的概率图在视觉上投影到乳房上，以帮助医疗保健从业者h找到目标病变。图11中示出包括概率图的示例gui 130。
47.图2示出用于管理包括成像数据的医疗保健数据的示例系统150的示意图。系统150包括通过通信网络152相互通信的多个计算部件。除了在图1中描述的计算系统102、x射
线成像系统104和超声成像系统106之外，上述计算部件还可以包括跟踪系统154、导航系统156、emr系统158和显示系统160。
48.应该注意的是，尽管在图1中将“系统”示出为功能块，但不同的系统可集成到共同设备中，并且通信链接可以耦接在少于全部系统的系统之间；例如，跟踪系统154、导航系统156和显示系统160可以包括在获取工作站或技术人员工作站中，该工作站可以控制放射科套组中的图像获取。替代地，导航系统156和跟踪系统154可以集成到超声成像系统106中，或者提供为具有分别到显示器160、x射线成像系统104和超声成像系统106的通信链接的独立模块。类似地，本领域技术人员还将理解，通信网络152可以是局域网、广域网、无线网络、互联网、内联网或其它类似的通信网络。
49.在一个示例中，x射线成像系统104是断层摄影获取系统，其在x射线管扫描经过乳房上的路径时拍摄患者乳房的一组投影图像。该组投影图像随后被重构成可作为沿任何平面的切片或厚片查看的三维体积。该三维体积可以本地存储在x射线成像系统104处(要么在x射线成像设备114上，要么在x射线计算设备116上)，或存储在通过通信网络152与x射线成像系统104通信的比如数据存储112等数据存储处。在一些示例中，该三维体积可以存储在电子病历(emr)系统158内的患者档案中。关于示例x射线成像系统的更多细节参照图3至5说明。
50.x射线成像系统104可以通过通信网络152将该三维x射线图像体积传输给导航系统156，在该导航系统中可以存储和查看这样的x射线图像。导航系统156显示由x射线成像系统获得的x射线图像。一旦被重构以在导航系统156上显示，x射线图像可以被重新设置格式和重新定位，以在任何平面和任何切片位置或取向查看该图像。在一些示例中，导航系统156在同一屏幕上显示多个帧或窗口，该多个帧或窗口显示x射线图像切片的替选位置或取向。
51.本领域技术人员将理解，由x射线成像系统104获得的x射线图像体积可以在任何时间点传输给导航系统156，不是一定在获得x射线图像体积之后立即传输，而是可以应导航系统156的请求才传输。在替代示例中，x射线图像体积通过便携式介质设备传输给导航系统156，该便携式介质设备比如是闪存盘、cd-rom、软盘或其它类似的便携式介质设备。
52.超声成像系统106通常使用超声探头来获得患者组织的超声图像，该超声探头被用来对在超声探头的视场内的患者组织的一部分进行成像。例如，超声成像系统106可被用来对乳房成像。超声成像系统106获取和显示在超声探头的视场内的患者解剖结构的超声图像，并且通常在对患者成像时实时显示图像。在一些示例中，超声图像可以还存储在比如硬盘驱动器、cd-rom、闪存盘或软盘等存储介质上，以便在之后的时间重构或回放。关于超声成像系统的更多细节参照图6至7说明。
53.在一些示例中，导航系统156可以访问超声图像，并且在这样的示例中，超声成像系统106还连接到通信网络152，并且由超声成像系统106获得的超声图像的复制图像可以通过通信网络152传输给导航系统156。在其它示例中，导航系统156可以通过通信网络152远程访问和复制超声图像。在替代示例中，可以将超声图像的复制图像存储在通过通信网络152与导航系统156通信并且由导航系统156远程访问的数据存储112或emr系统158上。
54.跟踪系统154通过通信网络152与导航系统156通信，并且可以跟踪超声成像系统106正在对患者的组织成像的物理位置。在一些示例中，跟踪系统154可以通过直接通信链
接或无线通信链接来直接连接到导航系统156。跟踪系统154跟踪连接到超声成像系统106的发送器(transmitters)的位置，并给导航系统156提供表示它们在跟踪器坐标空间中的坐标的数据。在一些示例中，跟踪系统154可以是包括光学相机和光学发送器的光学跟踪系统，但是本领域技术人员将理解，可以使用能够跟踪物体在空间中的位置的任何设备或系统。例如，本领域技术人员将理解在一些示例中可以使用射频(rf)跟踪系统，该系统包括rf接收器和rf发送器。
55.通过使用跟踪系统154的校准过程，超声成像系统106可以被配置为与导航系统156一起使用。连接到超声成像系统106的超声探头的发送器可以将它们在跟踪器坐标空间中的位置传输给跟踪系统154，该跟踪系统154则将该信息提供给导航系统156。例如，发送器可以定位在超声成像系统106的探头上，以使得跟踪系统154可以监测超声探头的位置和取向，并将在跟踪器坐标空间中的该信息提供给导航系统156。导航系统156可以使用该跟踪位置来确定超声探头相对于发送器的跟踪位置的位置和取向。在一些示例中，导航系统156和跟踪系统154运作以给为患者p进行超声成像的医疗保健从业者h提供实时引导。
56.在一些示例中，使用配置工具进行配置。在这样的示例中，配置工具的位置和取向可以也由跟踪系统154跟踪。在配置期间，配置工具接触超声成像系统106的超声探头的换能器面，并且跟踪系统154给导航系统156传输表示配置工具在跟踪器坐标空间中的位置和取向的信息。导航系统156可以基于连接到超声探头的发送器的跟踪位置来确定配置矩阵，该配置矩阵可被用来确定超声探头的视场在跟踪器坐标空间中的位置和取向。在替代示例中，具有多个品牌或型号的不同超声探头的配置数据的数据库可被用来在配置期间将视场配置预加载到导航系统156中。
57.一旦超声成像系统106与导航系统156相配置，就可以用超声成像系统106对患者的组织进行成像。在超声成像期间，跟踪系统154监测超声成像系统106的超声探头的位置和取向，并将在跟踪器坐标空间中的该信息提供给导航系统156。由于超声成像系统106已被配置为与导航系统156一起使用，导航系统156能够确定超声成像系统106的超声探头的视场的位置和取向。
58.导航系统156可以被配置为将超声图像与x射线图像共同配准(co-register)。在一些示例中，导航系统156可以被配置为将超声探头的视场的位置和取向从跟踪器坐标空间转换为x射线图像中的位置和取向，例如转换为x射线系统坐标。这可以通过跟踪超声探头的位置和取向并将跟踪器坐标空间中的该位置信息传输给导航系统156和将该位置信息与x射线坐标系统相关联来实现。在一些示例中，在gui 130上显示共同配准的图像。
59.例如，用户可以选择x射线图像内的解剖平面，然后用户可以操纵所跟踪的超声探头的位置和取向来将超声探头的视场与所选择的解剖平面对准。一旦实现对准，就可以捕获超声图像的相关跟踪器空间坐标。使用本领域技术人员已知的技术，可以由所跟踪的超声视场取向与所选择的解剖平面之间的相对旋转差异，来确定x射线图像与跟踪器坐标空间之间的解剖轴线(上下(si)、左右(lr)和前后(ap))的配准。
60.该配置可以还包括选择x射线图像内的地标，例如，使用允许用户选择解剖目标的界面。在一些示例中，地标可以是内部组织地标，例如静脉或动脉，而在其它示例中，地标可以是外部地标，例如基准皮肤标记或比如乳头的外部地标。可以用超声探头定位在x射线图像中选择的相同地标，并且在定位后可以提供一种机制，以用于捕获目标在跟踪器坐标空
间中的表示的坐标。x射线图像中的目标的坐标与跟踪器坐标空间中的目标的坐标之间的相对差异被用来确定对准这两个坐标空间所需的平移参数。先前获取的平面取向信息可以与该平移参数相结合，以提供能够共同配准这两个坐标空间的完整的4
×
4转换矩阵。
61.然后，导航系统156可以使用转换矩阵来重新设置正在显示的x射线图像的格式，使得正在显示的组织切片与超声成像系统106的超声探头的视场处于相同的平面和相同的取向中。经匹配的超声和x射线图像然后可以并排显示，或者直接叠加(覆盖)在单个图像查看帧中。在一些示例中，导航系统156可以在显示屏上的分别的帧或位置中显示额外的x射线图像。例如，x射线图像可以与超声成像系统106的视场的图形表示一起显示，其中，视场的图形表示被显示为切割穿过x射线图像的三维表示。在其它示例中，可以另外显示注释，这些注释例如表示被超声成像系统106成像的器械的位置，这些器械比如是活检针、导丝、成像探头或其它类似设备。
62.在其它示例中，由超声成像系统106正在显示的超声图像可以叠加在由导航系统156正在显示的x射线图像的切片上，以使得用户可以同时查看在相同显示器上叠加显示的x射线和超声图像这两者。在一些示例中，导航系统156可以增强叠加的超声或x射线图像的某些方面，以提高所得到的组合图像的质量。
63.如在图1中所述，操作病变匹配引擎110的计算系统102分析x射线图像和超声图像组，以确定在超声图像中识别的病变是之前在x射线图像中识别的相同病变的置信度水平。可以在计算设备上显示置信度水平指示符，以帮助操作超声成像系统106的用户确定在对应的超声图像中是否已经找到了之前在x射线图像中识别的病变。
64.电子病历系统158存储多个电子病历(erms)。每个emr都包含患者的医疗和治疗历史。电子病历系统158的示例包括由epic systems corporation、cerner corporation、allscripts和medical information technology,inc.(meditech)开发和管理的那些。
65.图3是示例性x射线成像系统104的示意图。图4是x射线成像系统104的立体视图。同时参照图3和4，x射线成像系统104通过乳房压迫固定单元204使患者的乳房202固定不动以进行x射线成像(乳房x射线摄影和断层摄影中的任一个或这两者)，该乳房压迫固定单元204包括静态乳房支撑平台206和可移动压迫板208。乳房支撑平台206和压迫板208每个都各自具有压迫表面210和212，它们朝向彼此移动以压迫和固定乳房202。在已知系统中，压迫表面210、212外露以直接接触乳房202。平台206还容纳图像接收器216，可选地容纳倾斜机制218，和可选地容纳防散射滤线栅。固定单元204位于从x射线源222发射的成像光束220的路径中，以使得光束220撞击在图像接收器216上。
66.固定单元204支撑在第一支撑臂224上，x射线源222支撑在第二支撑臂226上。对于乳房x射线摄影，支撑臂224和226可以作为一个单元围绕轴228在比如cc和mlo等不同的成像取向之间转动，以使得系统104可以在每个取向上拍摄乳房x射线摄影投影图像。在操作中，图像接收器216在拍摄图像时相对于平台206保持在原位。固定单元204释放乳房202以便臂224、226移动到不同的成像取向。对于断层摄影，支撑臂224保持在原位，乳房202被固定并保持在原位，同时至少第二支撑臂226使x射线源222相对于固定单元204和受压迫的乳房202围绕轴228旋转。系统104在光束220相对于乳房202的各个角度拍摄乳房202的多幅断层摄影投影图像。
67.同时且可选地，图像接收器216可以相对于乳房支撑平台206倾斜和与第二支撑臂
226的旋转同步。该倾斜可以经过与x射线源222的旋转相同的角度，但也可以经过不同角度，该不同角度被选择为使得对于多幅图像中的每一幅而言光束220都大致保持在图像接收器216上的相同位置。该倾斜可以围绕轴230，该轴可以但不必处于图像接收器216的图像平面中。耦接到图像接收器216的倾斜机制218可以驱动图像接收器216进行倾斜运动。
68.对于断层摄影成像和/或ct成像，乳房支撑平台206可以是水平的或可以与水平成角度，例如以与乳房x射线摄影中的常规mlo成像类似的取向。x射线成像系统104可以仅是乳房x射线摄影系统、ct系统，或者仅是断层摄影系统，或者是可执行多种成像形式的“组合(combo)”系统。这种组合系统的一个示例已由本受让人以商品名selenia dimensions市售。在一些示例中，通过磁共振成像(mri)实施初始成像。
69.当系统被操作时，图像接收器216响应于成像光束220的照射而产生成像信息，并将其提供给图像处理器232用于处理和生成乳房x射线图像。包括软件的系统控制和工作站单元238控制系统的操作，并与操作员交互以接收命令和提供包括经过处理的射线图像的信息。
70.当系统被操作时，图像接收器216响应于成像光束220的照射而产生成像信息，并将其提供给图像处理器232用于处理和生成乳房x射线图像。包括软件的系统控制和工作站单元238控制系统的操作，并与操作员交互以接收命令和提供包括经过处理的射线图像的信息。
71.图5描绘一个示例性x射线成像系统104，该系统104处于针对左侧斜位mlo(lmlo)成像取向的乳房定位状态。系统104的管头258被设置成取向大致平行于系统104的机架256，或者不垂直于乳房与之抵住布置的支撑臂260的平坦部分。在该位置，技术人员可以更容易地定位乳房，而不必在管头258下方低头弯腰或蹲下。
72.x射线成像系统104包括用于将x射线成像系统104支撑在地面上的地面安装件或底座254。机架256从地面安装件252向上延伸，并且可旋转地支撑管头258和支撑臂260这两者。管头258和支撑臂260被构造为彼此分别地旋转，并且还可以沿着机架的面262升高和降低以适应不同身高的患者。在管头258内设置有在本文别处描述但在此未示出的x射线源。支撑臂260包括支撑平台264，该支撑平台264在其中包括x射线接收器和其它部件(未示出)。压迫臂266从支撑臂260延伸，并且被构造为线性地升高和降低(相对于支撑臂260)压迫板268，以在成像程序期间压迫患者乳房。管头258和支撑臂260一起可以被称为c形臂。
73.在x射线成像系统104上设置有多个接口(界面)和显示屏。这些接口和显示屏包括足部显示屏270、机架接口272、支撑臂接口274和压迫臂接口276。通常各个接口272、274和276可以包括一个或更多个触觉按键、旋钮、开关，以及可以包括一个或更多个显示屏，该显示屏包括具有图形用户界面(guis)的电容式触摸屏，以使得用户能够与x射线成像系统104交互和控制它。在示例中，接口272、274、276可以包括控制功能，该控制功能也可以在比如图1的x射线计算设备116等系统控制和工作站上提供。不管是持续地还是选择性地，至少部分地基于预定设置、用户偏好或操作要求，任何个体接口272、274、276都可以包括在其它接口272、274、276上提供的功能。通常而言，如下所述，足部显示屏270主要是显示屏，但如果需要或期望的话，可以使用电容式触摸屏。
74.在一些示例中，机架接口272可以允许比如以下功能：选择成像取向、显示患者信息、调整支撑臂高度或支撑臂角度(倾斜或旋转)、安全措施等。在示例中，支撑臂接口274可
以允许比如调整支撑臂高度或支撑臂角度(倾斜或旋转)、调整压迫臂高度、安全措施等功能。在示例中，压迫臂接口276可以允许比如调整压迫臂高度、安全措施等功能。此外，与压迫臂界面276相关联的一个或更多个显示器可以显示更详细的信息，例如所施加的压迫臂力、所选择的成像取向、患者信息、支撑臂高度或角度设定等。根据具体应用的需要或期望，足部显示屏270还可以显示比如由压迫臂接口276的一个或更多个显示器显示的信息，或者显示额外或不同的信息。
75.图6描绘超声成像系统106的一个示例。超声成像系统106包括超声探头302，该超声探头302包括超声换能器304。超声换能器304被配置为发射超声波306的阵列。超声换能器304将电信号转换成超声波306。超声波换能器304还可以被配置为检测超声波，例如已经从患者体内部分(例如乳房内的病变)反射的超声波。在一些示例中，超声换能器304可以结合电容式换能器和/或压电换能器以及其它合适的换能技术。
76.超声换能器304也可操作地连接(例如，有线或无线)到显示器310。显示器310可以是比如图2的超声计算设备118等计算系统的一部分，该计算系统包括被配置为产生和分析超声图像的处理器和存储器。显示器310被配置为基于患者的超声成像来显示超声图像。
77.在超声成像系统106中执行的超声成像主要是b模式成像，其得到患者体内一部分的横截面的二维超声图像。所得图像中像素的亮度通常对应于被反射的超声波的幅度或强度。
78.也可以使用其它超声成像模式。例如，超声探头可以在三维超声模式下运作，该模式从相对于乳房的多个角度获取超声图像数据以构建乳房的三维模型。
79.在一些示例中，在获取过程期间可不显示超声图像。而是，在不显示b模式图像的情况下获取超声数据和生成乳房的三维模型。
80.超声探头302还可以包括探头定位收发器308。探头定位收发器308是发射信号的收发器，该信号为超声探头302提供定位信息。探头定位收发器308可以包括用于发送和接收信息的射频识别(rfid)芯片或设备，以及能够提供取向信息的加速度计、陀螺仪设备或其它传感器。例如，可以处理由探头定位收发器308发射的信号以确定超声探头302的取向或位置。超声探头302的取向和位置可以在比如笛卡尔坐标或球坐标的三维分量(components)中确定或提供。超声探头302的取向和位置也可以相对于比如切口器械、标记、磁方向、重力法线等其它项目来确定或提供。采用超声探头302的取向和位置，可以生成额外信息并将其提供给外科医生，以帮助引导外科医生至患者体内的病变，如下文进一步所述。尽管本文使用了“收发器”这个术语，但该术语旨在涵盖发送器、接收器和收发器以及它们的任何组合。
81.图7描绘与患者的乳房312使用中的超声成像系统106的一个示例。超声探头302与乳房312的一部分接触。在图7中描绘的位置，超声探头302正被用来对乳房312的病变314成像。为了对病变314成像，超声换能器304将超声波306的阵列发射到乳房312内部。超声波306的一部分被比如病变314(当病变在视场中时)的乳房内部成分反射出来，从而作为反射的超声波316返回超声探头302。可以通过超声换能器304检测反射的超声波316。例如，超声换能器304接收反射的超声波316，并将反射的超声波316转换成可以被处理和分析的电信号，以在显示器310上生成超声图像数据。
82.成像平面中的病变314或其它对象的深度可以由从超声探头302发射超声波306与
超声探头302检测到反射的超声波316的脉冲之间的时间来确定。例如，声速是众所周知的，软组织对声速的影响也是可以确定的。因此，基于超声波306的飞行时间(更具体地，飞行时间的一半)，可以确定超声图像内的对象的深度。也可以实施用于确定对象深度的其它修正或方法，例如补偿波通过组织的折射和变化的速度。本领域技术人员将理解医学超声成像技术中深度测量的更多细节。这样的深度测量和确定可被用来构建乳房312的三维模型。
83.此外，可以使用多种频率或模式的超声技术。例如，可以实施定位频率以及成像频率和拍摄频率的实时且同时的发送和接收多路复用。这些能力的利用提供信息以共同配准或融合来自超声技术的多组数据，来允许在显示器310上可视化病变和其它医学图像。成像频率和拍摄序列可以包括b模式成像(有没有合成皆可)、多普勒模式(例如彩色、双工)、谐波模式、剪切波和其它弹性成像模式、以及对比增强超声，但不限于这些成像模式和技术。
84.图8是示出计算设备400的物理部件的一个示例的框图。计算设备400可以是与病变识别系统100或用于管理成像数据的系统150结合使用的任何计算设备，比如计算系统102、x射线计算设备116和超声计算设备118。
85.在图8所示的例子中，计算设备400包括至少一个中央处理单元(“cpu”)402、系统存储器408和将系统存储器408耦接到cpu 402的系统总线422。系统存储器408包括随机存取存储器(“ram”)410和只读存储器(“rom”)412。在rom 412中存储有基础输入/输出系统，该输入/输出系统包含帮助在计算设备400内的元件之间(比如在启动期间)传输信息的基础例程。计算系统400还包括大容量存储设备414。大容量存储设备414能够存储软件指令和数据。
86.大容量存储设备414通过连接到系统总线422的大容量存储控制器(未示出)来连接到cpu 402。大容量存储设备414及其相关的计算机可读存储介质为计算设备400提供非易失性、非暂态的数据存储。虽然本文包含的对计算机可读存储介质的描述提及大容量存储设备，比如硬盘或固态盘，但是本领域技术人员应该理解，计算机可读数据存储介质可包括cpu 402能从中读取数据和/或指令的任何可用的有形物理设备或制品。在某些示例中，计算机可读存储介质只包括非暂态介质。
87.计算机可读存储介质包括以用于存储信息的任何方法或技术实施的易失性和非易失性、可移动和不可移动的介质，所述信息比如是计算机可读软件指令、数据结构、程序模块或其它数据。计算机可读数据存储介质的示例类型包括但不限于：ram、rom、eprom、eeprom、闪存或其它固态存储技术；cd-rom、数字通用光盘(“dvds”)、其它光学存储介质；盒式磁带、卡式磁带、磁盘存储器或其它磁性存储设备；或可被用来存储所期望的信息并且可由计算设备400访问的任何其它介质。
88.根据一些示例，计算设备400可以通过网络152在使用与远程网络设备的逻辑连接的网络环境中运作，网络152比如是无线网络、互联网或其它类型的网络。计算设备400可以通过连接到系统总线422的网络接口单元404来连接到网络152。应当理解，网络接口单元404也可被用来连接到其它类型的网络和远程计算系统。计算设备400还包括输入/输出控制器406，其用于接收和处理来自大量其它设备的输入，所述其它设备包括触摸用户界面显示屏或其它类型的输入设备。类似地，输入/输出控制器406可以给触摸用户界面显示屏或其它类型的输出设备提供输出。
89.如上文简要提及的，计算设备400的大容量存储设备414和ram410可以存储软件指
令和数据。软件指令包括适于控制计算设备400的操作的操作系统418。大容量存储设备414和/或ram 410还存储软件指令，这些软件指令在被cpu 402执行时引起计算设备400提供本文中讨论的功能。
90.现在参照图9说明定位乳房内的关注区域的一种示例方法500。在一些示例中，图1至8中所述的系统和设备可用来实施方法500。特别地，图1至2的计算系统102运作以实施方法500的步骤，来帮助医疗保健提供者在成像程序期间定位乳房内的关注区域。
91.在操作502中，接收通过x射线成像模态获得的第一图像。在一些示例中，图1至2的x射线成像系统104的x射线成像设备114运作，以将x射线图像记录为由医疗保健提供者h在x射线计算设备116处提供的输入结果。在一些示例中，使用数字乳房断层摄影来获取x射线图像。在一些示例中，可以从远程数据存储获得x射线图像。在这样的示例中，x射线图像可在不同的时间和地点记录，然后存储在emr或其它数据存储中。在一些示例中，在计算系统102处接收第一图像。
92.在操作504中，接收x射线图像上的目标病变的指示。在一些示例中，在x射线计算设备116处接收来自医疗保健提供者h的指示。计算设备116可运作以显示用户界面，该用户界面允许医疗保健提供者h通过使用与x射线计算设备116通信的输入设备(比如鼠标、触摸屏或手写笔)提供的输入，来容易地与x射线图像交互以突显目标病变。在一些示例中，可以用视觉标记来指示目标病变。目标病变由医疗保健提供者h识别为需要额外分析。在一些示例中，目标病变之后由临床医生在拍摄x射线图像后识别。在一些示例中，可以使用人工智能系统，来在记录x射线图像时实时识别目标病变。
93.在操作506中，记录目标病变的位置坐标。在使用x射线成像系统104的x射线成像过程期间记录目标病变的坐标。在一些示例中，坐标可以是笛卡尔坐标或极坐标。在一些示例中，关注区域可以在断层摄影图像堆栈(z坐标)内的具体切片内识别，其位置可以进一步通过该图像切片内的x和y坐标识别。
94.在操作508中，通过超声成像获得乳房组织的第二图像。该超声图像包括与目标病变的位置坐标对应的乳房组织区域。在一些示例中，图1至2的超声成像系统106的超声成像设备120运作，以将超声图像记录为由医疗保健提供者h在超声计算设备118处提供的输入结果。在一些示例中，可以从远程数据存储获得超声图像。在这样的示例中，超声图像可在不同的时间和地点记录，然后存储在emr或其它数据存储中。在一些示例中，在计算系统102处接收第二图像以与第一图像进行处理。
95.在操作510中，在与目标病变的位置坐标对应的乳房组织区域内识别潜在病变。在一些示例中，基于从在x射线成像期间针对目标病变保存的坐标针对超声加以转换得到的坐标来识别该区域。在一些示例中，位置坐标包括相对于乳头的时钟位置、距乳房表面的深度和距乳头的距离中的至少两种。在一些示例中，医疗保健提供者h可在超声计算设备118处突显潜在病变。计算设备118可运作以显示用户界面，该用户界面允许医疗保健提供者h通过使用与超声计算设备118通信的输入设备(比如鼠标、触摸屏或手写笔)提供的输入，来容易地与超声图像交互以突显潜在病变。在一些实施例中，gui 130并排显示dbt图像和超声图像。在图10中示出该gui 130的一个示例。该潜在病变被医疗保健提供者h识别为可能与在x射线图像中识别的目标病变相同。在一些示例中，实时人工智能系统可以在dbt图像被记录时对其进行分析，以识别潜在病变。这样的系统的一个示例在题为“用于物理活检标
记物检测的实时ai(real-time ai for physical biopsy marker detection)”的同样未决的申请(关于卷号04576.0110usp1的插入信息)中进行了描述，该申请通过引用完全并入本文。
96.在操作512中，使用人工智能分析潜在病变，以确定第二图像中的潜在病变是否对应于第一图像中的目标病变的置信度水平。在一些示例中，病变匹配引擎110运作以分析潜在病变和目标病变，来确定这两个病变是否匹配。如上所述，机器学习病变分类器分析这些病变的多个方面，比如大小、形状和纹理，以匹配病变的超声图像和x射线图像。在一些示例中，还可以比较硬度和密度以确定是否匹配。
97.在操作514中，输出置信度水平指示符。在一些示例中，在gui130上生成置信度水平指示符。在一些示例中，gui 130包括与置信度水平指示符一起的超声图像和x射线图像。在一些示例中，该指示符可以显示为文本、图形、颜色或符号。在图10中提供了关于gui130的一个示例的更多细节。
98.图10示出图1的gui 130的一个示例。在一些示例中，gui 130在比如图1的超声计算设备118的计算设备上显示。在图10的示例中，gui 130并排显示乳房202的x射线图像602和超声图像604。在x射线图像602中用视觉标记指示先前在x射线成像期间识别的目标病变606。乳房202的对应超声图像604显示潜在病变608的指示。还显示了置信度水平指示符610，其以百分比形式提供目标病变606与潜在病变608匹配的可能性。在该示例中，99.9％匹配。
99.在一些示例中，可以提供置信度水平的其它指示符，例如围绕潜在病变608的彩色圆圈。不同的颜色可以表示不同的置信度水平。例如，可以用绿色圆圈表示高置信度水平。可以用黄色圆圈表示中等置信度水平。可以用红色圆圈表示低置信度水平。在一些示例中，可以使用超声图像604上的视觉指示符和文本置信度水平指示符610这两者。
100.gui 130还包括指示乳房202上正在拍摄超声图像604的位置的图612，以及指示目标病变606的位置的箭头。另外，还显示坐标614。在该示例中，坐标614指示潜在病变的位置在右乳房中距离乳头2cm的11:00时钟位置处。图612显示潜在病变608的相应视觉表示。
101.图11示出病变识别系统700的另一实施例。病变关联器701在计算设备102上运行，具有与图1的病变匹配引擎110类似的功能。然而，在该示例中，病变是使用概率图进行关联的。通过使用至少两个光学相机702和投影仪402来提供实时超声成像引导。光学相机702运作以拍摄患者躯干的多幅图像。在计算设备102处，多幅立体定向光学图像与先前获取的x射线图像相结合进行分析。
102.在该示例中，人工智能图像分析器724被配置为在两个不同成像模态之间匹配乳房区域。在一些示例中，深度学习模型被用来生成在一种类型的图像中识别的目标病变位于另一类型的图像上的任何给定位置的概率。例如，分析断层摄影视图710中示出的目标病变712，以确定其在超声图像708上的位置的概率。
103.在一些示例中，概率制图器728生成针对乳房的概率图，该图指示在不同类型的图像中潜在病变714最有可能位于的位置。在一些示例中，这可以是由光学相机702获得的光学图像。潜在病变714在超声图像上用色彩渐变来指示，其中心表示目标病变最可能位于此处。在一些示例中，概率图是视觉图并且叠加在超声图像或断层摄影图像上，如图11的gui 730中所示。在其它示例中，概率图是在进行超声检查期间使用投影仪704投影到患者真实
乳房上的视觉图。潜在病变714由概率图的彩色区域指示。该视觉概率图被用来指导医疗保健从业者h使用超声探头302获得超声图像。
104.在一些示例中，跟踪系统154和导航系统156与病变关联器701结合起来运作，以在超声成像时段期间引导医疗保健从业者h。超声探头302的当前位置被传达给计算设备102，和在gui 730上实时呈现的图像上视觉指示探头的当前位置。
105.现在参照图12说明定位乳房内的关注区域的一种示例方法800。在一些示例中，图11的系统运作以执行该方法800。
106.在操作802中，拍摄至少一个乳房的一系列立体光学图像。这通常在患者俯卧在成像台或其它支撑物上时实施。使用位于患者上方的两个或更多个光学相机702来拍摄图像。
107.在操作804中，访问乳房的至少一个断层摄影图像。在一些实施例中，响应于接收到来自用户的输入来在计算设备102处访问一幅或多幅断层摄影图像。在一些示例中，从与正被成像的患者相关联的电子病历访问一幅或多幅断层摄影图像。在一些实施例中，然后在计算设备102的显示器上呈现该一幅或多幅断层摄影图像。
108.在操作806中，接收断层摄影图像上的目标病变的指示。在一些示例中，该指示是在图1的x射线计算设备处从医疗保健提供者h接收的。在图11的gui 130中示出目标病变712的指示的一个示例。如上文参照图9所述，存在可指示目标病变的其它方式。
109.在操作808中，实施光学图像和断层摄影图像的共同配准图像分析。在一些实施例中，用于区域匹配的人工智能算法被用来生成光学图像和断层摄影图像均可被共同配准成为的虚拟乳房变形。在一些示例中，人工智能算法是基于深度学习的区域匹配方法。
110.在操作810中，基于图像分析来创建概率图。该概率图指示所指示的病变位于乳房的具体点的可能性。
111.在图11所示的示例中，视觉概率图使用颜色指示符来指示乳房上不同位置的高低概率。例如，红色可指示最高概率，蓝色可指示最低概率。在其它示例中，使用灰度，其中，黑色指示最高概率，白色指示最低概率。如在图11中可见，所得到的概率图视觉效果可能会包括指示病变最有可能在的最高概率区域。该区域被向外延伸的概率递减区域包围。例如，该区域可以是红色的，它周围的颜色从橙色延伸到黄色，再到绿色，再到蓝色。在其它示例中，视觉概率图被显示为不同类型的杂色图(hashing)或明暗图(shading)。在一些示例中，概率图为各种概率提供不同的数值。在一些示例中，将单个靶子投影到概率最高的点。
112.在操作812中，将概率图投影到患者p身上。在一些示例中，仅将该图投影到一个乳房上。在一些示例中，将该图投影到患者的两个乳房上。这为实施超声成像的医疗保健提供者h提供了到目标病变最可能在的位置的视觉引导。
113.在一些示例中，可以给医疗保健提供者h提供额外的反馈以指示超声探头302正在接近目标病变的位置。在一些情况下，超声探头302阻挡概率图投影到患者身上的路径，产生阴影。为了补偿对该视觉引导的干扰，可以使用比如触觉反馈或听觉反馈的反馈来帮助医疗保健从业者h确定超声探头302何时对准目标病变。
114.在一些示例中，以实时导航辅助的形式给医疗保健从业者提供额外的引导。在成像期间跟踪超声探头的实时位置，和在显示器上为医疗保健从业者提供关于该位置的信息。在一些示例中，显示器显示超声探头相对于患者乳房图像的当前位置和取向的提示。
115.本文所述的方法和系统提供了帮助医疗保健专业人员在超声下快速准确地定位
乳房x射线摄影病变的导航和病变匹配技术。该系统使医疗保健专业人员能够在乳房x射线摄影期间识别关注区域。在后续的超声检查期间，同时显示乳房x射线摄影照片、目标关注区域和b模式成像。这将专业人员引导至关注区域，同时同步自动记录探头的位置、取向和注释。一旦专业人员导航到了关注区域，系统就自动分析图像、匹配病变和提供视觉置信度指示符。
116.本文提供的系统和方法允许医疗保健专业人员使用超声导航到距目标病变1cm以内。该基于人工智能的系统建立在数千个经确认的病例之上。可以比医疗保健专业人员自身能做到的更准确地匹配病变。此外，能更快且更容易地使用超声定位初始时使用x射线成像识别的病变。
117.尽管本文描述了多个实施例和示例，但是本领域技术人员理解在本公开的范围内可以对这些实施例和示例进行众多修改。因此，本公开的范围不旨在以任何方式受限于所提供的示例。