产生组织成像生物标记的系统和方法与流程

1.本技术于2021年3月24日作为pct国际专利申请提交，并要求于2020年3月27日提交的美国临时专利申请序列号63/000707的优先权的权益，其全部公开内容通过引用完全并入本文。


背景技术：

2.医学成像提供了一种非入侵性方法来可视化患者的体内结构。可视化方法可被用来筛查和诊断患者体内的癌症。例如，早期筛查可以检测乳房内可能是癌性的病变，以便在疾病的早期进行治疗。
3.乳房x射线摄影和数字乳房断层摄影(dbt)利用x射线辐射来可视化乳房组织。这些技术通常被用来筛查患者的潜在癌性的病变。传统的乳房x射线摄影涉及从不同角度获取乳房的二维图像。断层摄影产生多幅x射线图像，每幅都是通过乳房整个厚度的乳房的离散断层或切片的图像。断层摄影由二维图像拼凑在一起形成乳房的三维可视化。
4.如果发现病变，诊断超声通常是确定患者是否患有肿瘤的下一步骤。超声使用通常由压电换能器产生的声波来对患者体内的组织进行成像。超声成像提供了可使得更容易识别实性肿块的不同组织视图。超声探头通过产生弧形声波来集中声波，该弧形声波传播到体内并从患者体内不同组织之间的层被部分地反射。被反射的声波由换能器检测，并被转换为可由超声扫描仪处理的电信号以形成组织的超声图像。
5.在成像期间识别到病变之后，可以确定应该对病变内的组织进行活检。在美国等地，比如放射科医生或外科医生等医疗保健专业人员通常会从病变取出小部分组织，然后标记该位置以供将来参照。标记嵌入组织中，可由比如钛、陶瓷和镍钛合金等不同材料构成。标记可用于在未来的成像程序期间识别之前活检的部位。此外，如果活检揭示应该进行手术去除病变，则该标记使得外科医生能够轻松识别病变的位置。
6.虽然标记由对患者无害的材料制成，但存在与将异物留在患者体内有关的问题。大约85％的活检发现病变是良性的。一些标记可以被患者感觉到——特别是浅表病变上的标记。无论活检的结果是否是癌症诊断，这些标记都会使患者不愉快地回想起紧张的医疗经历。此外，大约15％的标记无法被外科医生定位以进行后续手术。因此，需要一种更有效的标记活检部位的方法。
7.本公开正是针对此背景做出的。于此提供技术和改进。


技术实现要素：

8.本公开的示例涉及一种对乳房内的关注区域制图的方法。
9.在一个方面中，一种对乳房内的目标部位制图的方法包括拍摄包括该乳房内的目标部位的乳房组织的诊断医学图像。测量包括该目标部位的乳房组织的血管分布和硬度。将图像、血管分布和硬度保存在电子记录中的结构图(architectural map)中。在一些示例中，乳房组织的光谱参数被记录并与结构图一起保存。在一些示例中，乳房组织的结构图包
括目标部位周围的正常组织的边际。
10.在另一方面中，一种用于对乳房内的关注区域制图的系统包括至少一个数据存储、处理设备以及存储指令的存储器，所述指令在被处理器执行时便利以下操作的实施。所述操作包括：对乳房内的关注区域制图，该制图操作通过使用诊断医学成像来记录关注区域的至少一个图像来实现；测量关注区域的血管分布；以及测量关注区域的密度。所述操作还包括将所述至少一个图像、所述血管分布和所述密度作为结构图保存在与该乳房相关联的电子记录中。
11.在又一方面中，一种非暂态机器可读存储介质存储可执行指令，所述可执行指令在被处理器执行时便利以下操作的实施。所述操作包括：拍摄整个乳房的超声图像；记录乳房内的关注区域的位置坐标；使用微视血流多普勒(microflow doppler)来测量包括关注区域的乳房组织的血管分布；使用剪切波弹性成像来测量包括关注区域的乳房组织的硬度；以及，将所述图像、所述位置坐标、所述血管分布和所述硬度作为结构图保存在与该乳房相关联的电子记录中。所述操作还包括：在之后的时间接收从乳房成像获得的扫描信息；从与乳房相关联的电子记录中访问结构图；基于该结构图分析该扫描信息以识别关注区域。
12.在附图和以下描述中阐述了一种或更多种技术的细节。这些技术的其它特征、目标和优点从说明书、附图和权利要求中显而易见。
附图说明
13.图1示出用于对乳房内的关注区域制图的一个示例系统。
14.图2示出用于管理包括成像数据的医疗保健数据的一个示例系统的示意图。
15.图3是一个示例性x射线成像系统的示意图。
16.图4是图3的x射线成像系统的立体视图。
17.图5描绘处于针对左侧斜位(lmlo，即left mediolateral oblique)成像方向的乳房定位状态下的x射线成像系统。
18.图6描绘一个示例超声成像系统。
19.图7描绘图6的超声成像系统在用于患者乳房时的一个示例。
20.图8示出用来产生乳房的结构图的不同信息层的示意图。
21.图9是示出对乳房内的关注区域制图的一个示例方法的流程图。
22.图10示出图1的图形用户界面的一个示例显示。
23.图11是适用于实施本公开的一个或更多个方面的一个示例性计算系统的示意图。
具体实施方式
24.本公开涉及用于对乳房组织内的关注区域制图的系统和方法。特别地，通过结合多种成像技术来创建乳房组织的独特的数字指纹。在超声期间，可以通过从2d切片、弹性成像、纹理分析、定量超声和光谱参数图中的两种或更多种来制作该区域的结构图，来标记关注区域。结构图可以在未来的成像程序和手术中使用，以自动和虚拟地指示关注区域的位置。结构图可以显示在计算设备的用户界面上，以在成像期间将用户引导至关注区域。在一些示例中，关注区域是活检部位。活检部位可以用或不用物理标记来标记。
25.在一些示例中，组合两组或更多组成像数据以提供包括关注区域的乳房组织的独特“指纹”。一个数据组是自上而下的乳房图像(从胸壁到皮肤)。该自上而下的图像可以是x射线成像和超声成像中的一种或这两种。第二数据组是用于聚焦到关注区域的位置的导航坐标。这可以指向乳房组织内的具体病变或活检的位置。这些坐标可以包括距乳头的“时钟位置”、在乳房内的深度以及距乳头的距离。第三数据组提供紧邻关注区域的组织的详细视图。这是用超声技术成像的，以测量组织的血管分布和硬度。可以使用微视血流多普勒来测量血管分布，以可视化病变周围的血流图案。可以使用shearwave
tm
弹性成像来测量硬度或密度，该shearwave
tm
弹性成像输出表现整个组织体积中硬度的相对值的彩色图。弹性成像还可被用来基于在乳房组织中发现微小钙化来确定患者是否需要进行后续成像检查。在一些示例中，可以使用定量超声成像技术来提供关于乳房组织的额外信息。由此得到的“指纹”或结构图被用来帮助医疗保健专业人员在乳房超声期间导航到具体的关注区域。
26.图1示出一个示例组织制图系统100。在一些示例中，组织制图系统100运作以产生可用于对乳房组织成像的虚拟生物标记。系统100包括计算系统102、x射线成像系统104和超声成像系统106。在一些示例中，组织制图系统100运作，以使用从x射线成像系统104和超声成像系统106接收的信息来产生乳房组织的数字结构图。该数字结构图可被用来虚拟地标记乳房内的关注区域。
27.计算系统102运作，以处理和存储从x射线成像系统104和超声成像系统106接收的信息。在图1的示例中，计算系统102包括组织制图引擎110和数据存储112。在一些示例中，组织制图引擎110和数据存储112容纳在计算系统102的存储器内。在一些示例中，计算系统102从比如云计算环境的远程服务器访问组织制图引擎110和数据存储112。在一些示例中，计算系统102还包括组织变形模型107和病变匹配引擎109。
28.组织制图引擎110运作，以通过组合多种类型的信息来产生关注区域的成像生物标志，来创建乳房组织的数字结构图。在一些示例中，组织制图引擎110包括结构图生成器126、三模式(或三型，tri-mode)扫描器128和图形用户界面(gui)130。
29.在一些示例中，组织制图引擎110接收、分析和合成来自弹性成像、多普勒、x射线和超声的数据，以产生乳房内的关注区域的数字结构图。结构图生成器126将三个信息层合成在一起，以数字地标记乳房内的关注位置的位置。
30.一个信息层是关注区域(roi，即region of interest)的位置的注释。关注区域可能是已被识别为潜在癌变的病变所在之处。病变可能已经经过活检，医疗保健提供者h想要标记其位置以供将来参照。在这些示例中，roi是探针插入组织进行活检的点。除了记录roi位置的注释之外，在活检部位可以放置或不放置物理标记。在其它示例中，roi是在断层摄影期间识别的病变。在一些示例中，注释是描述乳房内的关注区域的位置的坐标组。在一些示例中，坐标包括相对于乳头的时钟位置、距乳房表面的深度以及距乳头的距离。在一些示例中，可以使用组织变形模型107来确定坐标，如下文所述。
31.另一信息层是整个乳房的图像。拍摄乳房的一幅或更多幅x射线图像和超声图像，以对从胸壁到皮肤表面的所有组织成像。这提供了乳房内的关注区域的完整缩小的视图。在一些示例中，使用b模式(b mode)超声(或b型超声，即b超)获取图像。在一些示例中，使用断层摄影来拍摄图像。可以一起使用多于一种类型的成像。
32.第三信息层是关注区域和周围组织的血管分布和硬度的图案。可以使用比如多普
勒的超声检查技术来测量血管分布。超声成像可以通过检测红细胞的高频声波跳动来描绘血流，以产生血管图像。在一些示例中，采用微视血流多普勒成像来确定包括和围绕关注区域的乳房组织中的血管的图案。
33.可以通过弹性成像测量来确定乳房组织的硬度。通常，超声或磁共振成像技术被用来可视化组织的相对硬度。准静态弹性成像将在对组织施加外部压力之前和之后的组织超声图像进行比较。在压力下变形最小的组织部分具有最大的硬度。声辐射力脉冲成像(arfi)和剪切波弹性成像(swei)利用声辐射力推动组织。arfi在多个位置测量组织响应于推动而移动的程度，以形成定性硬度的二维图。swei测量波从组织被推动的位置传播到各个横向位置有多快，以推断中间组织的硬度。由supersonic imagine研发的shearwave plus技术是测量组织硬度的另一种方法，它可提供定量实时的二维图。shearwave
tm plus采用与swei相同的概念，但使用以超音速移动的剪切波来实施这些概念，并且使用超快速成像来配准(register)波的传播。
34.磁共振弹性成像(mre)使用患者身体表面上的机械振动器来产生行进到更深组织中的剪切波。通过磁共振成像(mri)测量波的速度，并将该速度用于推断组织硬度(剪切模量)。mre产生组织硬度的定量三维图以及传统的三维mri图像。其它确定组织硬度的方法也是可以的。
35.可选的第四层或第五层包括关于乳房组织的额外信息。该信息可以使用定量超声技术获得组织的光谱参数来获得。
36.组织变形模型107被用来分析在x射线成像期间获得的关于乳房内的关注区域的信息，和将该信息转换为可用于在超声成像期间导航到相同关注区域的位置识别信息。在乳房组织受压迫时在乳房x射线摄影期间确定的关注区域的坐标被转换成不同的坐标组，以用来在对不受压迫的乳房组织进行超声成像期间定位关注区域。组织变形模型107基于正在被成像的乳房的密度和体积来预测超声坐标。
37.在一些示例中，组织变形模型107基于变形曲线，该变形曲线基于乳房组织的展开量(amount of spread)确定，其记录在乳房x射线摄影的压迫板上。利用该板的已知压迫和由x射线确定的密度，为每个患者计算组织变形模型107。
38.病变匹配引擎109运作，以分析目标病变的x射线图像和潜在病变的超声图像，来确定潜在病变是否与目标病变相同。用通过超声确认的dbt病例来训练人工智能系统，以生成图像分类器。使用该分类器分析图像，以基于比如形状、颜色、边际、取向、纹理、图案、大小和在乳房内的深度等特征来比较病变。可以生成置信度分数，其指示在超声中识别的病变是用断层摄影识别的相同病变的可能性。
39.数据存储112运作，以存储从x射线成像系统104、超声成像系统106和组织制图引擎110接收的信息。在一些示例中，数据存储112实际上是两个或更多个分别的数据存储。例如，一个数据存储可以是存储来自x射线成像系统的图像的远程数据存储。另一个数据存储可以被本地容纳在计算系统102内。在一些示例中，数据存储112可以是电子病历(或电子医疗记录，emr)系统的一部分。
40.x射线成像系统104运作，以使用x射线辐射拍摄乳房组织的图像。x射线成像系统104包括x射线成像设备114和与x射线成像设备114通信的x射线计算设备116。在一些示例中，x射线成像系统104执行断层摄影。参照图3至5更详细地说明x射线成像设备114。x射线
计算设备116运作，以接收来自医疗保健提供者h的输入，来操作x射线成像设备114和查看从x射线成像设备114接收的图像。
41.超声成像系统106运作，以使用超声波拍摄乳房组织的图像。在一些示例中，超声成像系统106运作，以执行弹性成像、纹理分析和多普勒中的一种或多种。参照图6至7更详细地说明超声成像系统106。超声成像系统106包括超声计算设备118和超声成像设备120。超声计算设备118运作以接收来自医疗保健提供者h的输入，来操作超声成像设备120和查看从超声成像设备120接收的图像。
42.图1示出从x射线成像系统104和超声成像系统106获得的信息如何可以被在计算系统102上运行的组织制图引擎110使用。医疗保健提供者h操作x射线计算设备116，以使用x射线成像设备114拍摄患者p的乳房的x射线图像。x射线图像可以作为常规健康筛查的一部分拍摄。在筛查期间，医疗保健提供者h识别出患者p的乳房中的一个或更多个关注区域，这些关注区域需要额外分析以确定这些关注区域内的病变是否潜在癌变和需要活检。医疗保健提供者h可以例如包括外科医生、医生、护士、技术人员和超声医师。
43.在一些示例中，可以在x射线计算设备116处记录关注区域的坐标，和将其传达给计算系统102。使用组织变形模型107来分析由x射线计算设备116记录的坐标。在一些示例中，第一坐标组识别在乳房受压迫时所识别的病变的位置。第一坐标组被翻译成第二坐标组，该第二坐标组识别在乳房不受压迫时所识别的病变的预测位置。在超声图像中识别对应于第二坐标组的关注区域。这使技术人员能够识别超声图像中的潜在病变。
44.在一些示例中，x射线图像与从超声成像设备120接收的超声图像一起在超声计算设备118的用户界面上显示。在一些示例中，在图像上显示指示目标病变的位置的视觉标记。操作超声计算设备118的医疗保健提供者h在超声图像中定位可能与先前在对于同一患者p的x射线图像中识别的病变匹配的潜在病变。超声图像和潜在病变的指示被传达给计算系统102以供分析。在一些示例中，乳房x射线摄影图像、目标关注区域和b模式(b-mode)成像在相同的gui上显示。gui 130有助于在视觉上将超声系统的操作员引导到关注区域，同时还自动记录超声探头的位置、取向和注释。
45.在一些示例中，包括所识别的病变的x射线图像和包括潜在病变的超声图像由计算系统102的病变匹配引擎109分析。病变匹配引擎109输出针对潜在病变的置信度水平指示符，并且将该置信度水平指示符传达给超声计算设备118。该置信度水平指示符可以是显示在超声计算设备118上的gui上的数值、颜色或类别。
46.在成像程序期间，医疗保健专业人员指出要与病历(患者记录)一起记录的一个或更多个关注区域。这些关注区域可能是在程序期间中进行了活检的病变。在一些示例中，关注区域是识别为待进一步观察的病变。为每个关注区域确定所标记的位置坐标。
47.由x射线成像系统104和超声成像系统106生成的图像和测量结果在组织制图引擎110处被接收。组织制图引擎110生成患者乳房的包括至少一个关注区域的结构图，并将该图保存到数据存储112。
48.之后，当患者返回进行另外的检查或手术时，医疗保健提供者可能想要找到患者乳房内的先前识别的病变或其它关注区域。在数分钟、数小时、数天或数周过去后执行分别的成像程序。在某些情况下，可在医疗机构同一次就诊期间使用两种不同的成像程序检查同一患者。在一些示例中，医疗保健专业人员h可能想要确定乳房组织的构成是否有任何整
体变化。例如，自上次对患者的乳房组织成像以来，患者可能经历了化疗和/或放疗，医疗保健提供者想要了解治疗如何影响了乳房组织的健康。
49.在一个示例中，医疗保健专业人员h可以正在操作超声计算设备118以对患者p的乳房进行成像。超声计算设备118从数据存储112访问与患者p相关联的结构图。组织制图引擎110生成gui 130以在超声计算设备118上显示。三模式扫描仪128呈现包括b超图像、血管分布和硬度的三模式乳房视图。三模式扫描仪读取超声探头相对于患者乳房的位置，并帮助导航到先前识别的关注区域的位置坐标。
50.图2示出用于管理包括成像数据的医疗保健数据的示例系统150的示意图。系统150包括通过通信网络152相互通信的多个计算部件。除了在图1中描述的计算系统102、x射线成像系统104、超声成像系统106和数据存储112之外，上述计算部件还可以包括跟踪系统154、导航系统156、emr系统158和显示系统160。
51.应该注意的是，尽管在图1中将“系统”示出为功能块，但不同的系统可集成到共同设备中，并且通信链接可以耦接在少于全部系统的系统之间；例如，跟踪系统154、导航系统156和显示系统160可以包括在获取工作站或技术人员工作站中，该工作站可以控制放射科套组中的图像获取。替代地，导航系统156和跟踪系统154可以集成到超声成像系统106中，或者提供为具有分别到显示器160、x射线成像系统104和超声系统106的通信链接的独立模块。类似地，本领域技术人员还将理解，通信网络152可以是局域网、广域网、无线网络、互联网、内联网或其它类似的通信网络。
52.在一个示例中，x射线成像系统104是断层摄影获取系统，其在x射线管扫描经过乳房上的路径时拍摄患者乳房的一组投影图像。该组投影图像随后被重构成可作为沿任何平面的切片查看的三维体积。该三维体积可以本地存储在x射线成像系统104处(要么在x射线成像设备114上，要么在x射线计算设备116上)，或存储在通过通信网络152与x射线成像系统104通信的比如数据存储112等数据存储处。在一些示例中，该三维体积可以存储在电子病历(emr)系统158内的患者档案中。关于示例x射线成像系统的更多细节参照图3至5说明。
53.x射线成像系统104可以通过通信网络152将该三维x射线图像体积传输给导航系统156，在该导航系统中可以存储和查看这样的x射线图像。导航系统156显示由x射线成像系统获得的x射线图像。一旦被重构以在导航系统156上显示，x射线图像可以被重新设置格式和重新定位，以在任何平面和任何切片位置或取向查看该图像。在一些示例中，导航系统156在同一屏幕上显示多个帧或窗口，该多个帧或窗口显示x射线图像切片的替选位置或取向。
54.本领域技术人员将理解，由x射线成像系统104获得的x射线图像体积可以在任何时间点传输给导航系统156，不是一定在获得x射线图像体积之后立即传输，而是可以应导航系统156的请求才传输。在替代示例中，x射线图像体积通过便携式介质设备传输给导航系统156，该便携式介质设备比如是闪存盘、cd-rom、dvd-rom、软盘或其它类似的便携式介质设备。
55.超声成像系统106通常使用超声探头来获得患者组织的超声图像，该超声探头被用来对在超声探头的视场内的患者组织的一部分进行成像。例如，超声成像系统106可被用来对乳房成像。超声成像系统106获取和显示在超声探头的视场内的患者解剖结构的超声图像，并且通常在对患者成像时实时显示图像。在一些示例中，超声图像可以还存储在比如
硬盘驱动器、dvd-rom、闪存盘或软盘等存储介质上，以便在之后的时间重构或回放。关于超声成像系统的更多细节参照图6至7说明。
56.在一些示例中，导航系统156可以访问超声图像，并且在这样的示例中，超声成像系统106还连接到通信网络152，并且由超声成像系统106获得的超声图像的复制图像可以通过通信网络152传输给导航系统156。在其它示例中，导航系统156可以通过通信网络152远程访问和复制超声图像。在替代示例中，可以将超声图像的复制图像存储在通过通信网络152与导航系统156通信并且由导航系统156远程访问的数据存储112或emr系统158上。
57.跟踪系统154通过通信网络152与导航系统156通信，并且可以跟踪超声成像系统106正在对患者的组织成像的物理位置。在一些示例中，跟踪系统154可以通过直接通信链接或无线通信链接来直接连接到导航系统156。跟踪系统154跟踪连接到超声成像系统106的发送器(transmitters)的位置，并给导航系统156提供表示它们在跟踪器坐标空间中的坐标的数据。在一些示例中，跟踪系统154可以是包括光学相机和光学发送器的光学跟踪系统，但是本领域技术人员将理解，可以使用能够跟踪物体在空间中的位置的任何设备或系统。例如，本领域技术人员将理解在一些示例中可以使用射频(rf)跟踪系统，该系统包括rf接收器和rf发送器。
58.通过使用跟踪系统154的校准过程，超声成像系统106可以被配置为与导航系统156一起使用。连接到超声成像系统106的超声探头的发送器可以将它们在跟踪器坐标空间中的位置传输给跟踪系统154，该跟踪系统154则将该信息提供给导航系统156。例如，发送器可以定位在超声成像系统106的探头上，以使得跟踪系统154可以监测超声探头的位置和取向，并将在跟踪器坐标空间中的该信息提供给导航系统156。导航系统156可以使用该跟踪位置来确定超声探头相对于发送器的跟踪位置的位置和取向。
59.在一些示例中，使用配置工具进行配置。在这样的示例中，配置工具的位置和取向可以也由跟踪系统154跟踪。在配置期间，配置工具接触超声成像系统106的超声探头的换能器面，并且跟踪系统154给导航系统156传输表示配置工具在跟踪器坐标空间中的位置和取向的信息。导航系统156可以基于连接到超声探头的发送器的跟踪位置来确定配置矩阵，该配置矩阵可被用来确定超声探头的视场在跟踪器坐标空间中的位置和取向。在替代示例中，具有多个品牌或型号的不同超声探头的配置数据的数据库可被用来在配置期间将视场配置预加载到导航系统156中。
60.一旦超声成像系统106与导航系统156相配置，就可以用超声成像系统106对患者的组织进行成像。在超声成像期间，跟踪系统154监测超声成像系统106的超声探头的位置和取向，并将在跟踪器坐标空间中的该信息提供给导航系统156。由于超声成像系统106已被配置为与导航系统156一起使用，导航系统156能够确定超声成像系统106的超声探头的视场的位置和取向。
61.导航系统156可以被配置为将超声图像与x射线图像共同配准(co-register)。在一些示例中，导航系统156可以被配置为将超声探头的视场的位置和取向从跟踪器坐标空间转换为x射线图像中的位置和取向，例如转换为x射线系统坐标。这可以通过跟踪超声探头的位置和取向并将跟踪器坐标空间中的该位置信息传输给导航系统156和将该位置信息与x射线坐标系统相关联来实现。在一些示例中，在gui 130上显示共同配准的图像。
62.例如，用户可以选择x射线图像内的解剖平面，然后用户可以操纵所跟踪的超声探
头的位置和取向来将超声探头的视场与所选择的解剖平面对准。一旦实现对准，就可以捕获超声图像的相关跟踪器空间坐标。使用本领域技术人员已知的技术，可以由所跟踪的超声视场取向与所选择的解剖平面之间的相对旋转差异，来确定x射线图像与跟踪器坐标空间之间的解剖轴线(上下(si)、左右(lr)和前后(ap))的配准。
63.该配置可以还包括选择x射线图像内的地标，例如，使用允许用户选择解剖目标的界面。在一些示例中，地标可以是内部组织地标，例如静脉或动脉，而在其它示例中，地标可以是外部地标，例如基准皮肤标记或比如乳头的外部地标。可以用超声探头定位在x射线图像中选择的相同地标，并且在定位后可以提供一种机制，以用于捕获目标在跟踪器坐标空间中的表示的坐标。x射线图像中的目标的坐标与跟踪器坐标空间中的目标的坐标之间的相对差异被用来确定对准这两个坐标空间所需的平移参数。先前获取的平面取向信息可以与该平移参数相结合，以提供能够共同配准这两个坐标空间的完整的4
×
4转换矩阵。
64.然后，导航系统156可以使用转换矩阵来重新设置正在显示的x射线图像的格式，使得正在显示的组织切片与超声成像系统106的超声探头的视场处于相同的平面和相同的取向中。经匹配的超声和x射线图像然后可以并排显示，或者直接叠加(覆盖)在单个图像查看帧中。在一些示例中，导航系统156可以在显示屏上的分别的帧或位置中显示额外的x射线图像。例如，x射线图像可以与超声成像系统106的视场的图形表示一起显示，其中，视场的图形表示被显示为切割穿过x射线图像的三维表示。在其它示例中，可以另外显示注释，这些注释例如表示被超声成像系统106成像的器械的位置，这些器械比如是活检针、导丝、成像探头或其它类似设备。
65.在其它示例中，由超声成像系统106正在显示的超声图像可以叠加在由导航系统156正在显示的x射线图像的切片上，以使得用户可以同时查看在相同显示器上叠加显示的x射线和超声图像这两者。通常难以将超声图像叠加在x射线图像上，这是因为乳房的压迫和取向根据所使用的技术而异。计算系统102可以基于对图像执行的分析来修改图像，以产生人为组合的图像。在一些示例中，导航系统156可以增强叠加的超声或x射线图像的某些方面，以提高所得到的组合图像的质量。
66.如图1中所述，操作组织制图引擎110的计算系统102组合来自x射线图像、超声图像、位置坐标、光谱参数、血管分布测量结果和硬度测量结果的信息以构建乳房组织的结构图。该图可以使用与超声成像系统106通信的计算设备或计算系统102的显示器来查看，以在成像期间定位关注区域。在一些示例中，组织的血管分布和硬度的可视化是叠加的b超图像以产生组合视图，来帮助识别乳房中先前标记的关注区域。在其它示例中，组合视图仅显示具有关注区域的指示的超声图像和超声探头的当前位置，如图10的示例中所示。也可以在超声图像旁边显示roi的x射线图像。
67.电子病历系统158存储多个电子病历(erms)。每个emr都包含患者的医疗和治疗历史。电子病历系统158的示例包括由epic systems corporation、cerner corporation、allscripts和medical information technology,inc.(meditech)开发和管理的那些。
68.图3是示例性x射线成像系统104的示意图。图4是x射线成像系统104的立体视图。同时参照图3和4，x射线成像系统104通过乳房压迫固定单元204使患者的乳房202固定不动以进行x射线成像(乳房x射线摄影和断层摄影中的任一个或这两者)，该乳房压迫固定单元204包括静态乳房支撑平台206和可移动压迫板208。乳房支撑平台206和压迫板208每个都
各自具有压迫表面210和212，它们朝向彼此移动以压迫和固定乳房202。在已知系统中，压迫表面210、212外露以直接接触乳房202。平台206还容纳图像接收器216，可选地容纳倾斜机制218，和可选地容纳防散射滤线栅。固定单元204位于从x射线源222发射的成像光束220的路径中，以使得光束220撞击在图像接收器216上。
69.固定单元204支撑在第一支撑臂224上，x射线源222支撑在第二支撑臂226上。对于乳房x射线摄影，支撑臂224和226可以作为一个单元围绕轴228在比如cc和mlo等不同的成像取向之间转动，以使得系统104可以在每个取向上拍摄乳房x射线摄影投影图像。在操作中，图像接收器216在拍摄图像时相对于平台206保持在原位。固定单元204释放乳房202以便臂224、226移动到不同的成像取向。对于断层摄影，支撑臂224保持在原位，乳房202被固定并保持在原位，同时至少第二支撑臂226使x射线源222相对于固定单元204和受压迫的乳房202围绕轴228旋转。系统104在光束220相对于乳房202的各个角度拍摄乳房202的多幅断层摄影投影图像。
70.同时且可选地，图像接收器216可以相对于乳房支撑平台206倾斜和与第二支撑臂226的旋转同步。该倾斜可以经过与x射线源222的旋转相同的角度，但也可以经过不同角度，该不同角度被选择为使得对于多幅图像中的每一幅而言光束220都大致保持在图像接收器216上的相同位置。该倾斜可以围绕轴230，该轴可以但不必处于图像接收器216的图像平面中。耦接到图像接收器216的倾斜机制218可以驱动图像接收器216进行倾斜运动。
71.对于断层摄影成像和/或ct成像，乳房支撑平台206可以是水平的或可以与水平成角度，例如以与乳房x射线摄影中的常规mlo成像类似的取向。x射线成像系统104可以仅是乳房x射线摄影系统、ct系统，或者仅是断层摄影系统，或者是可执行多种成像形式的“组合(combo)”系统。这种组合系统的一个示例已由本受让人以商品名selenia dimensions市售。
72.当系统被操作时，图像接收器216响应于成像光束220的照射而产生成像信息，并将其提供给图像处理器232用于处理和生成乳房x射线图像。包括软件的系统控制和工作站单元238控制系统的操作，并与操作员交互以接收命令和提供包括经过处理的射线图像的信息。
73.图5描绘一个示例性x射线成像系统104，该系统104处于针对左侧斜位mlo(lmlo)成像取向的乳房定位状态。系统104的管头258被设置成取向大致平行于系统104的机架256，或者不垂直于乳房与之抵住布置的支撑臂260的平坦部分。在该位置，技术人员可以更容易地定位乳房，而不必在管头258下方低头弯腰或蹲下。
74.x射线成像系统104包括用于将x射线成像系统104支撑在地面上的地面安装件或底座254。机架256从地面安装件252向上延伸，并且可旋转地支撑管头258和支撑臂260这两者。管头258和支撑臂260被构造为彼此分别地旋转，并且还可以沿着机架的面262升高和降低以适应不同身高的患者。在管头258内设置有在本文别处描述但在此未示出的x射线源。支撑臂260包括支撑平台264，该支撑平台264在其中包括x射线接收器和其它部件(未示出)。压迫臂266从支撑臂260延伸，并且被构造为线性地升高和降低(相对于支撑臂260)压迫板268，以在成像程序期间压迫患者乳房。管头258和支撑臂260一起可以被称为c形臂。
75.在x射线成像系统104上设置有多个接口(界面)和显示屏。这些接口和显示屏包括足部显示屏270、机架接口272、支撑臂接口274和压迫臂接口276。通常各个接口272、274和
276可以包括一个或更多个触觉按键、旋钮、开关，以及可以包括一个或更多个显示屏，该显示屏包括具有图形用户界面(guis)的电容式触摸屏，以使得用户能够与x射线成像系统104交互和控制它。在示例中，接口272、274、276可以包括控制功能，该控制功能也可以在比如图1的x射线计算设备116等系统控制和工作站上提供。不管是持续地还是选择性地，至少部分地基于预定设置、用户偏好或操作要求，任何个体接口272、274、276都可以包括在其它接口272、274、276上提供的功能。通常而言，如下所述，足部显示屏270主要是显示屏，但如果需要或期望的话，可以使用电容式触摸屏。
76.在一些示例中，机架接口272可以允许比如以下功能：选择成像取向、显示患者信息、调整支撑臂高度或支撑臂角度(倾斜或旋转)、安全措施等。在示例中，支撑臂接口274可以允许比如调整支撑臂高度或支撑臂角度(倾斜或旋转)、调整压迫臂高度、安全措施等功能。在示例中，压迫臂接口276可以允许比如调整压迫臂高度、安全措施等功能。此外，与压迫臂界面276相关联的一个或更多个显示器可以显示更详细的信息，例如所施加的压迫臂力、所选择的成像取向、患者信息、支撑臂高度或角度设定等。根据具体应用的需要或期望，足部显示屏270还可以显示比如由压迫臂接口276的一个或更多个显示器显示的信息，或者显示额外或不同的信息。
77.图6描绘超声成像系统106的一个示例。超声成像系统106包括超声探头302，该超声探头302包括超声换能器304。超声换能器304被配置为发射超声波306的阵列。超声换能器304将电信号转换成超声波306。超声波换能器304还可以被配置为检测超声波，例如已经从患者体内部分(例如乳房内的病变)反射的超声波。在一些示例中，超声换能器304可以结合电容式换能器和/或压电换能器以及其它合适的换能技术。
78.超声换能器304也可操作地连接(例如，有线或无线)到显示器310。显示器310可以是比如图2的超声计算设备118等计算系统的一部分，该计算系统包括被配置为产生和分析超声图像的处理器和存储器。显示器310被配置为基于患者的超声成像来显示超声图像。
79.在超声成像系统106中执行的超声成像主要是b模式成像，其得到患者体内一部分的横截面的二维超声图像。所得图像中像素的亮度通常对应于被反射的超声波的幅度或强度。
80.也可以使用其它超声成像模式。例如，超声探头可以在三维超声模式下运作，该模式从相对于乳房的多个角度获取超声图像数据以构建乳房的三维模型。
81.在一些示例中，在获取过程期间可不显示超声图像。而是，在不显示b模式图像的情况下获取超声数据和生成乳房的三维模型。
82.超声探头302还可以包括探头定位收发器308。探头定位收发器308是发射信号的收发器，该信号为超声探头302提供定位信息。探头定位收发器308可以包括用于发送和接收信息的射频识别(rfid)芯片或设备，以及能够提供取向信息的加速度计、陀螺仪设备或其它传感器。例如，可以处理由探头定位收发器308发射的信号以确定超声探头302的取向或位置。超声探头302的取向和位置可以在比如笛卡尔坐标或球坐标的三维分量(components)中确定或提供。超声探头302的取向和位置也可以相对于比如切口器械、标记、磁方向、重力法线等其它项目来确定或提供。采用超声探头302的取向和位置，可以生成额外信息并将其提供给外科医生，以帮助引导外科医生至患者体内的病变，如下文进一步所述。尽管本文使用了“收发器”这个术语，但该术语旨在涵盖发送器、接收器和收发器以及
它们的任何组合。
83.图7描绘与患者的乳房312使用中的超声成像系统106的一个示例。超声探头302与乳房312的一部分接触。在图7中描绘的位置，超声探头302正被用来对乳房312的病变314成像。为了对病变314成像，超声换能器304将超声波306的阵列发射到乳房312内部。超声波306的一部分被比如病变314(当病变在视场中时)的乳房内部成分反射出来，从而作为反射的超声波316返回超声探头302。可以通过超声换能器304检测反射的超声波316。例如，超声换能器304接收反射的超声波316，并将反射的超声波316转换成可以被处理和分析的电信号，以在显示器310上生成超声图像数据。
84.成像平面中的病变314或其它对象的深度可以由从超声探头302发射超声波306与超声探头302检测到反射的超声波316的脉冲之间的时间来确定。例如，声速是众所周知的，软组织对声速的影响也是可以确定的。因此，基于超声波306的飞行时间(更具体地，飞行时间的一半)，可以确定超声图像内的对象的深度。也可以实施用于确定对象深度的其它修正或方法，例如补偿波通过组织的折射和变化的速度。本领域技术人员将理解医学超声成像技术中深度测量的更多细节。这样的深度测量和确定可被用来构建乳房312的三维模型。对于该三维模型与其它类型技术所使用的其它三维乳房方案相关联的其它各种应用而言，该三维模型可能有用。
85.此外，可以使用多种频率或模式的超声技术。例如，可以实施定位频率以及成像频率和拍摄频率的实时且同时的发送和接收多路复用。这些能力的利用提供信息以共同配准或融合来自超声技术的多组数据，来允许在显示器310上可视化病变和其它医学图像。成像频率和拍摄序列可以包括b模式成像(有没有合成皆可)、多普勒模式(例如彩色、双工)、谐波模式、剪切波和其它弹性成像模式、以及对比增强超声，但不限于这些成像模式和技术。
86.图8示出被用来构建乳房的结构图的各个信息层的示意图。拍摄整个乳房的x射线图像352和超声图像354，并且将这些图像彼此对准。图1的组织变形模型107可被用来确定关注区域的位置的坐标356。如果关注区域是病变，则病变匹配引擎109可被用来确认在超声图像中发现的相同病变是否是首先在乳房x射线摄影中识别的病变。弹性成像358和多普勒360被用来确定关注区域周围组织的硬度和血管分布。将指示相对硬度和血管分布图案的图叠加在乳房的x射线和超声图像上，以在所得到的结构图362中提供乳房和关注区域的整体视图。
87.现在参照图9说明对乳房内的关注区域制图的一种示例方法500。在一些示例中，图1至7中所述的系统和设备可用于实施方法500。特别地，图1至2的计算系统102运作以实施方法500的步骤，来生成乳房内的关注区域的结构图和帮助医疗保健提供者之后在成像程序或手术期间定位该关注区域。
88.在操作502中，记录乳房内的关注区域的图像。该关注区域可以是病变或包括一个或更多个病变的组织的区域。在一些示例中，在乳房内识别多于一个关注区域。在一些示例中，还对关注区域周围的组织边际进行成像。组织边际的量可以变化，但旨在提供一些“正常”组织来与关注区域相比较。在一些示例中，拍摄整个乳房的图像——从胸壁到皮肤。可以使用x射线和超声成像技术中的一种或这两种来记录图像。
89.在操作504中，可以可选地记录指示关注区域的位置的坐标组。可以在与成像设备相关联的计算设备上从医疗保健专业人员接收指示该关注区域的输入。针对医疗保健专业
人员所指示的位置生成坐标。在一些示例中，坐标包括相对于乳头的时钟位置、距乳头的距离以及距乳房皮肤的深度。
90.在操作506中，测量关注区域的血管分布。在一些示例中，使用比如多普勒的超声检查技术来测量血管分布。在一些示例中，还测量关注区域周围的组织边际，以建立对于正常组织的基准。
91.在操作508中，测量关注区域的硬度。在一些示例中，使用比如剪切波弹性成像的超声检查技术来测量硬度。在一些示例中，还测量关注区域周围的组织边际，以建立对于正常组织的基准。
92.在操作509中，可选地记录关注区域的光谱参数。光谱参数包括定量超声技术，比如光谱流式(spectral flow)和散射参数。
93.在操作510中，组合所记录的图像、血管分布测量结果和硬度测量结果以生成结构图。在一些示例中，结合使用超声和x射线成像这两者来创建结构图。在一些示例中，结构图还包括位置坐标。在一些示例中，光谱参数也包括在结构图中。随着包含更多的信息，结构图变得更加准确和有用。结构图被保存在与乳房相关联的电子记录中。
94.在操作512中，接收来自之后的乳房成像的扫描信息。这通常可以是实时拍摄的超声图像。为了实施手术以去除病变，可能在之后的时间对乳房进行成像。在某些情况下，可以对乳房进行成像以确定与之前的成像相比在组织中是否发生了任何变化。例如，可以对乳房进行成像以确定在进行了活检或去除了病变的位置周围的组织，来确定是否发生任何变化表明癌变组织已开始在该位置生长。在一些示例中，之后对乳房的成像发生在操作502的成像至少一小时后。在一些示例中，之后的成像发生在至少一天后。在一些示例中，之后的成像发生在至少一个月后。
95.在操作514中，从电子记录访问乳房的结构图。在一些示例中，从存储在电子病历(emr)系统中的患者记录访问结构图。
96.在操作516中，分析扫描信息以基于结构图识别关注区域。在一些示例中，坐标被用来将超声探头引导至关注区域。坐标可以由比如图2的导航系统156的导航系统结合来自跟踪系统154的信息使用，以将医疗保健专业人员引导至关注区域。
97.在操作518中，乳房的图像与来自结构图的信息一起显示在图形用户界面上。在一些示例中，示出乳房组织的组合视图，该组合视图包括与关注区域的位置的指示叠加的x射线和/或超声图像。该组合视图对于帮助医疗保健提供者识别和导航乳房内的关注区域是有效的。此外，组合视图对于识别乳房组织内已发生的任何变化是有用的。这样的变化可能会影响组织的血管分布或硬度。此外，可以通过组合视图中包含的超声或x射线图像，来识别组织的密度变化。在图10中示出该组合视图的一个示例。
98.图10示出图1的gui 130的一个示例。在一些示例中，gui 130显示在比如图1的超声计算设备118的计算设备上。在图10的示例中，gui 130并排显示乳房202的x射线图像602和超声图像604。先前在x射线成像期间识别的目标病变606在x射线图像602中用视觉标记加以指示。乳房202的对应超声图像604显示对潜在病变608的指示。显示了置信度水平指示符610，其以百分比形式提供目标病变606和潜在病变608匹配的可能性。在该示例中，99.9％匹配。
99.gui 130还包括指示乳房202上正在拍摄超声图像604的位置的图612。该图612包
括对于roi位置的标记620，以及超声探头的当前位置的指示符618。另外显示坐标614。在该示例中，坐标614指示潜在病变的位置在右乳房中距乳头2cm、11:00的时钟位置处。
100.图11是示出计算设备400的物理部件的一个示例的框图。计算设备400可以是与组织制图系统100或用于管理成像数据的系统150结合使用的任何计算设备，比如计算系统102、x射线计算设备116和超声计算设备118。
101.在图11所示的例子中，计算设备400包括至少一个中央处理单元(“cpu”)402、系统存储器408和将系统存储器408耦接到cpu 402的系统总线422。系统存储器408包括随机存取存储器(“ram”)410和只读存储器(“rom”)412。在rom 412中存储有基础输入/输出系统，该输入/输出系统包含帮助在计算设备400内的元件之间(比如在启动期间)传输信息的基础例程。计算系统400还包括大容量存储设备414。大容量存储设备414能够存储软件指令和数据。
102.大容量存储设备414通过连接到系统总线422的大容量存储控制器(未示出)来连接到cpu 402。大容量存储设备414及其相关的计算机可读存储介质为计算设备400提供非易失性、非暂态的数据存储。虽然本文包含的对计算机可读存储介质的描述提及大容量存储设备，比如硬盘或固态盘，但是本领域技术人员应该理解，计算机可读数据存储介质可包括cpu 402能从中读取数据和/或指令的任何可用的有形物理设备或制品。在某些示例中，计算机可读存储介质只包括非暂态介质。
103.计算机可读存储介质包括以用于存储信息的任何方法或技术实施的易失性和非易失性、可移动和不可移动的介质，所述信息比如是计算机可读软件指令、数据结构、程序模块或其它数据。计算机可读数据存储介质的示例类型包括但不限于：ram、rom、eprom、eeprom、闪存或其它固态存储技术；cd-rom、数字通用光盘(“dvds”)、其它光学存储介质；盒式磁带、卡式磁带、磁盘存储器或其它磁性存储设备；或可被用来存储所期望的信息并且可由计算设备400访问的任何其它介质。
104.根据一些示例，计算设备400可以通过网络152在使用与远程网络设备的逻辑连接的网络环境中运作，网络152比如是无线网络、互联网或其它类型的网络。计算设备400可以通过连接到系统总线422的网络接口单元404来连接到网络152。应当理解，网络接口单元404也可被用来连接到其它类型的网络和远程计算系统。计算设备400还包括输入/输出控制器406，其用于接收和处理来自大量其它设备的输入，所述其它设备包括触摸用户界面显示屏或其它类型的输入设备。类似地，输入/输出控制器406可以给触摸用户界面显示屏或其它类型的输出设备提供输出。
105.如上文简要提及的，计算设备400的大容量存储设备414和ram410可以存储软件指令和数据。软件指令包括适于控制计算设备400的操作的操作系统418。大容量存储设备414和/或ram 410还存储软件指令，这些软件指令在被cpu 402执行时引起计算设备400提供本文中讨论的功能。
106.本文描述的方法和系统提供了优于用于对乳房组织成像的现有解决方案的许多效率和优势。具有位置坐标的多种成像模态的合成在识别由医疗保健专业人员在成像程序期间识别的乳房内的病变或其它关注区域方面提供了更高的准确性。该系统将硬度和弹性图与超声和/或x射线图像进行协调，以产生信息丰富的乳房组织视图。医疗保健专业人员不需要访问和查看多幅不同类型的图像来对组织进行评估。通过自动组合这些信息组，减
少了所需的与计算系统的交互。在一些示例中，通过从患者的emr自动访问患者的结构图，产生乳房的三模式视图。因为减少了对数据的请求，所以改进了计算系统的运行。
107.尽管本文描述了多个实施例和示例，但是本领域技术人员理解在本公开的范围内可以对这些实施例和示例进行众多修改。因此，本公开的范围不旨在以任何方式受限于所提供的示例。