用于在危及器官分割之前识别目标区域的系统和方法与流程

用于在危及器官分割之前识别目标区域的系统和方法
1.相关申请的交叉引用
2.本技术要求于2019年8月5日在美国专利商标局提交的第16/531,719号美国专利申请的优先权，该美国专利申请的公开内容通过引用整体并入本文。


背景技术：

3.自动的危及器官(oar)分割已成为流行的研究主题，因为手动分割费时且依赖于操作者。深度学习方面的最新发展将分割任务的时间量减少到约数毫秒。
4.然而，由于图形处理单元(gpu)存储器的限制，导致将具有原始尺寸的大量三维(3d)体积数据馈送到分割网络中，通常是不切实际的。为了解决这个问题，一些技术使用修剪、滑动窗口或下采样，作为预处理步骤。下采样可能去除输入图像的高频信息，结果降低了随后的分割精度。人工修剪引入了人类交互作用，且效率低。滑动窗口方法总体上可稍微提高分割精度，但是在推断阶段更费时。
5.本公开有效地检测头颈部的边界框，将输入缩小到感兴趣区域，并在保持图像细节的同时节省gpu存储器资源。


技术实现要素：

6.根据本公开的一方面，提供了一种用于生成患者的感兴趣区域(roi)的三维(3d)边界框的方法，包括：由设备接收作为患者的轴向视图的二维(2d)最大强度投影(mip)图像；由设备接收作为患者的矢状视图的2d mip图像；由设备使用作为患者的轴向视图的2d mip图像，来检测患者的roi的第一2d边界框；由设备使用作为患者的矢状视图的2d mip图像，来检测患者的roi的第二2d边界框；由设备接收患者的3d mip图像；由设备使用患者的第一2d边界框、第二2d边界框和3d mip图像，来生成患者的roi的3d边界框；以及由设备提供包括患者的roi的3d边界框的3d mip图像，以允许使用包括roi的3d边界框的3d mip图像来进行危及器官(oar)分割。
7.根据本公开的一方面，提供一种用于生成患者的感兴趣区域(roi)的三维(3d)边界框的设备，包括：至少一个存储器，配置成存储程序代码；以及至少一个处理器，配置成读取程序代码并按照程序代码的指令进行操作，程序代码包括：接收代码，配置成使得至少一个处理器接收作为患者的轴向视图的二维(2d)最大强度投影(mip)图像，接收作为患者的矢状视图的2d mip图像以及接收患者的3d mip图像；检测代码，配置成使得至少一个处理器使用作为患者的轴向视图的2d mip图像，来检测患者的roi的第一2d边界框，以及使用作为患者的矢状视图的2d mip图像，来检测患者的roi的第二2d边界框；生成代码，配置成使得至少一个处理器使用患者的第一2d边界框、第二2d边界框和3d mip图像，来生成患者的roi的3d边界框；以及提供代码，配置成使得至少一个处理器提供包括患者的roi的3d边界框的3d mip图像，以允许使用包括roi的3d边界框的3d mip图像来进行危及器官(oar)分割。
8.根据本公开的一方面，提供一种非暂时性计算机可读介质，该非暂时性计算机可
读介质存储有指令，该指令包括一个或多个指令，一个或多个指令在由设备的一个或多个处理器运行时，使得一个或多个处理器：接收作为患者的轴向视图的二维(2d)最大强度投影(mip)图像；接收作为患者的矢状视图的2d mip图像；使用作为患者的轴向视图的2d mip图像，来检测患者的roi的第一2d边界框；使用作为患者的矢状视图的2d mip图像，来检测患者的roi的第二2d边界框；接收患者的3d mip图像；使用患者的第一2d边界框、第二2d边界框和3d mip图像，来生成患者的roi的3d边界框；以及提供包括患者的roi的3d边界框的3d mip图像，以允许使用包括roi的3d边界框的3d mip图像来进行危及器官(oar)分割。
附图说明
9.图1是用于使用二维(2d)图像数据来生成患者的感兴趣区域(roi)的三维(3d)边界框的示例过程的流程图。
10.图2是可实现本文描述的系统和/或方法的示例环境的图；以及
11.图3是图2的一个或多个设备的示例组件的图。
具体实施方式
12.在放疗的治疗计划中，基于深度学习(dl)的分割网络已广泛用于危及器官(oar)和靶向肿瘤的边界描绘。然而，如果输入图像体积具有原始尺寸(例如，包括高于特定预定阈值的文件大小)，则基于3d的分割网络经常遭受有限的gpu存储器资源的困扰。
13.本公开通过在基于dl的分割步骤之前自动检测感兴趣的身体部位的边界框来解决3d oar分割的这个问题。在检测的边界框内执行oar分割以减少资源消耗。为了减少边界框检测网络的存储器需求，本公开的实施例使用从矢状视图和轴向视图导出的2d最大强度投影图像来检测二维(2d)边界框，而不是使用原始3d图像来检测。然后从2d最大强度投影(mip)图像中的2d边界框构造3d边界框。
14.本公开的实施例自动检测来自人体的感兴趣区域(roi)(例如，对患有头颈部癌症的患者扫描的计算机断层扫描(ct)图像的头颈部区域)。
15.本公开的实施例使用2d mip投影图像(而不是3d图像)来执行检测，因此与使用3d图像来进行边界框检测相比，节省gpu存储器和处理资源。在识别头颈部区域的边界框之后，本公开的实施例将输入体积缩小到感兴趣的头颈部区域。因此，本公开的实施例还解决了在随后的分割阶段中gpu存储器限制的问题。
16.作为特定示例，本公开提供了在来自患有头颈部癌症的患者的ct图像中检测roi(例如，头部和颈部)的有效方式。例如，实施例使用2d投影图像来检测头颈部的边界框，因此与直接使用3d图像数据来执行检测相比，在边界框检测阶段中节省存储器。如果分割的输入体积是检测到的头颈部，而不是包括例如与床相关联的数据的整个体积，则这对于基于深度学习的oar分割比较有益。
17.与检测2d边界框相比，检测3d边界框需要更多的gpu存储器消耗。因此，本公开的实施例使用2d mip图像来检测边界框。
18.本公开的实施例可利用基于快速区域的卷积神经网络(rcnn)、更快rcnn(faster rcnn)、掩模rcnn(mask rcnn)等，用于基于2d深度学习的边界框检测。
19.例如，在更快rcnn架构中，输入图像发送到卷积网络以提取特征映射。然后特征映
射发送到区域建议网络以预测候选区域。建议区域的大小被进一步重新成形并发送到分类器，该分类器对建议区域中的信息进行分类，并预测建议区域的实际形状。
20.在本公开中，实施例在每个建议区域中包括两个类别(即，轴向mip和矢状mip)。关于区域的大小，实施例可预测每个建议区域的四个坐标，即最小x、最小y、最大x和最大y。
21.根据实施例，3d边界框可包括六个坐标，诸如最小x、最大x、最小y、最大y、最小z和最大z。前四个坐标(即，最小x、最大x、最小y和最大y)基于轴向mip图像中的坐标来确定。此外，剩余坐标(即，最小z和最大z)基于矢状图像中的最小x和最大x来确定。
22.本公开尤其提供如下技术效益：1)减少了允许可能和可行的roi识别的gpu存储器占用；2)改进了工作流程和提高了效率。
23.图1是用于生成患者的感兴趣区域(roi)的三维(3d)边界框的示例过程100的流程图。在一些实现方式中，可由平台220执行图1的一个或多个过程块。在一些实现方式中，可由与平台220分离或包括平台220的另一设备或一组设备(例如用户设备210)来执行图1的一个或多个过程块。
24.如图1所示，过程100可包括：由设备接收作为患者的轴向视图的二维(2d)最大强度投影(mip)图像(块105)。
25.例如，平台220可接收作为患者的轴向视图的2d mip图像。平台220可基于来自操作者的输入，从另一设备、从云存储设备等接收2d mip图像。
26.患者可指的是要检测roi的人、动物、体模和对象等。roi可指的是要执行危及器官(oar)处理的区域。作为示例，对于患有头颈部癌症的患者，roi可包括患者的头颈部。应当理解，roi可基于患者而变化。患者的轴向视图可指的是患者的平面图。
27.进一步如图1所示，过程100可包括：由设备接收作为患者的矢状视图的2d mip图像(块110)。
28.进一步如图1所示，过程100可包括：由设备使用作为患者的轴向视图的2d mip图像，来检测患者的roi的第一2d边界框(块115)。
29.进一步如图1所示，过程100可包括：由设备使用作为患者的矢状视图的2d mip图像，来检测患者的roi的第二2d边界框(块120)。
30.进一步如图1所示，过程100可包括：由设备接收患者的3d mip图像(块125)。
31.进一步如图1所示，过程100可包括：识别是否已获得第一2d边界框和第二2d边界框的所有数据点(块130)。
32.进一步如图1所示，如果没有获得所有数据点(块130—否)，则过程100可包括获得额外的数据点。
33.进一步如图1所示，如果已获得所有数据点(块130—是)，则过程100可包括：由设备使用患者的第一2d边界框、第二2d边界框和3d mip图像，来生成患者的roi的3d边界框(块135)。
34.进一步如图1所示，过程100可包括：由设备提供包括患者的roi的3d边界框的3d mip图像，以允许使用包括roi的3d边界框的3d mip图像来进行危及器官(oar)分割(140)。
35.虽然图1示出了过程100的示例块，但是在一些实现方式中，过程100可包括额外的块、更少的块、不同的块、或与图1所示的块不同地布置的块。另外或者替代地，可并行地执行过程100的两个或更多个块。
36.图2是可实现本文描述的系统和/或方法的示例环境200的图。如图2所示，环境200可包括用户设备210、平台220和网络230。环境200的设备可通过有线连接、无线连接或者有线连接和无线连接的组合来互连。
37.用户设备210包括能够接收、生成、存储、处理和/或提供与平台220相关联的信息的一个或多个设备。例如，用户设备210可包括计算设备(例如，台式计算机、膝上型计算机、平板计算机、手持式计算机、智能扬声器、服务器等)、移动电话(例如，智能电话、无线电话等)、可穿戴设备(例如，一对智能眼镜或智能手表)或类似设备。在一些实现方式中，用户设备210可从平台220接收信息和/或向平台220发送信息。
38.平台220包括能够生成患者的感兴趣区域(roi)的三维(3d)边界框的一个或多个设备，如在本文的其他地方所描述的。在一些实现方式中，平台220可包括云服务器或一组云服务器。在一些实现方式中，平台220可设计成模块化平台，使得某些软件组件可根据特定需要而换入或换出。因此，平台220可容易地和/或快速地针对不同用途来重新配置。
39.在一些实现方式中，如图所示，平台220可托管在云计算环境222中。应注意，虽然本文描述的实现方式将平台220描述成托管在云计算环境222中，但是在一些实现方式中，平台220不基于云(即，可以在云计算环境之外实现)或者可部分地基于云。
40.云计算环境222包括托管平台220的环境。云计算环境222可提供不需要终端用户(例如，用户设备210)知道托管平台220的系统和/或设备的物理位置和配置的计算、软件、数据访问、存储等服务。如图所示，云计算环境222可包括一组计算资源224(这一组计算资源统称为“计算资源224”，单独一个计算资源称为“计算资源224”)。
41.计算资源224包括一个或多个个人计算机、工作站计算机、服务器设备或其他类型的计算和/或通信设备。在一些实现方式中，计算资源224可控制平台220。云资源可包括在计算资源224中运行的计算实例、在计算资源224中提供的存储设备、由计算资源224提供的数据传输设备等。在一些实现方式中，计算资源224可通过有线连接、无线连接或者有线连接和无线连接的组合与其他计算资源224通信。
42.进一步如图2所示，计算资源224包括一组云资源，例如一个或多个应用(“app”)224-1、一个或多个虚拟机(“vm”)224-2、虚拟化存储器(“vs”)224-3、一个或多个管理程序(“hyp”)224-4等。
43.应用224-1包括可提供给用户设备210和/或传感器设备220或者由用户设备210和/或传感器设备220访问的一个或多个软件应用。应用224-1可消除在用户设备210上安装和运行软件应用的需要。例如，应用224-1可包括与平台220相关联的软件和/或能够通过云计算环境222提供的任何其他软件。在一些实现方式中，一个应用224-1可通过虚拟机224-2向一个或多个其他应用224-1发送信息/从一个或多个其他应用224-1接收信息。
44.虚拟机224-2包括像物理机一样运行程序的机器(例如，计算机)的软件实现。根据虚拟机224-2对任何实际机器的对应程度和用途，虚拟机224-2可以是系统虚拟机或过程虚拟机。系统虚拟机可提供支持完整操作系统(“os”)的运行的完整系统平台。过程虚拟机可运行单个程序，且可支持单个过程。在一些实现方式中，虚拟机224-2可代表用户(例如，用户设备210)运行，且可管理云计算环境222的基础设施，例如数据管理、同步或长时间数据传输。
45.虚拟化存储器224-3包括在计算资源224的存储系统或设备内使用虚拟化技术的
一个或多个存储系统和/或一个或多个设备。在一些实现方式中，在存储系统的环境中，虚拟化的类型可包括块虚拟化和文件虚拟化。块虚拟化可指的是逻辑存储与物理存储的抽象化(或分离)，使得可以在不考虑物理存储或异构结构的情况下访问存储系统。分离可允许存储系统的管理员在管理员如何管理终端用户的存储方面具有灵活性。文件虚拟化可消除以文件级别访问的数据与物理地存储文件的位置之间的依赖性。这可使得存储器使用、服务器整合和/或无干扰文件迁移性能得到优化。
46.管理程序224-4可提供硬件虚拟化技术，硬件虚拟化技术允许多个操作系统(例如，“客户操作系统”)在主控计算机例如计算资源224上同时运行。管理程序224-4可给客户操作系统呈现虚拟操作平台，且可管理客户操作系统的运行。各操作系统的多个实例可共享虚拟化硬件资源。
47.网络230包括一个或多个有线网络和/或无线网络。例如，网络230可包括蜂窝网络(例如，第五代(5g)网络、长期演进(lte)网络、第三代(3g)网络、码分多址(cdma)网络等)、公共陆地移动网络(plmn)、局域网(lan)、广域网(wan)、城域网(man)、电话网(例如，公共交换电话网(pstn))、专用网络、自组织网络、内部网、因特网、基于光纤的网络等，和/或这些或其他类型网络的组合。
48.图2所示的设备和网络的数量和布置作为示例来提供。在实践中，可存在额外的设备和/或网络、更少的设备和/或网络、不同的设备和/或网络、或与图2所示的设备和/或网络不同地布置的设备和/或网络。此外，图2所示的两个或更多个设备可以在单个设备内实现，或者图2所示的单个设备可实现为多个分布式设备。另外或者替代地，环境200的一组设备(例如，一个或多个设备)可执行被描述成由环境200的另一组设备执行的一个或多个功能。
49.图3是设备300的示例组件的图。设备300可对应于用户设备210和/或平台220。如图3所示，设备300可包括总线310、处理器320、存储器330、存储组件340、输入组件350、输出组件360和通信接口370。
50.总线310包括允许设备300的组件之间进行通信的组件。处理器320以硬件、固件或者硬件和软件的组合来实现。处理器320是中央处理单元(cpu)、图形处理单元(gpu)、加速处理单元(apu)、微处理器、微控制器、数字信号处理器(dsp)、现场可编程门阵列(fpga)、专用集成电路(asic)或另一类型的处理组件。在一些实现方式中，处理器320包括能够被编程以执行功能的一个或多个处理器。存储器330包括随机存取存储器(ram)、只读存储器(rom)和/或另一类型的动态或静态存储设备(例如，闪存、磁性存储器和/或光学存储器)，其存储供处理器320使用的信息和/或指令。
51.存储组件340存储与设备300的操作和使用相关的信息和/或软件。例如，存储组件340可包括硬盘(例如，磁盘、光盘、磁光盘和/或固态盘)、光碟(cd)、数字通用盘(dvd)、软盘、盒式磁带、磁带和/或另一类型的非暂时性计算机可读介质、以及相应的驱动器。
52.输入组件350包括允许设备300接收信息的组件，该信息例如通过用户输入(例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关和/或麦克风)输入。另外或者替代地，输入组件350可包括用于感测信息的传感器(例如，全球定位系统(gps)组件、加速计、陀螺仪和/或致动器)。输出组件360包括提供来自设备300的输出信息的组件(例如，显示器、扬声器和/或一个或多个发光二极管(led))。
53.通信接口370包括类似收发器的组件(例如，收发机和/或单独的接收机和发射机)，其使得设备300能够与其他设备通信，例如通过有线连接、无线连接或者有线连接和无线连接的组合与其他设备通信。通信接口370可允许设备300从另一设备接收信息和/或向另一设备提供信息。例如，通信接口370可包括以太网接口、光学接口、同轴接口、红外接口、射频(rf)接口、通用串行总线(usb)接口、wi-fi接口、蜂窝网络接口等。
54.设备300可执行本文描述的一个或多个过程。设备300可响应于处理器320运行由诸如存储器330和/或存储组件340的非暂时性计算机可读介质存储的软件指令，来执行这些过程。在本文中，计算机可读介质定义为非暂时性存储器设备。存储器设备包括单个物理存储设备内的存储器空间或者分布在多个物理存储设备上的存储器空间。
55.软件指令可通过通信接口370从另一计算机可读介质读入存储器330和/或存储组件340中，或者从另一设备读入存储器330和/或存储组件340中。当运行时，存储在存储器330和/或存储组件340中的软件指令可使得处理器320执行本文描述的一个或多个过程。另外或者替代地，可使用硬连线电路来代替软件指令或者与软件指令组合，来执行本文描述的一个或多个过程。因此，本文描述的实现方式不限于硬件电路和软件的任何特定组合。
56.图3所示的组件的数量和布置作为示例来提供。在实践中，设备300可包括额外的组件、更少的组件、不同的组件、或与图3所示的组件不同地布置的组件。另外或者替代地，设备300的一组组件(例如，一个或多个组件)可执行被描述成由设备300的另一组组件执行的一个或多个功能。
57.前述公开内容提供了说明和描述，但并不旨在穷举或将实施方式限制为所公开的精确形式。可根据上述公开内容进行修改和变型，或者可从实施方式的实践中获得修改和变型。
58.如本文所使用的，术语“组件”旨在被广义地解释为硬件、固件或硬件和软件的组合。
59.显然，本文所描述的系统和/或方法可以以不同形式的硬件、固件或者硬件和软件的组合来实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码并不限制实施方式。因此，本文在不参考特定软件代码的情况下描述了系统和/或方法的操作和行为—应当理解，可将软件和硬件设计成实现基于本文的描述的系统和/或方法。
60.即使在权利要求中叙述和/或在说明书中公开了特征的特定组合，这些组合也不旨在限制可能的实施方式的公开内容。实际上，这些特征中的许多特征可以以权利要求中未具体叙述和/或说明书中未具体公开的方式进行组合。虽然下面列出的每个从属权利要求可能仅直接从属于一个权利要求，但是可能的实施方式的公开内容包括每个从属权利要求与权利要求集合中的任何其他权利要求结合。
61.除非明确地描述，否则本文中使用的要素、动作或指令均不应被解释为关键的或必不可少的。另外，如本文所使用的，冠词“一”和“一个”旨在包括一个或多个项，且可以与“一个或多个”互换地使用。此外，如本文所使用的，术语“集合”旨在包括一个或多个项(例如，相关项、不相关项、相关项和不相关项的组合等)，且可以与“一个或多个”互换地使用。在仅旨在指示一项的情况下，使用术语“一个”或类似语言。此外，如本文所使用的，术语“具有”、“具备”、“含有”等旨在指示开放式术语。此外，除非另有明确说明，否则短语“基于”旨在表示“至少部分地基于”。