用于对象检测或识别的图像处理方法和装置与流程

segmentation in three-dimensional ultrasound images using two orthogonal two-dimensional image projections"(medical physics 30.2(2003):222-234)描述了一种用于使用3d图像的两个正交2d图像投影来从3d超声图像分割针的算法。
12.ep2363071a1公开了一种用于确定针所在的平面的系统。
13.ep3381512a1涉及一种用于确定用于对感兴趣对象进行可视化的2d图像的方法。
14.us2010/121190a1描述了一种用于从多维体积识别介入仪器(参见标题)的系统。


技术实现要素：

15.本发明由权利要求进行限定。
16.根据依据本发明的一个方面的示例，提供了一种生成3d图像内的目标对象的信息的计算机实施的方法。
17.所述计算机实施的方法包括：接收感兴趣体积的由体素的3d矩阵形成的3d图像；处理所述3d图像以生成一个或多个3d特征表示；将每个3d特征表示转换成至少一个2d特征表示，从而生成一个或多个2d特征表示；使用所述一个或多个2d特征表示来检测对象；并且生成关于检测到的对象的信息。
18.所提出的发明使得能够以降低的处理能力和/或计算次数来识别3d图像内的对象的存在和位置。特别地，所提出的发明有效地将3d图像分解为2d图像数据，并且使用基于2d图像的对象识别过程以便识别对象。
19.在使用3d图像来生成2d图像数据时，可以改善检测对象的准确性，因为3d图像可以包含用于克服识别直接获得的(例如，2d图像的)2d图像数据中的对象的噪声、伪影和/或质量问题的额外信息。
20.通过将3d图像转换为2d特征表示，当检测对象时可以保留3d图像中包含的信息，同时使得能够使用更高效的(即，需要更少的计算或参数的)2d对象检测方法。因此，显著减少了识别3d图像中的对象所需的计算次数(与全3d图像处理方法相比)。
21.为了避免疑义，3d图像的体素可以包含多于一个值(例如，为了表示3d图像的不同信道的值)。3d图像的这种构造对于本领域技术人员来说将是显而易见的。
22.目标对象是可以存在于3d图像内的任何合适的对象，用户可能期望关于该对象的信息。该信息可以包括例如对象是否存在/不存在于3d图像内和/或对象在3d图像内的位置、尺寸和/或形状。
23.特征表示是3d图像(即，部分或完全处理的3d图像)的空间投影。特征表示的合适示例是特征图，诸如当将卷积神经网络应用于3d图像时生成的特征图。因此，处理3d图像以生成一个或多个特征表示的步骤导致部分处理的3d图像。
24.转换所述一个或多个3d特征表示的步骤可以包括沿着第一体积轴处理每个3d特征表示。3d图像或特征表示是在三个体积轴上形成的。本发明提出通过在这些体积轴中的一个上(即，沿着单个维度或方向)处理3d特征表示来生成2d特征表示。
25.转换每个3d特征表示的步骤可以包括：第一过程，通过沿着所述一个或多个3d特征表示的第一体积轴处理每个特征表示来执行将每个3d特征表示转换成相应2d特征表示，从而生成2d特征表示的第一集合；以及第二过程，通过沿着所述一个或多个3d特征表示的不同的第二体积轴处理每个特征表示来执行将每个3d特征表示转换成相应的2d特征表示，
从而生成2d特征表示的第二集合。
26.这使得能够沿着不同的体积轴生成2d特征表示的两个集合。实际上，这导致与3d图像内的不同平面或投影相关联的特征表示的两个集合。这可以用于允许识别对象在3d图像内(即，感兴趣区域内)的精确位置和取向。
27.使用所述一个或多个2d特征表示来生成关于所述目标对象的信息的步骤包括使用所述2d特征表示的所述第一集合来生成关于所述目标对象的第一信息，并且使用所述2d特征表示的所述第二集合来生成关于所述目标对象的第二信息。
28.将每个3d特征表示转换为至少一个2d特征表示的步骤可以包括针对每个3d特征表示生成不超过两个2d特征表示。这有助于最小化由对象检测过程执行的处理，同时实现对象在3d图像内的位置/定位和/或取向的准确检测。
29.使用所述一个或多个2d特征表示来生成关于所述目标对象的信息的步骤可以包括使用机器学习或深度学习算法来处理所述一个或多个2d特征表示以生成关于所述目标对象的信息。
30.在一些实施例中，转换每个3d特征表示的步骤包括：对所述3d特征表示执行一个或多个池化操作以生成第一2d特征表示；对所述3d特征表示执行一个或多个卷积运算以生成第二2d特征表示；并且组合所述第一2d特征表示和所述第二2d特征表示以生成所述至少一个2d特征表示。
31.生成一个或多个3d特征表示的步骤可以优选地包括，为了生成每个3d特征表示，对所述3d图像执行至少一个卷积操作和至少一个池化操作以生成3d特征表示。
32.使用一个或多个卷积和池化层处理3d图像具有提供在转换为二维时保留潜在重要的信息的部分处理的3d图像的效果。例如，卷积/池化层的信息(诸如相邻体素之间的关系，其可能影响体素表示目标对象的可能性)通过卷积和池化层的使用被至少部分地保留。这允许更准确地执行对象识别，同时还降低了对象识别的计算复杂性。
33.在一些实施例中，接收感兴趣区域的3d图像的步骤可以包括接收3d超声图像。特别地，接收感兴趣区域的3d图像可以包括接收使用相控阵列超声探头获得的3d超声图像。
34.在一些实施例中，所述检测到的对象的信息包括关于所述检测到的对象在所述感兴趣区域内的位置、形状和/或尺寸的信息。在其他示例中，所述检测到的对象的信息包括所述3d图像内的所述对象的存在/不存在的指示(例如，二值指示符)。
35.在一些实施例中，所述方法还包括显示关于检测到的对象的所述信息的视觉表示的步骤。任选地，该步骤包括显示所检测到的对象的视觉表示与所述感兴趣体积的图像的组合。
36.在本发明的另一方面中，本发明的目的还通过包括代码单元的计算机程序来实现，所述代码单元用于当所述程序在处理系统上运行时实施本文描述的任何方法。计算机程序可以能够存储或者存储在计算机可读介质上，或可以从例如本领域已知的计算机网络下载。有线或无线lan提供了这种网络的示例。
37.根据依据本发明的一个方面的示例，提供了一种对象检测系统。所述对象检测系统适于：接收感兴趣体积的由体素的3d矩阵形成的3d图像；处理所述3d图像以生成一个或多个3d特征表示；将每个3d特征表示转换成至少一个2d特征表示，从而生成一个或多个2d特征表示；使用所述一个或多个2d特征表示来生成关于所述目标对象的信息。
38.根据本发明的计算机实施的方法的任何优点类似地且相似地适用于本文公开的系统和计算机程序。
39.还提出了一种超声成像系统，包括：相控阵列超声探头，其适于捕获超声数据并将所述超声数据格式化为3d超声图像。所述超声成像系统还包括先前描述的对象检测系统和图像可视化模块，所述图像可视化模块适于提供由所述对象检测系统生成的关于检测到的对象的信息的视觉表示。
40.本发明的这些和其他方面将参考下文描述的(一个或多个)实施例变得显而易见并将参考下文描述的(一个或多个)实施例得以阐述。
41.本领域技术人员将理解，本发明的上述选项、实施方式和/或方面中的两个或更多个可以以被认为有用的任何方式组合。例如，本文定义的系统、设备和对象中的任一个可以被配置用于执行计算机实施的方法。这样的系统可以包括具有计算机程序的计算机可读介质。
附图说明
42.为了更好地理解本发明并且为了更清楚地示出它可以如何被实施，现在将仅以示例的方式参考附图，其中：
43.图1图示了用于理解本发明的基本构思的对象检测流水线；
44.图2图示了用于在本发明的实施例中使用的从3d图像生成2d特征表示的方法；
45.图3图示了用于在本发明的实施例中使用的从3d特征表示生成2d特征表示的方法；
46.图4图示了根据本发明实施例的2d解码器；
47.图5图示了根据本发明的实施例的检测3d特征表示内的对象的方法；
48.图6图示了根据本发明的实施例的图像级损失确定方法；
49.图7图示了根据实施例的包括对象检测系统的超声成像系统；
50.图8是图示根据所定义的实施例的方法的流程图。
具体实施方式
51.将参考附图来描述本发明。
52.应当理解，详细描述和具体示例在指示装置、系统和方法的示例性实施例的同时，仅旨在用于图示的目的，而不旨在限制本发明的范围。根据以下描述、所附权利要求和附图将更好地理解本发明的装置、系统和方法的这些和其他特征、方面和优点。应当理解，附图仅仅是示意性的，并且未按比例绘制。还应当理解，贯穿附图，使用相同的附图标记来表示相同或相似的部件。
53.本发明提供了用于检测三维(3d)图像内的目标或期望对象的存在或不存在的方法和系统。处理3d图像以提取一个或多个3d特征表示，然后将一个或多个3d特征表示中的每一个在维度上降低为一个或多个二维(2d)特征表示。然后对(一个或多个)2d特征图执行对象检测过程以生成至少关于2d特征表示内的对象的存在或不存在的信息，并且从而生成关于整个3d图像的信息。
54.基本发明构思基于以下认识：使用2d数据执行对象分析过程的处理力的量显著小
于使用3d数据直接执行对象分析过程。因此，本发明提出在执行对象检测过程之前将3d数据的维度降低为2d数据(同时使得3d数据的额外信息能够被保留)。这显著降低了检测3d图像内的目标对象所需的处理力。
55.实施例可以用于检测3d超声图像内的目标对象的存在或不存在，诸如患者的3d超声图像内的器械(诸如导管)的存在或不存在。另外的实施例可以用于识别目标对象(诸如导管)在3d图像内的位置、尺寸和/或形状。
56.本发明有效地提出了一种新的对象检测流水线，用于检测3d图像内的特定或目标对象的存在或不存在，并且任选地确定目标对象的额外信息(诸如位置、形状或尺寸)。
57.所提出的对象检测流水线有效地实施了多维方法来识别3d图像内的对象。特别地，所获得的3d图像在3d空间中被部分地处理并且在2d空间中被部分地处理。因此，减少了所需的总信息处理资源(与传统的3d图像处理方法相比)，因此改善了处理3d图像的效率。
58.换句话说，本发明提出了一种用于使用维度混合的方法来执行对象检测任务的对象检测流水线，其可以加速检测效率并简化算法指定或硬件构造。
59.特别地，所提出的方法在将3d特征表示在维度上降低为2d特征表示之前使用3d编码方法执行来将3d图像编码为一个或多个3d特征表示，然后将2d特征表示解码以确定关于期望/目标对象的信息。这有效地实现了3d编码/2d解码混合构思。
60.本发明依赖于将3d数据(具有维度宽度、高度和深度)在维度上降低为2d数据(仅具有这三个维度中的两个)的构思。这在效果上地导致3d数据被投影到2d平面中。可以沿着3d数据的单个轴或维度(例如，沿着宽度维度/轴、沿着高度维度/轴或沿着深度维度/轴)执行降低。
61.应当理解，如果2d图像是3d图像沿着特定方向/轴的投影，则2d图像由此提供关于在3d图像的其他两个轴内的3d图像的信息。例如，如果通过沿着深度维度降低3d图像来产生2d图像，那么所产生的2d图像将表示沿着宽度轴和高度轴的3d图像(即，2d图像的维度将是“宽度”和“高度”)。
62.对于超声数据，3d图像的深度轴通常对应于轴向轴(即，在超声成像期间平行于超声波的行进方向的轴)。宽度轴通常对应于横向轴(即，在超声成像期间垂直于超声波的行进方向的轴)或仰角轴(即，在超声成像期间垂直于超声波的行进方向并且垂直于横向轴的轴)。高度轴对应于横向轴或仰角轴中的另一个。
63.因此，在超声3d数据的背景下，3d数据沿着深度轴的减少提供了3d数据的轴向投影或“轴向视图”，而3d数据沿着宽度或高度轴的减少提供了3d数据的侧投影或“侧视图”。这些定义将稍后在描述中使用。
64.图1提供了图示用于执行根据本发明的实施例的方法的所提出的对象检测流水线100的示意图。
65.感兴趣区域的3d图像105(例如，如这里所示，3d超声图像)是流水线100的输入。在步骤/块110中处理3d图像105以获得一个或多个3d特征表示，其识别3d图像中的特征。特别地，在3d空间中处理输入3d图像以从整幅图像明确地提取特征。
66.特征表示(诸如特征图)是已经通过使用一个或多个非线性或线性处理步骤处理3d图像而生成的3d图像的空间投影。在一些示例中，通过将一个或多个滤波器应用于3d图像来生成特征表示。在其他示例中，可以通过从3d图像提取特征或通过处理3d图像以形成
具有多个信道的3d图像(例如，超光谱图像)来生成特征表示。例如，特征表示可以是其中识别3d图像的特定元素(例如，边缘、线、高亮、阴影或体素组)或已经针对其修改了对应体素的值的图。
67.3d特征表示优选地由3d矩阵形成，矩阵中的每个条目形成体素，每个体素具有一个或多个值(例如，表示不同的信道)。2d特征表示优选地由2d矩阵形成，矩阵中的每个条目形成像素，每个像素具有一个或多个值(例如，表示不同的信道)。
68.然后，在步骤/块120中，将每一个或多个3d特征表示转换成一个或多个2d特征表示。在效果上，这是将空间信息(来自(一个或多个)3d特征表示)压缩成2d格式的维度降低块。这降低了3d特征表示的空间复杂性。
69.然后，在块130中，处理(一个或多个)2d特征表示以识别或检测(期望/目标)对象。这可以使用被配置为从2d特征表示预测特定/期望对象的存在/不存在和/或位置/形状/尺寸的任何合适的2d图像分类器、分割器和/或检测器来执行。以这种方式，可以使用多维度方法来检测3d图像内的对象。
70.仅通过示例，3d图像数据可以包括3d超声图像，并且块130可以包括确定关于3d图像数据(并且因此感兴趣区域)内的导管的信息，所确定的信息可以包括例如关于导管是否存在/不存在于3d图像数据中的信息和/或关于3d图像数据内(并且因此在感兴趣区域内)的导管的尺寸、形状和/或位置的信息。
71.然后可以输出关于检测到的对象的信息150以供显示。该信息可以以多种方式被利用，并且可以取决于信息150的格式。
72.在一些实施例中，该信息包括目标对象是否在3d图像内的肯定或否定预测。可以将该信息呈现给用户以使得他们能够确认或拒绝3d图像105内的对象的存在。例如，如果试图验证没有对象(例如，夹子等)留在患者的腔室内，则这样的实施例可以是有用的。
73.在其他实施例中，处理所述信息以突出显示或识别在3d图像内检测到的对象的预测位置、尺寸和/或形状。这在外科手术程序中有助于外科医生引导患者体内的对象(例如导管)。稍后将描述该步骤的具体实施例。
74.优选地，块120包括沿着单个维度(例如，沿着3d特征表示的高度、深度或宽度)降低3d特征表示以形成2d特征表示的过程。然后可以处理(一个或多个)2d特征表示以识别在整个3d图像的特定2d投影方向内的对象的位置。该信息可以帮助用户确定或理解对象在3d图像内的近似位置。
75.在一些实施例中，块120可以包括针对每个3d特征表示生成两个2d特征表示，所述两个2d特征表示包括第一特征表示和第二特征表示，所述第一特征表示是3d特征表示沿着第一轴的投影或降低，所述第二特征表示是3d特征表示沿着第二垂直轴的投影或降低。
76.在3d图像是超声图像的情况下，第一轴优选地是轴向轴，并且第二轴优选地是横向/仰角轴。这有效地提供了特征表示的两个集合，第一集合与3d图像的轴向视图相关联，并且第二集合与3d图像的侧视图相关联。
77.换句话说，可以产生2d特征表示的两个集合，第一集合包括为3d特征表示沿着第一轴的投影或降低(即，提供3d特征表示沿着第一轴的视图)的2d特征表示，并且第二集合包括为3d特征表示沿着第二轴的投影或降低的2d特征表示。相同集合中的所有2d特征表示是沿着相对于3d图像的相同方向/在相对于3d图像的相同方向内的相应3d特征表示的投影
或降低。
78.这有效地为每个3d图像生成与3d图像的第一投影方向相关联的2d特征表示的第一集合和与3d图像的第二不同投影方向相关联的2d特征表示的第二集合。第一投影方向优选地垂直于第二投影方向。每个投影方向优选地对应于3d图像的轴(例如，宽度、高度或深度)。
79.可以处理2d特征表示的每个集合以至少识别对象相对于3d特征表示的投影方向(并且因此3d图像的投影方向)的位置。一旦已知对象在3d图像的两个(垂直)投影内的位置，那么就可以确定或导出对象在整个3d图像内的位置。
80.通过示例，如果对象相对于3d超声图像的侧视图并且相对于3d超声图像的轴向(“上下”)视图的位置是已知的，那么可以导出该对象在3d超声图像或感兴趣区域内的整体位置(因为对象相对于三个轴的位置是已知的)。这是所公开的2d特征表示的两个集合方法所采用的构思。
81.因此，在一些实施例中，需要生成不超过两个2d特征表示(每个2d特征表示与不同的投影方向相关联)以使得能够识别目标对象在3d图像或感兴趣区域内的位置。
82.本发明的对象检测流水线可以由例如包括一个或多个处理器的对象检测系统执行。关于目标的任何信息的显示可以通过例如包括屏幕等的一个或多个用户界面来执行。
83.图2至4用于在深度卷积神经网络的背景下描述所提出的对象检测流水线的工作示例，其是本发明的一个可能实施例。
84.然而，可以使用任何机器学习或深度学习算法(诸如人工神经网络)来执行对象检测流水线以检测对象。其他机器学习算法(诸如逻辑回归、支持向量机或朴素贝叶斯模型)是用于形成对象检测流水线的合适替代方案。
85.图2图示了用于从输入3d图像105生成一个或多个2d特征表示250的示意图。
86.3d图像105经历一系列卷积操作(使用点画指示)和池化步骤(使用对角阴影指示)以生成一个或多个特征表示211-213。如图2所示，可以通过进一步处理第一特征表示211(例如，执行附加的卷积或池化步骤)等来生成第二特征表示212。
87.在块120中提取并处理3d特征表示211到213以生成2d特征表示250。
88.在所图示的示例中，处理每个3d特征表示211-213以生成两个2d特征表示。换句话说，每个3d特征表示的副本在第一维度降低过程221中在维度上降低以形成第一2d特征表示，并且在第二维度降低过程222中在维度上降低以形成第二2d特征表示。
89.这里的每个维度降低过程包括相对于单个方向(例如，沿着3d特征表示的单个维度)降低3d特征表示的维度。第一维度降低过程221可以包括沿着3d特征表示的轴向方向(例如，沿着3d特征表示的深度方向)降低3d特征表示的维度。第二维度降低过程222可以包括从3d特征表示的一侧(例如，沿着3d特征表示的宽度或高度方向)降低3d特征表示的维度。
90.具体地，对于3d超声图像，可以生成提供来自3d超声图像的“轴向视图”(例如，沿着轴向轴)的特征表示的2d特征表示的第一集合，并且可以生成提供来自3d超声图像的“侧视图”(例如，沿着3d图像的横向或仰角轴)的特征表示的2d特征表示的第二集合。
91.然后进一步处理维度降低的2d特征表示以检测关于2d特征表示内的目标对象的信息，诸如2d特征表示(且因此整个3d特征表示和/或图像)内的目标对象的存在或不存在
和/或位置、形状和/或尺寸。
92.在一些示例中，该过程可以包括生成指示目标对象相对于3d图像的特定视图(例如，相对于“俯视”视图或“侧视图”)的位置、尺寸和形状的一幅或更多幅2d图像。在其他示例中，该过程可以包括处理2d特征表示以确定对象是否存在于2d特征表示内(并且因此是否存在于整个3d图像内)。
93.图3图示了用于在本发明的实施例中使用的用于对单个3d特征表示211执行的合适的维度降低过程的示例。
94.所图示的维度降低过程实际上是基于空间信道的注意过程，其能够沿着特定维度和信道提取最相关的信息，同时降低特征表示的尺寸。该处理的构思是概括沿着特定维度或体积轴的相关区分信息，其可以表示在该方向上的所有可能信息。因此，在所图示的示例中，维度降低过程基于沿着3d特征表示的三个主轴(该维度通常是宽度(w)、高度(h)和深度(d))中的一个。
95.在该工作示例中，3d特征表示211是体素的3维矩阵(wxhxd)，每个体素具有针对每一个或多个信道(c)的值，因此，3d特征表示内的值的数量等于wxhxdxc。沿着体积维度(宽度、高度或深度)中的一个执行维度降低，以有效地将沿着体积维度的不同值压缩成单个值。
96.在两个单独的路径中处理3d特征表示211。第一路径310包括将一系列卷积步骤(用对角阴影线图示)应用于3d特征表示。第二路径320包括应用至少一个池化步骤(使用点画图示)。不同形式的点画标识不同的池化过程。垂直阴影线指示可能需要降低张量的维度的再成形过程。
97.在下文描述的工作示例中，3d特征表示沿着深度维度(其是体积轴的示例)在维度上降低。这有效地沿着深度维度或轴投影3d特征表示。本领域技术人员将能够调整所图示的维度降低过程以沿着不同的维度(例如，沿着宽度或高度维度)降低3d特征表示。
98.第一路径310包括对3d特征表示211执行一系列卷积运算以生成第一深度维度降低的特征表示314。第一卷积运算生成尺寸wxhxdx1的第一张量311，其被再成形以生成尺寸wxhxd的第二张量312。这两个步骤有效地压缩3d特征表示的信道信息。然后使用两个另外的卷积运算来处理第二张量312：第一卷积运算用于降低沿着深度轴的维度(生成尺寸wxhx1的第三张量313)；并且第二个用于重新填入信道信息(生成尺寸wxhxc的第四张量314)，从而获得第一深度维度降低的特征表示。
99.第二路径320包括对3d特征表示211执行多个池化操作以生成第二深度维度降低的特征表示，该第二深度维度降低的特征表示沿着感兴趣的轴(这里：深度轴)提取一阶统计量。这通过沿着深度轴d执行最大(化)池化过程以生成尺寸wxhxc的第一张量321并且沿着深度轴d执行平均池化过程以生成尺寸wxhxc的第二张量322来执行。该最大化池化过程和平均池化过程对3d特征表示211的它们自己的相应副本执行。这有效地最大化和平均深度轴上的所有可能的区别信息。第一张量321和第二张量322被级联(以形成尺寸wxhx2c的第三张量323)，并且随后通过卷积运算来处理以产生尺寸为wxhxc的第四张量324，从而生成第二深度维度降低的特征表示。
100.来自每一路径的第一深度维度降低的特征表示313和第二深度维度降低的特征表示324例如经由累积过程被组合以产生输出2d特征表示350。
101.该图示的方法是一种注意块，其与空间和信道信息相关联但是包括不同的方式来概括它们。
102.平均池化步骤用于概括沿着一个维度的所有信息，而最大池化操作集中于最大化的信号响应并忽略一些次要信息。如在第二路径320中执行的组合这两个特征使得两种形式的信息能够被考虑并且在生成2d特征表示250时被至少部分地保留。
103.基于卷积的路径310有助于概括基于信道的信息，其用作对上述非参数方法的补偿。
104.因此，可以适当地概括3d特征表示311的信息，同时降低空间维度(这里：沿着深度轴)。换句话说，3d特征表示可以在维度上降低，同时保留3d数据中包含的重要统计信息(其可能不存在于3d数据的2d切片中)。
105.如图2中示意性图示的，可以为每个特征表示设计维度降低块，因为特征信道的数量对于每个特征表示是不同的。
106.所图示的根据3d特征表示来生成2d特征表示的方法仅是一个示例，并且本领域技术人员将能够容易地调整替代的维度降低方法(例如，省略池化步骤中的一个或省略信道压缩步骤)。
107.图4图示了根据本发明实施例的2d解码器130。
108.2d解码器被设计为相对于3d图像生成关于目标对象的信息。这可以包括例如检测对象是否存在于3d图像内。2d解码器可以适于生成关于3d图像内的目标对象的位置、形状和/或尺寸的信息。换句话说，2d解码器使用2d特征表示来执行对象检测或识别过程。
109.在特定的示例中，2d解码器处理由2d转换块/步骤120生成的2d特征表示以检测2d特征表示(并且因此整个3d图像)内的对象的存在或不存在。如图所示，所图示的2d解码器的输出优选地是对3d图像的第一2d平面投影和3d图像的第二2d平面投影(垂直于第一2d平面)内的对象的位置、尺寸和形状的预测。
110.因此，整个对象检测流水线可以输出两幅2d图像411、421，每幅2d图像指示3d图像内的对象相对于输入3d图像的维度投影的预测位置。3d图像的“维度投影”是3d图像沿着3d图像的维度(例如，高度、宽度或深度)中的一个的投影。
111.特别地，对于3d超声图像，对象检测流水线可以提供“轴向视图”2d图像和“侧视图”2d图像，“轴向视图”2d图像是3d超声图像沿着轴向轴的投影(从而识别检测到的对象相对于横向轴和仰角轴的位置和形状)，“侧视图”2d图像是3d超声图像沿着横向轴/仰角轴的投影(识别检测到的对象相对于轴向轴和横向轴/仰角轴中的另一个的位置和形状)。
112.在所图示的示例中，2d解码器采用两个路径。第一路径410相对于与第一投影方向(例如，3d图像的轴向视图)相关联的2d特征表示的第一集合生成关于目标对象的信息。第二路径420相对于与3d图像的第二不同投影方向(例如，3d图像的侧视图)相关联的2d特征表示的第二集合生成关于目标对象的信息。如前所述，使用第一维度降低过程221生成2d特征表示的第一集合，并且使用第二维度降低过程222生成2d特征表示的第二集合。
113.2d解码器130包括均执行紧随有relu和实例归一化过程的2d卷积过程的层(每个层用点画图示)。去卷积层被应用于2d特征表示的上采样(用水平阴影线图示)。最终层(用垂直和水平阴影线图示)执行s形运算以预测2d特征表示的像素是否是要检测的对象的像素。2d解码器的每个路径由此提供识别对象相对于3d图像的查看平面或投影的位置和形状
的输出(2d)图像。
114.因此，如果第一路径410与3d图像的轴向视图相关联，则第一路径的输出411可以图示对象相对于(3d图像的)感兴趣区域的轴向视图投影的位置。类似地，如果第二路径420与感兴趣区域的侧视图相关联，则第二路径的输出412可以图示对象相对于3d图像的侧视图投影的位置。
115.2d解码器的2d图像输出411、412可以用于导出对象在整个3d图像(并且因此感兴趣区域)内的位置。这是因为两幅2d图像输出提供了关于对象相对于3d图像的三个轴的位置的信息，从而使得对象在3d图像内的位置能够被导出。
116.一些实施例可以包括提供3d图像的视觉表示并突出显示检测到的对象在3d图像内的位置。当然，如果在3d图像内没有检测到对象，那么不提供对象的位置的识别。该过程可以由图像可视化模块执行，例如，该图像可视化模块可以包括屏幕等。
117.仅通过示例，可以从2d解码器的2d图像输出411、412重建3d图像。如前所述，每幅2d图像输出可以表示原始3d图像的不同视图或投影(例如，轴向视图和侧视图)，其中识别检测到的对象的位置和形状。
118.可以通过沿着2d图像被降低的方向复制2d图像来执行用于重建3d图像的方法的一个特定示例。例如，如果3d图像沿着轴向/深度轴降低以生成第一输出411(“轴向视图”2d投影)并且沿着横向/宽度轴降低以生成第二输出(“侧视图”2d投影)，那么可以利用该知识来重建3d图像，其中突出显示所识别的对象的位置和形状。
119.作为特定的示例，使得目标对象的形状、尺寸和位置能够被识别的3d图像可以通过如下来重建：
120.i
3d
＝rep(i
2d-axial
,θ
axial
) rep(i
2d-side
,θ
side
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
121.其中rep(.,θ)是沿着特定方向θ的复制操作。基于重建的3d图像i
3d
，可以对稀疏体积应用简单的阈值和ransac模型拟合以找到对象。
122.然后可以将重建的3d图像显示或输出给用户。在一些实施例中，重建的3d图像可以叠加在原始3d图像(作为输入提供)上，以便使得能够识别对象在原始3d图像内的相对位置。
123.在另一实施例中，可以处理2d图像输出411、412以识别包含对象的3d图像的2d平面。然后可以处理3d图像以从该2d平面提取图像信息，并且为用户显示它。以这种方式，可以自动向用户呈现包含检测到的对象的3d图像的2d切片。
124.已经认识到，在临床环境中，临床医生更喜欢查看包含对象的2d平面/切片，而不是包含对象的3d图像的表示(因为2d图像对应于临床医生的自然或常规查看方法)。
125.对于超声数据，可以通过基于所生成的轴向视图2d图像提取3d图像的平面来执行识别平面。这利用了超声波总是沿着超声探头的轴向方向的方向传播的超声成像的自然特性。可以使用所生成的侧视2d图像来识别对象在3d图像的提取平面内的位置。
126.在图5中图示了该过程的示例。这里由2d编码器输出的2d图像包括提供3d图像的2d轴向视图/投影的第一2d图像511和提供3d图像的2d侧视图/投影的第二2d图像512。如前所述，2d侧视图/投影提供关于对象相对于轴向轴和横向/仰角轴的位置和形状的信息。
127.处理每幅2d图像以识别经过所识别的对象的线。这可以包括识别沿着所识别的对象的长度(即，沿着所识别的对象的最长维度)通过的线。
128.经处理的第一2d图像521用于提取3d图像的切片530。经处理的第二2d图像522用于识别检测到的对象在3d图像的提取的切片530内的位置和形状。
129.识别3d图像的切片530的过程可以使用由对象检测流水线生成的单幅2d图像来执行。因此，在一些实施例中，对象检测流水线适于从3d图像数据仅生成单幅2d图像(2d图像识别目标对象相对于3d图像的轴向投影的预测位置)。因此，仅需要生成一个或多个2d特征表示的单个集合，因为将仅生成单幅2d图像。
130.在其他实施例中，2d解码器的输出是对象是否存在于3d图像内的简单二值指示，而不是2d图像输出。不是构建2d图像(如图4所示)，而是可以使用合适的机器学习算法来处理(一个或多个)2d特征表示，以生成(一个或多个)2d特征表示并且因此整个3d图像是否包含期望对象的预测符。
131.本领域技术人员将容易理解可以对一个或多个2d特征表示执行的其他过程，以便检测关于整个3d图像内的(期望)对象的信息。
132.如前所述，图2至4图示了使用混合深度卷积神经网络以便预测感兴趣区域的3d图像内是否存在对象(以及任选地，对象的位置)的基本发明构思的实施方式。
133.人工神经网络(或简称神经网络)的结构受人脑的启发。神经网络由层组成，每个层包括多个神经元。每个神经元包括数学运算。特别地，每个神经元可以包括单一类型的变换的不同加权组合(例如，相同类型的变换、s形等，但是具有不同的权重)。在处理输入数据的过程中，对输入数据执行每个神经元的数学运算以产生数值输出，并且将神经网络中的每个层的输出顺序地馈送到下一层。最后一层提供输出。已经在图2至4中图示了这些层的示例。
134.训练机器学习算法的方法是众所周知的。通常，这样的方法包括获得训练数据集，所述训练数据集包括训练输入数据条目和对应的训练输出数据条目(其通常被称为“真实情况”)。将初始化的机器学习算法应用于每个输入数据条目以生成预测的输出数据条目。预测的输出数据条目与对应的训练输出数据条目之间的误差或“损失函数”用于修改机器学习算法。可以重复该过程，直到误差收敛，并且预测的输出数据条目与训练输出数据条目足够相似(例如
±
1％)。这通常被称为监督学习技术。
135.例如，在机器学习算法由神经网络形成的情况下，可以修改每个神经元的数学运算(的权重)，直到误差或损失函数收敛。修改神经网络的已知方法包括梯度下降、反向传播算法等。
136.在所图示和先前描述的示例中，所提出的神经网络的期望输入是3d(体积)图像，并且期望的输出包括指示目标对象相对于3d图像沿着第一体积轴的第一视图/投影的预测位置、尺寸和形状的第一预测2d图像、以及指示目标对象相对于3d图像沿着第二体积轴的第二视图/投影的预测位置、尺寸和形状的第二预测2d图像。第一体积轴和第二体积轴优选地是垂直的。
137.因此，对应的训练输入数据条目包括示例3d图像，并且对于每个示例3d图像，对应的训练输出数据条目包括指示目标对象相对于3d图像沿着第一体积轴的第一视图/投影的位置、尺寸和形状的第一真实情况2d图像、以及指示目标对象相对于3d图像沿着第二体积轴的第二视图/投影的位置、尺寸和形状的第二真实情况2d图像。
138.在期望的输入包括3d超声图像的情况下，第一体积轴优选地是轴向轴，并且第二
体积轴优选地是横向/仰角轴(使得第二预测2d图像提供3d图像的预测侧视图)。
139.为了约束神经网络以改善对预测2d图像中的对象的位置的识别，可以使用多级损失函数。训练神经网络的目的是使该多级损失函数最小化。多级损失函数可以是考虑对(一幅或多幅)2d投影图像中的对象的位置的预测以及对(一幅或多幅)2d投影图像中的对象的高级描述的任何合适的损失函数。
140.多级损失函数的合适示例是：
[0141][0142]
其中损失参数loss
pixel-level
集中于2d图像中的对象的逐像素位置的预测(“像素级损失”)，并且loss
image-level
集中于2d图像中的对象的高级描述的预测(“图像级损失”)。参数||w||2表示神经网络的可训练参数的l-2正则化。
[0143]
项是指指示目标对象相对于3d图像沿着第一体积轴(例如，沿着轴向轴)的第一视图/投影的位置、尺寸和形状的第一真实2d图像，并且是指指示目标对象相对于3d图像沿着第二体积轴的第二视图/投影的位置、尺寸和形状的第二真实2d图像。y1是指指示相对于3d图像沿着第一体积轴的第一视图/投影的具有预测位置、尺寸和形状的目标对象的预测2d图像，并且y2是指指示相对于3d图像沿着第二体积轴的第二视图/投影的具有预测位置、尺寸和形状的目标对象的预测2d图像。
[0144]
更具体地，可以定义为由下式指定的加权二值交叉熵：
[0145][0146]
其中，n表示每个预测2d图像或对应的真实情况2d图像的像素的数量，i表示对象像素，并且n表示非对象像素。y表示来自预测2d图像的像素，并且识别来自真实情况2d图像的(对应)像素。变量a表示第一轴投影，而s表示第二轴投影。类别权重参数w是控制两个不同类别之间的权重的超参数，其由于真实情况图像中的类别的极端不平衡而被采用。
[0147]
使用图像级损失以及像素级损失导致神经网络学习高级信息以适当地匹配预测2d图像和真实情况2d图像。
[0148]
如图6中所示，可以通过生成预测2d图像610的高级描述符615和对应的真实情况2d图像620的高级描述符625并且确定高级描述符之间的差异来确定图像级损失。可以使用上下文编码器650生成图像的高级描述符，上下文编码器650描述潜在空间中的输入图像。上下文编码器(ce)接收2d图像作为输入，并且对2d图像执行多个神经网络处理以生成2d图像的高级特征表示。特别地，上下文编码器是一种投影函数，其将复杂信息投影到潜在的高
级空间中。然后可以比较特征表示以计算图像级损失。
[0149]
在所图示的上下文编码器650中，使用点画来图示卷积过程/层，并且用对角阴影线图示(最大化)池化过程/层。对于每个卷积层，还执行relu和实例归一化层以加速收敛。
[0150]
在h.yang、c.shan、t.tan,、a.f.kolen等人的“transferring from ex-vivo to in-vivo:instrument localization in 3d cardiac ultrasound using pyramid-unet with hybrid loss”(international conference on medical image computing and computer assisted intervention,2019)中描述了生成高级描述符(例如，用于计算图像级损失)的一种方法。
[0151]
继续该示例，对于每个视图(即，沿着第一轴或第二轴，诸如轴向视图或侧视图)的每个高级描述符，对应的损失函数被定义为预测2d图像的描述符与其对应的真实情况2d图像之间的距离。
[0152][0153]
其中，参数ce(.)表示由上下文编码器生成的高级描述符615、625，||.||2是norm-2距离。在适当的情况下，公式(3)可以适于3d输入图像的其他预测视图或2d图像(例如，沿着第二轴的视图)。
[0154]
通过求和使用等式(4)计算的和使用公式(4)的适当修改版本计算来计算。
[0155]
权重α、β、γ可以由技术人员适当地选择。合适的权重值的示例可以分别是1、0.01和0.0001。
[0156]
图7图示了根据本发明的实施例的超声系统700。
[0157]
超声系统700包括适于捕获2d/3d/4d超声数据的相控阵列超声探头701。由超声探头701捕获的数据被格式化为3d超声图像。
[0158]
超声系统还包括对象检测系统702。对象检测系统702适于获得3d超声图像并使用任何先前描述的用于检测3d图像内的(期望)对象的存在或不存在的对象检测流水线对其进行处理。对象检测系统相对于3d图像输出关于期望对象的信息750，例如，关于期望对象是否存在于3d图像内和/或期望对象在3d图像内的位置的信息。
[0159]
超声系统700还包括适于提供由对象检测系统输出的信息750的视觉表示的图像可视化模块。信息的视觉表示可以取决于信息的格式。例如，如果信息包括3d图像内的对象的存在/不存在的简单指示，则视觉表示可以包括指示对象的存在(例如，当输出光时)或不存在(例如，当不输出光时)的单个光。在另一示例中，该信息可以包括对象在3d超声图像内的位置的指示，例如通过将对象的位置的指示叠加在3d超声图像的视觉表示上。
[0160]
本领域技术人员将能够容易地开发用于执行任何本文描述的构思或对象检测流水线的方法。
[0161]
尽管如此，为了完整起见，图8是图示根据本发明的实施例的方法800的流程图。
[0162]
方法800包括：步骤801，接收感兴趣体积的由体素的3d矩阵形成的3d图像；步骤802，处理3d图像以生成一个或多个3d特征表示；步骤803，将每个3d特征表示转换为至少一个2d特征表示从而生成一个或多个2d特征表示；步骤804，使用一个或多个2d特征表示来检测对象。
[0163]
该方法还可以包括：步骤805，显示关于检测到的对象的信息的视觉表示。该步骤可以通过控制用户界面提供关于检测到的对象的信息的视觉表示来执行。
[0164]
步骤804可以包括使用一个或多个2d特征表示产生关于检测到的对象的信息，诸如关于检测到的对象的存在/不存在的信息和/或关于检测到的对象在3d图像内的位置和/或形状的信息。
[0165]
步骤801至804可以由例如由一个或多个处理器和/或控制器形成的对象检测系统执行。在步骤801中，可以从超声系统和/或存储设施或存储器接收3d图像。
[0166]
所提出的对象检测流水线可以被实施在超声控制台中或在诸如计算机的另一处理系统上。3d图像可以是从适于捕获截头锥体图像的相位阵列获得的3d超声图像。
[0167]
由所提出的实施例检测到的对象可以包括任何医学物品或解剖组织/器官，诸如导管、导丝、心脏塞、人造心脏瓣膜、瓣膜夹、闭合设备、起搏器、瓣环成形术系统、凝块、肺结节、囊肿、生长物等。
[0168]
使用超声成像过程获得3d图像不是必要的，而是可以使用任何2d、3d和4d成像模态(诸如介入ct、mri或超谱成像)来获得。可以堆叠2d图像数据以便生成3d图像，如本领域中公知的。
[0169]
在适当的情况下，术语“2d”可以由术语“二维”代替，并且在适当的情况下，术语“3d”可以由术语“三维”代替。
[0170]
在提及对象的情况下，术语“对象”可以由“至少一个对象”代替，例如，对于能够检测感兴趣区域内的多个对象的存在的对象检测过程。
[0171]
技术人员将能够容易地开发用于执行本文描述的任何方法的处理系统。因此，流程图的每个步骤可以表示由处理系统执行的不同动作，并且可以由处理系统的相应模块执行。
[0172]
因此，实施例可以利用处理系统。处理系统能够利用软件和/或硬件以多种方式实施，以执行所需的各种功能。处理器是采用一个或多个微处理器的处理系统的一个示例，所述一个或多个微处理器可以使用软件(例如，微代码)来编程以执行所需的功能。然而，处理系统可以在采用或不采用处理器的情况下实施，并且还可以被实施为执行一些功能的专用硬件和执行其他功能的处理器(例如，一个或多个编程的微处理器和相关联的电路)的组合。
[0173]
本发明的各方面可以被实现在可以是可以被计算机执行的存储在计算机可读存储设备上的计算机程序指令的集合的计算机程序产品中。本发明的指令可以位于包括但不限于脚本、可解释程序、动态链接库(dll)或java类的任何可解释或可执行代码机制中。这些指令能够被提供作为完整可执行程序、部分可执行程序、作为针对现有程序的修改(例如更新)或针对现有程序的扩展(例如插件)。此外，本发明的处理的各部分可以被分布在多个计算机或处理器上。
[0174]
如上面讨论的，处理单元(例如控制器)实施控制方法。控制器能够利用软件和/或硬件以多种方式实施，以执行所需的各种功能。处理器是采用一个或多个微处理器的控制器的一个示例，所述一个或多个微处理器可以使用软件(例如，微代码)来编程以执行所需的各种功能。然而，控制器可以在采用或不采用处理器的情况下实施，并且还可以被实施为执行一些功能的专用硬件和执行其他功能的处理器(例如，一个或多个编程的微处理器和
相关联的电路)的组合。
[0175]
可以在本公开的各种实施例中采用的处理系统部件的示例包括但不限于常规微处理器、专用集成电路(asic)和现场可编程门阵列(fpga)。
[0176]
在各种实施方式中，处理器或处理系统可以与一个或多个存储介质相关联，诸如易失性和非易失性计算机存储器，诸如ram、prom、eprom和eeprom。存储介质可以利用一个或多个程序来编码，所述一个或多个程序当在一个或多个处理器和/或处理系统上运行时以所需的功能来执行。各种存储介质可以固定在处理器或处理系统内，或可以是可转移的，使得存储在其上的一个或多个程序可以加载到处理器或处理系统中。
[0177]
应理解，所公开的方法优选地是计算机实现的方法。因此，还提出了计算机程序的概念，该计算机程序包括用于当所述程序在处理系统(诸如计算机)上运行时实施任何所描述的方法的代码单元。因此，根据实施例的计算机程序的代码的不同部分、行或块可以由处理系统或计算机执行以执行本文中描述的任何方法。在一些备选实施方式中，(一个或多个)方框图或(一个或多个)流程图中注释的功能可以不按图中注释的顺序发生。例如，连续示出的两个方框实际上可以基本上同时执行，或方框有时可以以相反的顺序执行，这取决于所涉及的功能。
[0178]
本领域技术人员通过研究附图、公开内容以及权利要求，在实践请求保护的发明时能够理解并实现对所公开的实施例的变型。在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以实现在权利要求中记载的若干项的功能。尽管特定措施是在互不相同的从属权利要求中记载的，但是这并不指示不能有利地使用这些措施的组合。如果上面讨论了计算机程序，它可以被存储/分布在合适的介质上，例如与其他硬件一起或作为其他硬件的部分供应的光学存储介质或固态介质，但是也可以被以其他形式分布，例如经由互联网或其他有线或无线的电信系统。如果术语“适于”用于权利要求书或说明书中，应注意术语“适于”旨在相当于术语“被配置为”。权利要求中的任何附图标记都不应被解释为对范围的限制。