使用深度降低卷积神经网络进行图像分割和分类的系统和方法与流程

1.本文所公开的主题的实施方案涉及使用卷积神经网络的图像处理，并且更具体地涉及使用深度降低的卷积神经网络来分割和/或分类医学图像的系统和方法。


背景技术：

2.医疗成像系统通常用于获得受检者(例如患者)的内部生理信息。例如，医疗成像系统可用于获得患者的骨骼结构、脑部、心脏、肺部和各种其他特征的图像。医学成像系统可以包括磁共振成像(mri)系统、计算机断层摄影(ct)系统、x射线系统、超声系统和各种其他成像模态。
3.医学图像的分析和处理越来越多地包括使用机器学习模型来对所关注的解剖区域进行分割和/或图像分类。用于分割和/或分类医学图像的一种此类方法包括使用卷积神经网络(cnn)的多个卷积层识别医学图像内存在的特征、以及将所识别的特征映射成分割图或图像分类。例如，可采集所关注的器官的mri图像，并且可在由经训练的cnn产生的分割图中自动标记/分割包括所关注的器官的图像的区域。又如，通过使用一个或多个卷积层识别图像的一个或多个特征、并且将所识别的特征传递到分类网络，可以将患者腹部的图像分类为腹部图像，该分类网络被配置为从预定的图像分类标签的有限列表中输出医学图像的最可能的图像分类。
4.与常规cnn有关的一个缺点是需要大量的卷积层来识别所关注的解剖区域和/或对医学图像进行分类。例如，深度cnn的一个限制是当尝试训练常规cnn时遇到的梯度消失现象，其中用于学习卷积滤波器权重的代价/损失函数的梯度随cnn的每个层而减小，这可导致“深度”网络的缓慢且计算密集型的训练。常规cnn的相关限制是在训练期间待优化的大参数空间，因为待优化的卷积滤波器权重的数目随着每个附加卷积层而增加，并且收敛到局部最优的概率随着待优化的参数的数目而增加。在训练期间和具体实现期间，可包括数十万至数百万参数的常规cnn可消耗大量计算资源。这可能导致较长的训练时间和较慢的医学图像分析。此外，当尝试分割占医学图像的相对较大部分(例如，大于医学图像面积的20％)的所关注区域时，或者当尝试确定图像分类(这可依赖于来自医学图像的空间距离部分的信息)时，常规cnn可能表现得特别差，这是因为常规卷积滤波器包括占图像的一小部分的感受野，因此此类分割/分类依赖于cnn将相对较小的特征的正确集合“学习”成期望的较大组合特征。


技术实现要素：

5.本文的发明人已经使用降低编码器深度的cnn识别了用于图像分割和分类的系统和方法，这可产生高分辨率的准确分割图和高精度的图像分类，同时不消耗常规cnn的计算资源或时间。在一个实施方案中，可以通过包括以下步骤的方法产生分割图或图像分类：接收具有第一尺寸的图像，对该图像进行下采样以产生预定尺寸的下采样图像，其中预定尺
寸小于第一尺寸，将下采样图像馈送到卷积神经网络(cnn)，其中cnn的第一卷积层包括多个第一卷积滤波器，多个第一卷积滤波器中的每一个具有大于阈值感受野尺寸的感受野尺寸，使用多个第一卷积滤波器识别下采样图像的一个或多个解剖结构，以及使用cnn的一个或多个后续层将一个或多个解剖结构映射成分割图或图像分类。通过提供具有大于阈值尺寸的感受野的多个滤波器的cnn的第一卷积层，可由第一卷积层识别更大/更复杂的特征，而不依赖于深度编码器。此外，通过在分割/分类之前对图像进行下采样，可以在第一卷积层中使用更大的卷积滤波器和更多的卷积滤波器，而与常规cnn相比基本上不增加第一卷积层的参数数目。
6.以这种方式，有可能减少cnn中的卷积层/参数的数目、同时保持分割/分类的准确度，这是由于包括数目减少的卷积层/参数的cnn可以比常规cnn更快地进行训练和实现，此外，所述cnn学习一组局部最优(并且不是全局最优)参数的概率可能减小。
7.在单独或与附图联系时，本说明书的以上优势以及其他优势和特征将从以下具体实施方式中显而易见。应当理解，提供以上发明内容是为了以简化的形式介绍在具体实施方式中进一步描述的概念的选择。这并不意味着识别所要求保护的主题的关键或必要特征，该主题的范围由具体实施方式后的权利要求书唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。
附图说明
8.通过阅读以下详细描述并且参考附图，可以更好地理解本公开的各个方面，其中：
9.图1示出了图像处理系统的示例性实施方案的框图；
10.图2示出了包括深度降低cnn的图像分割系统的一个实施方案；
11.图3示出了使用深度降低cnn来分割医学图像的示例性方法的流程图；
12.图4示出了使用深度降低cnn来确定图像分类的示例性方法的流程图；
13.图5示出了用于细化由深度降低cnn产生的分割图中的所关注区域边界的第一示例性方法的流程图；
14.图6示出了用于细化由深度降低cnn产生的分割图中的所关注区域边界的第二示例性方法的流程图；
15.图7示出了用于训练深度降低cnn的示例性方法的流程图；
16.图8示出了用于细化分割图中的所关注区域边界的第一方法的示例性实施方案；并且
17.图9示出了用于细化分割图中的所关注区域边界的第二方法的示例性实施方案；
18.附图示出了用于使用深度降低cnn确定医学图像的分割图和/或图像分类的所述系统和方法的具体方面。连同以下描述，附图示出并且解释了本文描述的结构、方法和原理。在附图中，为了清楚起见，部件的大小可以被放大或以其他方式修改。没有示出或详细描述众所周知的结构、材料或操作以避免模糊所描述的部件、系统和方法的各方面。
具体实施方式
19.以下描述涉及用于使用深度降低cnn对医学图像进行分割和/或分类的系统和方法。常规cnn架构包括被配置为检测存在于输入图像中的特征的多个卷积层(多个卷积层也
称为编码器或cnn的编码部分)、以及被配置为将所述识别的特征映射成一个或多个输出的多个后续层，诸如分割图或图像分类。每个卷积层包括一个或多个卷积滤波器，并且每个卷积滤波器从输入图像或先前特征图的每个子区域“接过”/接收输入，从而识别匹配卷积滤波器的学习权重的像素强度图案和/或特征图案。卷积滤波器从其接收输入的输入图像或先前特征图的子区域的尺寸称为卷积滤波器的核尺寸或感受野尺寸。具有较小感受野尺寸的卷积滤波器限于识别相对小的特征(例如，线、边缘、角点)，而具有较大感受野的卷积滤波器(或位于cnn的编码部分的较深层处的卷积滤波器)能够识别较大的特征/复合特征(例如，眼睛、鼻子、面部等)。
20.用于医学图像分割和/或分类的常规cnn包括相对深的编码部分，通常包括五个或更多个卷积层，其中卷积层中的每一个包括具有相对小的感受野尺寸的卷积滤波器(例如，3
×
3像素/特征通道，其对应于常规的256
×
256输入图像的面积的约0.0137％)。在常规方法中，输入图像为256
×
256，这是图像处理领域中的标准尺寸，但在一些应用中，可使用更大尺寸的图像。小于256
×
256的图像通常不用于基于神经网络的图像处理，因为图像的信息内容可能随着分辨率降低而减少。在常规cnn中，相对浅的卷积层(例如，第一卷积层)提取原子/元素特征，诸如线和边缘，而较深的卷积层提取表示由先前的层识别/提取的特征组合的复合特征，例如识别图像中的角点和线的第一卷积层、以及基于先前识别的角点和线的组合/图案识别图像中的正方形和三角形的第二卷积层。常规cnn使用“深度”网络(例如，包括5个或更多个卷积层的网络)，其中第一卷积层中的卷积滤波器的感受野尺寸相对较小，例如3
×
3。常规cnn在对占图像的相对较大部分(例如，大于25％)的所关注区域(roi)的分割和涉及基于图像的总体内容对整个图像进行分类的图像分类任务方面显示出较差的性能。换句话讲，常规cnn利用具有显著小于待分类图像或待分割roi的感受野的卷积滤波器，并且因此依赖cnn来学习如何将由第一卷积层提取的相对小的空间特征合成为待标记/分割的较大特征(诸如roi)、或基于整个图像的内容的图像分类。根据网络的较后卷积层来组合由网络的较前卷积层提取的小空间特征对网络架构的选择和训练过程非常敏感，并且还易于使网络参数在训练期间收敛到局部最小值，因为使用更大且更深的网络意味着在训练期间搜索大得多数目的网络参数以及随后更高的维度损失情况。使用具有大量参数的深度cnn的另一个缺点是在训练和实现期间使用的时间和计算资源。
21.本文的发明人已识别出可至少部分地解决上述问题的系统和方法。在一个实施方案中，一种用于对图像进行分割和/或分类的方法包括：接收具有第一尺寸的图像，对该图像进行下采样以产生预定尺寸的下采样图像，其中预定尺寸小于第一尺寸，将下采样图像馈送到经训练的cnn，其中经训练的cnn的第一卷积层包括多个第一卷积滤波器，多个卷积滤波器中的每一个具有大于阈值尺寸的感受野尺寸，使用多个第一卷积滤波器识别下采样图像的一个或多个特征，以及使用经训练的cnn的一个或多个后续层将一个或多个特征映射成分割图或图像分类。通过基于待分割的roi和/或图像尺寸设置感受野尺寸阈值，可以在cnn中更早地识别更丰富的特征空间关系，从而能够更有效地识别roi和/或与整体图像分类相关的大图像特征。在一个实施方案中，cnn的第一卷积层可包括多个卷积滤波器，这些卷积滤波器具有为下采样输入图像的尺寸的6％至100％(以及两者间的任何量)的感受野尺寸。此外，在将图像馈送到经训练的cnn之前对图像进行下采样，能够使用相对于输入图像尺寸具有更大的感受野尺寸的卷积滤波器、和/或使用更大数目的卷积滤波器，而不会
伴随着计算复杂度、训练时间、实现时间等的增加。
22.在一个实施方案中，如图1所示的图像处理系统100可将一个或多个经训练的深度降低cnn存储在卷积神经网络模块108中。存储在卷积神经网络模块108中的经训练的cnn可根据如图7所示的方法700的一个或多个步骤进行训练。图像处理系统100可以接收并处理经由各种成像模态(诸如mri、x射线、超声、ct等)采集的图像，并且可以确定所述图像内存在的一个或多个roi的分割图、和/或确定一个或多个图像的标准视图分类。具体地讲，图像处理系统100可以实现如图3所示的方法300，从而使用如图2所示的图像分割系统200来产生图像内存在的一个或多个roi的分割图。图像处理系统100同样可以使用如图4所示的方法400的一个或多个操作来确定图像的图像分类。根据方法300的一个或多个操作产生的分割图可根据方法500和/或方法600的一个或多个操作进一步进行处理，从而细化其中识别的一个或多个roi的roi边界。方法500和方法600的roi边界细化方法分别在图800和图900中示出。
23.现在转向图1，其示出了根据示例性实施方案的图像处理系统100。在一些实施方案中，图像处理系统100结合到成像系统诸如医学成像系统中。在一些实施方案中，图像处理系统100的至少一部分设置在经由有线连接和/或无线连接可通信地耦接到医疗成像系统的设备(例如，边缘设备、服务器等)处。在一些实施方案中，图像处理系统100的至少一部分设置在远离医学成像系统定位的设备(例如，工作站)处，该设备被配置为能够从医学成像系统或者从被配置为存储由医学成像系统获取的图像的存储设备接收图像。图像处理系统100可以包括图像处理设备102、用户输入设备130和显示设备120。在一些实施方案中，图像处理设备102可以能够通信地耦接到图片存档和通信系统(pacs)，并且可以从pacs接收图像和/或向pacs发送图像。
24.图像处理设备102包括处理器104，该处理器被配置为执行存储在非暂态存储器106中的机器可读指令。处理器104可以是单核或多核的，并且在其上执行的程序可以被配置为用于进行并行或分布式处理。在一些实施方案中，处理器104可以任选地包括分布在两个或更多个设备中的单独组件，其可以被远程定位和/或配置用于协调处理。在一些实施方案中，处理器104的一个或多个方面可被虚拟化并由以云计算配置进行配置的能够远程访问的联网计算设备执行。
25.非暂态存储器106可存储卷积神经网络模块108、训练模块112和图像数据114。卷积神经网络模块108可包括一个或多个经训练的或未经训练的卷积神经网络，其包括多个权重和偏差、激活函数、池化函数、以及用于实现一个或多个卷积神经网络以分割roi和/或确定各种图像(包括2d和3d医学图像)的图像分类的指令。在一些实施方案中，卷积神经网络模块108可包括具有少于5个卷积层的深度降低cnn，并且可通过执行方法300和/或400的一个或多个操作，使用所述一个或多个深度降低cnn确定输入医学图像的分割图和/或图像分类。
26.卷积神经网络模块108可包括与经训练和/或未经训练的cnn有关的各种元数据。在一些实施方案中，cnn元数据可包括用于训练cnn的训练数据的指示、用于训练cnn的训练方法，以及经训练的cnn的准确性/验证得分。在一些实施方案中，卷积神经网络模块108可包括指示以下各项的元数据：训练cnn以产生分割图的roi的类型、经训练的cnn被配置为处理的输入图像的尺寸、以及可应用经训练的cnn的解剖结构的类型和/或成像模态的类型。
在一些实施方案中，卷积神经网络模块108不设置在图像处理设备102处，而是设置在经由有线或无线连接与图像处理设备102能够通信地耦接的远程设备处。
27.非暂态存储器106还包括训练模块112，该训练模块包括用于训练存储在卷积神经网络模块108中的深度神经网络中的一个或多个cnn的机器可执行指令。在一些实施方案中，训练模块112可包括用于根据如图7所示并且在下文更详细讨论的方法700的一个或多个操作来训练深度降低cnn的指令。在一个实施方案中，训练模块112可包括梯度下降算法、损失/代价函数以及用于生成和/或选择训练数据以用于训练减少深度cnn的机器可执行规则。在一些实施方案中，训练模块112不设置在图像处理设备102处，而是远程设置，并且与图像处理设备102能够通信地耦接。
28.非暂态存储器106还可包括图像数据模块114，该图像数据模块包括由一个或多个成像设备采集的图像/成像数据，包括但不限于超声图像、mri图像、pet图像、x射线图像、ct图像。存储在图像数据模块114中的图像可包括来自各种成像模态或来自各种医学成像设备构造/模型的医学图像，并且可包括一个或多个患者的解剖区域的各种视图的图像。在一些实施方案中，存储在图像数据模块114中的医学图像可包括识别获取医学图像的成像模态和/或成像设备(例如，成像设备的模型和制造商)的信息。在一些实施方案中，存储在图像数据模块114中的图像可以包括指示用于获取所述图像的一个或多个获取参数的元数据。在一个示例中，图像的元数据可存储在图像的dicom标头中。在一些实施方案中，图像数据模块114可包括由x射线设备获取的x射线图像、由mri系统捕获的mr图像、由ct成像系统捕获的ct图像、由pet系统捕获的pet图像和/或一种或多种附加类型的医学图像。
29.在一些实施方案中，非暂态存储器106可以包括设置在两个或更多个设备上的组件，这些组件可以被远程定位和/或配置用于协调处理。在一些实施方案中，非暂态存储器106的一个或多个方面可以包括以云计算配置进行配置的能够远程访问的联网存储设备。
30.图像处理系统100还可包括用户输入设备130。用户输入设备130可包括触摸屏、键盘、鼠标、触控板、运动感测相机或被配置为使用户能够与图像处理系统100内的数据交互并操纵该数据的其他设备中的一者或多者。在一些实施方案中，用户输入设备130使得用户能够选择要在医学图像中分割的一种或多种类型的roi。
31.显示设备120可以包括利用几乎任何类型技术的一个或多个显示设备。在一些实施方案中，显示设备120可包括计算机监视器、触摸屏、投影仪或本领域已知的其他显示设备。显示设备120可被配置为从图像处理设备102接收数据，并且显示医学图像的分割图，该分割图显示一个或多个所关注区域的位置。在一些实施方案中，图像处理设备102可以确定医学图像的标准视图分类、可以基于图像的标准视图分类选择图形用户界面(gui)、并且可以经由显示设备120显示医学图像和gui。显示设备120可与处理器104、非暂态存储器106和/或用户输入设备130组合在共享壳体中，或者可以是外围显示设备，并且可包括监视器、触摸屏、投影仪或本领域已知的其他显示设备，其可使用户能够查看图像，和/或与存储在非暂态存储器106中的各种数据交互。
32.应当理解，图1所示的图像处理系统100是用于说明而非限制。另一种合适的图像处理系统可以包括更多、更少或不同的部件。
33.转到图2，示出了用于使用深度降低cnn从医学图像产生分割图的图像分割系统200的框图。图像分割系统200可由图像处理系统(诸如图像处理系统100)或其他适当配置
的计算系统来实现。图像分割系统200被配置为接收包括所关注区域的一个或多个图像(如图像202)，并且使用深度降低cnn 221将一个或多个接收的图像映射成一个或多个对应的分割图，诸如上采样分割图214。在一些实施方案中，分割系统200可被配置为分割一个或多个所关注的解剖区域，诸如肾、血管、肿瘤等，或者分割所关注的非解剖区域，诸如交通标志、文本、车辆等。
34.图像202可包括在一个或多个颜色通道中的像素强度值的二维(2d)或三维(3d)阵列、或像素强度值的2d或3d阵列的时间序列。在一些实施方案中，图像202包括灰度级/灰度等级图像。在一些实施方案中，图像202包括具有两个或更多个颜色通道的彩色图像。图像202可包括医学图像或非医学图像，并且可包括所关注的解剖区域或非解剖区域。在一些实施方案中，图像202可不包括所关注的区域。分割系统200可经由有线或无线连接从医学成像设备或其他成像设备接收图像202，并且还可接收与图像202相关联的元数据，该元数据指示图像202的一个或多个采集参数，包括用于采集图像202的成像模态的指示、用于采集图像202的成像设备设置的指示、视场(fov)数据的指示等。
35.图像202可具有第一尺寸/分辨率，即，可包括具有第一数目的数据点的像素强度值的矩阵/阵列。第一尺寸/分辨率可为用于采集图像202的成像模态和成像设置和/或用于存储图像202的文件格式的函数。如下采样216所指示的，将图像202从第一尺寸下采样到具有较小的第二尺寸/分辨率的下采样图像204。第二尺寸/分辨率可基于将在深度降低cnn 221中使用的输入节点/神经元的期望数量来预定。在一些实施方案中，可通过下采样216将图像202的像素强度值的数目减少到预定数目的像素强度值，其中预定数目的像素强度值对应于深度降低cnn中的输入节点/神经元的数目。所需数目的输入节点/神经元继而可基于第一卷积层218中的卷积滤波器的所需感受野尺寸和/或第一卷积层218中的卷积滤波器的所需总数目来选择，使得随着第一卷积层218中的卷积滤波器的感受野尺寸增加或随着第一卷积层218中的卷积滤波器的总数目增加，输入节点/神经元的数目(以及因此的第二尺寸)减少，从而保持网络参数的总数目低于参数的阈值数目。通过将网络参数的总数目保持在网络参数的阈值数目以下，将网络参数的数目与计算复杂度和实现时间相关联，从而将计算复杂度和/或实现时间控制在预定的范围内。
36.下采样216可包括一个或多个数据池化或下采样操作，包括最大池化、抽取、平均池化和压缩中的一者或多者。在一些实施方案中，下采样216可包括动态确定下采样比率，其中基于图像202的第一尺寸与下采样图像204的预定第二尺寸的比率来确定下采样比率，其中随着第一尺寸与第二尺寸的比率增大，下采样比率也增大。下采样216从图像202中产生下采样图像204。
37.下采样图像204包括下采样/压缩图像，其中下采样图像204的尺寸/分辨率等于预定尺寸，在本文中也称为第二尺寸。如上所述，预定尺寸的选择可基于深度降低cnn 221的期望数目的参数/权重。通过缩小图像202的尺寸以产生下采样图像204，第一卷积层218的一个或多个卷积滤波器诸如第一卷积滤波器217的感受野可占大于一个或多个所关注区域的阈值面积，而不会引起计算效率的显著降低或实现时间的显著增加。存在于图像202中的roi可在下采样图像204中占比在图像202中更少数目的像素。例如，图像202内的器官的图像可占400像素的面积，并且在使用下采样比率2对图像202进行下采样时，下采样图像204内的器官的下采样图像可占100像素，卷积滤波器权重减小75％。以这种方式，具有100像素
的感受野尺寸的卷积滤波器可覆盖器官的大部分(如在下采样图像204中成像)，而不采用具有400像素的感受野尺寸的卷积滤波器。因此，通过对图像202进行下采样，可在深度降低cnn 221的第一卷积层218中采用占roi的较大部分的卷积滤波器，使得所述卷积滤波器能够覆盖大于一个或多个所关注区域的阈值面积，而不会成比例地增加卷积滤波器权重的数目。
38.下采样图像204可被馈送到深度降低cnn 221的输入层，并且被传播/映射到下采样图像204内的一个或多个roi的分割图，诸如分割图212。深度降低cnn 221显示包括具有多个第一卷积滤波器(包括第一卷积滤波器217)的第一卷积层218、具有多个第二卷积滤波器的第二卷积层220、具有多个第三卷积滤波器的第三卷积层222、以及被配置为接收由卷积层提取的特征并从其中产生分割图212的分类层224。深度降低cnn还可包括附加的非卷积层，诸如输入层、输出层、全连接层等，然而，深度降低cnn221在图2中着重显示其中的卷积层的数目和布置。
39.第一卷积层218将来自下采样图像204的图像数据(例如，像素强度数据)映射成多个第一特征图206，其包括由第一卷积层218的多个第一卷积滤波器产生的一个或多个提取/识别的特征。多个第一卷积滤波器中的每个卷积滤波器具有大于预定感受野尺寸阈值的感受野尺寸。感受野尺寸阈值可基于下采样图像204的预定第二尺寸、并且进一步基于待分割的一个或多个所关注区域的预期相对覆盖率/形状来预定。在一些实施方案中，感受野尺寸阈值可被设置为解剖结构(例如，血管、股骨、器官等)的预期尺寸的20％或更多。在一个实施方案中，如果期望所关注的区域占图像面积/体积的25％，则可以将第一卷积层218内的卷积滤波器的阈值感受野尺寸设定为0.25
×
a
×
b，其中a是下采样图像204的预定的第二尺寸，并且b是roi的期望相对覆盖率。在一些实施方案中，roi的期望相对覆盖率可为20％或更多。在特定示例中，如果下采样图像204包括像素强度值的100
×
100矩阵，则预期待分割的所关注区域占图像202的30％，并且期望感受野覆盖所关注区域的80％，则感受野尺寸阈值可设置为(100
×
100)
×
0.30
×
0.8＝2,400像素。
40.多个第一卷积滤波器的形状还可基于待分割的roi的预期形状来设置。在一个示例中，如果待分割的roi具有大体上长方形的形状，则多个第一卷积滤波器的感受野的形状可设置为矩形(在2d图像的情况下)或长方体(在3d图像的情况下)。如果待分割的roi的形状包括一个或多个对称轴，或者包括一个或多个重复子单元，则可基于其设置多个第一卷积滤波器的感受野的形状和尺寸，从而利用roi的对称性或模块化性质。在一个实施方案中，如果待分割的roi包括长度远远大于宽度/直径的血管，则深度降低cnn221的第一卷积层218中的卷积滤波器可具有宽度为几个像素(例如，1个至5个像素)的感受野，并且基于待分割血管宽度的估计值设定长度，从而使得感受野能够覆盖血管宽度的至少大部分，而无需覆盖血管长度的大部分。如在图2中可见，第一卷积滤波器217占待分割的所关注区域的大部分，并且具有正方形的形状，因为待分割的roi具有基本上长方形的形状。
41.多个第一卷积滤波器的数目可基于待分割的roi的预期形状/尺寸变化来设置。通常，随着多个第一卷积滤波器的感受野尺寸增加，多个第一卷积滤波器的数目也可增加，用于应对可由其识别/提取的特征的可能形状/尺寸的增加的范围。在具有相对大的感受野尺寸的第一卷积层218中采用卷积滤波器的优点在于可降低深度降低cnn 221的深度，因为小的特征不再通过多个卷积层聚合以形成较大的特征，然后这些较大的特征用于分割roi。相
反地，使用具有在在至少一个维度上覆盖roi的大部分范围的感受野尺寸的卷积滤波器，在第一卷积层218中识别包括roi的显著部分(例如，大于25％)的特征。随着感受野尺寸阈值的增加，多个第一卷积滤波器的数目也可增加以应对可经由多个第一卷积滤波器识别的特征的形状/尺寸的多样性。换句话讲，随着深度降低cnn 221被配置为识别第一卷积层中的比在cnn的第一卷积层中常规检测到的特征更大的特征，所述特征的变化范围也可大于在常规cnn的第一层中检测到的特征的变化范围，因此在第一卷积层218中可采用比在后续层220、222和224中更多数目的卷积滤波器。同样地，多个第一卷积滤波器在第一卷积层218中的感受野尺寸可大于在后续卷积滤波器220和卷积滤波器222中的卷积滤波器的感受野尺寸。
42.多个第一特征图206包括来自第一卷积层218的多个输出值，其中每个输出值对应于第一卷积层218中的一个或多个卷积滤波器与下采样图像204的像素强度数据之间的匹配度。第一卷积层218中的每个不同滤波器可在多个第一特征图206中产生不同的特征图。第一卷积层218从下采样图像204中识别/提取特征，并且对于多个第一卷积滤波器中的每个卷积滤波器，在多个第一特征图206中产生对应的特征图。换句话讲，多个第一特征图206中的特征图的数目等于第一卷积层218中的多个第一卷积滤波器的数目。随着多个第一卷积滤波器中的卷积滤波器的数目大于深度降低cnn 221的后续卷积层中的卷积滤波器的数目，多个第一特征图中的特征图的数目同样大于多个第二特征图208或多个第三特征图210中的特征图的数目。
43.第二卷积层220接收多个第一特征图206作为输入，并使用多个第二卷积滤波器识别/提取其中的特征图案，以产生多个第二特征图208。第二卷积层220可包括一个或多个卷积滤波器，其中第二卷积层220的一个或多个卷积滤波器的感受野尺寸可小于阈值感受野尺寸。
44.多个第二特征图208可包括通过将第二卷积层220的一个或多个卷积滤波器应用于多个第一特征图206而产生的多个输出值。
45.第三卷积层222接收多个第二特征图208作为输入，并使用多个第三卷积滤波器识别/提取其中的特征图案，以产生多个第三特征图210。第三卷积层222可包括一个或多个卷积滤波器，其中第三卷积层222的一个或多个卷积滤波器的感受野尺寸可小于阈值感受野尺寸。
46.多个第三特征图210可包括通过将第三卷积层222的一个或多个卷积滤波器应用于多个第二特征图208而产生的多个输出值。多个第三特征图210被传递到分类层224。
47.分类层224接收多个第三特征图210作为输入，并且将其中表示的特征映射成下采样图像204的多个像素中的每个像素的分类标签。基于所学习的深度降低cnn 221的参数，分类标签可包括指示给定像素最可能属于有限且预定的类别集合中的哪一个的标签。在一个实施方案中，分类层224将下采样图像204的每个像素分类为属于roi或属于非roi。在一些实施方案中，深度降低cnn 221可产生包括多于一种类型的roi的分割图，并且由分类层224输出的分类标签可包括像素属于哪种类型的roi的指示，或者像素是否不属于roi。分类层224可包括机器学习领域中已知的softmax或其他类似函数，其可接收对应于下采样图像204的单个位置或子区域的一个或多个特征通道作为输入，并且其可输出所述位置或子区域的单个最可能的分类标签。
48.分类层224的输出包括像素分类的矩阵或阵列，并且被称为分割图212。如在图2中可见，分割图212在视觉上指示对应于roi的下采样图像204的区域。由分割图212指示的roi是肾，然而应当理解，可使用分割系统如分割系统200来分割各种其他所关注的解剖区域或所关注的非解剖区域。分割图212的尺寸/分辨率基本上类似于下采样图像204的第二尺寸，并且因此具有基本上小于图像202的第一尺寸/分辨率的尺寸/分辨率。
49.如上采样226所示，对分割图212进行上采样以产生上采样分割图214，其中上采样分割图214的尺寸/分辨率等于图像202的第一尺寸。上采样可包括一种或多种已知的图像放大方法，诸如最大上采样、最小上采样、平均上采样、双线性插值等。在一个实施方案中，上采样226可包括将一个或多个上卷积滤波器应用于分割图212。
50.由于分割图212是由下采样图像204的下采样数据产生的，上采样分割图214可包括像素化/粗略的roi边界，这在上采样分割图214中可见。本文的发明人已经识别了用于细化粗略/像素化roi边界的系统和方法，这将参考下文的图5和图6进行更详细地讨论。
51.因此，示例性分割系统200示出了可使用深度降低cnn 221(具有相关联地减小的训练复杂度/时间和实现复杂度/时间)接收图像并产生分割图的系统的一个实施方案，其中与常规cnn相比，深度降低cnn 221的深度可被显著降低(例如，小于6个卷积层)，同时保持所产生的分割图的准确性。与常规方法相反，图像分割系统200能够直接学习(并因此随后识别)大特征的结构，该大特征的结构包括在第一卷积层中的一个卷积滤波器中的至少第一维度(例如，长度、宽度、高度、深度)上的所关注区域的大部分范围，因此，提高了准确识别roi的可能性并显著减少了网络参数优化空间的维度，从而提高了训练速度、推断，并且降低了过拟合的概率且提高了收敛到全局最小化代价的参数集的概率。
52.应当理解，减少深度cnn 221的架构和配置是用于说明而非限制。在不脱离本公开的范围的情况下，本文可以使用其他适当的cnn架构来确定分割图和/或图像分类。具体地，在不脱离本公开的范围的情况下，可使用附加层，包括全连接/密集层、正则化层等。此外，在一个或多个卷积层和/或其他层之后，可使用机器学习领域中已知的各种类型的激活函数。这些所述实施方案仅仅是用于使用深度降低cnn确定分割图的系统和方法的示例，技术人员将理解，在不脱离本公开的实质的情况下，可在进行实践时修改实施方案中描述的具体细节。
53.转到图3，示出了用于使用深度降低cnn产生roi的分割图的示例性方法300的流程图。在一个实施方案中，实现分割系统200的图像处理系统100可实施方法300的一个或多个操作，从而产生roi的分割图。
54.方法300可开始于操作302，该操作包括图像处理系统接收具有第一尺寸的图像。在一些实施方案中，图像可包括2d图像或3d图像、或2d图像或3d图像的时间序列。在一些实施方案中，图像包括经由医学成像设备采集的医学图像，并且可包括待分割的所关注的解剖区域，诸如器官、肿瘤、植入物或所关注的其他区域。图像可包括元数据，该元数据指示由医学图像捕获的所关注解剖区域的类型、使用何种成像模态来采集图像、图像的尺寸、以及在采集图像期间使用的一个或多个采集设置/参数。
55.在操作304处，图像处理系统对在操作302处接收的图像进行下采样以产生具有预定的第二尺寸的下采样图像，其中第二尺寸小于第一尺寸。在一些实施方案中，第二尺寸小于第一尺寸的50％。可基于第一尺寸与预定尺寸之间的比率动态地确定下采样比率。下采
样可包括池化在操作302处接收的图像的像素强度数据、压缩像素强度数据和/或抽取像素强度数据，从而产生预定尺寸的下采样图像。在一些实施方案中，可基于待分割的roi和/或包括在图像中的指示roi，从预定尺寸的列表中动态选择预定尺寸。在一些实施方案中，可选择第二尺寸，使得其中包括的解剖结构保持足够的分辨率以被观察人员识别。
56.在操作306处，图像处理系统将在操作304处产生的下采样图像馈送到经训练的深度降低cnn，其中经训练的深度降低cnn的第一卷积层包括多个第一卷积滤波器，它们具有大于阈值感受野尺寸的感受野尺寸。在操作302处接收的输入图像包括含有2d成像数据的2d图像的实施方案中，感受野尺寸阈值是感受野面积阈值。在一些实施方案中，感受野面积阈值包括下采样图像的预定尺寸的面积的5％至100％或两者间的任何分数。在操作302处接收的输入图像包括含有3d成像数据的3d图像的实施方案中，感受野尺寸阈值是感受野体积阈值。在一些实施方案中，感受野体积阈值包括下采样图像的预定尺寸的体积的5％至100％或两者间的任何分数。
57.在一些实施方案中，图像处理系统可基于一个或多个roi(针对其对经训练的深度降低cnn进行训练以产生分割图)，从多个经训练的深度降低cnn中选择经训练的深度降低cnn。图像处理系统可基于与经训练的深度降低cnn相关联的元数据来确定经训练的深度降低cnn被配置为分割哪种类型的roi。在一些实施方案中，基于待分割的期望roi，并且还基于期望roi的形状/长宽比，选择经训练的深度降低cnn的阈值感受野尺寸。在一些实施方案中，可基于在下采样图像中的roi的预期/估计覆盖率(在训练之前)选择在经训练的深度降低cnn的第一卷积层中的多个第一卷积滤波器的阈值感受野尺寸。在一些实施方案中，多个第一卷积滤波器的第一数目大于经训练的深度降低cnn的一个或多个后续层中的任一个中的卷积滤波器数目。在一些实施方案中，多个第一卷积滤波器的第一数目在100至3000的范围内(包括端值在内)，或者为两者间的任何整数。在一些实施方案中，经训练的深度降低cnn的后续层均不包括具有大于阈值感受野尺寸的感受野尺寸的卷积滤波器。在一些实施方案中，经训练的cnn包括少于6个卷积层。在一些实施方案中，感受野尺寸阈值可为下采样图像的尺寸的50％至100％。在一些实施方案中，可基于待分割的所关注解剖区域来选择感受野尺寸阈值的至少一个维度。在一个实施方案中，阈值尺寸包括阈值长度，并且其中阈值长度大于所关注的解剖区域在至少第一维度/方向上的长度的50％。
58.在操作308处，图像处理系统使用经训练的深度降低cnn的多个第一卷积滤波器识别下采样图像中的一个或多个特征。由于在第一卷积层中的多个第一卷积滤波器中的每一个的感受野尺寸占预期roi的显著部分，因此在操作308处提取/识别的特征可包括下采样图像中存在的roi的显著部分。在一些实施方案中，整个roi可由经训练的深度降低cnn的第一卷积层中的滤波器识别。简而言之，滤波器通过计算卷积滤波器的滤波器权重与在滤波器的感受野上的下采样图像的像素强度值之间的点积来识别/提取图案，点积的量值越大，滤波器与下采样图像中的像素强度图案之间的匹配度越高。可将点积馈送到激活函数，然后输出到特征图，该特征图记录用于记录下采样图像中找到匹配的区域的匹配度和空间信息。
59.在操作310处，图像处理系统使用经训练的cnn的一个或多个后续层将在操作308处识别的一个或多个识别特征映射成一个或多个所关注区域的分割图。在一些实施方案中，分割图具有第二预定尺寸，其等于在操作304处产生的下采样图像的尺寸。分割图可包
括对应于下采样图像中的多个像素的多个像素分类，其中每个像素分类提供关于下采样图像的像素最可能属于有限且预定的类别集合中的哪一个的指定。在一些实施方案中，经训练的深度降低cnn的一个或多个后续层可包括一个或多个附加卷积层，该一个或多个附加卷积层被配置为接收由第一卷积神经网络产生的特征图。在一些实施方案中，后续卷积层中的每一个中的卷积滤波器的感受野尺寸小于阈值感受野尺寸，并且后续层中的每一个中的卷积滤波器的数目少于第一卷积层中的卷积滤波器的数目。
60.在操作312处，图像处理系统对分割图进行上采样/放大以产生尺寸等于在操作302处接收的图像的第一尺寸的上采样分割图。上采样可包括一种或多种已知的图像放大方法，诸如自适应插值或非自适应插值，包括最近邻近似、双线性插值、双三次平滑、双三次锐化等。
61.在操作314处，图像处理系统基于来自在操作302处接收的图像的强度值来细化上采样分割图的roi边界，从而产生细化的分割图。图5和图6提供了用于细化roi边界的方法的两个不同的实施方案，并且在下文中更详细地讨论。简而言之，roi边界是分割图中的位置或区域，其中被分类为属于roi的像素或像素聚类接触被分类为非roi的一个或多个像素。如通过在图2中的上采样分割图214可见，roi边界(其中明亮像素的区域接触黑色像素的区域)可为像素化的或粗糙的，并且可因此提供roi结束位置的不清楚的指示。通过对在操作310处产生的分割图进行上采样以产生与在操作302处接收的图像的第一尺寸相匹配的上采样分割，可以更有效地利用图像的原始像素强度数据来为在上采样分割图中识别的每个roi提供细化的边界位置，因为在上采样分割图中的像素标记与图像中的像素之间存在一对一(1
‑
to
‑
1)的对应关系。具体地讲，在方法500和方法600中，从在上采样分割图中识别的roi边界的阈值距离内的区域获得图像的强度值，因此，roi边界(其包括比上采样分割图更高的分辨率信息，该上采样分割图由压缩/下采样的强度数据产生)的阈值距离内的强度值可用于更准确地定位roi区域和非roi区域之间的边界。
62.在操作316处，方法300任选地包括图像处理系统，该图像处理系统经由显示设备向用户显示在操作314处产生的细化分割图。
63.在操作318处，方法300任选地包括图像处理系统，该图像处理系统基于细化的分割图确定roi的长度、宽度、深度、体积、形状和取向中的一者或多者。在一些实施方案中，图像处理系统可采用细化分割图的主成分分析来确定细化分割图的一个或多个分割roi的一个或多个空间参数。在操作318之后，方法300可结束。
64.以这种方式，方法300能够使用深度降低cnn生成分割图，其中分割图包括准确度与由计算成本高的常规cnn产生的roi边界基本上类似的roi边界。由于深度降低cnn包括比常规cnn更少数目的卷积层，并且因此包括数目大大减少的总网络参数，经由实施方法300产生的分割图可消耗常规cnn的计算资源的一部分，并且可消耗常规cnn的一部分时间而产生。基于下采样图像中的期望roi所占的预期面积/体积来设置第一卷积层中的卷积滤波器的阈值感受野尺寸，使得第一卷积层中的卷积滤波器覆盖大部分待识别和分割的roi，如此获得的技术效果是使用显著减少数目的卷积滤波器可识别期望的roi。此外，在对图像中的一个或多个roi进行分割之前对图像进行下采样、对从下采样图像中产生的分割图进行上采样、以及基于来自原始全尺寸图像的像素强度数据来细化在上采样分割图中的roi边界，如此获得的技术效果是可以采用减少的计算资源在更短的时间内产生与常规方法中产生
的分割图具有基本上类似的准确度的分割图。
65.现在转向图4，示出了用于使用深度降低cnn对图像进行分类的示例性方法400的流程图。方法400可由图像处理系统诸如图像处理系统100实现，从而确定图像的标准视图。在一些实施方案中，方法400可包括确定医学图像属于有限数目的标准视图中的哪一个。简而言之，在医学成像中，以有限数目的取向中的一个和/或以一组预定的采集参数采集所关注的解剖区域的图像，每个不同的取向/采集参数集称为标准视图，并且在医学成像工作流中，识别医学图像所属的标准视图可通知下游分析和处理。类似于方法300在图像分割的情况下具有的优点，方法400能够实现降低的计算复杂度和提高的分类速度，但该方法应用于图像分类。
66.在操作402处，图像处理系统接收包括解剖roi的标准视图的图像。在一些实施方案中，图像处理系统经由与医学成像设备的有线或无线通信来接收医学图像，该医学图像包括成像对象的所关注的解剖区域的标准视图。在一些实施方案中，图像可包括2d图像或3d图像、或2d图像或3d图像的时间序列。图像可包括元数据，该元数据指示由图像捕获的所关注解剖区域的类型、使用何种成像模态来采集图像、图像的尺寸、以及在采集图像期间使用的一个或多个采集设置/参数。
67.在操作404处，图像处理系统对在操作402处接收的图像进行下采样以产生具有预定尺寸的下采样图像，其中预定尺寸小于第一尺寸。可基于第一尺寸与预定尺寸之间的比率动态地确定下采样比率。下采样可包括池化在操作402处接收的图像的像素强度数据、压缩像素强度数据和/或抽取像素强度数据，从而产生预定尺寸的下采样图像。在一些实施方案中，可基于与在操作402处接收的图像相关联的一条或多条元数据，从预定尺寸的列表中动态地选择预定尺寸。
68.在操作406处，图像处理系统将在操作404处产生的下采样图像馈送到经训练的深度降低cnn，其中经训练的深度降低cnn的第一卷积层包括多个第一卷积滤波器，它们具有比在操作404处产生的下采样图像的尺寸(面积或体积)大50％的感受野尺寸。换句话讲，在经训练的深度降低cnn的第一卷积层中的多个卷积滤波器中的每一个的感受野尺寸均大于感受野尺寸阈值，其中感受野尺寸阈值为在操作404处产生的下采样图像的面积的至少50％。在一些实施方案中，图像处理系统可基于与在操作402处接收的图像相关联的一条或多条元数据，从多个经训练的深度降低cnn中选择一个经训练的深度降低cnn。在一些实施方案中，第一卷积层的多个第一卷积滤波器的第一数目大于经训练的深度降低cnn的一个或多个后续层中的任一个中的卷积滤波器数目。在一些实施方案中，多个第一卷积滤波器的第一数目在100至800的范围内(包括端值在内)，或者为两者间的任何整数。在一些实施方案中，经训练的深度降低cnn的后续层均不包括具有大于阈值感受野尺寸的感受野尺寸的卷积滤波器。在一些实施方案中，经训练的深度降低cnn包括少于6个卷积层。在一些实施方案中，经训练的深度降低cnn包括单个卷积层。在一些实施方案中，感受野尺寸阈值可为下采样图像的尺寸的50％至100％。在一些实施方案中，感受野尺寸阈值可为下采样图像的面积/体积的至少80％。
69.在操作408处，图像处理系统使用经训练的深度降低cnn的多个第一卷积滤波器识别下采样图像中的一个或多个特征。由于在第一卷积层中的多个第一卷积滤波器中的每一个的感受野尺寸占下采样图像的大部分(例如，50％
‑
100％)，在操作408处提取的特征包括
比由常规cnn的第一卷积层识别的特征更多的“整体”特征。具体地讲，与常规cnn相反，其中第一卷积层中的卷积滤波器可检测原子特征，诸如线、边缘、角点，由经训练的深度降低cnn的第一层识别的特征可包括“整体”或“全局”特征，诸如下采样图像内的子区域的相对定位、解剖特征的取向、总体图像亮度等。简而言之，卷积滤波器通过计算卷积滤波器的滤波器权重与在滤波器的感受野上的下采样图像的像素强度值(或者如果输入是特征图，则为特征值)之间的点积来识别/提取图案，点积的量值越大，滤波器与下采样图像中的像素强度图案之间的匹配度越高。可将点积馈送到激活函数，然后输出到特征图，该特征图记录用于记录下采样图像中找到匹配的区域的匹配度和空间信息。
70.在操作410处，图像处理系统使用经训练的深度降低cnn的一个或多个后续层将在操作408处识别的一个或多个识别特征映射成下采样图像的图像分类。在一些实施方案中，经训练的深度降低cnn的一个或多个后续层可包括一个或多个附加卷积层，该一个或多个附加卷积层被配置为接收由第一卷积层产生的特征图。在一些实施方案中，后续卷积层中的每一个中的卷积滤波器的感受野尺寸小于阈值感受野尺寸，并且后续层中的每一个中的卷积滤波器的数目少于第一卷积层中的卷积滤波器的数目。
71.在操作412处，方法400任选地包括图像处理设备，该图像处理设备经由显示设备显示图形用户界面(gui)，其中gui基于在操作410处确定的图像分类来选择。在一些实施方案中，图像处理工作流可包括基于图像的标准视图来显示gui，例如，如果图像分类指示图像包括以第一取向成像的第一解剖区域，包括对第一取向的第一解剖区域的分析具有特异性的特征/工具的gui可在操作412处自动显示，从而简化图像分析和处理工作流。在操作412之后，方法400可结束。
72.使用分辨率降低/下采样的图像(其中图像中的视图类型仍是可识别的)，然后在具有比输入图像的尺寸大50％的感受野尺寸的深度降低cnn的第一层中使用多个卷积滤波器，如此获得的技术效果是可使用减少数目的卷积层来识别输入图像内的子区域的全局取向和位置特征，因此深度降低cnn在输入图像的标准视图的分类中具有更高的准确度和更大的速度。
73.以这种方式，方法400能够快速且准确地检测所采集到的医学图像的标准视图。在一些实施方案中，方法400可与实时图像采集结合使用，用于动态地调整显示给进行患者所关注的解剖区域的扫描的执业医生的gui。
74.转到图5，示出了用于细化分割图的roi边界的方法500的第一实施方案的流程图。方法500可由图像处理系统100实现，用于提高由深度降低cnn产生的分割图的roi边界的边界位置的准确性。当本文提出的深度降低cnn接收输入下采样图像时，输出分割图的对应分辨率也减小，这提高了实现这种深度降低cnn的速度和计算效率，并且通过实现下文讨论的方法500或方法600的一个或多个操作，roi边界的准确度和平滑度可基本上等同于使用更慢且计算效率更低的cnn产生的roi边界。
75.在操作502处，图像处理系统接收分割图(诸如上采样分割图214)和对应的图像(诸如图像202)，其中分割图包括所关注的分割解剖区域。在一些实施方案中，分割图和图像均具有第一尺寸，使得对于分割图的每个像素标记，在图像的对应位置处存在对应的像素。在一些实施方案中，图像处理系统可从非暂态存储器的位置处或者从与远程定位的计算系统的有线或无线通信中接收分割图和图像。
76.在操作504处，图像处理系统沿着穿过并且基本上垂直于所关注的分割解剖区域的边界的一条或多条线确定医学图像的强度分布图，其中一条或多条线各自由roi边界大体上等分(即，一条或多条线的中心各自与roi边界的一部分基本上重合/相交)。简要转到图8，示出了操作504的概念图。如在图8中可见，沿阈值长度的线对多个强度分布图如强度分布图802进行采样，该阈值长度的线基本上垂直于分割roi的边界穿过。使用分割图确定一条或多条线中的每条线的位置，然后在对应位置处从图像中对像素强度值采样。可基于待分割的roi的预期形状/几何形状来预先选择所采用的线的数目。例如，随着roi边界的预期复杂度的增加，在操作504处采用的线的数目可相应地增加。线的阈值长度可基于期望的计算复杂度来选择，其中较长的线对应于增加的计算复杂度，并且较短的线对应于降低的计算复杂度。此外，可基于用于产生分割图的下采样图像的尺寸来选择线的阈值长度，其中随着从其中产生分割图的下采样图像的尺寸减小，操作504的线的长度可以增加以补偿由此产生的上采样分割图中可能出现的增加的像素化。在分割图包括3d分割图的实施方案中，方法500和图8的线可用平面替换，其中基本上一半的平面面积在roi之内，并且基本上一半的平面面积在roi之外。
77.在操作506处，图像处理系统基于图像沿一条或多条线的强度分布图更新roi边界沿一条或多条线中的每一条的位置，从而产生所关注的解剖区域的细化分割图。在一些实施方案中，一条或多条线从roi边界内的阈值距离延伸到roi边界外的阈值距离。在一些实施方案中，可采用一种或多种常规边缘检测算法，使用从原始全尺寸图像获得的一条或多条线的对应强度分布图来确定沿一条或多条线中的每条线的更新的roi边界位置。简而言之，边缘检测算法可评估沿一条或多条线的像素强度数据的变化或不连续性以确定更新的roi边界位置。在一些实施方案中，可将沿着一条或多条线中的每一条的强度分布图中的每一个馈送到经训练的神经网络，该神经网络经过训练以将一个维度强度向量映射到边缘位置。
78.以这种方式，方法500可通过利用来自智能选择的区域子集的像素强度数据将由深度降低cnn产生的分割图中的像素化roi边界转换成平滑且准确的roi边界，该智能选择的区域子集来自产生分割图的原始全尺寸图像内。
79.转到图6，示出了用于细化由深度降低cnn产生的分割图中的roi边界的方法600的第二实施方案的流程图。方法600可由图像处理系统如图像处理系统100实现，用于提高由深度降低cnn产生的分割图中的roi边界的平滑度和准确度。
80.在操作602处，图像处理系统接收分割图(诸如上采样分割图214)和对应的图像(诸如图像202)，其中分割图包括所关注的分割解剖区域。在一些实施方案中，分割图和图像均具有第一尺寸，使得对于分割图的每个像素标记，在图像的对应位置处存在对应的像素。在一些实施方案中，图像处理系统可从非暂态存储器的位置处或者从与远程定位的计算系统的有线或无线通信中接收分割图和图像。
81.在操作604处，图像处理系统将医学图像划分成一个或多个子区域，其中多个子区域中的每一个子区域均包括所关注的分割解剖区域的边界的一部分。简要转到图9，示出了操作604的概念图。如在图9中可见，从在操作602处接收的图像中对像素强度值的多个子区域如子区域902进行采样。在一些实施方案中，子区域为正方形或矩形，在其他实施方案中，子区域可为圆形或长方形。每个子区域可具有阈值面积，其中子区域的基本上一半的面积
在roi内(在上采样分割图的初始估计roi边界内)，并且平面的基本上一半的面积在roi外(在操作602处接收的上采样分割图的初始估计roi边界外)。使用在操作602处接收的分割图确定每个子区域的位置，然后在对应于子区域的位置处从在操作602处接收的图像中对像素强度值进行采样。可基于待分割的roi的预期形状/几何形状来预先选择所采用的子区域的数目。例如，随着roi边界的预期复杂度增加，在操作604处采用的子区域的数目可相应地增加，并且子区域的覆盖尺寸/面积可相应地减小。在分割图包括3d分割图的实施方案中，方法600和图9的子区域可用立体的子区域替换，诸如立方体、长方体、球体等平面，其中基本上一半的3d子区域体积在roi之内，并且基本上一半的3d子区域体积在roi之外。
82.在操作606处，图像处理系统将一个或多个子区域馈送到经训练的cnn，其中经训练的cnn被配置为将对应于每个子区域的像素强度值的矩阵映射成对应的边缘分割图，指示对于每个子区域的roi边界沿一条线(或在3d图像和3d分割图的情况下沿平面)的更新位置。在一些实施方案中，对在一个或多个子区域内的roi边界的识别可包括一个或多个常规的边缘检测算法。
83.在操作608处，图像处理系统基于在操作606处产生的一个或多个分割图更新roi边界在一个或多个子区域中的位置。在操作608之后，方法600可结束。以这种方式，方法600能够通过利用来自智能选择的区域子集的像素强度数据将由深度降低cnn产生的分割图中的像素化roi边界转换成平滑且准确的roi边界，该智能选择的区域子集来自产生分割图的原始全尺寸图像内。
84.转到图7，示出了用于训练深度降低cnn(诸如如图2所示的深度降低cnn 221)以从输入下采样图像推断一个或多个roi的分割图的示例性方法700的流程图。方法700可由上文讨论的系统中的一个或多个系统来执行。在一些实施方案中，方法700可由图1所示的图像处理系统100来实现。在一些实施方案中，方法700可由存储在图像处理设备102的非暂态存储器106中的训练模块112来实现。
85.在操作702处，将来自多个训练数据对的训练数据对馈送到深度降低cnn的输入层，其中训练数据对包括图像和对应的真实分割图。图像处理系统可基于与训练数据对相关联的一条或多条元数据智能地选择训练数据对。在一个实施方案中，可采用方法700来训练深度降低cnn以识别一个或多个预定类型的roi，并且操作702可包括选择包括图像的训练数据对的图像处理系统，其中图像包括预定类型的roi中的一个或多个，并且其中训练数据对还包括图像中的一个或多个roi的真实分割图。在一些实施方案中，真实分割图可由专家(如放射科医生)产生。
86.在一些实施方案中，训练数据对和多个训练数据对可存储在图像处理设备中，诸如存储在图像处理设备102的图像数据模块114中。在其他实施方案中，可经由图像处理系统和外部存储设备之间的通信耦接(诸如经由与远程服务器的互联网连接)来获取训练数据集。
87.在操作704处，使用深度降低cnn将训练数据对的图像映射成预测的分割图。在一些实施方案中，操作704可包括将图像的像素/体素强度数据输入到深度降低cnn的输入层中，使用包括多个第一卷积滤波器的至少第一卷积层识别图像中存在的特征，其中多个卷积滤波器中的每一个具有大于阈值感受野尺寸的感受野尺寸，并且使用一个或多个后续层将由第一卷积层提取的特征映射成预测的分割图。在一些实施方案中，一个或多个后续层
包括至少一个分类层。
88.在操作706处，图像处理系统基于预测分割图和真实分割图之间的差值来计算深度降低cnn的损失。换句话讲，操作706包括图像处理系统使用真实分割图和损失/代价函数来确定预测分割图的误差。在一些实施方案中，操作706包括图像处理系统确定预测分割图的多个像素/体素与真实分割图的多个像素/体素之间的多个像素分类标签差、以及将多个像素分类标签差输入到预定的损失/代价函数(例如，mse函数或机器学习领域中已知的其他损失函数)中。在一些实施方案中，损失函数可包括dice得分、均方误差、绝对距离误差、或前述一者或多者的加权组合。在一些实施方案中，操作706可包括根据以下方程使用真实分割图确定预测分割图的dice分数：
89.dice＝(s∩t)/(s∪t)，
90.其中s是真实分割图，并且其中t是预测分割图。
91.在操作708处，基于在操作706处确定的损失来更新深度降低cnn的权重和偏差。在一些实施方案中，损失通过深度降低cnn的层反向传播，并且深度降低cnn的参数可根据基于反向传播的损失的梯度下降算法来更新。损失可通过深度降低cnn的层反向传播，以更新每个层的权重(和偏差)。在一些实施方案中，根据梯度下降算法可发生损失的反向传播，其中针对减少深度cnn的每个权重和偏差确定损失函数的梯度(一阶导数或一阶导数的近似)。然后，通过根据以下等式将针对权重(或偏差)确定(或近似)的梯度乘积的负数与预定步长大小相加来更新减少深度cnn的每个权重(和偏差)：
[0092][0093]
其中p
i 1
是更新的参数值，p
i
是先前的参数值，step是步长大小，并且是损失相对于先前参数的偏导数。
[0094]
在操作708之后，方法600可结束。应当注意，方法700可重复，直到深度降低cnn的权重和偏差收敛，获得阈值损失(对于训练数据或在单独验证数据集上)，或者对于方法700的每次迭代，深度降低cnn的权重和/或偏差的变化率都在阈值变化率以下。以这种方式，方法700使得待训练的深度降低cnn能够从下采样图像推断一个或多个roi的分割图。
[0095]
当介绍本公开的各种实施方案的元件时，词语“一个”、“一种”和“该”旨在意指存在这些元件中的一个或多个元件。术语“第一”、“第二”等不表示任何顺序、量或重要性，而是用于将一个元件与另一个元件区分开。术语“包含”、“包括”和“具有”旨在是包含性的，并且意指除了列出的元件之外还可存在附加元件。如本文使用术语“连接到”、“联接到”等，一个对象(例如，材料、元件、结构、构件等)可以连接到或联接到另一个对象，而无论该一个对象是否直接连接或联接到另一个对象，或者在该一个对象和另一个对象之间是否存在一个或多个介入对象。此外，应当理解，对本公开的“一个实施方案”或“实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。
[0096]
除了任何先前指示的修改之外，本领域技术人员可以在不脱离本描述的实质和范围的情况下设计出许多其他变型和替换布置，并且所附权利要求书旨在覆盖此类修改和布置。因此，尽管上面已经结合当前被认为是最实际和最优选的方面对信息进行了具体和详细的描述，但对于本领域的普通技术人员将显而易见的是，在不脱离本文阐述的原理和概
念的情况下，可以进行许多修改，包括但不限于形式、功能、操作方式和使用。同样，如本文所使用的，在所有方面，示例和实施方案仅意图是说明性的，并且不应以任何方式解释为限制性的。