基于边界注意力与距离变换的目标分割方法和装置与流程

1.本发明涉及图像分割技术领域，尤其涉及一种基于边界注意力与距离变换的目标分割方法和装置。


背景技术：

2.目前用于目标分割任务（例如肺叶分割、肺内结节分割、气管分割等）的卷积神经网络，多采用unet网络作为骨架网络，在应用于医学影像的分割时，多存在以下两点缺点：第一是目标的边界区域分割不准确，这一缺点在目标的边界本身较模糊或不平滑时更加明显；第二是与其他形态类似或影像学特征相似的组织距离较近时，在边界区域容易出现较大面积的假阳性分割现象。上述两点缺陷在基于unet的网络（包括unet 、denseunet以及添加区域注意力机制的unet等）中普遍存在，使得医学影像的分割结果准确度受限。因此，需要一种分割精度更高的目标分割网络，使得将该网络应用于医学影像的目标分割任务中时，能够提升目标边界的分割准确性、降低分割结果中的假阳性结果。


技术实现要素：

3.本发明提供一种基于边界注意力与距离变换的目标分割方法和装置，用以解决现有技术中边界分割不准确且假阳性分割较普遍的缺陷。
4.本发明提供一种基于边界注意力与距离变换的目标分割方法，包括：基于目标分割网络对待分割医学影像进行目标分割，得到所述待分割医学影像的分割结果；其中，所述目标分割网络是基于如下步骤训练得到的：基于目标分割网络的多个下采样层，对样本医学影像进行连续下采样，得到样本影像特征；基于所述目标分割网络的多个上采样层，对所述样本影像特征进行连续上采样，并获取首层上采样层输出的第一样本解码特征和最后一层上采样层输出的第二样本解码特征；基于所述第一样本解码特征进行边界预测和距离预测，得到边界预测结果和距离预测结果；基于所述第二样本解码特征进行目标分割，得到所述样本医学影像的分割结果；基于所述边界预测结果与所述距离预测结果之间的一致性，以及所述样本医学影像的分割结果与标注结果之间的一致性，对所述目标分割网络进行参数调整。
5.根据本发明提供的一种基于边界注意力与距离变换的目标分割方法，所述基于所述第一样本解码特征进行边界预测和距离预测，得到边界预测结果和距离预测结果；基于所述第二样本解码特征进行目标分割，得到所述样本医学影像的分割结果，具体包括：基于第一卷积层，对所述第一样本解码特征进行边界特征提取，得到样本边界特征图；基于第二卷积层，对所述第一样本解码特征进行距离特征提取，得到样本距离特征图；基于所述样本边界特征图进行边界预测，得到所述边界预测结果；基于所述样本
距离特征图进行距离预测，得到所述距离预测结果；将所述样本边界特征图与所述第二样本解码特征进行融合，得到样本融合特征，并基于所述样本融合特征进行目标分割，得到所述样本医学影像的分割结果。
6.根据本发明提供的一种基于边界注意力与距离变换的目标分割方法，所述基于所述边界预测结果与所述距离预测结果之间的一致性，以及所述样本医学影像的分割结果与标注结果之间的一致性，对所述目标分割网络进行参数调整，具体包括：基于所述边界预测结果与所述距离预测结果之间的一致性、所述样本医学影像的分割结果与标注结果之间的一致性、所述边界预测结果与边界标注结果之间的一致性，以及所述距离预测结果与距离标注结果之间的一致性，对所述目标分割网络进行参数调整。
7.根据本发明提供的一种基于边界注意力与距离变换的目标分割方法，所述基于所述边界预测结果与所述距离预测结果之间的一致性、所述样本医学影像的分割结果与标注结果之间的一致性、所述边界预测结果与边界标注结果之间的一致性，以及所述距离预测结果与距离标注结果之间的一致性，对所述目标分割网络进行参数调整，具体包括：基于所述边界预测结果与所述距离预测结果之间的一致性、所述样本医学影像的分割结果与标注结果之间的一致性、所述边界预测结果与边界标注结果之间的一致性，以及所述距离预测结果与距离标注结果之间的一致性，对所述首层上采样层和所述多个下采样层的参数进行反向调整；基于所述边界预测结果与所述距离预测结果之间的一致性、所述边界预测结果与边界标注结果之间的一致性，以及基于所述样本医学影像的分割结果与标注结果之间的一致性，对所述第一卷积层的参数进行反向调整；基于所述边界预测结果与所述距离预测结果之间的一致性以及所述距离预测结果与距离标注结果之间的一致性，对所述第二卷积层的参数进行反向调整；基于所述样本医学影像的分割结果与标注结果之间的一致性，对第二层下采样层直至最后一层下采样层的参数进行反向调整。
8.根据本发明提供的一种基于边界注意力与距离变换的目标分割方法，所述边界预测结果与所述距离预测结果之间的一致性是基于如下步骤确定的：获取所述样本医学影像中任一像素在所述边界预测结果中的边界预测概率以及在所述距离预测结果中的距离值；确定所述任一像素的边界预测概率与所述任一像素的距离值的绝对值之间的乘积，作为所述任一像素对应的一致性结果；基于所述样本医学影像中各个像素对应的一致性结果，确定所述边界预测结果与所述距离预测结果之间的一致性。
9.根据本发明提供的一种基于边界注意力与距离变换的目标分割方法，所述基于目标分割网络对待分割医学影像进行目标分割，得到所述待分割医学影像的分割结果，具体包括：基于目标分割网络的多个下采样层，对所述待分割医学影像进行连续下采样，得到所述待分割医学影像的影像特征；基于所述目标分割网络的多个上采样层，对所述待分割医学影像的影像特征进行连续上采样，并获取最后一层上采样层输出的第二解码特征；基于所述第二解码特征进行目标分割，得到所述待分割医学影像的分割结果。
10.根据本发明提供的一种基于边界注意力与距离变换的目标分割方法，所述基于所述第二解码特征进行目标分割，得到所述待分割医学影像的分割结果，具体包括：获取首层上采样层输出的第一解码特征，并基于第一卷积层，对所述第一解码特征进行边界特征提取，得到边界特征图；将所述边界特征图与所述第二解码特征进行融合，得到融合特征，并基于所述融合特征进行目标分割，得到所述待分割医学影像的分割结果。
11.本发明还提供一种基于边界注意力与距离变换的目标分割装置，包括：医学影像分割单元，用于基于目标分割网络对待分割医学影像进行目标分割，得到所述待分割医学影像的分割结果；分割网络训练单元，用于基于如下步骤训练所述目标分割网络：基于目标分割网络的多个下采样层，对样本医学影像进行连续下采样，得到样本影像特征；基于所述目标分割网络的多个上采样层，对所述样本影像特征进行连续上采样，并获取首层上采样层输出的第一样本解码特征和最后一层上采样层输出的第二样本解码特征；基于所述第一样本解码特征进行边界预测和距离预测，得到边界预测结果和距离预测结果；基于所述第二样本解码特征进行目标分割，得到所述样本医学影像的分割结果；基于所述边界预测结果与所述距离预测结果之间的一致性，以及所述样本医学影像的分割结果与标注结果之间的一致性，对所述目标分割网络进行参数调整。
12.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于边界注意力与距离变换的目标分割方法。
13.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于边界注意力与距离变换的目标分割方法。
14.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于边界注意力与距离变换的目标分割方法。
15.本发明提供的基于边界注意力与距离变换的目标分割方法和装置，通过将边界注意力模块和距离变换模块连接在首层上采样层之后，以利用其输出的第一样本解码特征进行边界提取和距离变换，提升了解码器的优化程度并且兼顾提升了边界提取、距离变换和目标分割任务的优化效果，再基于边界预测结果与距离预测结果之间的一致性，以及样本医学影像的分割结果与标注结果之间的一致性，对目标分割网络进行参数调整，通过引入边界预测结果与距离预测结果之间一致性的约束，可以使得边界注意力模块与距离变换模块二者产生的梯度较为统一，避免了二者梯度方向不同引起的网络性能下降问题，从而提升了边界注意力模块与距离变换模块对于目标分割任务的辅助效果，并最终提升了目标分割网络的分割精度、尤其是目标边界的分割精度，降低了分割结果的假阳性概率，再基于该目标分割网络对待分割医学影像进行目标分割，提高了医学影像的分割准确度。
附图说明
16.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术
描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1是本发明提供的目标分割网络训练方法的流程示意图之一；图2是本发明提供的目标分割网络训练方法的流程示意图之二；图3是本发明提供的目标分割方法的流程示意图之一；图4是本发明提供的目标分割方法的流程示意图之二；图5是本发明提供的目标分割网络训练装置的结构示意图；图6是本发明提供的电子设备的结构示意图。
具体实施方式
18.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.由于目前用于目标分割任务的卷积神经网络，多存在目标的边界区域分割不准确以及在边界区域容易出现较大面积的假阳性分割现象的缺陷，因此本发明实施例提供了一种基于边界注意力与距离变换的目标分割方法，以提升医学影像分割的精度。该方法包括：获取待分割医学影像，并基于目标分割网络对上述待分割医学影像进行目标分割，得到该待分割医学影像的分割结果。
20.其中，图1是本发明提供的目标分割网络训练方法的流程示意图，如图1所示，所述目标分割网络是基于如下步骤训练得到的：步骤110，基于目标分割网络的多个下采样层，对样本医学影像进行连续下采样，得到样本影像特征；基于所述目标分割网络的多个上采样层，对所述样本影像特征进行连续上采样，并获取首层上采样层输出的第一样本解码特征和最后一层上采样层输出的第二样本解码特征；步骤120，基于所述第一样本解码特征进行边界预测和距离预测，得到边界预测结果和距离预测结果；基于所述第二样本解码特征进行目标分割，得到所述样本医学影像的分割结果；步骤130，基于所述边界预测结果与所述距离预测结果之间的一致性，以及所述样本医学影像的分割结果与标注结果之间的一致性，对所述目标分割网络进行参数调整。
21.具体地，目标分割网络是将unet网络或者其变形网络（例如denseunet）作为基础网络，在其中加入边界注意力模块和距离变换模块得到的。其中，目标分割网络包含多个不同尺寸的下采样层以及与下采样层相对称的多个上采样层，以用于对输入的医学影像进行图像编码和图像解码，且在同一尺寸的下采样层和上采样层之间建立了跃层连接。另外，边界注意力模块可以用于提取医学影像中目标的边界特征，距离变换模块可以用于提取医学影像中各像素与目标边界的距离特征，而上述边界特征和距离特征有助于提升下采样层和上采样层对于目标边界的编码能力和解码能力，从而提升目标分割时的边界分割精度。
22.近期部分工作也提出了基于边界提取以及距离变换解决目标分割不准确的问题，
然而现有方法通常从编码器阶段（即下采样阶段）进行信息提取并基于提取的语义信息进行边界提取和距离变换，然而利用从编码器提取的信息所获取的边界信息和距离信息对目标分割任务进行监督时，受到梯度下降优化的参数只有编码器的参数，解码器的参数并没有被优化，故无法对解码器参数产生正面影响。更重要的是，同时基于提取的边界信息和距离信息对目标分割任务进行监督时，容易因二者梯度方向不统一导致分割效果反而下降。经过分析，发现造成上述效果下降后果的原因在于：首先，二者通常提取自不同阶段的特征图，而不同阶段的特征图反映的信息不同，容易因为信息尺度差距导致梯度优化方向的差异；其次，二者的优化目标不同，优化方法也不同（边界提取多采用分类方法，而距离变换多采用回归方法），故难以保证二者对于参数的优化梯度方向统一；第三，当二者中某一种监督效果较差时，产生的梯度方向偏离最佳梯度方向，也会导致梯度方向不统一的问题。实验结果也证实了二者直接同时使用时，效果反而下降。
23.因此，为了克服上述问题，本发明实施例提供的目标分割网络中边界注意力模块和距离变换模块将从同一解码阶段（即同一上采样阶段）进行信息提取，使得边界注意力模块和距离变换模块分别提取的边界特征和距离特征对于目标分割的监督效果既可以作用于解码器的参数，也可以通过骨架网络中的跃层连接机制直接地作用与编码器的参数，从而提升目标分割网络对于目标边界的编码能力和解码能力。此外，由于二者提取自相同阶段的特征图，因此将不会出现信息尺度差距，从而有助于保持边界注意力模块和距离变换模块的梯度优化方向的一致性。
24.具体而言，将任一样本医学影像输入至目标分割网络中后，首先基于目标分割网络中的多个下采样层对该样本医学影像进行连续下采样，以提取该影像中的图像语义信息，从而得到最后一层下采样层输出的样本影像特征。其中，该样本影像特征中包含了样本医学影像中的底层语义信息（例如位置信息、纹理信息等更具体的语义信息）以及高级语义信息（例如类别信息等更抽象的语义信息）。随后，基于目标分割网络的多个上采样层对该样本影像特征进行连续上采样以对其中包含的语义信息进行解码并应用于后续的边界提取任务、距离变换任务和目标分割任务。其中，可以获取首层上采样层输出的第一样本解码特征以及最后一层上采样层输出的第二样本解码特征。
25.此处，第一样本解码特征用于进行边界预测和距离预测，得到边界预测结果和距离预测结果，第二样本解码特征用于进行目标分割，得到样本医学影像的分割结果。即，边界注意力模块和距离变换模块均与首层上采样层的输出相连，而目标分割模块与最后一层上采样层的输出相连。边界预测结果中包含样本医学影像中各像素的边界预测概率，该边界预测概率越高，表明该像素越可能位于目标边界处；距离预测结果中包含样本医学影像中各像素的距离值，该距离值越偏离数值0，表明该像素距离目标边界越远；分割结果中包含样本医学影像中各像素的目标预测概率，该目标预测概率越高，表明该像素越可能为目标像素。
26.其中，之所以将边界注意力模块和距离变换模块连接在首层上采样层之后，以利用其输出的第一样本解码特征进行边界提取和距离变换，原因在于：首先，若连接在最后一层下采样层之后，即基于样本影像特征进行边界提取和距离变换，则第二层上采样层及其之后的上采样层输出的特征图均不能被边界提取和距离变换这两个辅助任务的梯度下降所优化，对解码器的优化作用较小；其次，若连接在靠后的上采样层（例如倒数第二层上采
样层或最后一层上采样层）之后，由于边界提取任务以及距离变换任务与目标分割任务的区别较为明显，在上述靠后上采样层输出的特征图基础上，仅经过一层或两层上采样便要求完成三种差别较大的任务，对于神经网络而言难度很大，故最终难以将三个任务分支均优化到较好水平，从而影响最终的分割结果。因此，通过将边界注意力模块和距离变换模块连接在首层上采样层之后，提升了解码器的优化程度并且兼顾提升了三个任务的优化效果。
27.基于第二样本解码特征进行目标分割，得到样本医学影像的分割结果之后，可以基于边界预测结果与距离预测结果之间的一致性，以及样本医学影像的分割结果与标注结果之间的一致性，对目标分割网络进行参数调整，从而提升目标分割网络的分割精度、尤其是目标边界的分割精度，降低了分割结果的假阳性概率。其中，通过引入边界预测结果与距离预测结果之间一致性的约束，可以进一步使得边界注意力模块与距离变换模块二者产生的梯度较为统一，避免了二者梯度方向不同引起的网络性能下降问题，从而提升了边界注意力模块与距离变换模块对于目标分割任务的辅助效果。上述一致性约束可以统一边界注意力模块与距离变换模块的梯度方向的原因在于：在边界预测结果与距离预测结果间加入一致性约束项后，由于约束项的优化方向与边界预测结果与距离预测结果的优化方向一致，且其可以同时为边界注意力模块与距离变换模块产生梯度，故可以在边界注意力模块与距离变换模块的梯度不统一时将梯度回聚，从而维持两者梯度的一致性。
28.本发明实施例提供的方法，通过将边界注意力模块和距离变换模块连接在首层上采样层之后，以利用其输出的第一样本解码特征进行边界提取和距离变换，提升了解码器的优化程度并且兼顾提升了边界提取、距离变换和目标分割任务的优化效果，再基于边界预测结果与距离预测结果之间的一致性，以及样本医学影像的分割结果与标注结果之间的一致性，对目标分割网络进行参数调整，通过引入边界预测结果与距离预测结果之间一致性的约束，可以使得边界注意力模块与距离变换模块二者产生的梯度较为统一，避免了二者梯度方向不同引起的网络性能下降问题，从而提升了边界注意力模块与距离变换模块对于目标分割任务的辅助效果，并最终提升了目标分割网络的分割精度、尤其是目标边界的分割精度，降低了分割结果的假阳性概率，再基于该目标分割网络对待分割医学影像进行目标分割，提高了医学影像的分割准确度。
29.基于上述实施例，如图2所示，所述基于所述第一样本解码特征进行边界预测和距离预测，得到边界预测结果和距离预测结果；基于所述第二样本解码特征进行目标分割，得到所述样本医学影像的分割结果，具体包括：步骤121，基于第一卷积层，对所述第一样本解码特征进行边界特征提取，得到样本边界特征图；基于第二卷积层，对所述第一样本解码特征进行距离特征提取，得到样本距离特征图；步骤122，基于所述样本边界特征图进行边界预测，得到所述边界预测结果；基于所述样本距离特征图进行距离预测，得到所述距离预测结果；步骤123，将所述样本边界特征图与所述第二样本解码特征进行融合，得到样本融合特征，并基于所述样本融合特征进行目标分割，得到所述样本医学影像的分割结果。
30.具体地，边界注意力模块包含第一卷积层和边界预测层，其中第一卷积层用于对首层上采样层输出的第一样本解码特征进行边界特征提取，得到相应的样本边界特征图；
边界预测层用于基于样本边界特征图进行边界预测，得到边界预测结果，边界预测层可以为1*1*1卷积层。距离变换模块包含第二卷积层和距离预测层，其中第二卷积层用于对首层上采样层输出的第一样本解码特征进行距离特征提取，得到相应的样本距离特征图；距离预测层用于基于样本距离特征图进行距离预测，得到距离预测结果，距离预测层也可以为1*1*1卷积层。
31.考虑到医学影像分割的不准确主要体现于目标的边界区域分割不准确，因此，为了提升目标边界的分割精度，可以基于目标分割模块中的融合层将上述样本边界特征图与第二样本解码特征进行融合（例如拼接），将样本边界特征图中包含的丰富且可靠的目标边界信息与第二样本解码特征中包含的语义信息相结合，得到样本融合特征。再基于目标分割模块的分割预测层，对该样本融合特征进行目标分割，可以提升目标边界的分割准确性。此外，通过将最后一层上采样层的输出与第一卷积层的输出相连，也可以为目标分割任务和边界提取任务增加额外的约束，从而使两个任务在训练过程中可以相互提升，增强目标分割网络的训练效果。
32.基于上述任一实施例，所述基于所述边界预测结果与所述距离预测结果之间的一致性，以及所述样本医学影像的分割结果与标注结果之间的一致性，对所述目标分割网络进行参数调整，具体包括：基于所述边界预测结果与所述距离预测结果之间的一致性、所述样本医学影像的分割结果与标注结果之间的一致性、所述边界预测结果与边界标注结果之间的一致性，以及所述距离预测结果与距离标注结果之间的一致性，对所述目标分割网络进行参数调整。
33.具体地，在得到样本医学影像的边界预测结果、距离预测结果以及分割结果之后，为了保证边界注意力模块提取边界特征的准确性和距离变换模块提取距离特征的准确性，还可以引入样本医学影像的边界标注结果以及距离标注结果，分别对边界注意力模块输出的边界预测结果和距离变换模块输出的距离预测结果进行约束。
34.因此，在对目标分割网络的参数进行反向调整时，可以基于边界预测结果与距离预测结果之间的一致性计算一致性损失l1，基于样本医学影像的分割结果与标注结果之间的一致性计算分割损失l2，基于边界预测结果与边界标注结果之间的一致性计算边界损失l3，以及基于距离预测结果与距离标注结果之间的一致性计算距离损失l4。基于上述一致性损失l1、分割损失l2、边界损失l3以及距离损失l4对目标分割网络中的各个网络层进行参数优化，提升包括下采样层（编码器）、上采样层（解码器）、边界注意力模块、距离变换模块以及目标分割模块的性能。
35.基于上述任一实施例，所述基于所述边界预测结果与所述距离预测结果之间的一致性、所述样本医学影像的分割结果与标注结果之间的一致性、所述边界预测结果与边界标注结果之间的一致性，以及所述距离预测结果与距离标注结果之间的一致性，对所述目标分割网络进行参数调整，具体包括：基于所述边界预测结果与所述距离预测结果之间的一致性、所述样本医学影像的分割结果与标注结果之间的一致性、所述边界预测结果与边界标注结果之间的一致性，以及所述距离预测结果与距离标注结果之间的一致性，对所述首层上采样层和所述多个下采样层的参数进行反向调整；基于所述边界预测结果与所述距离预测结果之间的一致性、所述边界预测结果与
边界标注结果之间的一致性，以及基于所述样本医学影像的分割结果与标注结果之间的一致性，对所述第一卷积层的参数进行反向调整；基于所述边界预测结果与所述距离预测结果之间的一致性以及所述距离预测结果与距离标注结果之间的一致性，对所述第二卷积层的参数进行反向调整；基于所述样本医学影像的分割结果与标注结果之间的一致性，对第二层下采样层直至最后一层下采样层的参数进行反向调整。
36.具体地，在基于上述一致性损失l1、分割损失l2、边界损失l3以及距离损失l4进行反向传播，以对目标分割网络中的各个网络层进行参数优化时，不同损失的反向传播路径不同，因而影响和优化的网络层不同。其中，边界预测结果与距离预测结果之间的一致性损失l1在反向传播时会对首层上采样层、多个下采样层、边界注意力模块的第一卷积层、距离变换模块的第二卷积层的参数产生影响；样本医学影像的分割结果与标注结果之间的分割损失l2在反向传播时会对多个上采样层和多个下采样层，以及边界注意力模块的第一卷积层的参数产生影响；边界预测结果与边界标注结果之间的边界损失l3在反向传播时会对首层上采样层、多个下采样层和上述第一卷积层的参数产生影响；距离预测结果与距离标注结果之间的距离损失l4在反向传播时会对首层上采样层、多个下采样层和距离变换模块的第二卷积层的参数产生影响。
37.综合来看，针对目标分割网络中的各个网络层，可以基于边界预测结果与距离预测结果之间的一致性、样本医学影像的分割结果与标注结果之间的一致性、边界预测结果与边界标注结果之间的一致性，以及距离预测结果与距离标注结果之间的一致性，对首层上采样层和多个下采样层的参数进行反向调整，使得首层上采样层和多个下采样层的图像编码解码能力尤其是对于目标边界区域的提取能力逐渐增强。基于边界预测结果与距离预测结果之间的一致性、边界预测结果与边界标注结果之间的一致性，以及基于样本医学影像的分割结果与标注结果之间的一致性，对第一卷积层的参数进行反向调整，提升第一卷积层的边界特征提取能力，从而对目标分割任务产生正面影响。基于边界预测结果与距离预测结果之间的一致性以及距离预测结果与距离标注结果之间的一致性，对第二卷积层的参数进行反向调整，提升第二卷积层的距离特征提取能力，从而对距离变换任务以及边界提取任务产生正面影响。基于样本医学影像的分割结果与标注结果之间的一致性，对第二层下采样层直至最后一层下采样层的参数进行反向调整，增强上述下采样层在目标分割任务中的解码性能。
38.通过上述反向调整方式，可以将作为一个整体的目标分割网络的性能迅速提升，经由边界提取、距离变换和目标分割等多任务学习方式提高了该网络的分割能力。
39.基于上述任一实施例，所述边界预测结果与所述距离预测结果之间的一致性是基于如下步骤确定的：获取所述样本医学影像中任一像素在所述边界预测结果中的边界预测概率以及在所述距离预测结果中的距离值；确定所述任一像素的边界预测概率与所述任一像素的距离值的绝对值之间的乘积，作为所述任一像素对应的一致性结果；基于所述样本医学影像中各个像素对应的一致性结果，确定所述边界预测结果与所述距离预测结果之间的一致性。
40.具体地，可以从边界预测结果中获取样本医学影像中各个像素的边界预测概率，以及从距离预测结果中获取样本医学影像中各个像素的距离值。考虑到越靠近目标边界的像素的距离值越靠近数值0，即该像素的距离值的绝对值越低，而越靠近目标边界的像素的边界预测概率较高。因此，通过将任一像素的边界预测概率与该像素的距离值的绝对值相乘，将乘积作为该像素对应的一致性结果，并将所有像素对应的一致性结果进行累加，得到边界预测结果与距离预测结果之间的一致性损失（该一致性损失越大，表明边界预测结果与距离预测结果之间的一致性程度越低），可以保证该一致性损失的优化方向与边界提取任务、距离变换任务的优化方向相同。具体而言，边界预测结果与距离预测结果之间的一致性损失越小表示距离预测结果与边界预测结果的一致性越好，二者预测的一致性在一定程度上保证了梯度方向的一致性。
41.基于上述任一实施例，如图3所示，所述基于目标分割网络对待分割医学影像进行目标分割，得到所述待分割医学影像的分割结果，具体包括：步骤310，基于目标分割网络的多个下采样层，对所述待分割医学影像进行连续下采样，得到所述待分割医学影像的影像特征；基于所述目标分割网络的多个上采样层，对所述待分割医学影像的影像特征进行连续上采样，并获取最后一层上采样层输出的第二解码特征；步骤320，基于所述第二解码特征进行目标分割，得到所述待分割医学影像的分割结果。
42.具体地，在利用目标分割网络进行实际分割时，可以将获取的待分割医学影像输入至目标分割网络。在目标分割网络内部，首先基于多个下采样层，对待分割医学影像进行连续下采样，得到该待分割医学影像的影像特征。再基于目标分割网络的多个上采样层，对待分割医学影像的影像特征进行连续上采样，并获取最后一层上采样层输出的该待分割医学影像的第二解码特征。
43.随后，基于上述第二解码特征进行目标分割，预测该待分割医学影像中各像素的目标预测概率，得到该待分割医学影像的分割结果。
44.基于上述任一实施例，如图4所示，所述基于所述第二解码特征进行目标分割，得到所述待分割医学影像的分割结果，具体包括：步骤321，获取首层上采样层输出的第一解码特征，并基于第一卷积层，对所述第一解码特征进行边界特征提取，得到边界特征图；步骤322，将所述边界特征图与所述第二解码特征进行融合，得到融合特征，并基于所述融合特征进行目标分割，得到所述待分割医学影像的分割结果。
45.具体地，在基于第二解码特征进行目标分割之前，可以获取首层上采样层输出的该待分割医学影像对应的第一解码特征，并基于边界注意力模块的第一卷积层对该第一解码特征进行边界特征提取，得到边界特征图。该边界特征图中包含了待分割医学影像的目标边界信息。随后，将边界特征图与上述第二解码特征进行融合，得到融合特征，并基于该融合特征进行目标分割，从而得到待分割医学影像的分割结果。
46.下面对本发明提供的基于边界注意力与距离变换的目标分割装置进行描述，下文描述的基于边界注意力与距离变换的目标分割装置与上文描述的基于边界注意力与距离变换的目标分割方法可相互对应参照。
47.基于上述任一实施例，图5是本发明提供的基于边界注意力与距离变换的目标分割装置的结构示意图，如图5所示，该装置包括：医学影像分割单元510和分割网络训练单元520。
48.其中，医学影像分割单元510用于基于目标分割网络对待分割医学影像进行目标分割，得到所述待分割医学影像的分割结果；分割网络训练单元520用于基于如下步骤训练所述目标分割网络：基于目标分割网络的多个下采样层，对样本医学影像进行连续下采样，得到样本影像特征；基于所述目标分割网络的多个上采样层，对所述样本影像特征进行连续上采样，并获取首层上采样层输出的第一样本解码特征和最后一层上采样层输出的第二样本解码特征；基于所述第一样本解码特征进行边界预测和距离预测，得到边界预测结果和距离预测结果；基于所述第二样本解码特征进行目标分割，得到所述样本医学影像的分割结果；基于所述边界预测结果与所述距离预测结果之间的一致性，以及所述样本医学影像的分割结果与标注结果之间的一致性，对所述目标分割网络进行参数调整。
49.本发明实施例提供的装置，通过将边界注意力模块和距离变换模块连接在首层上采样层之后，以利用其输出的第一样本解码特征进行边界提取和距离变换，提升了解码器的优化程度并且兼顾提升了边界提取、距离变换和目标分割任务的优化效果，再基于边界预测结果与距离预测结果之间的一致性，以及样本医学影像的分割结果与标注结果之间的一致性，对目标分割网络进行参数调整，通过引入边界预测结果与距离预测结果之间一致性的约束，可以使得边界注意力模块与距离变换模块二者产生的梯度较为统一，避免了二者梯度方向不同引起的网络性能下降问题，从而提升了边界注意力模块与距离变换模块对于目标分割任务的辅助效果，并最终提升了目标分割网络的分割精度、尤其是目标边界的分割精度，降低了分割结果的假阳性概率，再基于该目标分割网络对待分割医学影像进行目标分割，提高了医学影像的分割准确度。
50.基于上述任一实施例，所述基于所述第一样本解码特征进行边界预测和距离预测，得到边界预测结果和距离预测结果；基于所述第二样本解码特征进行目标分割，得到所述样本医学影像的分割结果，具体包括：基于第一卷积层，对所述第一样本解码特征进行边界特征提取，得到样本边界特征图；基于第二卷积层，对所述第一样本解码特征进行距离特征提取，得到样本距离特征图；基于所述样本边界特征图进行边界预测，得到所述边界预测结果；基于所述样本距离特征图进行距离预测，得到所述距离预测结果；将所述样本边界特征图与所述第二样本解码特征进行融合，得到样本融合特征，并基于所述样本融合特征进行目标分割，得到所述样本医学影像的分割结果。
51.基于上述任一实施例，所述基于所述边界预测结果与所述距离预测结果之间的一致性，以及所述样本医学影像的分割结果与标注结果之间的一致性，对所述目标分割网络进行参数调整，具体包括：基于所述边界预测结果与所述距离预测结果之间的一致性、所述样本医学影像的分割结果与标注结果之间的一致性、所述边界预测结果与边界标注结果之间的一致性，以
及所述距离预测结果与距离标注结果之间的一致性，对所述目标分割网络进行参数调整。
52.基于上述任一实施例，所述基于所述边界预测结果与所述距离预测结果之间的一致性、所述样本医学影像的分割结果与标注结果之间的一致性、所述边界预测结果与边界标注结果之间的一致性，以及所述距离预测结果与距离标注结果之间的一致性，对所述目标分割网络进行参数调整，具体包括：基于所述边界预测结果与所述距离预测结果之间的一致性、所述样本医学影像的分割结果与标注结果之间的一致性、所述边界预测结果与边界标注结果之间的一致性，以及所述距离预测结果与距离标注结果之间的一致性，对所述首层上采样层和所述多个下采样层的参数进行反向调整；基于所述边界预测结果与所述距离预测结果之间的一致性、所述边界预测结果与边界标注结果之间的一致性，以及基于所述样本医学影像的分割结果与标注结果之间的一致性，对所述第一卷积层的参数进行反向调整；基于所述边界预测结果与所述距离预测结果之间的一致性以及所述距离预测结果与距离标注结果之间的一致性，对所述第二卷积层的参数进行反向调整；基于所述样本医学影像的分割结果与标注结果之间的一致性，对第二层下采样层直至最后一层下采样层的参数进行反向调整。
53.基于上述任一实施例，所述边界预测结果与所述距离预测结果之间的一致性是基于如下步骤确定的：获取所述样本医学影像中任一像素在所述边界预测结果中的边界预测概率以及在所述距离预测结果中的距离值；确定所述任一像素的边界预测概率与所述任一像素的距离值的绝对值之间的乘积，作为所述任一像素对应的一致性结果；基于所述样本医学影像中各个像素对应的一致性结果，确定所述边界预测结果与所述距离预测结果之间的一致性。
54.基于上述任一实施例，所述基于目标分割网络对待分割医学影像进行目标分割，得到所述待分割医学影像的分割结果，具体包括：基于目标分割网络的多个下采样层，对所述待分割医学影像进行连续下采样，得到所述待分割医学影像的影像特征；基于所述目标分割网络的多个上采样层，对所述待分割医学影像的影像特征进行连续上采样，并获取最后一层上采样层输出的第二解码特征；基于所述第二解码特征进行目标分割，得到所述待分割医学影像的分割结果。
55.基于上述任一实施例，所述基于所述第二解码特征进行目标分割，得到所述待分割医学影像的分割结果，具体包括：获取首层上采样层输出的第一解码特征，并基于第一卷积层，对所述第一解码特征进行边界特征提取，得到边界特征图；将所述边界特征图与所述第二解码特征进行融合，得到融合特征，并基于所述融合特征进行目标分割，得到所述待分割医学影像的分割结果。
56.图6是本发明提供的电子设备的结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、存储器(memory)620、通信接口(communications interface)630和通信总线640，其中，处理器610，存储器620，通信接口630通过通信总线640完成相互间的通
信。处理器610可以调用存储器620中的逻辑指令，以执行基于边界注意力与距离变换的目标分割方法，该方法包括：基于目标分割网络对待分割医学影像进行目标分割，得到所述待分割医学影像的分割结果；其中，所述目标分割网络是基于如下步骤训练得到的：基于目标分割网络的多个下采样层，对样本医学影像进行连续下采样，得到样本影像特征；基于所述目标分割网络的多个上采样层，对所述样本影像特征进行连续上采样，并获取首层上采样层输出的第一样本解码特征和最后一层上采样层输出的第二样本解码特征；基于所述第一样本解码特征进行边界预测和距离预测，得到边界预测结果和距离预测结果；基于所述第二样本解码特征进行目标分割，得到所述样本医学影像的分割结果；基于所述边界预测结果与所述距离预测结果之间的一致性，以及所述样本医学影像的分割结果与标注结果之间的一致性，对所述目标分割网络进行参数调整。
57.此外，上述的存储器620中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
58.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于边界注意力与距离变换的目标分割方法，该方法包括：基于目标分割网络对待分割医学影像进行目标分割，得到所述待分割医学影像的分割结果；其中，所述目标分割网络是基于如下步骤训练得到的：基于目标分割网络的多个下采样层，对样本医学影像进行连续下采样，得到样本影像特征；基于所述目标分割网络的多个上采样层，对所述样本影像特征进行连续上采样，并获取首层上采样层输出的第一样本解码特征和最后一层上采样层输出的第二样本解码特征；基于所述第一样本解码特征进行边界预测和距离预测，得到边界预测结果和距离预测结果；基于所述第二样本解码特征进行目标分割，得到所述样本医学影像的分割结果；基于所述边界预测结果与所述距离预测结果之间的一致性，以及所述样本医学影像的分割结果与标注结果之间的一致性，对所述目标分割网络进行参数调整。
59.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的基于边界注意力与距离变换的目标分割方法，该方法包括：基于目标分割网络对待分割医学影像进行目标分割，得到所述待分割医学影像的分割结果；其中，所述目标分割网络是基于如下步骤训练得到的：基于目标分割网络的多个下采样层，对样本医学影像进行连续下采样，得到样本影像特征；基于所述目标分割网络的多个上采样层，对所述样本影像特征进行连续上采样，并获取首层上采样层输出的第一样本解码特征和最后一层上采样层输出的第二样本解码特征；基于所述第一样本解码特征进行边界预测和距离预测，得到边界预测结果和距离预测结果；基于所述第二样本解码特征进行目标分割，得到所述样本医学影像的分割结果；基于所述边界预测
结果与所述距离预测结果之间的一致性，以及所述样本医学影像的分割结果与标注结果之间的一致性，对所述目标分割网络进行参数调整。
60.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
61.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
62.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。