一种肺段识别方法及装置与流程

1.本技术涉及图像处理技术领域，尤其涉及一种肺段识别方法及装置。


背景技术：

2.图像分割网络u-net是一个较为对称的网络结构，由一个编码器和一个解码器组成，利用低层特征进行特征融合，可以无padding(内边距)只依赖输入图像来产生高质量的无缝图像分割结果。基于u-net具有的该特点，u-net被广泛应用于医学图像中的器官分割。
3.现阶段，在针对u-net网络进行训练时，是以整个训练图像样本(比如3d(3dimensions，三维)医学图像样本)作为u-net网络的输入，u-net网络输出的是与作为输入的3d医学图像具有相同分辨率的图像分割结果。此外，在训练好u-net网络后，训练好的u-net网络所接收的输入图像也是与训练时所使用的训练图像样本具有相同分辨率的待处理图像(比如3d医学图像)，所输出的也是与输入的待处理图像具有相同分辨率的图像分割结果。但是，由于3d医学图像的大小往往是变化的，比如不同的ct机器、层间距、扫描部位都会使3d医学图像的大小发生变化，而u-net网络需要输入相同大小的3d医学图像，因此u-net网络无法很好地针对可变大小的3d医学图像进行相应地处理。
4.综上，目前亟需一种肺段识别方法，用以针对任意分辨率大小的输入3d医学图像进行处理而能够更为精准地识别出任一体素点所属的肺段类型。


技术实现要素：

5.本技术示例性的实施方式中提供了一种肺段识别方法及装置，用以针对任意分辨率大小的输入3d医学图像进行处理而能够更为精准地识别出任一体素点所属的肺段类型。
6.第一方面，本技术示例性的实施方式中提供了一种肺段识别方法，包括：
7.获取待处理的3d医学图像；
8.通过特征提取模型，对所述3d医学图像进行至少两次不同信息层级的特征提取，确定至少两个不同的特征图；
9.针对所述3d医学图像中任一体素点，从所述至少两个不同的特征图中确定与所述体素点的位置坐标匹配的至少两个不同的特征向量；
10.将所述至少两个不同的特征向量以及所述体素点的位置坐标进行拼接处理，得到所述体素点的位置坐标对应的融合编码；
11.通过多层感知模型，对所述体素点的位置坐标对应的融合编码进行识别，确定所述体素点所属的肺段类型。
12.上述技术方案中，本技术中的技术方案通过针对某一体素点的位置坐标，从该体素点的位置坐标对应的各不同特征图中确定出属于不同信息层级的特征向量，并将该体素点的位置坐标以及属于各不同信息层级的特征向量进行拼接处理，即可准确地确定出该体素点的位置坐标对应的融合编码，从而基于该融合编码即可准确地识别出该体素点所属的肺段类型，如此该方案可针对任意分辨率大小的输入3d医学图像进行处理而能够更为精准
地识别出任一体素点所属的肺段类型。具体来说，可以通过特征提取模型，对3d医学图像进行至少两次不同信息层级的特征提取，即可确定至少两个不同的特征图，如此可以更加全面且更加细粒度地得到3d医学图像的不同信息层级的图像信息特征(即每个体素点对应多个不同信息层级的图像信息特征)，可以为后续更加准确地识别出各体素点所属的肺段类型提供有效地支持。再针对3d医学图像中任一体素点，即可从至少两个不同的特征图中确定与该体素点的位置坐标相匹配的至少两个不同的特征向量，并针对至少两个不同的特征向量以及该体素点的位置坐标进行拼接处理，即可得到融合有该体素点具有的多个不同信息层级的图像信息特征的融合编码。然后，可以通过多层感知模型，对该体素点的位置坐标对应的融合编码进行识别，即可更加准确地确定该体素点所属的肺段类型，也即是，在每个位置坐标对应的融合编码中包含该位置坐标，利用了全局的位置关系特征进行肺段的识别，从而可以实现针对任意分辨率大小的3d医学图像进行更加准确地处理，以此可以更为精准地识别出3d医学图像中任一体素点所属的肺段类型。
13.在一些示例性的实施方式中，在对所述3d医学图像进行至少两次不同信息层级的特征提取之前，还包括：
14.针对所述3d医学图像中任一体素点，基于设定的体素值调整范围，若所述体素点的体素值小于所述设定的体素值调整范围内的最小值，则将所述体素点的体素值调整至所述最小值，若所述体素点的体素值大于所述设定的体素值调整范围内的最大值，则将所述体素点的体素值调整至所述最大值，从而得到调整后的3d医学图像；
15.对所述调整后的3d医学图像中各体素点的体素值进行归一化处理，得到归一化后的3d医学图像。
16.上述技术方案中，为了便于后续能够更加准确地识别出3d医学图像中某一体素点所属的肺段类型，通常会基于经验或实际需求或实际场景需求等，将3d医学图像的体素值进行一定范围内的截断，只保留关键体素值范围内的信息，也即是，如果某一体素点的体素值小于设定的体素值调整范围内的最小值，则可以将该体素点的体素值调整至最小值，如果该体素点的体素值大于设定的体素值调整范围内的最大值，则可以将该体素点的体素值调整至最大值，如此在针对3d医学图像中的部分体素点进行相应的调整后，即可能够更加清晰地看到肺部区域的细粒度纹理，同时可以排除一些噪声干扰。同时，将调整后的3d医学图像中各体素点的体素值进行归一化处理，即可便于后续针对任意分辨率大小的3d医学图像进行更加准确地处理，以此可以有效地输出任意分辨率大小的图像分割。
17.在一些示例性的实施方式中，所述特征提取模型包括依次串联处理的m个特征提取子模型；每个特征提取子模型所提取出的图像信息特征不相同；第i特征提取子模型提取出的图像信息特征的信息层级高于第i-1特征提取子模型提取出的图像信息特征的信息层级；
18.对所述3d医学图像进行至少两次不同信息层级的特征提取，得到所述至少两个不同的特征图，包括：
19.针对第j特征提取子模型，将第j-1特征提取子模型的输出结果输入至所述第j特征提取子模型进行特征提取，得到所述第j特征提取子模型对应的特征图；所述第j特征提取子模型为所述m个特征提取子模型中除位于起始位置的特征提取子模型之外的任一个；
20.其中，位于起始位置的特征提取子模型用于对所述3d医学图像进行特征提取，得
到位于起始位置的特征提取子模型对应的特征图。
21.上述技术方案中，通过在特征提取模型设置多个依次串联的特征提取子模型(各特征提取子模型具有的通道数不相同)，可以尽可能多地提取3d医学图像的细粒度图像特征信息，也即是更加全面且更加准确地提取更加细粒度且属于不同信息层级的图像特征信息，如此可以提高特征提取模型的信息特征提取精度，从而后续能够更加准确地识别出某一体素点属于哪一肺段类型提供有效地支持。
22.在一些示例性的实施方式中，每个特征提取子模型包括n个依次串联处理的卷积子模块以及一个第一下采样层；其中，所述卷积子模块包括卷积层、归一化层以及非线性激活函数层；第k个卷积子模块的输出结果作为第k 1个卷积子模块的输入数据；第n个卷积子模块的输出结果作为所述第一下采样层的输入数据；所述第一下采样层用于处理所述第一下采样层的输入数据得到该特征提取子模型对应的特征图。
23.上述技术方案中，为了进一步提高特征提取模型的特征信息提取精度，可以在每个特征提取子模型中设置多个依次串联的卷积子模块(各卷积子模块具有的通道数可以不相同)以及一个下采样层，如此通过多个依次串联的卷积子模块一层一层地提取不同层级的图像特征信息，可以更多地抽取3d医学图像中更深层次的不同粒度图像特征信息，以此可以使得特征提取子模型的特征提取精度更高。
24.在一些示例性的实施方式中，每个特征提取子模型包括n个并联处理的卷积子模块以及一个第二下采样层；其中，所述卷积子模块包括卷积层、归一化层以及非线性激活函数层；所述n个并联处理的卷积子模块的输出结果的加权平均值用于作为所述第二下采样层的输入数据；所述第二下采样层用于处理所述第二下采样层的输入数据得到该特征提取子模型对应的特征图。
25.上述技术方案中，为了进一步提高特征提取模型的特征信息提取精度，也可以在每个特征提取子模型中设置多个并联的卷积子模块(各卷积子模块具有的通道数可以不相同)以及一个下采样层，如此通过该多个并联的卷积子模块能够从不同角度提取更细粒度地不同图像特征信息，并将各更细粒度地不同图像特征信息进行融合，即可准确地得到该特征提取子模型对应的特征图，从而可以为后续能够更加准确地识别出某一体素点属于哪一肺段类型提供有效地支持。
26.在一些示例性的实施方式中，针对所述3d医学图像中任一体素点，从所述至少两个不同的特征图中确定与所述体素点的位置坐标匹配的至少两个不同的特征向量，包括：
27.针对每个特征图，通过线性插值算法，确定所述特征图中所述体素点的位置坐标对应的特征向量，从而确定与所述体素点的位置坐标匹配的至少两个不同的特征向量。
28.上述技术方案中，为了便于将某一体素点在各不同的特征图具有的图像信息特征融合在一起，以便后续能够准确地识别出该体素点所属哪一种肺段类型，因而通过线性插值算法，即可准确地从每个特征图中确定该体素点对应的特征向量，该特征向量能够准确地体现出该体素点在该特征图中所具有的图像特征信息。
29.在一些示例性的实施方式中，通过多层感知模型，对所述体素点的位置坐标对应的融合编码进行识别，确定所述体素点所属的肺段类型，包括：
30.将所述体素点的位置坐标对应的融合编码输入至多层感知模型进行识别，得到所述体素点属于各肺段类型的概率；
31.将所述各肺段类型中最大的概率对应的肺段类型确定为所述体素点所属的肺段类型。
32.上述技术方案中，为了准确识别某一体素点所属哪一种肺段类型，通过使用作为一种解码器的多层感知模型针对该体素点的位置坐标对应的融合编码进行解码，即可准确地识别出该体素点所属的肺段类型的分类概率，如此通过将最大概率对应的肺段类型作为该体素点所属的肺段类型，可以有效地提高针对体素点的肺段类型的识别概率。
33.在一些示例性的实施方式中，通过下述方式确定特征提取模型和多层感知模型：
34.获取3d医学图像样本集；
35.针对每个3d医学图像样本，从所述3d医学图像样本中随机选取p个位于连续的坐标空间内的样本体素点；所述3d医学图像样本中每个样本体素点标注有肺段类型；
36.将所述p个位于连续的坐标空间内的样本体素点形成的图像输入至初始的特征提取模型进行至少两次不同信息层级的特征提取，得到至少两个不同的样本特征图，并针对所述p个位于连续的坐标空间内的样本体素点中每个样本体素点，从所述至少两个不同的样本特征图中确定出与所述样本体素点的位置坐标匹配的至少两个不同的样本特征向量；
37.将所述至少两个不同的样本特征向量以及所述样本体素点的位置坐标进行拼接处理，得到所述体素点的位置坐标对应的样本融合编码，并通过初始的多层感知模型，对所述样本体素点的位置坐标对应的样本融合编码进行识别，确定所述样本体素点所属的预测肺段类型；
38.通过所述样本体素点所属的预测肺段类型和所述样本体素点所属的标注肺段类型，调整所述初始的特征提取模型和所述初始的多层感知模型，直至满足训练终止条件为止，从而得到特征提取模型和多层感知模型。
39.上述技术方案中，在针对特征提取模型和多层感知模型进行训练时，为了节省模型训练时间，以此有效地提升模型训练的效率，可以在训练模型时，针对每个训练样本批次，可以只随机选取一部分样本体素点针对初始的模型进行训练，如此可以不损坏原始3d医学图像样本具有的图像特征信息的前提下，且能够有效地避免占用较多的显存，同时也可以达到很好的训练效果以及显著地提升模型的训练效率。
40.在一些示例性的实施方式中，通过所述样本体素点所属的预测肺段类型和所述样本体素点所属的标注肺段类型，调整所述初始的特征提取模型和所述初始的多层感知模型，包括：
41.通过第一损失函数，确定所述样本体素点所属的预测肺段类型与所述样本体素点所属的标注肺段类型之间的第一损失函数值，并通过第二损失函数，确定所述样本体素点所属的预测肺段类型与所述样本体素点所属的标注肺段类型之间的第二损失函数值；
42.根据所述第一损失函数值和所述第二损失函数值，确定融合损失函数值；
43.通过所述融合损失函数值调整所述初始的特征提取模型和所述初始的多层感知模型。
44.上述技术方案中，为了使得训练出的模型性能更好，识别精度更高，通过采用两个损失函数来确定模型的训练效果，如此更加贴合实际应用场景，所训练出的模型更加符合实际需求，也即是，该两个损失函数同时进行参与模型的训练，能够充分考虑模型的实际应用状况，在这两个损失函数来共同确定的损失函数值达到最小时，就能有效地确保训练出
的模型性能更优，识别效果也更好。
45.第二方面，本技术示例性的实施方式中提供了一种肺段识别装置，包括：
46.获取单元，用于获取待处理的3d医学图像；
47.处理单元，用于通过特征提取模型，对所述3d医学图像进行至少两次不同信息层级的特征提取，确定至少两个不同的特征图；针对所述3d医学图像中任一体素点，从所述至少两个不同的特征图中确定与所述体素点的位置坐标匹配的至少两个不同的特征向量；将所述至少两个不同的特征向量以及所述体素点的位置坐标进行拼接处理，得到所述体素点的位置坐标对应的融合编码；通过多层感知模型，对所述体素点的位置坐标对应的融合编码进行识别，确定所述体素点所属的肺段类型。
48.在一些示例性的实施方式中，所述处理单元还用于：
49.在对所述3d医学图像进行至少两次不同信息层级的特征提取之前，针对所述3d医学图像中任一体素点，基于设定的体素值调整范围，若所述体素点的体素值小于所述设定的体素值调整范围内的最小值，则将所述体素点的体素值调整至所述最小值，若所述体素点的体素值大于所述设定的体素值调整范围内的最大值，则将所述体素点的体素值调整至所述最大值，从而得到调整后的3d医学图像；
50.对所述调整后的3d医学图像中各体素点的体素值进行归一化处理，得到归一化后的3d医学图像。
51.在一些示例性的实施方式中，所述特征提取模型包括依次串联处理的m个特征提取子模型；每个特征提取子模型所提取出的图像信息特征不相同；第i特征提取子模型提取出的图像信息特征的信息层级高于第i-1特征提取子模型提取出的图像信息特征的信息层级；
52.所述处理单元具体用于：
53.针对第j特征提取子模型，将第j-1特征提取子模型的输出结果输入至所述第j特征提取子模型进行特征提取，得到所述第j特征提取子模型对应的特征图；所述第j特征提取子模型为所述m个特征提取子模型中除位于起始位置的特征提取子模型之外的任一个；
54.其中，位于起始位置的特征提取子模型用于对所述3d医学图像进行特征提取，得到位于起始位置的特征提取子模型对应的特征图。
55.在一些示例性的实施方式中，每个特征提取子模型包括n个依次串联处理的卷积子模块以及一个第一下采样层；其中，所述卷积子模块包括卷积层、归一化层以及非线性激活函数层；第k个卷积子模块的输出结果作为第k 1个卷积子模块的输入数据；第n个卷积子模块的输出结果作为所述第一下采样层的输入数据；所述第一下采样层用于处理所述第一下采样层的输入数据得到该特征提取子模型对应的特征图。
56.在一些示例性的实施方式中，每个特征提取子模型包括n个并联处理的卷积子模块以及一个第二下采样层；其中，所述卷积子模块包括卷积层、归一化层以及非线性激活函数层；所述n个并联处理的卷积子模块的输出结果的加权平均值用于作为所述第二下采样层的输入数据；所述第二下采样层用于处理所述第二下采样层的输入数据得到该特征提取子模型对应的特征图。
57.在一些示例性的实施方式中，所述处理单元具体用于：
58.针对每个特征图，通过线性插值算法，确定所述特征图中所述体素点的位置坐标
对应的特征向量，从而确定与所述体素点的位置坐标匹配的至少两个不同的特征向量。
59.在一些示例性的实施方式中，所述处理单元具体用于：
60.将所述体素点的位置坐标对应的融合编码输入至多层感知模型进行识别，得到所述体素点属于各肺段类型的概率；
61.将所述各肺段类型中最大的概率对应的肺段类型确定为所述体素点所属的肺段类型。
62.在一些示例性的实施方式中，所述处理单元具体用于：
63.获取3d医学图像样本集；
64.针对每个3d医学图像样本，从所述3d医学图像样本中随机选取p个位于连续的坐标空间内的样本体素点；所述3d医学图像样本中每个样本体素点标注有肺段类型；
65.将所述p个位于连续的坐标空间内的样本体素点形成的图像输入至初始的特征提取模型进行至少两次不同信息层级的特征提取，得到至少两个不同的样本特征图，并针对所述p个位于连续的坐标空间内的样本体素点中每个样本体素点，从所述至少两个不同的样本特征图中确定出与所述样本体素点的位置坐标匹配的至少两个不同的样本特征向量；
66.将所述至少两个不同的样本特征向量以及所述样本体素点的位置坐标进行拼接处理，得到所述体素点的位置坐标对应的样本融合编码，并通过初始的多层感知模型，对所述样本体素点的位置坐标对应的样本融合编码进行识别，确定所述样本体素点所属的预测肺段类型；
67.通过所述样本体素点所属的预测肺段类型和所述样本体素点所属的标注肺段类型，调整所述初始的特征提取模型和所述初始的多层感知模型，直至满足训练终止条件为止，从而得到特征提取模型和多层感知模型。
68.在一些示例性的实施方式中，所述处理单元具体用于：
69.通过第一损失函数，确定所述样本体素点所属的预测肺段类型与所述样本体素点所属的标注肺段类型之间的第一损失函数值，并通过第二损失函数，确定所述样本体素点所属的预测肺段类型与所述样本体素点所属的标注肺段类型之间的第二损失函数值；
70.根据所述第一损失函数值和所述第二损失函数值，确定融合损失函数值；
71.通过所述融合损失函数值调整所述初始的特征提取模型和所述初始的多层感知模型。
72.第三方面，本技术实施例提供一种计算设备，包括至少一个处理器以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行上述第一方面任意所述的肺段识别方法。
73.第四方面，本技术实施例提供一种计算机可读存储介质，其存储有可由计算设备执行的计算机程序，当所述程序在所述计算设备上运行时，使得所述计算设备执行上述第一方面任意所述的肺段识别方法。
附图说明
74.为了更清楚地说明本技术的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
75.图1为本技术一些实施例提供的一种可能的系统架构示意图；
76.图2为本技术一些实施例提供的一种肺段识别方法的流程示意图；
77.图3a为本技术一些实施例提供的一种特征提取模型提取图像信息特征的示意图；
78.图3b为本技术一些实施例提供的另一种特征提取模型提取图像信息特征的示意图；
79.图4a为本技术一些实施例提供的一种特征提取子模型提取信息特征的示意图；
80.图4b为本技术一些实施例提供的另一种特征提取子模型提取信息特征的示意图；
81.图5为本技术一些实施例提供的一种3d医学图像中任一体素点的肺段类型识别示意图；
82.图6为本技术一些实施例提供的一种肺段识别装置的结构示意图；
83.图7为本技术一些实施例提供的一种计算设备的结构示意图。
具体实施方式
84.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述，显然，所描述的实施例仅仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
85.首先以图1中示出的一种可能的系统架构为例说明适用于本技术实施例的肺段识别系统架构。肺段识别系统架构可以包括至少一个终端设备(比如终端设备101、终端设备102、终端设备103等)和服务设备200(比如肺段识别服务器)。每个终端设备与服务设备200之间可以通过一个或者多个网络进行通信连接。该网络可以是有线网络，也可以是无线网络，例如无线网络可以是无线保真(wireless-fidelity，wifi)网络，或者可以是移动蜂窝网络，还可以是其他可能的网络，本技术实施例对此并不作限定。其中，每个终端设备上安装有服务设备200(比如肺段识别服务器)的客户端。比如，用户可以通过终端设备(比如笔记本电脑、台式电脑、智能手机、医学图像扫描机器(比如ct扫描仪)或平板电脑等)上安装的客户端即可访问服务设备200，例如用户在服务设备200对应的客户端上进行上传相应的3d医学图像，服务设备200在接收该用户上传的3d医学图像后，即可针对该3d医学图像进行相应地处理，以此即可及时准确地识别出3d医学图像中各体素点所属的肺段类型。
86.需要说明的是，上述图1所示的系统架构仅是一种示例，对此本技术实施例并不做限定。
87.基于上述描述，图2示例性的示出了本技术实施例提供的一种肺段识别方法的流程，该流程可以由肺段识别装置执行。其中，肺段识别方法可以应用于图1所示的系统架构中，可以由图1中的服务设备执行肺段识别方法。其中，该肺段识别装置可以是服务器或者也可以是能够支持服务器实现该方法所需的功能的部件(比如芯片或集成电路)等，当然也可以是其它具有实现该方法所需的功能的电子设备。
88.如图2所示，该流程具体包括：
89.步骤201，获取待处理的3d医学图像。
90.本技术实施例中，该待处理的3d医学图像可以是用户通过终端设备上安装的客户端上传至服务设备需要进行识别的扫描ct图或其它3d医学影像。或者也可以是服务设备直
接通过3d医学图像的存储数据库读取的。示例性地，用户可以通过终端设备上安装的客户端将扫描获取的或者拍摄获取的3d医学图像主动上传至服务设备，以便服务设备针对该3d医学图像进行相应地处理，从而获取该3d医学图像中各体素点所属的肺段类型，其中，体素点为3d医学图像所在三维空间中属于3d医学图像中的一个点；或者，也可以服务设备向用户发送3d医学图像获取请求，用户从数据库中查询出对应的3d医学图像后，将3d医学图像通过终端设备上安装的客户端发送至服务设备。其中，肺段类型可以包括非肺段以及肺段，其中，肺段可以包括属于右肺上叶(right upper lobe，rul)的肺段(即尖段：rul s1；后段：rul s2；前端：rul s3)、属于右肺中叶(right middle lobe，rml)的肺段(即外侧段：rml s4；内侧段：rml s5)、属于右肺下叶(right lower lobe，rll)的肺段(即背段：rll s6；内基底段：rll s7；前基底段：rll s8；外基底段：rll s9；后基底段：rll s10)、属于左肺上叶(left upper lobe，lul)的肺段(即尖后段：lul s1 s2；前段：lul s3；上舌段：lul s4；下舌段：lul s5)、属于左肺下叶(left lower lobe，lll)的肺段(即背段：lll s6；内前基底段：lll s7 s8；外基底段：lll s9；后基底段：lll s10)。
91.步骤202，通过特征提取模型，对所述3d医学图像进行至少两次不同信息层级的特征提取，确定至少两个不同的特征图。
92.本技术实施例中，该特征提取模型可以包括依次串联处理的m个特征提取子模型，每个特征提取子模型所提取出的图像信息特征不相同；其中，第i特征提取子模型提取出的图像信息特征的信息层级高于第i-1特征提取子模型提取出的图像信息特征的信息层级。具体地，针对第j特征提取子模型，通过将第j-1特征提取子模型的输出结果输入至第j特征提取子模型进行特征提取，即可得到该第j特征提取子模型对应的特征图；其中，第j特征提取子模型为m个特征提取子模型中除位于起始位置的特征提取子模型之外的任一个。需要说明的是，位于起始位置的特征提取子模型用于对3d医学图像进行特征提取，即可得到位于起始位置的特征提取子模型对应的特征图。如此，通过该方案，可以针对某一3d医学图像进行多次不同信息层级的特征提取，即可准确地得到多个不同的特征图。即每个特征提取子模型用于确定一个特征图，各特征提取子模型所确定的特征图是不相同的，也即是各特征图所包含的图像特征信息是不相同的，从而通过在特征提取模型设置多个依次串联的特征提取子模型(各特征提取子模型具有的通道数不相同)，可以尽可能多地提取3d医学图像的细粒度图像特征信息，以此可以为后续能够更加准确地识别出某一体素点属于哪一肺段类型提供有效地支持。
93.示例性地，如图3a所示，为本技术实施例提供的一种特征提取模型提取图像信息特征的示意图。基于图3a可知，该特征提取模型包括依次串联处理的3个特征提取子模型，比如，第一特征提取子模型针对3d医学图像进行特征提取处理，即可提取出3d医学图像中与第一特征提取子模型匹配的图像信息特征(比如属于第一层级的图像信息特征)，也即是，第一特征提取子模型针对3d医学图像进行特征提取处理，输出第一特征图，该第一特征图中包含的图像信息特征即为第一特征提取子模型提取出的与第一特征提取子模型匹配的图像信息特征；第二特征提取子模型是将第一特征提取子模型输出的第一特征图作为输入数据，即可针对第一特征图进行特征提取处理，输出第二特征图，该第二特征图包含的图像信息特征即为第二特征提取子模型提取出的与第二特征提取子模型匹配的图像信息特征(比如属于第二层级的图像信息特征)；第三特征提取子模型是将第二特征提取子模型输
出的第二特征图作为输入数据，即可针对第二特征图进行特征提取处理，输出第三特征图，该第三特征图包含的图像信息特征即为第三特征提取子模型提取出的与第三特征提取子模型匹配的图像信息特征(比如属于第三层级的图像信息特征)。
94.或者，该特征提取模型可以包括并联处理的m个特征提取子模型，每个特征提取子模型所提取出的图像信息特征不相同；其中，第i特征提取子模型提取出的图像信息特征的信息层级高于第i-1特征提取子模型提取出的图像信息特征的信息层级。具体地，针对第j特征提取子模型，通过将3d医学图像输入至第j特征提取子模型进行特征提取，即可得到该第j特征提取子模型对应的特征图，或者，针对第j 1特征提取子模型，也可以通过将3d医学图像输入至第j特征提取子模型进行特征提取，即可得到该第j 1特征提取子模型对应的特征图，其中，第j特征提取子模型为m个特征提取子模型中的任一个。如此，通过该方案，可以针对某一3d医学图像进行多次不同信息层级的特征提取，即可准确地得到多个不同的特征图。即每个特征提取子模型用于确定一个特征图，各特征提取子模型所确定的特征图是不相同的，也即是各特征图所包含的图像特征信息是不相同的，从而通过在特征提取模型设置多个并联的特征提取子模型(各特征提取子模型具有的通道数不相同)，可以尽可能多地提取3d医学图像的细粒度图像特征信息，以此可以为后续能够更加准确地识别出某一体素点属于哪一肺段类型提供有效地支持。
95.示例性地，如图3b所示，为本技术实施例提供的另一种特征提取模型提取图像信息特征的示意图。基于图3b可知，该特征提取模型包括并联处理的3个特征提取子模型，比如，第一特征提取子模型针对3d医学图像进行特征提取处理，即可提取出3d医学图像中与第一特征提取子模型匹配的图像信息特征(比如属于第一层级的图像信息特征)，也即是，第一特征提取子模型针对3d医学图像进行特征提取处理，输出第一特征图，该第一特征图中包含的图像信息特征即为第一特征提取子模型提取出的与第一特征提取子模型匹配的图像信息特征；第二特征提取子模型针对3d医学图像进行特征提取处理，即可提取出3d医学图像中与第二特征提取子模型匹配的图像信息特征(比如属于第二层级的图像信息特征)，也即是，第二特征提取子模型针对3d医学图像进行特征提取处理，输出第二特征图，该第二特征图中包含的图像信息特征即为第二特征提取子模型提取出的与第二特征提取子模型匹配的图像信息特征；第三特征提取子模型针对3d医学图像进行特征提取处理，即可提取出3d医学图像中与第三特征提取子模型匹配的图像信息特征(比如属于第三层级的图像信息特征)，也即是，第三特征提取子模型针对3d医学图像进行特征提取处理，输出第三特征图，该第三特征图中包含的图像信息特征即为第三特征提取子模型提取出的与第三特征提取子模型匹配的图像信息特征。
96.此外，为了进一步提高特征提取模型的特征信息提取精度，针对每个特征提取子模型，该特征提取子模型可以包括n个依次串联处理的卷积子模块以及一个第一下采样层；其中，卷积子模块可以包括卷积层、归一化层以及非线性激活函数层；第k个卷积子模块的输出结果可以作为第k 1个卷积子模块的输入数据；第n个卷积子模块的输出结果可以作为所述第一下采样层的输入数据；第一下采样层可以用于处理第一下采样层的输入数据得到该特征提取子模型对应的特征图。如此，通过多个依次串联的卷积子模块一层一层地提取不同层级的图像特征信息，可以更多地抽取3d医学图像中更深层次的不同粒度图像特征信息，以此可以使得特征提取子模型的特征提取精度更高。或者，该特征提取子模型可以包括
n个并联处理的卷积子模块以及一个第二下采样层；其中，卷积子模块可以包括卷积层、归一化层以及非线性激活函数层；n个并联处理的卷积子模块的输出结果的加权平均值用于作为第二下采样层的输入数据；第二下采样层可以用于处理第二下采样层的输入数据得到该特征提取子模型对应的特征图。如此，通过该多个并联的卷积子模块能够从不同角度提取更细粒度地不同图像特征信息，并将各更细粒度地不同图像特征信息进行融合，即可准确地得到该特征提取子模型对应的特征图，从而可以为后续能够更加准确地识别出某一体素点属于哪一肺段类型提供有效地支持。
97.示例性地，以某一特征提取子模型为例，假设该特征提取子模型包括2个依次串联处理的卷积子模块以及一个下采样层，比如，如图4a所示，为本技术实施例提供的一种特征提取子模型提取信息特征的示意图。基于图4a可知，该特征提取子模型在接收到输入数据(比如，该特征提取子模型位置最靠前，则该特征提取子模型接收的是3d医学图像)后，即针对该输入数据依次通过2个串联处理的卷积子模块进行相应地处理，也即是，通过2个依次串联处理的卷积子模块针对该输入数据进行相应的处理，并将处理后所得的结果数据输入至下采样层进行相应地处理，即可得到该特征提取子模型对应的特征图。
98.或者，假设该特征提取子模型包括2个并联处理的卷积子模块以及一个下采样层，比如，如图4b所示，为本技术实施例提供的另一种特征提取子模型提取信息特征的示意图。基于图4b可知，该特征提取子模型在接收到输入数据(比如，该特征提取子模型位置最靠前，则该特征提取子模型接收的是3d医学图像)后，即针对该输入数据分别通过2个并联处理的卷积子模块进行相应地处理，也即是，通过2个并联处理的卷积子模块分别针对该输入数据进行相应的处理，并将每个卷积子模块处理所得的结果数据(即输出数据)进行加权平均处理后得到的结果数据输入至下采样层进行相应地处理，即可得到该特征提取子模型对应的特征图。
99.另外，需要说明的是，在针对3d医学图像进行至少两次不同信息层级的特征提取之前，为了便于后续能够更加准确地识别出3d医学图像中某一体素点所属的肺段类型，可以针对3d医学图像进行相应地图像预处理，也即是，按照设定的体素值调整范围，对3d医学图像中各体素点的体素值进行调整处理，并对调整后的3d医学图像中各体素点的体素值进行归一化处理，得到调整后的3d医学图像，如此，该方案能够更加清晰地看到肺部区域的细粒度纹理，同时可以排除一些噪声干扰，以及通过针对调整后的3d医学图像中各体素点的体素值进行归一化处理，即可便于后续针对任意分辨率大小的3d医学图像进行更加准确地处理，以此可以有效地便于多层感知模型输出任意分辨率大小的图像分割。具体地，针对3d医学图像中任一体素点，基于设定的体素值调整范围，如果该体素点的体素值小于设定的体素值调整范围内的最小值，则可以将该体素点的体素值调整至最小值；如果该体素点的体素值大于设定的体素值调整范围内的最大值，则可以将该体素点的体素值调整至最大值，从而得到调整后的3d医学图像。示例性地，以某一完整的ct图像为例，ct图像的体素值进行一定范围内的截断，只保留关键体素值范围内的信息，比如，将ct图像中各体素点的体素值截断至[-1000,400]的范围内，也即是，将ct图像中体素值小于-1000的体素点的体素值调整至-1000，将ct图像中体素值大于400的体素点的体素值调整至400，然后，通过最大最小归一化将调整后的ct图像中各体素点的体素值归一化至[0,1]的区间范围内，比如某一体素点的体素值为-1000，则将该体素点的体素值进行归一化处理，即(-1000-(-1000))/
(-1400)＝0，或者某一体素点的体素值为-800，则将该体素点的体素值进行归一化处理，即(-1000-(-800))/(-1400)＝0.143。其中，这里的关键体素值并不是某个空间位置上的体素值，而是指某个范围内的体素值。在ct图像中，不同人体成分的体素值是不同的，例如骨头往往是100以上，肺内的空气是-1000左右，软组织和水往往是0左右。人眼的灰度分辨率是有限的，无法很好地分辨太多色阶的灰度体素值。因此在不同的应用中，医生会选择不同的截断范围，这样可以提高对比度，只专注于某个体素值范围，即某种人体成分。比如，医生常用的肺窗[-1000,400]，就是为了看清楚肺内空气和血管。
[0100]
示例性地，以ct图像为例，在针对ct图像进行预处理后，即可将预处理后的ct图像输入至一个卷积神经网络(比如特征提取模型)中，该卷积神经网络可以包括多个连续的卷积-下采样模块，每个卷积-下采样模块中包含多个卷积层-归一化层-非线性激活函数层以及一个下采样层。在经过每个卷积-下采样模块处理后，所提取的特征通道数逐渐增加，分辨率逐渐下降。其中，每个卷积-下采样模块会输出当前层次的特征图。
[0101]
再者，需要说明的是，在使用特征提取模型针对3d医学图像进行特征提取之前，需要通过训练初始的特征提取模型来得到特征提取模型。其中，在针对特征提取模型和多层感知模型进行训练时，为了节省模型训练时间，以此有效地提升模型训练的效率，可以在训练模型时，针对每个训练样本批次，可以只随机选取一部分样本体素点针对初始的模型进行训练，如此可以不损坏原始3d医学图像样本具有的图像特征信息的前提下，且能够有效地避免占用较多的显存，同时也可以达到很好的训练效果以及显著地提升模型的训练效率。具体地训练过程为：首先获取标注有肺段类型的3d医学图像样本集，也即是每个体素点标注有肺段或非肺段的属性，并针对每个标注有肺段类型的3d医学图像样本，从该标注有肺段类型的3d医学图像样本中随机选取p个位于连续的坐标空间内的样本体素点，比如p可以取值5、10、其它数值或全部体素点的个数，当然本技术实施例最佳的选择方式是仅随机选取部分位于连续的坐标空间内的体素点用于训练模型，通过实验表明这种方式也能达到很好的训练效果，能够很好地识别出3d医学图像中任一体素点的肺段类型。再将p个位于连续的坐标空间内的样本体素点形成的图像输入至初始的特征提取模型进行至少两次不同信息层级的特征提取，即可得到至少两个不同的样本特征图，并可以针对p个位于连续的坐标空间内的样本体素点中每个样本体素点，从至少两个不同的样本特征图中确定出与样本体素点的位置坐标匹配的至少两个不同的样本特征向量。然后，可以将至少两个不同的样本特征向量以及样本体素点的位置坐标进行拼接处理，即可得到体素点的位置坐标对应的样本融合编码，并可以通过初始的多层感知模型，对样本体素点的位置坐标对应的样本融合编码进行识别，即可确定样本体素点所属的预测肺段类型。最后，可以通过样本体素点所属的预测肺段类型和样本体素点所属的标注肺段类型，进行调整初始的特征提取模型和初始的多层感知模型，直至满足训练终止条件为止(比如直至初始的特征提取模型收敛、初始的多层感知模型收敛，或者，初始的特征提取模型、初始的多层感知模型的训练次数达到预设迭代训练轮次为止)，从而即可得到特征提取模型和多层感知模型。
[0102]
其中，为了使得训练出的模型性能更好，识别精度更高，通过采用两个损失函数来确定模型的训练效果，如此更加贴合实际应用场景，所训练出的模型更加符合实际需求，也即是，该两个损失函数同时进行参与模型的训练，能够充分考虑模型的实际应用状况，在这两个损失函数来共同确定的损失函数值达到最小时，就能有效地确保训练出的模型性能更
优，识别效果也更好。具体地，可以通过第一损失函数，即可确定样本体素点所属的预测肺段类型与样本体素点所属的标注肺段类型之间的第一损失函数值，并可以通过第二损失函数，即可确定样本体素点所属的预测肺段类型与样本体素点所属的标注肺段类型之间的第二损失函数值。然后，根据第一损失函数值和第二损失函数值，即可确定融合损失函数值，并可以通过融合损失函数值即可调整初始的特征提取模型和初始的多层感知模型。示例性地，在模型训练时，可以使用dice损失函数与交叉熵(cross entropy，ce)损失函数的加和来达到更好地训练模型的效果，同时可以达到更好地提升模型识别精度的效果。其中，假设y为肺段类型的标注，为模型输出的肺段类型预测，则dice损失函数与交叉熵损失函数分别为：
[0103][0104]
融合损失函数为：
[0105]
在模型训练过程中，需要最小化上述融合损失函数，也即是，在模型训练时，需要通过梯度下降算法最小化上述融合损失函数，一般到该融合损失函数不再减小时停止训练。
[0106]
其中，该方案在模型训练时，模型训练时的位置坐标采样方式(即针对体素点的采样)与模型预测时的位置坐标采样方式(即针对体素点的采样)有所不同，模型预测时采样的体素点为所输出的分辨率网格上的所有点，而模型训练时，所采样的点是完全随机且位于连续的坐标空间内的部分体素点，比如在模型训练时，可以在位于连续的坐标空间内随机采样部分体素点，用这些随机采样的部分体素点的位置坐标进行训练，即对于[-1,1]区间内(即将3d医学图像中各体素点的位置坐标都映射到[-1,1]区间内)的任意点坐标都可以进行采样，相当于一个3d医学图像样本中的各体素点能够进行多批次采样，这样相当于隐式地在训练中使用了数据增强，可以有助于提升模型的鲁棒性。同时，所随机采样的体素点的数量比预测时所采样的体素点的数量少，例如，模型预测时需要在规则网格上去采样与输入的ct图像同样大小的点(比如512*512*300)，但在模型训练时每一个数据批次，可以只随机采样部分体素点，实验证明这样同样可以达到很好的效果，同时可以显著地提升模型的训练效率。
[0107]
步骤203，针对所述3d医学图像中任一体素点，从所述至少两个不同的特征图中确定与所述体素点的位置坐标匹配的至少两个不同的特征向量。
[0108]
本技术实施例中，为了便于将某一体素点在各不同的特征图具有的图像信息特征融合在一起，以便后续能够准确地识别出该体素点所属哪一种肺段类型，因而针对与该体素点匹配的每个特征图，通过线性插值算法，即可准确地从每个特征图中确定该体素点对应的特征向量，该特征向量能够准确地体现出该体素点在该特征图中所具有的图像特征信息。示例性地，如图5所示，为本技术实施例提供的一种3d医学图像中任一体素点的肺段类型识别示意图，将经过图像预处理模块预处理后的输出(即图5中的input x)输入一个卷积神经网络(即图5中的cnn(convolutional neural networks，卷积神经网络)encoder f)
中。该卷积神经网络可以包括多个连续串联处理的卷积-下采样模块，每个卷积-下采样模块中可以包含多个卷积层-归一化层-非线性激活函数以及一个下采样层。在经过每个卷积-下采样模块处理后，所提取的特征通道数逐渐增加，分辨率逐渐下降。其中，每个卷积-下采样模块会输出当前层次的特征图(即对应图5中的f1,f2,
…
,fn)。在模型预测时，需要按照所输出的分辨率，在图像范围内采样(即图5中的uniform sampling)规则网格上的位置坐标(以体素点p为例，即图5中所示的coordinates p)。假设输入的ct图像为512
×
512
×
300分辨率，则该规则网格大小同样为512
×
512
×
300，规则网格上每一个点的坐标被归一化至[-1,1]之间，比如(256,256,150)位置被归一化到(0,0,0)，(128,128,75)被归一化至(-0.5,-0.5,-0.5)，(0,0,0)位置被归一化至(-1,-1,-1)，(512,512,300)被归一化到(1,1,1)。随后在f1,f2,
…
,fn特征图对应的坐标位置中，通过线性插值算法得到每个特征图中在体素点p的位置坐标对应的特征向量，该体素点p的位置坐标在各特征图中对应的特征向量分别记为：f1(p),f2(p),
…
,fn(p)。具体地线性插值过程与规则网格类似，即根据特征图的分辨率，将特征图上的每一个点的坐标归一化至[-1,1]之间。由此，特征图上的坐标系与规则网格坐标系统一到了一起(都在[-1,1]之间)，位置可以一一对应。在规则网格上的任意点的位置坐标(比如点p的位置坐标)，可以在特征图坐标系上找到同样点p所在的位置坐标，如此可以通过线性插值算法得到该特征图上该p所在的位置坐标对应的特征向量，也即是从各特征图中抽取出属于不同信息层级的特征向量，每个特征向涵盖某一信息层级的图像信息特征。
[0109]
步骤204，将所述至少两个不同的特征向量以及所述体素点的位置坐标进行拼接处理，得到所述体素点的位置坐标对应的融合编码。
[0110]
步骤205，通过多层感知模型，对所述体素点的位置坐标对应的融合编码进行识别，确定所述体素点所属的肺段类型。
[0111]
本技术实施例中，在确定出该体素点的位置坐标在各特征图中对应的特征向量后，即可将该体素点的位置坐标对应的各特征向量以及该体素点的位置坐标依次拼接在一起，从而可以得到该体素点的位置坐标对应的融合编码。然后，可以将该体素点的位置坐标对应的融合编码输入至多层感知模型进行识别，即可得到该体素点属于各肺段类型的概率，并可以将该体素点属于各肺段类型的概率进行比对，确定出最大的概率，并可以将最大的概率对应的肺段类型确定为体素点所属的肺段类型。示例性地，以图5所示的体素点p为例，将该体素点p的位置坐标对应的各特征向量f1(p),f2(p),
…
,fn(p)以及该体素点p的位置坐标依次拼接在一起，或者可以将该体素点p的位置坐标以及该体素点p的位置坐标对应的各特征向量f1(p),f2(p),
…
,fn(p)依次拼接在一起(相当于在每个位置坐标对应的编码中包含该位置坐标，即本技术实施例利用了全局的位置关系特征进行肺段的识别)，如此即可得到该体素点p的位置坐标对应的完整编码f(p)，接下来开始针对该完整编码f(p)进行解码，也即是，通过多层感知机针对该完整编码f(p)进行解码，将任一体素点的位置坐标对应的完整编码(比如体素点p的位置坐标对应的完整编码f(p))输入至多层感知机中(即图5所示的mlp(multilayer perceptron)decoder g)进行解码，即可输出体素点p属于各肺段类型的概率，即体素点p属于各肺段类型(各肺段以及非肺段)的概率。其中，模型预测模块的输出为与ct图像相同大小，每个空间位置上的肺段分类概率。例如，假设体素点p属于右肺上叶的尖段的概率最大，则可以确定该体素点p属于右肺上叶的尖段，或者，假设体素点p
属于左肺下叶的背段的概率最大，则可以确定该体素点p属于左肺下叶的背段。
[0112]
此外，需要说明的是，现有技术方案所输出的肺段重建(即针对任一体素点的肺段识别)是固定分辨率的。与现有技术方案相比，本技术实施例可以根据ct图像的分辨率，输出相应分辨率甚至更高的肺段重建，也即是本技术实施例可以输出任意高分辨率的肺段重建。比如，u-net输出的是与原始图像相同分辨率的肺段重建，因此输出的分辨率是与输入的原始图像绑定的。而且，u-net依赖于训练数据与测试数据的同分布性，因此需要训练数据与测试数据都固定一个大小。例如，训练u-net的数据如果是固定256x256x256大小的，那么测试的数据也必须采样到这个大小，否则由于训练数据与测试数据分布有差异，会影响模型性能。但是，本技术实施例可以输出任意分辨率的肺段重建，主要是因为在模型预测时，可以针对任一体素点的位置坐标在各特征图中对应的特征向量以及该体素点的位置坐标进行拼接在一起生成融合编码，如此通过针对融合编码的解码即可准确地识别出体素点所属的肺段类型，而无需固定所输入的3d医学图像的分辨率大小，或者，也可以将任意分辨率的输入3d医学图像中各体素点的位置坐标归一化至[-1,1]区间内，那么在模型中输入的就可以是[-1,1]区间内的部分位置坐标，也即是，该方案可以在一个100*100*100的网格上输出肺段重建，也可以在200*200*200的网格上输出肺段重建，如此对于本技术实施例提供的模型来说是没有区别的，那么也就可以针对任意分辨率大小的3d医学图像进行相应地处理，以便输出任意分辨率大小的肺段重建，同时可以准确地识别出任一体素点所属的肺段类型。
[0113]
上述实施例表明，本技术中的技术方案通过针对某一体素点的位置坐标，从该体素点的位置坐标对应的各不同特征图中确定出属于不同信息层级的特征向量，并将该体素点的位置坐标以及属于各不同信息层级的特征向量进行拼接处理，即可准确地确定出该体素点的位置坐标对应的融合编码，从而基于该融合编码即可准确地识别出该体素点所属的肺段类型，如此该方案可针对任意分辨率大小的输入3d医学图像进行处理而能够更为精准地识别出任一体素点所属的肺段类型。具体来说，可以通过特征提取模型，对3d医学图像进行至少两次不同信息层级的特征提取，即可确定至少两个不同的特征图，如此可以更加全面且更加细粒度地得到3d医学图像的不同信息层级的图像信息特征(即每个体素点对应多个不同信息层级的图像信息特征)，可以为后续更加准确地识别出各体素点所属的肺段类型提供有效地支持。再针对3d医学图像中任一体素点，即可从至少两个不同的特征图中确定与该体素点的位置坐标相匹配的至少两个不同的特征向量，并针对至少两个不同的特征向量以及该体素点的位置坐标进行拼接处理，即可得到融合有该体素点具有的多个不同信息层级的图像信息特征的融合编码。然后，可以通过多层感知模型，对该体素点的位置坐标对应的融合编码进行识别，即可更加准确地确定该体素点所属的肺段类型，也即是，在每个位置坐标对应的融合编码中包含该位置坐标，利用了全局的位置关系特征进行肺段的识别，从而可以实现针对任意分辨率大小的3d医学图像进行更加准确地处理，以此可以更为精准地识别出3d医学图像中任一体素点所属的肺段类型。
[0114]
基于相同的技术构思，图6示例性的示出了本技术实施例提供的一种肺段识别装置，该装置可以执行肺段识别方法的流程。其中，该肺段识别装置可以是服务器或者也可以是能够支持服务器实现该方法所需的功能的部件(比如芯片或集成电路)等，当然也可以是其它具有实现该方法所需的功能的电子设备。
[0115]
如图6所示，该装置包括：
[0116]
获取单元601，用于获取待处理的3d医学图像；
[0117]
处理单元602，用于通过特征提取模型，对所述3d医学图像进行至少两次不同信息层级的特征提取，确定至少两个不同的特征图；针对所述3d医学图像中任一体素点，从所述至少两个不同的特征图中确定与所述体素点的位置坐标匹配的至少两个不同的特征向量；将所述至少两个不同的特征向量以及所述体素点的位置坐标进行拼接处理，得到所述体素点的位置坐标对应的融合编码；通过多层感知模型，对所述体素点的位置坐标对应的融合编码进行识别，确定所述体素点所属的肺段类型。
[0118]
在一些示例性的实施方式中，所述处理单元602还用于：
[0119]
在对所述3d医学图像进行至少两次不同信息层级的特征提取之前，针对所述3d医学图像中任一体素点，基于设定的体素值调整范围，若所述体素点的体素值小于所述设定的体素值调整范围内的最小值，则将所述体素点的体素值调整至所述最小值，若所述体素点的体素值大于所述设定的体素值调整范围内的最大值，则将所述体素点的体素值调整至所述最大值，从而得到调整后的3d医学图像；
[0120]
对所述调整后的3d医学图像中各体素点的体素值进行归一化处理，得到归一化后的3d医学图像。
[0121]
在一些示例性的实施方式中，所述特征提取模型包括依次串联处理的m个特征提取子模型；每个特征提取子模型所提取出的图像信息特征不相同；第i特征提取子模型提取出的图像信息特征的信息层级高于第i-1特征提取子模型提取出的图像信息特征的信息层级；
[0122]
所述处理单元602具体用于：
[0123]
针对第j特征提取子模型，将第j-1特征提取子模型的输出结果输入至所述第j特征提取子模型进行特征提取，得到所述第j特征提取子模型对应的特征图；所述第j特征提取子模型为所述m个特征提取子模型中除位于起始位置的特征提取子模型之外的任一个；
[0124]
其中，位于起始位置的特征提取子模型用于对所述3d医学图像进行特征提取，得到位于起始位置的特征提取子模型对应的特征图。
[0125]
在一些示例性的实施方式中，每个特征提取子模型包括n个依次串联处理的卷积子模块以及一个第一下采样层；其中，所述卷积子模块包括卷积层、归一化层以及非线性激活函数层；第k个卷积子模块的输出结果作为第k 1个卷积子模块的输入数据；第n个卷积子模块的输出结果作为所述第一下采样层的输入数据；所述第一下采样层用于处理所述第一下采样层的输入数据得到该特征提取子模型对应的特征图。
[0126]
在一些示例性的实施方式中，每个特征提取子模型包括n个并联处理的卷积子模块以及一个第二下采样层；其中，所述卷积子模块包括卷积层、归一化层以及非线性激活函数层；所述n个并联处理的卷积子模块的输出结果的加权平均值用于作为所述第二下采样层的输入数据；所述第二下采样层用于处理所述第二下采样层的输入数据得到该特征提取子模型对应的特征图。
[0127]
在一些示例性的实施方式中，所述处理单元602具体用于：
[0128]
针对每个特征图，通过线性插值算法，确定所述特征图中所述体素点的位置坐标对应的特征向量，从而确定与所述体素点的位置坐标匹配的至少两个不同的特征向量。
[0129]
在一些示例性的实施方式中，所述处理单元602具体用于：
[0130]
将所述体素点的位置坐标对应的融合编码输入至多层感知模型进行识别，得到所述体素点属于各肺段类型的概率；
[0131]
将所述各肺段类型中最大的概率对应的肺段类型确定为所述体素点所属的肺段类型。
[0132]
在一些示例性的实施方式中，所述处理单元602具体用于：
[0133]
获取3d医学图像样本集；
[0134]
针对每个3d医学图像样本，从所述3d医学图像样本中随机选取p个位于连续的坐标空间内的样本体素点；所述3d医学图像样本中每个样本体素点标注有肺段类型；
[0135]
将所述p个位于连续的坐标空间内的样本体素点形成的图像输入至初始的特征提取模型进行至少两次不同信息层级的特征提取，得到至少两个不同的样本特征图，并针对所述p个位于连续的坐标空间内的样本体素点中每个样本体素点，从所述至少两个不同的样本特征图中确定出与所述样本体素点的位置坐标匹配的至少两个不同的样本特征向量；
[0136]
将所述至少两个不同的样本特征向量以及所述样本体素点的位置坐标进行拼接处理，得到所述体素点的位置坐标对应的样本融合编码，并通过初始的多层感知模型，对所述样本体素点的位置坐标对应的样本融合编码进行识别，确定所述样本体素点所属的预测肺段类型；
[0137]
通过所述样本体素点所属的预测肺段类型和所述样本体素点所属的标注肺段类型，调整所述初始的特征提取模型和所述初始的多层感知模型，直至满足训练终止条件为止，从而得到特征提取模型和多层感知模型。
[0138]
在一些示例性的实施方式中，所述处理单元602具体用于：
[0139]
通过第一损失函数，确定所述样本体素点所属的预测肺段类型与所述样本体素点所属的标注肺段类型之间的第一损失函数值，并通过第二损失函数，确定所述样本体素点所属的预测肺段类型与所述样本体素点所属的标注肺段类型之间的第二损失函数值；
[0140]
根据所述第一损失函数值和所述第二损失函数值，确定融合损失函数值；
[0141]
通过所述融合损失函数值调整所述初始的特征提取模型和所述初始的多层感知模型。
[0142]
基于相同的技术构思，本技术实施例还提供了一种计算设备，如图7所示，包括至少一个处理器701，以及与至少一个处理器连接的存储器702，本技术实施例中不限定处理器701与存储器702之间的具体连接介质，图7中处理器701和存储器702之间通过总线连接为例。总线可以分为地址总线、数据总线、控制总线等。
[0143]
在本技术实施例中，存储器702存储有可被至少一个处理器701执行的指令，至少一个处理器701通过执行存储器702存储的指令，可以执行前述的肺段识别方法中所包括的步骤。
[0144]
其中，处理器701是计算设备的控制中心，可以利用各种接口和线路连接计算设备的各个部分，通过运行或执行存储在存储器702内的指令以及调用存储在存储器702内的数据，从而实现数据处理。可选的，处理器701可包括一个或多个处理单元，处理器701可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理下发指令。可以理解的是，上述调制解调处理器也可以不集成
到处理器701中。在一些实施例中，处理器701和存储器702可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
[0145]
处理器701可以是通用处理器，例如中央处理器(cpu)、数字信号处理器、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本技术实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合肺段识别方法实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
[0146]
存储器702作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器702可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(random access memory，ram)、静态随机访问存储器(static random access memory，sram)、可编程只读存储器(programmable read only memory，prom)、只读存储器(read only memory，rom)、带电可擦除可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、磁性存储器、磁盘、光盘等等。存储器702是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本技术实施例中的存储器702还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
[0147]
基于相同的技术构思，本技术实施例还提供了一种计算机可读存储介质，其存储有可由计算设备执行的计算机程序，当所述程序在所述计算设备上运行时，使得所述计算设备执行上述肺段识别方法的步骤。
[0148]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0149]
本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0150]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0151]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一
个方框或多个方框中指定的功能的步骤。
[0152]
尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0153]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。