基于深度学习的胰腺肿瘤纤维化程度预测方法及相关装置与流程

1.本技术涉及生物医学工程技术领域，特别涉及一种基于深度学习的胰腺肿瘤纤维化程度预测方法及相关装置。


背景技术：

2.胰腺癌是胰腺最常见的恶性病变，预后极差，5年总体生存率小于8％。胰腺肿瘤内常存在不同程度的纤维化。研究表明，肿瘤组织的纤维化程度越高，肿瘤细胞相对越稀疏，对放化疗的抵抗性越强，术后复发转移可能性越高，并在理论上当肿瘤组织内纤维化程度高时则不易进行放化疗且手术切除时切缘应更大，清扫淋巴结应更积极。由此，对于胰腺肿瘤的纤维化程度的预测具有重要的科研意义和临床应用价值。
3.目前普遍采用的胰腺肿瘤纤维化程度预测方法包括活检和胰腺功能学检查，其中，活检只能针对局部取样，实际操作难度高，且易使患者发生并发症；基于胰腺内窥镜等介入式功能学检查过程痛苦且检查结果敏感度低。
4.因而现有技术还有待改进和提高。


技术实现要素：

5.本技术要解决的技术问题在于，针对现有技术的不足，提供一种基于深度学习的胰腺肿瘤纤维化程度预测方法及相关装置。
6.为了解决上述技术问题，本技术实施例第一方面提供了一种基于深度学习的胰腺肿瘤纤维化程度预测方法，所述的方法包括：
7.获取待预测的胰腺图像，其中，所述胰腺图像携带有胰腺肿瘤区域；
8.控制所述预测网络模型基于所述胰腺图像，确定所述胰腺图像中的胰腺肿瘤区域以及所述胰腺肿瘤区域对应的纤维化级别。
9.所述基于深度学习的胰腺肿瘤纤维化程度预测方法，其中，所述预测网络模型包括编码模块、预测模块、解码模块以及分割模块；所述控制所述预测网络模型基于所述胰腺图像，确定所述胰腺图像中的胰腺肿瘤区域以及所述胰腺肿瘤区域对应的纤维化级别具体包括：
10.将所述胰腺图像输入所述编码模块，并控制所述编码模块确定所述胰腺图像对应的若干第一特征图；
11.控制所述解码模块基于若干第一特征图，确定所述胰腺图像对应的第二特征图；
12.控制所述分割模块基于所述第二特征图以及若干第一特征中维度最低的第一特征图，确定所述胰腺图像中的胰腺肿瘤区域；
13.控制所述预测模块基于若干第一特征图中的维度最高的第一特征图，确定所述胰腺肿瘤区域的纤维化级别。
14.所述基于深度学习的胰腺肿瘤纤维化程度预测方法，其中，所述编码模块包括依次级联的卷积单元以及若干残差单元；所述解码模块包括若干反卷积单元，其中，若干残差
单元与若干反卷积单元，并且各残差单元与其对应的反卷积单元跳跃连接。
15.所述基于深度学习的胰腺肿瘤纤维化程度预测方法，其中，所述的预测模块包括特征降维单元、全连接单元以及激活单元；所述控制所述预测模块基于若干第一特征图中的维度最高的第一特征图，确定所述胰腺肿瘤区域的纤维化级别具体包括：
16.控制所述特征降维单元将所述维度最高的第一特征图映射至低维空间以得到第三特征图；
17.控制所述全连接单元基于所述第三特征图确定特征向量，并控制所述激活单元基于所述特征向量确定所述胰腺肿瘤区域的纤维化级别。
18.所述基于深度学习的胰腺肿瘤纤维化程度预测方法，其中，所述特征降维单元包括自适应平均池化层，所述全连接单元包括展平层、dropout层以及全连接层。
19.所述基于深度学习的胰腺肿瘤纤维化程度预测方法，其中，所述获取待预测的胰腺图像具体包括：
20.获取通过胰腺图像采集设备采集的候选胰腺图像，并且提取所述候选胰腺图像中的感兴趣区域，其中，所述感兴趣区域包括所述胰腺图像中的胰腺肿瘤区域；
21.将所述感兴趣区域的图像尺寸调整至预设图像尺寸，并将调整后的感兴趣区域作为待预测的胰腺图像。
22.所述基于深度学习的胰腺肿瘤纤维化程度预测方法，其中，所述胰腺图像为胰腺ct图像。
23.本技术实施例第二方面提供了一种基于深度学习的胰腺肿瘤纤维化程度预测装置，所述预测装置包括：
24.获取模块，用于获取待预测的胰腺图像，其中，所述胰腺图像携带有胰腺肿瘤区域；
25.控制模块，用于控制所述预测网络模型基于所述胰腺图像，确定所述胰腺图像中的胰腺肿瘤区域以及所述胰腺肿瘤区域对应的纤维化级别
26.本技术实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的基于深度学习的胰腺肿瘤纤维化程度预测方法中的步骤。
27.本技术实施例第四方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
28.所述通信总线实现处理器和存储器之间的连接通信；
29.所述处理器执行所述计算机可读程序时实现如上任一所述的基于深度学习的胰腺肿瘤纤维化程度预测方法中的步骤。
30.有益效果：与现有技术相比，本技术提供了一种基于深度学习的胰腺肿瘤纤维化程度预测方法及相关装置，所述方法包括获取待预测的胰腺图像，控制所述预测网络模型基于所述胰腺图像，确定所述胰腺图像中的胰腺肿瘤区域以及所述胰腺肿瘤区域对应的纤维化级别。本实施通过采用基于深度学习的预测网络模型对胰腺图像进行学习，可以学习到胰腺图像中的图像特征，并基于学习到的图像特征预测胰腺图像中的胰腺肿瘤区域以及所述胰腺肿瘤区域对应的纤维化级别，从而可以提高胰腺癌纤维化程度的预测的准确性。
附图说明
31.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。
32.图1为本技术提供的基于深度学习的胰腺肿瘤纤维化程度预测方法的流程图。
33.图2为本技术提供的基于深度学习的胰腺肿瘤纤维化程度预测方法中的预测网络模型的模型原理图。
34.图3为本技术提供的基于深度学习的胰腺肿瘤纤维化程度预测方法中的残差单元的模型原理图。
35.图4为本技术提供的基于深度学习的胰腺肿瘤纤维化程度预测方法中的反卷积单元的模型原理图。
36.图5为本技术提供的基于深度学习的胰腺肿瘤纤维化程度预测方法中的预测模块的模型原理图。
37.图6为本技术提供的基于深度学习的胰腺肿瘤纤维化程度预测装置的结构原理图。
38.图7为本技术提供的终端设备的结构原理图。
具体实施方式
39.本技术提供一种基于深度学习的胰腺肿瘤纤维化程度预测方法及相关装置，为使本技术的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本技术进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
40.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
41.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
42.应理解，本实施例中各步骤的序号和大小并不意味着执行顺序的先后，各过程的执行顺序以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
43.发明人经过研究发现，胰腺癌是胰腺最常见的恶性病变，预后极差，5年总体生存率小于8％。胰腺肿瘤内常存在不同程度的纤维化。研究表明，肿瘤组织的纤维化程度越高，肿瘤细胞相对越稀疏，对放化疗的抵抗性越强，术后复发转移可能性越高，并在理论上当肿
瘤组织内纤维化程度高时则不易进行放化疗且手术切除时切缘应更大，清扫淋巴结应更积极。由此，对于胰腺肿瘤的纤维化程度的预测具有重要的科研意义和临床应用价值。
44.目前普遍采用的胰腺肿瘤纤维化程度预测方法包括活检和胰腺功能学检查，其中，活检只能针对局部取样，实际操作难度高，且易使患者发生并发症；基于胰腺内窥镜等介入式功能学检查过程痛苦且检查结果敏感度低。
45.为了解决上述问题，在本技术实施例中，获取待预测的胰腺图像，控制所述预测网络模型基于所述胰腺图像，确定所述胰腺图像中的胰腺肿瘤区域以及所述胰腺肿瘤区域对应的纤维化级别。本实施通过采用基于深度学习的预测网络模型对胰腺图像进行学习，可以学习到胰腺图像中的图像特征，并基于学习到的图像特征预测胰腺图像中的胰腺肿瘤区域以及所述胰腺肿瘤区域对应的纤维化级别，从而可以提高胰腺癌纤维化程度的预测的准确性。
46.下面结合附图，通过对实施例的描述，对申请内容作进一步说明。
47.本实施例提供了一种基于深度学习的胰腺肿瘤纤维化程度预测方法，如图1所示，所述方法包括：
48.s10、获取待预测的胰腺图像。
49.具体地，所述胰腺图像中携带有胰腺肿瘤区域，也就是说，胰腺图像对具有胰腺肿瘤的患者进行图像采集所得到的图像，其中，所述胰腺图像可以为胰腺ct图像。例如，所述待预测的胰腺图像为通过ct设备对具有胰腺肿瘤的患者胰腺进行ct扫描所形成的胰腺ct图像。
50.在本实施例的一个实现方式中，所述获取待预测的胰腺图像具体包括：
51.获取通过胰腺图像采集设备采集的候选胰腺图像，并且提取所述候选胰腺图像中的感兴趣区域。
52.将所述感兴趣区域的图像尺寸调整至预设图像尺寸，并将调整后的感兴趣区域作为待预测的胰腺图像。
53.具体地，候选胰腺图像可以为ct图像，所述图像采集设备可以为ct设备，通过ct设备对患有胰腺肿瘤的患者进行ct扫描，以得到候选胰腺图像。所述感兴趣区域包括候选胰腺图像中的胰腺肿瘤区域，并且所述感兴趣区域去除候选胰腺图像中的部分冗余信息。这是由于候选胰腺图像是对整个胰腺进行扫描所得到，从而候选胰腺图像携带有整个胰腺的图像信息，而胰腺肿瘤区域在候选胰腺图像中可能仅占用于部分区域，从而为了减少候选胰腺图像的冗余信息，在获取到候选胰腺图像后，可以提取候选胰腺图像中的感兴趣区域以去胰腺图像中的冗余信息。此外，在获取到感兴趣区域，将感兴趣区域从候选胰腺图像中截取下来，并将其尺寸调整为预设图像尺寸，以得到待预测的胰腺图像，其中，所述预设图像尺寸等于预测网络模型的输入项的图像尺寸，以使得待预测的胰腺图像可以作为预测网络模型的输入项输入预测网络模型。
54.s20、控制所述预测网络模型基于所述胰腺图像，确定所述胰腺图像中的胰腺肿瘤区域以及所述胰腺肿瘤区域对应的纤维化级别。
55.具体地，所述预测网络模型为基于深度学习的神经网络模型，并且预测网络模型为经过训练的网络模型，预测网络模型的输入项为胰腺图像，输出项为胰腺图像中的胰腺肿瘤区域以及所述胰腺肿瘤区域对应的纤维化级别。可以理解的是，预测网络模型为多任
务网络模型，通过所述预测网络模型可以学习胰腺图像中的影像特征，并基于学习到的影像特征预测胰腺图像中的胰腺肿瘤区域以及胰腺肿瘤区域对应的纤维化级别。其中，所述纤维化级别用于反映胰腺肿瘤纤维化程度，纤维化级别越高，胰腺肿瘤纤维化程度越高，反之，纤维化级别越低，胰腺肿瘤纤维化程度越低。在一个具体实现方式中，纤维化级别包括第一级别和第二级别，第一级别对应的胰腺肿瘤纤维化程度高于第二级别对应的胰腺肿瘤纤维化程度。
56.在本实施例的一个实现方式中，如图2所示，预测网络模型包括编码模块、解码模块、预测模块以及分割模块，编码模块与预测模块相连接，编码模块与解码模块相连接并为解码模块提供若干第一特征图，解码模块与分割模块相连接。相应的，所述控制所述预测网络模型基于所述胰腺图像，确定所述胰腺图像中的胰腺肿瘤区域以及所述胰腺肿瘤区域对应的纤维化级别具体包括：
57.将所述胰腺图像输入所述编码模块，并控制所述编码模块确定所述胰腺图像对应的若干第一特征图；
58.控制所述解码模块基于若干第一特征图，确定所述胰腺图像对应的第二特征图；
59.控制所述分割模块基于所述第二特征图以及若干第一特征中维度最低的第一特征图，确定所述胰腺图像中的胰腺肿瘤区域；
60.控制所述预测模块基于若干第一特征图中的维度最高的第一特征图，确定所述胰腺肿瘤区域的纤维化级别。
61.具体地，所述编码模块的输入项为胰腺图像，输出项为若干第一特征图，若干第一特征图中的各第一特征图的特征维度不同，其中，编码模块用于对胰腺图像进行下采样，以得到若干特征维度不同的第一特征图。所述解码模块的输入为若干第一特征图，并基于若干第一特征图确定第二特征图，其中，解码模块用于进行上采样以学习胰腺图像中的胰腺肿瘤区域的特征，以便于分割模块基于所述第二特征图以及若干第一特征中维度最低的第一特征图确定所述胰腺图像中的胰腺肿瘤区域。这样在预测网络模型的训练过程中，可以采用预测胰腺肿瘤区域和胰腺肿瘤标注对预测网络模型进行分割训练，从而可以提高训练得到的预测网络模型的模型性能，从而可以提高预测网络模型预测的纤维化级别的准确性。
62.在本实施例的一个实现方式中，如图2所示，所述编码模块包括依次级联的卷积单元以及若干残差单元；所述解码模块包括若干反卷积单元，其中，若干残差单元与若干反卷积单元，并且各残差单元与其对应的反卷积单元跳跃连接。本实施例通过将若干残差单元和若干反卷积单元采用跳跃连接的方式，可融合高分辨率和低分辨率的影像特征，精细分割胰腺肿瘤区域，保证预测网络模型可以提取更多影像特征，从而可以提高预测网络模型的模型性能。此外，所述卷积单元与所述分割模块相连接，卷积单元的输出项输入分割模块，以使得分割模块接收到解码单元输入的第二特征图以及卷积单元输入的第一特征图，并将基于第二特征图与第一特征图融合得到的融合特征图确定胰腺肿瘤区域。
63.在一个典型实现方式中，若干残差单元为4个残差单元，如图3所示，每个残差单元均池化层pooling和残差块，残差块包括第一支路、第二支路和激活层relu，第一支路和第二支路的输入项均为池化层的输出项，第一支路的输出项与第二支路的输出项融合后输入激活层relu。所述第一支路包括卷积层conv，第二支路包括依次级联的卷积层conv、批量归
一化层bn、激活层relu、卷积层conv以及批量归一层bn。此外，若干反卷积单元为4个反卷积单元，如图4所示，每个反卷积单元均包括上采样层以及残差块，其中，反卷积单元中的残差块的模型结构与残差单元中的残差块的模型结构相同，并且所述卷积单元的模型结构与残差单元中的残差块的模型结构相同，具体可以参照残差单元中的残差块的说明，这里就不在赘述。
64.在本实施例的一个实现方式中，所述维度最高的第一特征图为若干残差单元中位于最后的残差单元的输出项，也就是说，干残差单元中位于最后的残差单元与预测模块相连接，并将其输出的第一特征图输入预测模块，以使得预测模块基于该第一特征图确定胰腺图像中的肿瘤区域的纤维化级别。本实现方式通过采用维度最高的第一特征图(即位于最后的残差单元输出的第一特征图)作为预测模块的输入项，这是由于高维影像特征能够更加有效的展示肿瘤区域的差异，从而可以提高预测模块预测的准确性。此外，若干残差单元中的每个残差单元的输出项均为其对应的反卷积单元的输入项，同时还为位于其后的网络层的输入项。例如，若干残差单元中位于最前的残差单元，该位于最前的残差单元的输出项分别为位于其后的残差单元的输入项以及与其跳跃连接的反卷积单元的输入项。
65.在本实施例的一个实现方式中，所述的预测模块包括特征降维单元、全连接单元以及激活单元；所述控制所述预测模块基于若干第一特征图中的维度最高的第一特征图，确定所述胰腺肿瘤区域的纤维化级别具体包括：
66.控制所述特征降维单元将所述维度最高的第一特征图映射至低维空间以得到第三特征图；
67.控制所述全连接单元基于所述第三特征图确定特征向量，并控制所述激活单元基于所述特征向量确定所述胰腺肿瘤区域的纤维化级别。
68.具体地，所述特征降维单元用于将特征图从高维空间映射至低维空间，也就是说，第三特征图所处的维度空间低于第一特征图所处的维度空间，这样一方面去除第一特征图中的冗余特征，提高预测网络模型的预测性能，另一方面可以降低特征图的时间复杂度以及空间复杂度，从而可以减少预测网络模型的模型参数，从而可以提高预测网络模型的预测速度。特征降维单元可以配置有线性或者非线性映射函数，通过线性或者非线性映射函数将维度最高的第一特征图映射至低维度空间以得到第三特征图。在一个具体实现方式中，如图5所示，所述特征降维单元可以包括自适应平均池化层pooling，通过自适应平均池化层可以将维度最高的第一特征图的维度降低以减少特征数量，从而可以减少预测网络模型的模型参数，另一方面通过自适应平均池化函数可以保持维度最高的第一特征图中的特征不变性，从而可以保证预测网络模型的预测准确性。例如，维度最高的第一特征图为图2所示的2*2*1024的特征图，通过特征降维单元可以将其降低为2*1024的特征图。此外，如图5所示，所述激活单元包括simoid激活层；所述全连接单元包括展平层view、dropout层dropout以及全连接层linear，其中，所述展平层与所述dropout层相连接，所述dropout层与全连接层相连接，所述dropout层用于随机舍弃一部分参数以增强模型的泛化性，从而可以提高预测网络模型的模型性能。
69.在本实施例的一个实现方式中，在预测网络模型的训练过程中，预测网络模型可以基于预测模块确定的预测纤维化级别以及分割模型确定的预测胰腺肿瘤区域对预测网络模型进行训练，这样可以提高训练得到的预测网络模型的模型性能，其中，预测纤维化级
别对应的损失项可以采用交叉熵损失函数，预测胰腺肿瘤区域对应的损失项可以采用dice损失函数。
70.综上所述，本实施例提供了一种基于深度学习的胰腺肿瘤纤维化程度预测方法，所述方法包括获取待预测的胰腺图像，控制所述预测网络模型基于所述胰腺图像，确定所述胰腺图像中的胰腺肿瘤区域以及所述胰腺肿瘤区域对应的纤维化级别。本实施通过采用基于深度学习的预测网络模型对胰腺图像进行学习，可以学习到胰腺图像中的图像特征，并基于学习到的图像特征预测胰腺图像中的胰腺肿瘤区域以及所述胰腺肿瘤区域对应的纤维化级别，从而可以提高胰腺癌纤维化程度的预测的准确性。
71.基于上述基于深度学习的胰腺肿瘤纤维化程度预测方法，本实施例提供了一种基于深度学习的胰腺肿瘤纤维化程度预测装置，如图6所示，所述预测装置包括：
72.获取模块100，用于获取待预测的胰腺图像，其中，所述胰腺图像携带有胰腺肿瘤区域；
73.控制模块200，用于控制所述预测网络模型基于所述胰腺图像，确定所述胰腺图像中的胰腺肿瘤区域以及所述胰腺肿瘤区域对应的纤维化级别。
74.基于上述基于深度学习的胰腺肿瘤纤维化程度预测方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的基于深度学习的胰腺肿瘤纤维化程度预测方法中的步骤。
75.基于上述基于深度学习的胰腺肿瘤纤维化程度预测方法，本技术还提供了一种终端设备，如图7所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(communications interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
76.此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
77.存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
78.存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
79.此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
80.最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可
以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。