一种生存预测方法、装置、设备和存储介质与流程

1.本发明实施例涉及人工智能技术领域，尤其涉及深度学习技术领域，具体涉及一种生存预测方法、装置、设备和存储介质。


背景技术：

2.全视野数字切片图像(whole slide images，wsi)具有高分辨率和丰富的病理信息，从而基于全视野数字切片图像对患者的生成率大小进行预测越来越受到关注。
3.目前，由于全视野数字切片图像的千兆像素分辨率，无法通过常规卷积神经网络模型直接提取特征进行生存分析，从而可以基于专家经验人工采样或者随机采样出全视野数字切片图像中的局部图像块(patch)，并利用常规卷积神经网络对采样的各个局部图像块进行特征提取和生存分析。
4.然而，在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
5.在对局部图像块进行特征提取过程中，现有技术是使用卷积神经网络模型的最后一层输出的深层特征信息。虽然深层特征信息在一般图像表示上通常具有良好的表现，但是，对于wsi这种以细胞和组织为基础的病理图像而言，浅层特征信息也具有不可忽视的作用。例如，模型的浅层可以捕获更多的形状、边缘和纹理等浅层特征信息。所以，仅提取深层特征信息无法充分地表示图像的具体信息，从而仅基于深层特征信息进行生存预测，也会降低生存预测的准确性。


技术实现要素：

6.本发明实施例提供了一种生存预测方法、装置、设备和存储介质，以提高生存预测的准确性。
7.第一方面，本发明实施例提供了一种生存预测方法，包括：
8.获取目标患者的全视野数字切片图像；
9.对所述全视野数字切片图像进行采样，获得各个局部图像块；
10.对每个局部图像块进行特征提取，确定每个局部图像块对应的第一浅层特征信息和第一深层特征信息；
11.根据第一图网络模型和各个所述第一浅层特征信息，对各个所述局部图像块进行信息聚合，确定每个所述局部图像块对应的第二浅层特征信息；
12.根据第二图网络模型和各个所述第一深层特征信息，对各个所述局部图像块进行信息聚合，确定每个所述局部图像块对应的第二深层特征信息；
13.根据预设生存预测模型、各个所述第二浅层特征信息和各个所述第二深层特征信息，确定所述目标患者对应的生存预测结果。
14.第二方面，本发明实施例还提供了一种生存预测装置，包括：
15.全视野数字切片图像获取模块，用于获取目标患者的全视野数字切片图像；
16.全视野数字切片图像采样模块，用于对所述全视野数字切片图像进行采样，获得
各个局部图像块；
17.特征提取模块，用于对每个局部图像块进行特征提取，确定每个局部图像块对应的第一浅层特征信息和第一深层特征信息；
18.浅层特征信息聚合模块，用于根据第一图网络模型和各个所述第一浅层特征信息，对各个所述局部图像块进行信息聚合，确定每个所述局部图像块对应的第二浅层特征信息；
19.深层特征信息聚合模块，用于根据第二图网络模型和各个所述第一深层特征信息，对各个所述局部图像块进行信息聚合，确定每个所述局部图像块对应的第二深层特征信息；
20.生存预测模块，用于根据预设生存预测模型、各个所述第二浅层特征信息和各个所述第二深层特征信息，确定所述目标患者对应的生存预测结果。
21.第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：
22.一个或多个处理器；
23.存储器，用于存储一个或多个程序；
24.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的生存预测方法。
25.第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的生存预测方法。
26.上述发明中的实施例具有如下优点或有益效果：
27.通过对目标患者的全视野数字切片图像进行采样，获得各个局部图像块，并对每个局部图像块进行特征提取，确定每个局部图像块对应的第一浅层特征信息和第一深层特征信息，从而利用第一浅层特征信息和第一深层特征信息可以更加充分地表示出局部图像块的具体信息，并通过利用第一图网络模型和第二图网络模型，分别对各个所述局部图像块进行浅度特征信息聚合和深度特征信息聚合，确定出每个所述局部图像块对应的第二浅层特征信息和第二深层特征信息，从而根据预设生存预测模型，可以同时利用信息聚合后的第二浅层特征信息和第二深层特征信息进行生存预测，确定出目标患者对应的生存预测结果，提高了生存预测的准确性。
附图说明
28.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
29.图1是本发明实施例一提供的一种生存预测方法的流程图；
30.图2是本发明实施例一所涉及的一种生存预测过程的示例；
31.图3是本发明实施例二提供的一种生存预测方法的流程图；
32.图4(a)是本发明实施例二所涉及的一种生存预测过程的示例；
33.图4(b)是本发明实施例二所涉及的一种视觉子图的示例；
34.图5是本发明实施例三提供的一种生存预测方法的流程图；
35.图6是本发明实施例四提供的一种生存预测装置的结构示意图；
36.图7是本发明实施例五提供的一种电子设备的结构示意图。
具体实施方式
37.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
38.需要说明的是，本公开技术方案中对信息的获取、采集、存储、使用、处理等，其过程均符合相关法律、法规的规定，且不违背公序良俗。
39.实施例一
40.图1为本发明实施例一提供的一种生存预测方法的流程图，本实施例可适用于对患者生存的概率进行预测的情况。该方法可以由生存预测装置来执行，该装置可以由软件和/或硬件的方式来实现，集成于电子设备中。如图1所示，该方法具体包括以下步骤：
41.s110、获取目标患者的全视野数字切片图像。
42.s120、对全视野数字切片图像进行采样，获得各个局部图像块。
43.其中，局部图像块可以是指全视野数字切片图像中的部分图像区域。
44.具体地，本实施例可以利用阈值分割方式，比如otsu最大类间方差法，对目标患者的全视野数字切片图像进行采样，获取含有与生存相关信息的多个局部图像块。通过这种采样方式，可以保留感兴趣区域的拓扑信息，同时可以避免一些噪声区域，比如血液、空白或侵蚀。
45.s130、对每个局部图像块进行特征提取，确定每个局部图像块对应的第一浅层特征信息和第一深层特征信息。
46.其中，第一浅层特征信息可以是指提取出的局部图像块中的低水平视觉特征信息，比如局部图像块中的形状、边缘和纹理等特征信息。第一深层特征信息可以是指提取出的局部图像块中的高水平视觉特征信息，比如局部图像块中的复杂的具有代表性的特征信息。第一深层特征信息比第一浅层特征信息更加复杂。
47.具体地，图2给出了一种生存预测过程的示例。如图2所示，若存在7个局部图像块，则对每个局部图像块进行特征提取，确定出每个局部图像块对应的第一浅层特征信息(比如图2中的低水平特征向量ν
1-ν7)和第一深层特征信息(比如图2中的高水平特征向量ν
1-ν7)。本实施例可以利用同一个预设特征提取模型同时提取出每个局部图像块对应的第一浅层特征信息和第一深层特征信息；也可以利用层数不同的两个预设特征提取模型分别提取出每个局部图像块对应的第一浅层特征信息和第一深层特征信息。例如，针对每个局部图像块而言，可以将局部图像块输入至第一预设特征提取模型中进行特征提取，获得该局部图像块对应的第一浅层特征信息；以及将该局部图像块输入至第二预设特征提取模型中进行特征提取，获得该局部图像块对应的第一深层特征信息。其中，第一预设特征提取模型的模型层数小于第二预设特征提取模型的模型层数。
48.需要说明的是，本实施例在使用预设特征提取模型之前，可以利用样本数据，比如imagenet数据库，对预设特征提取模型进行模型训练，以便利用训练好的预设特征提取模型进行特征提取，保证特征提取的准确性。其中，预设特征提取模型可以是但不限于resnet
残差网络模型。
49.示例性地，s130可以包括：将每个局部图像块输入至预设特征提取模型中进行特征提取；根据预设特征提取模型中的第一残差模块的输出，确定每个局部图像块对应的第一浅层特征信息；根据预设特征提取模型中的第二残差模块的输出，确定每个局部图像块对应的第一深层特征信息；其中，第二残差模块对应的层序数大于第一残差模块对应的层序数。
50.具体地，可以在预设特征提取模型中设置两个输出，第一个输出位于层序数较小的第一残差模块上，比如预设特征提取模型中的第10层的残差模块上，以便基于第一残差模块的输出，可以获得局部图像块对应的第一浅层特征信息。第二个输出位于层序数较大的第一残差模块上，比如预设特征提取模型中的最后一层的残差模块上，以便基于第二残差模块的输出，可以获得局部图像块对应的第一深层特征信息。
51.需要注意的是，由于全视野数字切片图像这种组织病理学图像中，细胞是主要的构成成分，从而需要同时提取每个局部图像块的第一浅层特征信息和第一深层特征信息。
52.s140、根据第一图网络模型和各个第一浅层特征信息，对各个局部图像块进行信息聚合，确定每个局部图像块对应的第二浅层特征信息。
53.其中，第一图网络模型可以是指基于图的卷积网络模型。例如，第一图网络模型可以包括简单图网络模型或者超图网络模型。简单图网络模型可以是指基于简单图的卷积网络模型。超图网络模型可以是指基于超图的卷积网络模型。简单图可以是指图中的一条边连接两个节点。超图可以是指图中的一条边连接至少两个节点，比如一条边连接3个节点或者一条边连接4个节点等。
54.具体地，由于采样方式破坏了图像的整体结构，并且病理图像的全局拓扑结构在生存特异性表示中的至关重要，从而需要利用第一图网络模型，基于各个局部图像块对应的第一浅层特征信息，对各个局部图像块进行信息传递聚合，确定聚合后的每个局部图像块对应的包含全局拓扑信息的全局浅层特征信息，即第二浅层特征信息。
55.示例性地，由于低视觉水平的第一浅层特征信息较为简单，从而可以利用简单图网络模型表征出各个局部图像块之间的相关性。例如，如图2所示，第一图网络模型为：简单图网络模型；s140可以包括：将各个第一浅层特征信息输入至简单图网络模型进行信息聚合，并根据简单图网络模型的输出，确定每个局部图像块对应的第二浅层特征信息。
56.具体地，通过将简单图网络模型作为第一图网络模型进行信息传递聚合，可以在保证信息聚合准确性的基础上，提高信息聚合效率。
57.s150、根据第二图网络模型和各个第一深层特征信息，对各个局部图像块进行信息聚合，确定每个局部图像块对应的第二深层特征信息。
58.其中，第二图网络模型也可以是指基于图的卷积网络模型。例如，第二图网络模型也可以包括简单图网络模型或者超图网络模型。
59.具体地，由于采样方式破坏了图像的整体结构，并且病理图像的全局拓扑结构在生存特异性表示中的至关重要，从而也需要利用第二图网络模型，基于各个局部图像块对应的第一深层特征信息，对各个局部图像块进行信息传递聚合，确定聚合后的每个局部图像块对应的包含全局拓扑信息的全局深层特征信息，即第二深层特征信息。
60.示例性地，由于高视觉水平的第一深层特征信息较为复杂，超出了两两局部图像
块之间的联系，从而可以利用超图网络模型表征出各个局部图像块之间复杂的相关性。例如，如图2所示，第二图网络模型为：超图网络模型；s150可以包括：将各个第一深层特征信息输入至超图网络模型进行信息聚合，并根据超图网络模型的输出，确定每个局部图像块对应的第二深层特征信息。具体地，通过将超图网络模型作为第二图网络模型进行信息传递聚合，可以保证信息聚合准确性，进而提高生存预测准确性。
61.s160、根据预设生存预测模型、各个第二浅层特征信息和各个第二深层特征信息，确定目标患者对应的生存预测结果。
62.其中，预设生存预测模型可以是预设设置的，用于预测患者生存概率的网络模型。例如，预设生存预测模型可以是但不限于回归网络模型。本实施例中的预设生存预测模型是预先基于样本数据训练获得的。在对预设生存预测模型训练的过程中，可以利用多层感知器从全局特征回归危险评分，并可以利用两种损失函数进行训练，以提高训练效率。例如，可以利用梯度下降方式，基于负cox对数部分似然损失函数与ranking损失函数所组成的目标损失函数对预设生存预测模型进行训练。
63.具体地，可以对各个局部图像块对应的各个第二浅层特征信息进行再次聚合，获得该全视野数字切片图像对应的一个全局浅层特征信息，即目标浅层特征信息，以及对各个局部图像块对应的各个第二深层特征信息进行再次聚合，获得该全视野数字切片图像对应的一个全局深层特征信息，即目标深层特征信息。预设生存预测模型可以基于目标浅层特征信息和目标深层特征信息这两种类型的特征信息进行生存预测，从而可以提高生存预测的准确性。
64.示例性地，s160可以包括：对各个第二浅层特征信息进行池化处理，确定目标浅层特征信息；对各个第二深层特征信息进行池化处理，确定目标深层特征信息；将目标浅层特征信息和目标深层特征信息输入至预设生存预测模型中，并根据预设生存预测模型的输出，确定目标患者对应的生存预测结果。
65.具体地，如图2所示，可以对各个第二浅层特征信息进行最大池化处理或者平均池化处理，获得目标浅层特征信息。对各个第二深层特征信息进行最大池化处理或者平均池化处理，确定目标深层特征信息。预设生存预测模型根据输入的目标浅层特征信息和目标深层特征信息进行生存预测，并将预测出的生存概率进行输出，从而基于预设生存预测模型的输出，获得目标患者对应的生存预测结果，即目标患者能生存的概率大小。
66.需要说明的是，若存在目标患者的多张全视野数字切片图像，则可以针对每张全视野数字切片图像，通过执行上述生存预测步骤，可以获得每张全视野数字切片图像对应的生存预测结果，并对获得的各个生存预测结果进行平均处理，获得目标患者的最终预测结果，进一步提高生存预测准确性。
67.本实施例的技术方案，通过对目标患者的全视野数字切片图像进行采样，获得各个局部图像块，并对每个局部图像块进行特征提取，确定每个局部图像块对应的第一浅层特征信息和第一深层特征信息，从而利用第一浅层特征信息和第一深层特征信息可以充分地表示出局部图像块的具体信息，并通过利用第一图网络模型和第二图网络模型，分别对各个局部图像块进行浅度特征信息聚合和深度特征信息聚合，确定出每个局部图像块对应的第二浅层特征信息和第二深层特征信息，从而根据预设生存预测模型，可以同时利用信息聚合后的第二浅层特征信息和第二深层特征信息进行生存预测，确定出目标患者对应的
生存预测结果，提高了生存预测的准确性。
68.实施例二
69.图3为本发明实施例二提供的一种生存预测方法的流程图，本实施例在上述实施例的基础上，简单图网络模型包括简单图构建子模型和第一信息聚合子模型，超图网络模型包括超图构建子模型和第二信息聚合子模型，并在此基础上，对信息聚合方式进行了进一步优化。其中与上述各实施例相同或相应的术语的解释在此不再赘述。
70.参见图3，本实施例提供的生存预测方法具体包括以下步骤：
71.s310、获取目标患者的全视野数字切片图像。
72.s320、对全视野数字切片图像进行采样，获得各个局部图像块。
73.s330、对每个局部图像块进行特征提取，确定每个局部图像块对应的第一浅层特征信息和第一深层特征信息。
74.具体地，第一浅层特征信息和第一深层特征信息可以利用特征向量的形式进行表征。例如，第一浅层特征信息对应的第一浅层特征向量表示为：其中，d表示第一浅层特征向量的维度。第一深层特征信息对应的第一深层特征向量表示为：其中，d
′
表示第一深层特征向量的维度。
75.s340、将各个第一浅层特征信息输入简单图构建子模型中，基于各个第一浅层特征信息进行简单图构建，确定构建出的目标简单图。
76.其中，简单图网络模型可以包括简单图构建子模型和第一信息聚合子模型。
77.具体地，图4(a)给出了一种生存预测过程的示例。如图4(a)所示，简单图构建子模型可以基于输入的各个第一浅层特征信息，实时构建出用于表征各个局部图像块之间相关性的目标简单图。在图4(a)的目标简单图中，各个黑色小方块对应的局部图像块之间具有相关性。黑色小方块对应的局部图像块与白色小方块对应的局部图像块之间不具有相关性。
78.示例性地，简单图构建子模型基于各个第一浅层特征信息进行简单图构建，确定构建出的目标简单图，可以包括：将每个局部图像块作为一个节点；基于每个节点对应的第一浅层特征信息，确定每个节点对应的一阶视觉子图和二阶视觉子图；将各个一阶视觉子图和各个二阶视觉子图进行合成，获得构建出的目标简单图。
79.具体地，目标简单图可以由建立在视觉空间的各个视觉子图组成。在视觉空间中，将每个局部图像块作为一个节点，并基于每个节点对应的第一浅层特征信息，确定每两个节点之间的视觉相似度。例如，可以基于每两个节点对应的第一浅层特征信息，确定每两个节点之间的欧式距离，从而利用每两个节点之间的欧式距离表征相应的视觉相似度。基于各个视觉相似度和预设一阶邻居节点数量k，确定每个节点对应的各个一阶邻居节点。例如，针对每个节点而言，可以将该节点与其他节点之间的视觉相似度进行降序排列，并将排列后的位于前预设一阶邻居节点数量k的各个节点作为该节点对应的k个近邻，即各个一阶邻居节点，即1-hop节点。如图4(b)所示，将该节点与相应的每个一阶邻居节点连接一条边，获得该节点对应的一阶视觉子图，即基于1-hop关系的表型子图。基于该节点对应的每个一阶邻居节点所对应的一阶邻居节点，确定该节点对应的各个二阶邻居节点，即2-hop节点。如图4(b)所示，基于各个二阶邻居节点，可以获得该节点对应的二阶视觉子图，即基于2-hop关系的表型子图。基于每条边所连接的两个节点对应的视觉相似度，比如欧式距离赋予
每条边的权重。比如，一阶视觉子图中的边权重大于二阶视觉子图中的边权重。通过基于每条边的权重，将各个节点对应的各个一阶视觉子图和各个二阶视觉子图合成为一个目标简单图，从而构建了多hop的目标简单图，即其中，是节点，ε是边。基于图的非归一化普通图拉普拉斯定义为l＝d-a，其中a是邻接矩阵，d是度矩阵。
80.s350、将目标简单图和各个第一浅层特征信息输入第一信息聚合子模型中，基于目标简单图和各个第一浅层特征信息进行信息聚合，确定每个局部图像块对应的第二浅层特征信息并输出。
81.具体地，如图4(a)所示，第一信息聚合子模型可以通过谱卷积操作，对输入的目标简单图和各个第一浅层特征信息进行信息传递聚合，确定出每个局部图像块对应的第二浅层特征信息并进行输出。
82.示例性地，第一信息聚合子模型可以包括第一预设数量的谱卷积层；s350可以包括：将目标简单图和各个第一浅层特征信息输入至第一个谱卷积层，并将目标简单图和第一个谱卷积层输出的特征信息输入至下一个谱卷积层；基于最后一个谱卷积层的输出，确定每个局部图像块对应的第二浅层特征信息。
83.其中，谱卷积层对应的第一预设数量可以为2层或者3层。与传统的2层相比，本实施例可以利用具有3层的谱卷积层，通过深度传播实现浅层特征高阶表示，从而在wsi上的深度传播可以为局部图像块的信息聚合带来收益，进一步提高信息聚合效果。
84.具体地，若存在3层的谱卷积层，则可以将各个第一浅层特征信息组成浅层特征信息矩阵，并将目标简单图和浅层特征信息矩阵输入至第一个谱卷积层，并将目标简单图和第一个谱卷积层输出的浅层特征信息矩阵输入至第二个谱卷积层，再将目标简单图和第二个谱卷积层输出的浅层特征信息矩阵输入至第三个谱卷积层，对第三个谱卷积层输出的浅层特征信息矩阵进行拆分，获得每个局部图像块对应的第二浅层特征信息。
85.例如，基于简单图拉普拉斯，在目标简单图和第一浅层特征信息上的谱卷积操作可以为：其中，a
′
是基于度矩阵d对邻接矩阵a进行对称归一化后的邻接矩阵，是第k层输入的浅层特征信息矩阵，wk是第一信息聚合子模型的第k层权重；是第k层输出的浅层特征信息矩阵，即第k 1层输入的浅层特征信息矩阵；σ为激活函数。
86.s360、将各个第一深层特征信息输入超图构建子模型中，基于各个第一深层特征信息进行超图构建，确定构建出的目标超图。
87.其中，超图网络模型可以包括超图构建子模型和第二信息聚合子模型。
88.具体地，如图4(a)所示，超图构建子模型可以基于输入的各个第一深层特征信息，实时构建出用于表征各个局部图像块之间相关性的目标超图。在图4(a)的目标超图中，各个黑色小方块对应的局部图像块之间具有相关性。黑色小方块对应的局部图像块与白色小方块对应的局部图像块之间不具有相关性。
89.示例性地，超图构建子模型基于各个第一深层特征信息进行超图构建，确定构建出的目标超图，可以包括：将每个局部图像块作为一个中心节点；基于每个中心节点对应的第一深层特征信息，确定每个中心节点对应的一阶视觉子超图；将各个一阶视觉子超图进行合成，获得构建出的目标超图。
90.具体地，目标超图可以由建立在视觉空间的各个视觉子超图组成。在视觉空间中，将每个局部图像块作为一个中心节点，并基于每个中心节点对应的第一深层特征信息，确定每两个中心节点之间的视觉相似度。例如，可以基于每两个中心节点对应的第一深层特征信息，确定每两个中心节点之间的欧式距离，从而利用每两个中心节点之间的欧式距离表征相应的视觉相似度。基于各个视觉相似度和预设一阶邻居节点数量k，确定每个中心节点对应的各个一阶邻居节点。例如，针对每个中心节点而言，可以将该中心节点与其他中心节点之间的视觉相似度进行降序排列，并将排列后的位于前预设一阶邻居节点数量k的各个中心节点作为该中心节点对应的k个近邻，即各个一阶邻居节点。将该中心节点与它的各个一阶邻居节点进行连接，生成一条超边，获得该中心节点对应的一阶视觉子超图，即表型子超图。基于每条超边所连接的每两个中心节点所对应的视觉相似度，比如欧式距离赋予每条超边的权重。通过基于每条超边的权重，将各个中心节点对应的各个一阶视觉子超图合成为一个目标超图，从而构建出目标超图，即g＝(v,e)，其中，v代表顶点集，总共有n个节点，e代表超边集，总共n条超边。
91.例如，对于超图g，顶点和超边的相关性可以用一个|v|
×
|e|的关联矩阵h来进行表征，如果v∈e，那么h(v,e)＝1，否则h(v,e)＝0。将每条超边e的权重表示为w(e)，一个顶点v∈v的度d(v)＝∑
e∈e
w(e)h(v,e)，一条超边e∈e的度δ(e)＝∑
v∈v
h(v,e)，获得目标矩阵从而可以得到标准超图拉普拉斯算子δ＝i-θ。其中dv是包含节点度的对角阵，de是超边度的对角矩阵，w是超边权重对角矩阵。
92.s370、将目标超图和各个第一深层特征信息输入第二信息聚合子模型中，基于目标超图和各个第一深层特征信息进行信息聚合，确定每个局部图像块对应的第二深层特征信息并输出。
93.具体地，如图4(a)所示，第二信息聚合子模型可以通过谱卷积操作，对输入的目标超图和各个第一深层特征信息进行信息传递聚合，确定出每个局部图像块对应的第二深层特征信息并进行输出。
94.示例性地，第二信息聚合子模型可以包括第二预设数量的谱卷积层；s370可以包括：将目标超图和各个第一深层特征信息输入至第一个谱卷积层，并将目标超图和第一个谱卷积层输出的特征信息输入至下一个谱卷积层；基于最后一个谱卷积层的输出，确定每个局部图像块对应的第二深层特征信息。
95.其中，谱卷积层对应的第二预设数量可以为2层或者3层。对于深层特征信息的聚合，2层的谱卷积层和3层的谱卷积层的性能相似，为了简化模型，从而可以利用具有2层的谱卷积层进行深层特征信息的聚合。
96.具体地，若存在2层的谱卷积层，则可以将各个第一深层特征信息组成深层特征信息矩阵，并将目标超图和深层特征信息矩阵输入至第一个谱卷积层，并将目标超图和第一个谱卷积层输出的深层特征信息矩阵输入至第二个谱卷积层，对第二个谱卷积层输出的深层特征信息矩阵进行拆分，获得每个局部图像块对应的第二深层特征信息。
97.例如，基于超图拉普拉斯，在目标超图和第一深层特征信息上的谱卷积操作可以为：其中，是第k层输入的深层特征信息矩阵，wk是第二信息聚合子模型的第k层权重；是第k层输出的深层特征信息矩阵，即第k 1层输入的深层
特征信息矩阵；σ为激活函数。
98.s380、根据预设生存预测模型、各个第二浅层特征信息和各个第二深层特征信息，确定目标患者对应的生存预测结果。
99.本实施例的技术方案，通过利用简单图构建子模型构建出目标简单图，并利用第一信息聚合子模型对目标简单图和各个第一浅层特征信息进行信息聚合，获得聚合后的第二浅层特征信息，从而可以提高浅层特征信息的聚合效果。通过利用超图构建子模型构建出目标超图，并利用第二信息聚合子模型对目标超图和各个第一深层特征信息进行信息聚合，获得聚合后的第二深层特征信息，从而可以提高深层特征信息的聚合效果。
100.实施例三
101.图5为本发明实施例三提供的一种生存预测方法的流程图，本实施例在上述实施例的基础上，对“将各个第一浅层特征信息输入简单图构建子模型中，基于各个第一浅层特征信息进行简单图构建，确定构建出的目标简单图”进行了优化，并在此基础上，还对“将各个第一深层特征信息输入超图构建子模型中，基于各个第一深层特征信息进行超图构建，确定构建出的目标超图”进行了优化，其中与上述各实施例相同或相应的术语的解释在此不再赘述。
102.参见图5，本实施例提供的生存预测方法具体包括以下步骤：
103.s510、获取目标患者的全视野数字切片图像。
104.s520、对全视野数字切片图像进行采样，获得各个局部图像块。
105.s530、对每个局部图像块进行特征提取，确定每个局部图像块对应的第一浅层特征信息和第一深层特征信息。
106.s540、获取每个局部图像块在全视野数字切片图像中的位置信息。
107.具体地，可以基于每个局部图像块的采样位置，获得每个局部图像块在全视野数字切片图像中的位置信息，比如每个局部图像块对应的位置坐标。
108.s550、将各个第一浅层特征信息和各个位置信息输入简单图构建子模型中，基于各个第一浅层特征信息和各个位置信息进行简单图构建，确定构建出的目标简单图。
109.具体地，简单图构建子模型可以基于各个第一浅层特征信息在视觉空间中进行视觉子图(即表型子图)的构建，并基于各个位置信息在位置空间中进行位置子图(即拓扑子图)的构建，从而可以提高目标简单图构建的准确性，进一步提高浅层特征信息的聚合效果。
110.示例性地，s550可以包括：将每个局部图像块作为一个节点；基于每个节点对应的第一浅层特征信息，确定每个节点对应的一阶视觉子图和二阶视觉子图；基于每个节点对应的位置信息，确定每个节点对应的一阶位置子图和二阶位置子图；将各个一阶视觉子图、各个二阶视觉子图、各个一阶位置子图、各个二阶位置子图进行合成，获得构建出的目标简单图。
111.具体地，在视觉空间中，对每个节点对应的一阶视觉子图和二阶视觉子图的构建过程可参见上述实施例的相关描述，此处不再赘述。示例性地，基于每个节点对应的第一浅层特征信息，确定每个节点对应的一阶视觉子图和二阶视觉子图，可以包括：基于每个节点对应的第一浅层特征信息，确定每两个节点之间的视觉相似度；基于视觉相似度和预设一阶邻居节点数量，确定每个节点对应的各个一阶邻居节点，并将每个节点与相应的每个一
阶邻居节点连接一条边，获得每个节点对应的一阶视觉子图；基于各个一阶视觉子图，确定每个节点对应的二阶视觉子图。
112.类似地，在位置空间中，可以基于每个节点对应的位置信息，确定每两个节点之间的实际距离，并基于各个实际距离和预设一阶邻居节点数量k，确定每个节点对应的各个一阶邻居节点。例如，针对每个节点而言，可以将该节点与其他节点之间的实际距离进行升序排列，并将排列后的位于前预设一阶邻居节点数量k的各个节点作为该节点对应的k个近邻，即各个一阶邻居节点，即1-hop节点。将该节点与相应的每个一阶邻居节点连接一条边，获得该节点对应的一阶位置子图，即基于1-hop关系的拓扑子图。基于该节点对应的每个一阶邻居节点所对应的一阶邻居节点，确定该节点对应的各个二阶邻居节点，即2-hop节点。基于各个二阶邻居节点，可以获得该节点对应的二阶位置子图，即基于2-hop关系的拓扑子图。基于每条边所连接的两个节点对应的实际距离赋予每条边的权重。比如，一阶位置子图中的边权重大于二阶位置子图中的边权重。一阶视觉子图中的边权重大于一阶位置子图中的边权重。通过基于每条边的权重，将各个节点对应的各个一阶视觉子图、各个二阶视觉子图、各个一阶位置子图、各个二阶位置子图合成为一个目标简单图，从而构建了多hop的且包括视觉关系和位置关系的目标简单图。
113.s560、将目标简单图和各个第一浅层特征信息输入第一信息聚合子模型中，基于目标简单图和各个第一浅层特征信息进行信息聚合，确定每个局部图像块对应的第二浅层特征信息并输出。
114.s570、将各个第一深层特征信息和各个位置信息输入超图构建子模型中，基于各个第一深层特征信息和各个位置信息进行超图构建，确定构建出的目标超图。
115.具体地，超图构建子模型可以基于各个第一深层特征信息在视觉空间中进行视觉子图(即表型子图)的构建，并基于各个位置信息在位置空间中进行位置子图(即拓扑子图)的构建，从而可以提高目标超图构建的准确性，进一步提高浅层特征信息的聚合效果。
116.示例性地，s570可以包括：将每个局部图像块作为一个中心节点；基于每个中心节点对应的第一深层特征信息，确定每个中心节点对应的一阶视觉子超图；基于每个中心节点对应的位置信息，确定每个中心节点对应的一阶位置子超图；将各个一阶视觉子超图和各个一阶位置子超图进行合成，获得构建出的目标超图。
117.具体地，在视觉空间中，对每个中心节点对应的一阶视觉子超图的构建过程可参见上述实施例的相关描述，此处不再赘述。示例性地，基于每个中心节点对应的第一深层特征信息，确定每个中心节点对应的一阶视觉子超图，包括：基于每个中心节点对应的第一深层特征信息，确定每两个中心节点之间的视觉相似度；基于视觉相似度和预设一阶邻居节点数量，确定每个中心节点对应的各个一阶邻居节点，并将每个中心节点与相应的各个一阶邻居节点连接一条超边，获得每个中心节点对应的一阶视觉子超图。
118.类似地，在位置空间中，可以基于每个中心节点对应的位置信息，确定每两个中心节点之间的实际距离，并基于各个实际距离和预设一阶邻居节点数量k，确定每个中心节点对应的各个一阶邻居节点。例如，针对每个中心节点而言，可以将该中心节点与其他中心节点之间的实际距离进行升序排列，并将排列后的位于前预设一阶邻居节点数量k的各个中心节点作为该中心节点对应的k个近邻，即各个一阶邻居节点，即1-hop节点。将该中心节点与它的各个一阶邻居节点进行连接，生成一条超边，获得该中心节点对应的一阶位置子超
图，即拓扑子超图。基于每条超边所连接的每两个中心节点所对应的实际距离赋予每条超边的权重。比如，一阶视觉子超图中的超边权重大于一阶位置子超图中的超边权重。通过基于每条超边的权重，将各个中心节点对应的各个一阶视觉子图和各个一阶位置子超图成为一个目标超图，从而构建出包括视觉关系和位置关系的目标超图。
119.s580、将目标超图和各个第一深层特征信息输入第二信息聚合子模型中，基于目标超图和各个第一深层特征信息进行信息聚合，确定每个局部图像块对应的第二深层特征信息并输出。
120.s590、根据预设生存预测模型、各个第二浅层特征信息和各个第二深层特征信息，确定目标患者对应的生存预测结果。
121.本实施例的技术方案，通过获取每个局部图像块在全视野数字切片图像中的位置信息，并将各个第一浅层特征信息和各个位置信息输入简单图构建子模型中，使得简单图构建子模型可以基于各个第一浅层特征信息在视觉空间中进行视觉子图的构建，并基于各个位置信息在位置空间中进行位置子图的构建，从而可以提高目标简单图构建的准确性，进一步提高浅层特征信息的聚合效果。通过将各个第一深层特征信息和各个位置信息输入超图构建子模型中，使得超图构建子模型可以基于各个第一深层特征信息在视觉空间中进行视觉子超图的构建，并基于各个位置信息在位置空间中进行位置子超图的构建，从而可以提高目标超图构建的准确性，进一步提高深层特征信息的聚合效果。
122.以下是本发明实施例提供的生存预测装置的实施例，该装置与上述各实施例的生存预测方法属于同一个发明构思，在生存预测装置的实施例中未详尽描述的细节内容，可以参考上述生存预测方法的实施例。
123.实施例四
124.图6为本发明实施例四提供的一种生存预测装置的结构示意图，本实施例可适用于对患者生存的概率进行预测的情况，该装置包括：全视野数字切片图像获取模块610、全视野数字切片图像采样模块620、特征提取模块630、浅层特征信息聚合模块640、深层特征信息聚合模块650和生存预测模块660。
125.其中，全视野数字切片图像获取模块610，用于获取目标患者的全视野数字切片图像；全视野数字切片图像采样模块620，用于对全视野数字切片图像进行采样，获得各个局部图像块；特征提取模块630，用于对每个局部图像块进行特征提取，确定每个局部图像块对应的第一浅层特征信息和第一深层特征信息；浅层特征信息聚合模块640，用于根据第一图网络模型和各个第一浅层特征信息，对各个局部图像块进行信息聚合，确定每个局部图像块对应的第二浅层特征信息；深层特征信息聚合模块650，用于根据第二图网络模型和各个第一深层特征信息，对各个局部图像块进行信息聚合，确定每个局部图像块对应的第二深层特征信息；生存预测模块660，用于根据预设生存预测模型、各个第二浅层特征信息和各个第二深层特征信息，确定目标患者对应的生存预测结果。
126.可选地，特征提取模块630，具体用于：
127.将每个局部图像块输入至预设特征提取模型中进行特征提取；根据预设特征提取模型中的第一残差模块的输出，确定每个局部图像块对应的第一浅层特征信息；根据预设特征提取模型中的第二残差模块的输出，确定每个局部图像块对应的第一深层特征信息；其中，第二残差模块对应的层序数大于第一残差模块对应的层序数。
128.可选地，第一图网络模型为：简单图网络模型；
129.浅层特征信息聚合模块640，具体用于：将各个第一浅层特征信息输入至简单图网络模型进行信息聚合，并根据简单图网络模型的输出，确定每个局部图像块对应的第二浅层特征信息。
130.可选地，简单图网络模型包括：简单图构建子模型和第一信息聚合子模型；
131.浅层特征信息聚合模块640，包括：
132.目标简单图构建单元，用于将各个第一浅层特征信息输入简单图构建子模型中，基于各个第一浅层特征信息进行简单图构建，确定构建出的目标简单图；
133.浅层特征信息聚合单元，用于将目标简单图和各个第一浅层特征信息输入第一信息聚合子模型中，基于目标简单图和各个第一浅层特征信息进行信息聚合，确定每个局部图像块对应的第二浅层特征信息。
134.可选地，目标简单图构建单元，具有用于：
135.获取每个局部图像块在全视野数字切片图像中的位置信息；将各个第一浅层特征信息和各个位置信息输入简单图构建子模型中，基于各个第一浅层特征信息和各个位置信息进行简单图构建，确定构建出的目标简单图。
136.可选地，目标简单图构建单元，具有包括：
137.节点确定子单元，用于将每个局部图像块作为一个节点；
138.视觉子图确定子单元，用于基于每个节点对应的第一浅层特征信息，确定每个节点对应的一阶视觉子图和二阶视觉子图；
139.位置子图确定子单元，用于基于每个节点对应的位置信息，确定每个节点对应的一阶位置子图和二阶位置子图；
140.目标简单图构建子单元，用于将各个一阶视觉子图、各个二阶视觉子图、各个一阶位置子图、各个二阶位置子图进行合成，获得构建出的目标简单图。
141.可选地，视觉子图确定子单元，具体用于：基于每个节点对应的第一浅层特征信息，确定每两个节点之间的视觉相似度；基于视觉相似度和预设一阶邻居节点数量，确定每个节点对应的各个一阶邻居节点，并将每个节点与相应的每个一阶邻居节点连接一条边，获得每个节点对应的一阶视觉子图；基于各个一阶视觉子图，确定每个节点对应的二阶视觉子图。
142.可选地，第一信息聚合子模型包括第一预设数量的谱卷积层；
143.浅层特征信息聚合单元，具体用于：将目标简单图和各个第一浅层特征信息输入至第一个谱卷积层，并将目标简单图和第一个谱卷积层输出的特征信息输入至下一个谱卷积层；基于最后一个谱卷积层的输出，确定每个局部图像块对应的第二浅层特征信息。
144.可选地，第二图网络模型为：超图网络模型；
145.深层特征信息聚合模块650，具体用于：
146.将各个第一深层特征信息输入至超图网络模型进行信息聚合，并根据超图网络模型的输出，确定每个局部图像块对应的第二深层特征信息。
147.可选地，超图网络模型包括：超图构建子模型和第二信息聚合子模型；
148.深层特征信息聚合模块650，包括：
149.目标超图构建单元，用于将各个第一深层特征信息输入超图构建子模型中，基于
各个第一深层特征信息进行超图构建，确定构建出的目标超图；
150.深层特征信息聚合单元，用于将目标超图和各个第一深层特征信息输入第二信息聚合子模型中，基于目标超图和各个第一深层特征信息进行信息聚合，确定每个局部图像块对应的第二深层特征信息。
151.可选地，目标超图构建单元，具体用于：
152.获取每个局部图像块在全视野数字切片图像中的位置信息；将各个第一深层特征信息和各个位置信息输入超图构建子模型中，基于各个第一深层特征信息和各个位置信息进行超图构建，确定构建出的目标超图。
153.可选地，目标超图构建单元，具有包括：
154.中心节点确定子单元，用于将每个局部图像块作为一个中心节点；
155.视觉子超图确定子单元，用于基于每个中心节点对应的第一深层特征信息，确定每个中心节点对应的一阶视觉子超图；
156.位置子超图确定子单元，用于基于每个中心节点对应的位置信息，确定每个中心节点对应的一阶位置子超图；
157.目标超图构建子单元，用于将各个一阶视觉子超图和各个一阶位置子超图进行合成，获得构建出的目标超图。
158.可选地，生存预测模块660，具体用于：
159.对各个第二浅层特征信息进行池化处理，确定目标浅层特征信息；对各个第二深层特征信息进行池化处理，确定目标深层特征信息；将目标浅层特征信息和目标深层特征信息输入至预设生存预测模型中，并根据预设生存预测模型的输出，确定目标患者对应的生存预测结果。
160.本发明实施例所提供的生存预测装置可执行本发明任意实施例所提供的生存预测方法，具备执行生存预测方法相应的功能模块和有益效果。
161.值得注意的是，上述生存预测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
162.实施例五
163.图7为本发明实施例五提供的一种电子设备的结构示意图。图7示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图7显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
164.如图7所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
165.总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
166.电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
167.系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom,dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
168.具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
169.电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
170.处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发实施例所提供的一种生存预测方法步骤，该方法包括：
171.获取目标患者的全视野数字切片图像；
172.对全视野数字切片图像进行采样，获得各个局部图像块；
173.对每个局部图像块进行特征提取，确定每个局部图像块对应的第一浅层特征信息和第一深层特征信息；
174.根据第一图网络模型和各个第一浅层特征信息，对各个局部图像块进行信息聚合，确定每个局部图像块对应的第二浅层特征信息；
175.根据第二图网络模型和各个第一深层特征信息，对各个局部图像块进行信息聚合，确定每个局部图像块对应的第二深层特征信息；
176.根据预设生存预测模型、各个第二浅层特征信息和各个第二深层特征信息，确定目标患者对应的生存预测结果。
177.当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的生存预测方法的技术方案。
178.实施例六
179.本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的生存预测方法步骤，该方法包括：
180.获取目标患者的全视野数字切片图像；
181.对全视野数字切片图像进行采样，获得各个局部图像块；
182.对每个局部图像块进行特征提取，确定每个局部图像块对应的第一浅层特征信息和第一深层特征信息；
183.根据第一图网络模型和各个第一浅层特征信息，对各个局部图像块进行信息聚合，确定每个局部图像块对应的第二浅层特征信息；
184.根据第二图网络模型和各个第一深层特征信息，对各个局部图像块进行信息聚合，确定每个局部图像块对应的第二深层特征信息；
185.根据预设生存预测模型、各个第二浅层特征信息和各个第二深层特征信息，确定目标患者对应的生存预测结果。
186.本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
187.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
188.计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
189.可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
190.本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和
软件的结合。
191.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。