基于组织病理学图像的局限期小细胞肺癌脑转移风险预测方法、装置、设备和介质

本发明涉及医学图像处理，尤其涉及一种基于组织病理学图像的局限期小细胞肺癌脑转移风险预测方法、装置、设备和介质。

背景技术：

1、小细胞肺癌（sclc）是一种高度侵袭性的神经内分泌恶性肿瘤，约占所有肺癌病例的15%。sclc的特点是生长迅速、早期转移以及预后不良。尽管初期对含铂化疗和放疗的缓解率很高，但疾病复发十分常见，其中脑部是临床上影响最严重的转移部位之一。脑转移（bm）显著恶化了生存期，并导致认知能力下降和功能障碍。脑转移通常在复发时才被诊断出来，此时治疗手段有限且预后极差。因此，对脑转移进行有效的预防和早期风险分层对于改善sclc的长期管理仍然至关重要。

2、历史上，预防性脑照射（pci）一直被用作对初始治疗有反应的局限期小细胞肺癌（ls-sclc）患者的颅内预防策略。荟萃分析的证据表明，pci可将脑转移的累积发生率从约58.6%降至33.3%，三年生存率也相应从15.3%提高至20.7%。另一项汇集了28个回顾性研究的分析表明，与未进行pci相比，pci具有显著的益处，pci组的中位生存期为27.8个月，而未进行pci组为18.8个月。然而，pci也与临床相关的毒性（包括认知障碍和疲劳）有关，这使其获益-风险特征变得复杂。

3、在现代mri监测时代，pci的作用越来越趋向于个体化，特别是考虑到神经毒性问题、基线脑转移风险的异质性以及监测策略的不断发展。目前的pci选择在很大程度上仍然基于临床病理因素和医患讨论，而不是基于对未来脑转移风险的个体化预测。目前的成像方式，如磁共振成像（mri）和计算机断层扫描（ct），主要用于检测已经存在的颅内疾病，而不是主动评估未来的脑转移风险。因此，在ls-sclc中，需要更准确且临床实用的方法来对脑转移风险进行分层，并为个体化的pci风险讨论提供信息。

4、近年来，基于深度学习的病理全切片图像分析方法在肿瘤诊断和预后预测领域取得了显著进展。然而，现有基于全切片图像的深度学习预测方法多采用多实例学习框架，将全切片图像视为相互独立的图像块的无序集合，通过注意力机制或池化策略聚合各图像块的特征以进行切片级预测。该类方法存在以下不足：其一，多实例学习框架忽略了全切片图像中图像块之间的空间位置关系和相邻病理区域之间的组织学连续性，导致肿瘤细胞密集区、间质激活区、免疫浸润区及坏死区之间的远距离空间关联信息丢失，限制了模型对肿瘤整体空间异质性的建模能力；其二，现有方法采用的transformer架构虽能捕获全局上下文信息，但其注意力机制的计算复杂度随图像块数量的增加呈平方级增长，难以高效处理包含数千至数万个有效图像块的全切片图像序列，在超长序列建模中存在显存消耗过高和注意力稀释问题；其三，已有方法均未针对局限期小细胞肺癌脑转移风险预测这一特定临床场景设计，缺乏从全切片图像中有效提取与脑转移发生相关的组织形态学表征的技术手段，无法为pci个体化决策提供可靠的风险分层依据。其四，现有方法通常仅给出切片级风险概率或基于注意力权重的粗粒度热图，缺少能够同时连接图像块贡献度、组织形态类别及其在全切片中的空间位置的解释链路，难以将模型输出还原为可由病理医师核验的组织学证据，也难以定量比较不同组织微环境成分对脑转移风险预测的正向或负向贡献。

技术实现思路

1、本发明提供一种基于组织病理学图像的局限期小细胞肺癌脑转移风险预测方法、装置、设备和介质，通过对全切片图像进行预处理和有效图像块筛选，利用预训练病理表征模型提取各图像块的高维形态学特征；根据图像块在全切片中的二维空间坐标，按照预设空间扫描规则构建具有空间连续性的图像块特征序列，有效保留了组织区域之间的空间邻近性和病理演化关系；在此基础上，通过线性投影层将各特征向量映射至统一的隐藏特征空间，并融合空间位置编码和组织簇编码以增强位置感知能力；随后引入对角结构化状态空间模型即s4d模块，通过状态空间方程对图像块特征序列进行长程依赖建模，利用其线性计算复杂度高效捕获远距离病理区域之间的协同关系；最后通过残差融合、多实例聚合及分类预测器输出脑转移风险预测概率，为局限期小细胞肺癌患者的脑转移风险评估和pci个体化决策提供客观、可靠的量化依据。

2、进一步地，本发明在风险预测模型之外设置多层级可解释性分析链路：以脑转移风险预测模型的目标输出为解释对象，通过积分梯度沿基线特征序列至输入特征序列的插值路径计算各图像块的有符号特征归因值；基于图像块的高维形态学特征进行无监督聚类，形成具有相近组织形态的组织病理学集群；将图像块归因值、组织病理学集群标签及二维空间坐标进行联合映射，生成全切片风险贡献热图、组织病理学集群贡献谱及代表性组织区域。由此将单一的风险概率转化为图像块级空间定位、组织簇级形态语义和全切片级定量汇总相结合的解释结果，使模型预测依据能够被病理医师复核。

3、第一方面，本发明提供一种基于组织病理学图像的局限期小细胞肺癌脑转移风险预测方法，所述方法包括：

4、获取局限期小细胞肺癌患者的经染色的病理全切片图像，并对所述全切片图像进行图像块划分及组织区域检测，根据检测结果剔除无效图像块，得到由多个有效图像块构成的有效图像块集合；

5、将所述有效图像块集合中的每个有效图像块输入预训练病理表征模型，提取每个有效图像块的高维形态学特征向量，得到所述全切片图像对应的特征向量集合；

6、根据每个有效图像块在所述全切片图像中的二维空间坐标，按照预设空间扫描规则对所述特征向量集合中的各高维形态学特征向量进行排序，构建具有空间连续性的图像块特征序列；

7、将所述图像块特征序列中的每个高维形态学特征向量依次输入线性投影层进行线性投影，并将线性投影后的特征与对应的空间位置编码和组织簇编码进行融合，得到位置增强后的序列特征；

8、将所述位置增强后的序列特征输入s4d模块，通过状态空间方程进行长程依赖建模，得到所述s4d模块输出的每个图像块对应的输出表征；

9、将所述s4d模块输出的每个图像块对应的输出表征，与对应的线性投影后的特征输入残差融合层进行残差融合并归一化，得到长程依赖增强后的图像块表征；

10、将所有长程依赖增强后的图像块表征聚合为全切片级表征，并将所述全切片级表征输入分类预测器，得到脑转移风险预测概率。

11、在一种可能的设计中，所述预设空间扫描规则包括行优先扫描、z-order曲线、hilbert曲线或基于组织连通区域的局部邻域扫描方式。

12、在一种可能的设计中，将所述图像块特征序列中的每个高维形态学特征向量依次输入线性投影层进行线性投影，并将线性投影后的特征与对应的空间位置编码和组织簇编码进行融合，得到位置增强后的序列特征，具体包括：

13、根据如下公式对第个高维形态学特征向量进行线性投影和归一化处理，将其映射至统一的隐藏特征空间，得到投影特征：

14、

15、其中，为第个图像块的高维形态学特征向量，和分别为可学习的投影矩阵和偏置项，为第个图像块的投影特征；

16、根据如下公式将所述投影特征与对应的空间位置编码和组织簇编码进行融合，得到位置增强后的序列特征：

17、

18、其中，为第个图像块的空间位置编码，为组织簇编码，为第个图像块的位置增强后的序列特征。

19、在一种可能的设计中，将所述位置增强后的序列特征输入s4d模块，通过状态空间方程进行长程依赖建模，得到所述s4d模块输出的每个图像块对应的输出表征，具体包括：

20、基于所述s4d模块，通过以下状态空间方程对输入序列进行建模：

21、

22、其中，表示第个图像块的位置增强后的序列特征，表示当前隐藏状态，表示上一隐藏状态，表示s4d模块输出的第个图像块的输出表征，、、、为可学习参数矩阵；

23、所述可学习参数矩阵为对角形式，利用快速傅里叶变换将递归状态更新转化为可并行计算的一维卷积。

24、在一种可能的设计中，所述长程依赖增强后的图像块表征通过如下公式确定：

25、

26、其中，为s4d模块输出的第个图像块的输出表征，为第个图像块的位置增强后的序列特征，为第个图像块的长程依赖增强后的图像块表征。

27、在一种可能的设计中，将所有长程依赖增强后的图像块表征聚合为全切片级表征，并将所述全切片级表征输入分类预测器，得到脑转移风险预测概率，具体包括：

28、根据如下公式对所有长程依赖增强后的图像块表征进行最大池化操作，得到全切片级表征：

29、

30、其中，

n为有效图像块的数量，、和为第1个、第2个和第

n个图像块的长程依赖增强后的图像块表征，为全切片级表征；

31、根据下式将所述全切片级表征输入分类预测器，经sigmoid函数处理，得到脑转移风险预测概率：

32、

33、其中，和为可学习的分类参数，为sigmoid函数，为脑转移风险预测概率。

34、在一种可能的设计中，所述方法还包括构建脑转移风险预测模型；

35、所述脑转移风险预测模型包括依次连接的线性投影层、s4d模块、残差融合层和分类预测器；

36、以历史局限期小细胞肺癌患者的病理全切片图像经预处理及预训练病理表征模型提取后得到的图像块特征序列作为训练样本，以是否发生放射学确认的脑转移作为监督标签，根据下式构建二分类交叉熵损失函数：

37、

38、其中，为是否发生放射学确认的脑转移的真实标签，为脑转移风险预测模型预测的脑转移风险概率；

39、通过反向传播对所述线性投影层、所述s4d模块、所述残差融合层及所述分类预测器中的可学习参数进行端到端的联合优化，以最小化所述损失函数，直至模型收敛，完成对所述脑转移风险预测模型的训练；

40、将待预测的局限期小细胞肺癌患者的病理全切片图像经预处理及预训练病理表征模型提取后得到的图像块特征序列输入训练后的所述脑转移风险预测模型，输出对应的脑转移风险预测概率。

41、在一种可能的设计中，在得到所述脑转移风险预测概率后，所述方法还包括对风险预测结果进行组织病理学可解释性分析。所述可解释性分析不改变训练后的脑转移风险预测模型参数，而是基于模型输入特征、目标风险输出及图像块空间坐标构建预测后的解释性处理链路。

42、具体地，将由n个有效图像块特征构成的输入特征序列记为x，将与x维度相同的基线特征序列记为x′，并将脑转移风险预测模型针对目标类别的输出函数记为f。优选地，所述基线特征序列为零向量序列，或者为根据低风险参考样本确定的参考特征序列。

43、

44、其中，表示第i个有效图像块第j维特征对应的积分梯度归因值，和分别表示输入特征和基线特征，α表示插值系数。实际计算时，在0至1之间设置多个离散插值步长，对各插值点的梯度进行数值积分。

45、

46、其中，表示第i个有效图像块的有符号归因分数；为正时表示该图像块对高脑转移风险输出具有促进贡献，为负时表示该图像块对低风险输出具有支持贡献。还可通过各维归因值的l1范数或l2范数确定不区分方向的贡献强度。

47、进一步地，基于各有效图像块的高维形态学特征向量构建近邻关系，并采用基于k近邻图的无监督聚类方法将所述有效图像块划分为k个组织病理学集群。所述k的取值可通过使calinski-harabasz指数增大且davies-bouldin指数减小的组合准则确定；在一个具体实施方式中，k取12。

48、

49、其中，表示第i个有效图像块所属的组织病理学集群，表示第k个组织病理学集群的平均归因贡献度，表示该组织病理学集群在当前全切片图像中的图像块占比，为示性函数。还可根据正向归因值之和、负向归因值之和及其归一化比例分别构建高风险贡献谱和低风险支持谱。

50、根据各有效图像块在病理全切片图像中的二维空间坐标，将归因分数和组织病理学集群标签映射回原始全切片图像，生成风险贡献热图、组织病理学集群空间分布图以及二者的叠加图；并根据归因贡献度对图像块和组织病理学集群进行排序，选取代表性图像块供病理学复核。

51、所述可解释性结果至少包括脑转移风险预测概率、风险等级、正向贡献度最高的组织病理学集群、负向贡献度最低的组织病理学集群、各集群的图像块占比、代表性组织区域及其空间坐标。优选地，还可将组织病理学集群经病理医师注释为肿瘤高细胞密度、核拥挤与多形性、有丝分裂活跃、间质激活、免疫细胞浸润、坏死、肺泡结构或支气管上皮等组织形态类型。

52、在具有蛋白质组学或其他分子组学数据的实施方式中，可进一步以患者为单位构建组织病理学集群比例矩阵，并计算所述比例矩阵与功能通路评分、肿瘤微环境特征评分或分子表达特征之间的相关性，以验证风险相关组织形态的生物学一致性。所述分子组学分析用于对预测结果进行外部生物学解释，不作为脑转移风险预测模型的必要输入。

53、在一种可能的设计中，在得到所述脑转移风险预测概率后，所述方法还包括：

54、以所述脑转移风险预测概率对应的目标输出为待解释输出，设置与所述图像块特征序列维度相同的基线特征序列，并在所述基线特征序列与输入的图像块特征序列之间生成多个插值特征序列；

55、分别计算所述目标输出相对于各插值特征序列中每个图像块特征的梯度，并沿插值路径对所述梯度进行积分，得到每个有效图像块的特征归因值；

56、根据各有效图像块的特征归因值及其在所述全切片图像中的二维空间坐标，生成表征不同组织区域对脑转移风险预测贡献的全切片风险贡献热图。

57、在一种可能的设计中，所述方法还包括：基于各有效图像块的高维形态学特征向量进行无监督聚类，形成多个组织病理学集群；将每个有效图像块的特征归因值映射至其所属的组织病理学集群，计算各组织病理学集群的归因贡献度和图像块占比；其中，所述组织病理学集群的数量根据calinski-harabasz指数和davies-bouldin指数中的至少一种确定。

58、在一种可能的设计中，基于所述全切片风险贡献热图、各组织病理学集群的归因贡献度及图像块占比生成可解释性结果，所述可解释性结果包括脑转移风险预测概率、正向贡献度最高和/或负向贡献度最低的组织病理学集群、各组织病理学集群的代表性图像块、空间分布区域及定量贡献信息。

59、第二方面，本发明提供一种基于组织病理学图像的局限期小细胞肺癌脑转移风险预测装置，所述装置包括：

60、区域检测模块，被配置为获取局限期小细胞肺癌患者的经染色的病理全切片图像，并对所述全切片图像进行图像块划分及组织区域检测，根据检测结果剔除无效图像块，得到由多个有效图像块构成的有效图像块集合；

61、特征提取模块，被配置为将所述有效图像块集合中的每个有效图像块输入预训练病理表征模型，提取每个有效图像块的高维形态学特征向量，得到所述全切片图像对应的特征向量集合；

62、特征序列构建模块，被配置为根据每个有效图像块在所述全切片图像中的二维空间坐标，按照预设空间扫描规则对所述特征向量集合中的各高维形态学特征向量进行排序，构建具有空间连续性的图像块特征序列；

63、序列特征增强模块，被配置为将所述图像块特征序列中的每个高维形态学特征向量依次输入线性投影层进行线性投影，并将线性投影后的特征与对应的空间位置编码和组织簇编码进行融合，得到位置增强后的序列特征；

64、长程依赖建模模块，被配置为将所述位置增强后的序列特征输入s4d模块，通过状态空间方程进行长程依赖建模，得到所述s4d模块输出的每个图像块对应的输出表征；

65、依赖增强模块，被配置为将所述s4d模块输出的每个图像块对应的输出表征，与对应的线性投影后的特征输入残差融合层进行残差融合并归一化，得到长程依赖增强后的图像块表征；

66、风险预测模块，被配置为将所有长程依赖增强后的图像块表征聚合为全切片级表征，并将所述全切片级表征输入分类预测器，得到脑转移风险预测概率。所述风险预测概率可进一步根据预设阈值或模型校准结果转换为不同风险等级，包括低风险、中风险和高风险等级。

67、在一种可能的设计中，所述装置还包括特征归因模块、组织病理学聚类模块、空间映射模块和解释结果输出模块；

68、所述特征归因模块被配置为以脑转移风险预测概率对应的目标输出为待解释输出，通过积分梯度计算每个有效图像块的特征归因值；

69、所述组织病理学聚类模块被配置为基于各有效图像块的高维形态学特征向量进行无监督聚类，形成多个组织病理学集群，并计算各组织病理学集群的归因贡献度和图像块占比；

70、所述空间映射模块被配置为根据每个有效图像块的二维空间坐标，将特征归因值和组织病理学集群标签映射至病理全切片图像，生成全切片风险贡献热图和组织病理学集群空间分布图；

71、所述解释结果输出模块被配置为输出高风险驱动区域、低风险支持区域、代表性组织病理学集群、代表性图像块及其定量贡献信息。

72、在一种可能的设计中，所述装置还包括：

73、特征归因模块，被配置为以脑转移风险预测概率对应的目标输出为待解释输出，通过积分梯度计算每个有效图像块的特征归因值；

74、组织病理学聚类模块，被配置为基于各有效图像块的高维形态学特征向量进行无监督聚类，形成多个组织病理学集群，并计算各组织病理学集群的归因贡献度和图像块占比；

75、空间映射模块，被配置为根据每个有效图像块的二维空间坐标，将所述特征归因值和组织病理学集群标签映射至病理全切片图像，生成全切片风险贡献热图和组织病理学集群空间分布图；

76、解释结果输出模块，被配置为输出包括高风险驱动区域、低风险支持区域、代表性组织病理学集群及其定量贡献信息的可解释性结果。

77、第三方面，本发明实施例提供一种电子设备，包括：至少一个处理器和存储器；所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的基于组织病理学图像的局限期小细胞肺癌脑转移风险预测方法。

78、第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的基于组织病理学图像的局限期小细胞肺癌脑转移风险预测方法。

79、第五方面，本发明实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时，实现如上第一方面以及第一方面各种可能的设计所述的基于组织病理学图像的局限期小细胞肺癌脑转移风险预测方法。

80、在一种实施方式中，本发明还提供一种基于组织病理学图像的局限期小细胞肺癌脑转移风险预测系统，所述系统可部署于服务器、云计算平台或医疗机构内部计算环境中，包括图像输入模块、风险预测模块、可解释性分析模块以及结果输出模块。用户可通过客户端或医疗机构端上传经数字化扫描获得的病理全切片图像，系统接收所述图像后执行图像预处理、特征提取、风险预测及可解释性分析，并输出包括脑转移风险预测概率、风险等级、风险贡献区域及组织病理学解释信息的分析结果。

81、本发明提供的基于组织病理学图像的局限期小细胞肺癌脑转移风险预测方法、装置、设备和介质，其至少具有如下有益效果：

82、1、本发明提供了一种基于组织病理学图像的局限期小细胞肺癌脑转移风险预测方法，能够从常规获取的h&e染色病理全切片图像中估计局限期小细胞肺癌患者未来的脑转移风险。该方法通过对全切片图像进行预处理和有效图像块筛选，利用预训练病理表征模型提取各图像块的高维形态学特征，并依据图像块在全切片中的二维空间坐标按照预设空间扫描规则构建具有空间连续性的图像块特征序列，有效保留了组织区域之间的空间邻近性和病理演化关系，克服了传统多实例学习框架将全切片视为无序图像块集合而导致空间结构信息丢失的缺陷，使得模型能够学习肿瘤细胞密集区、间质激活区、免疫浸润区和坏死区之间的远距离空间关联。

83、2、本发明引入对角结构化状态空间模型即s4d模块，通过状态空间方程对图像块特征序列进行长程依赖建模，该s4d模块通过状态空间方程对长序列进行建模，其状态矩阵a为对角形式，并利用快速傅里叶变换将递归状态更新转化为可并行计算的一维卷积，能够以线性计算复杂度高效处理包含数千至数万个有效图像块的全切片图像序列，克服了传统transformer架构在超长序列建模中计算复杂度随图像块数量呈平方级增长所导致的显存消耗过高和注意力稀释问题。

84、3、本发明通过线性投影层将各高维形态学特征向量映射至统一的隐藏特征空间，并将投影特征与空间位置编码和组织簇编码进行融合，得到位置增强后的序列特征，使得模型不仅接收图像块的形态学特征，还能感知其在全切片中的空间分布位置，增强了模型从局部病理形态、全局组织结构到临床风险之间关系的建模能力；同时，通过将s4d模块输出的输出表征与线性投影后的特征进行残差融合并归一化，能够在保留图像块原始局部形态信息的同时引入全切片范围内的上下文状态信息，避免模型仅关注局部高风险区域而忽略全局组织结构。

85、4、本发明建立了图像块级、组织病理学集群级和全切片级相互衔接的多层级可解释性机制。通过积分梯度沿基线特征至真实输入特征的连续路径计算图像块归因值，可定量区分促进高风险输出的组织区域和支持低风险输出的组织区域；通过对高维形态学特征进行无监督聚类，将具有相似组织学模式的图像块归并为稳定的组织病理学集群；再结合图像块二维空间坐标生成风险贡献热图、集群空间分布图和集群贡献谱，使模型输出由单一风险概率扩展为可定位、可汇总且可由病理医师复核的组织学证据。

86、5、本发明的可解释性分析能够识别与高风险预测相关的高肿瘤细胞密度、核拥挤与多形性、有丝分裂活跃及成纤维细胞和细胞外基质富集的间质激活区域，并识别与低风险预测相关的相对保留肺组织结构、免疫细胞浸润和坏死区域；同时可通过组织病理学集群与分子通路或肿瘤微环境特征的相关分析，为模型风险分层提供独立的生物学一致性证据，而无需将分子组学数据作为预测模型的必要输入。

87、6、本发明通过以是否发生放射学确认的脑转移作为监督标签，构建二分类交叉熵损失函数，对线性投影层、s4d模块、残差融合层及分类预测器中的可学习参数进行端到端的联合优化，使模型能够共同学习与脑转移风险相关的全切片形态学模式，并且在多个独立队列中展现了稳健的区分性能，具有优异的泛化能力和临床实用性。