一种基于多模态数据特征的STAS检测方法及系统与流程

本发明属于人工智能和生物信息学，尤其涉及一种基于多模态数据特征的stas检测方法及系统。

背景技术：

1、stas，即指肿瘤细胞（如微乳头簇、实性细胞巢、单个细胞）扩散至主肿瘤边界以外的肺泡腔内。大量研究证实，stas与更高的肿瘤复发率、淋巴结转移风险和更短的总生存期密切相关，是影响肺癌患者预后的重要高风险病理特征。准确检测stas对于指导手术方式（如肺叶切除与亚肺叶切除的选择）、辅助治疗决策以及预后判断具有至关重要的临床意义。

2、尽管stas的诊断具有重大临床价值，但当前的诊断方法，无论是术中的冰冻切片还是术后的永久石蜡包埋切片，均面临显著挑战。冰冻切片是目前术中评估stas的主要手段。然而，由于冷冻过程会导致组织收缩、细胞变形以及微观细节丢失，其诊断准确性受到很大限制。研究显示，与术后石蜡切片相比，冰冻切片检测stas的敏感性仅为44%-55%，准确性约为74%-77%，漏诊率较高。这可能导致术中误判，进而影响最佳手术方案（如切除范围）的制定，增加术后复发风险。石蜡包埋切片是诊断stas的金标准，具有较高的组织学分辨率。然而，其诊断过程高度依赖病理医师的人工阅片，是一项劳动密集型且效率低下的工作。stas的微观形态多样，部分亚型（如单个细胞）在高倍镜下才能识别，加之组织切片质量差异、处理伪影以及不同观察者之间的主观差异，均易导致漏诊或误诊。尤其是在病理医师资源匮乏的地区，这一问题更为突出。

3、为克服上述局限性，研究者开始探索利用深度学习模型自动从医学图像中提取信息以辅助stas诊断。

4、一方面，基于术前计算机断层扫描（ct）的影像组学和深度学习模型展现出预测stas的潜力。研究表明，stas阳性患者的ct图像上更常表现出实性成分比例高、分叶征、毛刺征、血管集束征等特征。一些模型在内部和外部验证集中取得了不错的预测性能。然而，基于ct的方法存在固有缺陷：首先，影像组学特征易受ct扫描参数（如重建内核、层厚）和分割方式的影响，特征稳定性差，跨中心复现性不足。其次，这些高维特征多为数学模型组合，缺乏与肿瘤生物学行为的直接、可解释的关联，临床医生难以理解和信任其预测依据。

5、另一方面，基于术后组织病理学全切片图像（wsi）的深度学习方法也被用于stas的诊断。例如，有研究开发了stasnet模型，在切片级别预测stas的auc在0.72-0.78之间。另有研究提出的vern模型，在内部验证中取得了较高的auc值。这些方法直接分析金标准图像，理论上更具优势。然而，现有的病理图像分析方法多采用多实例学习（mil）范式，主要关注图像块层面的特征，难以有效建模肿瘤微环境（tme）的空间拓扑结构，而这种空间结构信息对于理解肿瘤细胞如何脱离原发灶、在气腔内播散至关重要。此外，单一依赖病理图像进行术后诊断，虽然准确性高于ct，但仍无法满足术前决策的需求。

6、随着多模态数据融合技术的发展，融合ct成像与组织病理学图像信息，有望从宏观（肿瘤形态、边界、与周围结构关系）和微观（细胞形态、组织结构、肿瘤微环境）两个层面全面揭示肿瘤的生物学特性，从而提高对stas这类复杂侵袭行为的识别能力。然而，现有的多模态融合策略（如早期、中期、晚期融合）在处理stas诊断任务时，往往未能充分考虑不同模态内部的多尺度特性（如病理图像的低倍全局特征与高倍细胞特征），也缺乏深度的跨模态交互机制来有效整合ct与病理的互补信息。

7、因此，如何在多模态框架下，有效提取并融合病理图像的多尺度特征、肿瘤微环境的拓扑特征以及ct影像的宏观特征，以实现对stas的精准检测，并提升模型的可解释性和泛化能力，是本技术领域人员亟待解决的问题。

技术实现思路

1、针对现有技术的不足，本发明的目的是提供一种基于多模态数据特征的stas检测方法，以解决现有技术中stas检测方法准确性较低的问题；另外本发明还提供了一种基于多模态数据特征的stas检测系统。

2、为了解决上述技术问题，本发明采用了如下的技术方案：

3、第一方面，本发明提供了一种基于多模态数据特征的stas检测方法，包括以下步骤：

4、s10、对ct（计算机断层扫描）图像和病理wsi（全切片扫描技术）进行预处理，分别提取ct影像特征和多尺度病理图像块特征，并构建tme（肿瘤微环境）的空间拓扑图；

5、s20、通过膨胀注意力机制处理所述多尺度病理图像块特征，提取wsi的多尺度特征表示；

6、s30、对所述tme的空间拓扑图进行图卷积处理，提取所述tme的特征表示；

7、s40、通过注意力机制对所述ct影像特征进行加权，提取所述ct影像的加权特征表示；

8、s50、通过多头注意力机制对所述wsi的多尺度特征表示、tme的特征表示与所述ct影像的加权特征表示进行双向交互式注意力计算，以生成融合特征；

9、s60、基于所述融合特征进行stas状态分类，并利用监督式跨模态对比对齐损失与分类损失的联合优化策略训练多模态多尺度注意力模型（mame模型），训练完成后的模型用于stas检测。

10、进一步的，所述s10的具体步骤如下：

11、s101、使用otsu算法分割wsi的组织区域，并通过滑动窗口策略在至少两个不同倍率下切分为图像块；

12、s102、对切分后的图像块进行颜色归一化处理；

13、s103、利用预训练的病理学基础模型提取每个图像块的特征向量，形成多尺度图像块特征集合；

14、s104、使用细胞分割模型对wsi中的细胞进行分类和分割，并根据细胞的空间位置关系，利用knn近邻算法构建所述tme的空间拓扑图，其中，图的节点表示细胞及其相关特征，边表示细胞间的相互关系。

15、进一步的，所述 s20的具体步骤如下：

16、s201、为输入的多尺度病理图像块特征序列添加可学习的位置偏置，以获得包含位置信息的特征表示；

17、s202、将包含位置信息的特征序列输入堆叠的编码器，每个编码器内部采用膨胀自注意力机制进行处理，所述膨胀自注意力机制通过将长序列分段，在段内进行稠密注意力计算，在段间通过设定的膨胀步长进行稀疏注意力计算；

18、s203、对编码器输出的序列在长度维度上进行全局平均池化，以获得固定维度的wsi多尺度特征表示。

19、进一步的，所述s20还包括步骤s204：通过一个自适应特征融合单元对所述多尺度特征表示和所述tme的特征表示进行加权融合，利用可学习的权重向量动态调整不同尺度或来源的病理特征的贡献，并将加权后的特征进行拼接和非线性映射，输出融合后的病理特征表示。

20、进一步的，所述s30的具体步骤如下：

21、s301、将所述tme的空间拓扑图输入图注意力网络，采用graphsage卷积操作，通过聚合每个节点的邻域节点特征来更新节点的表示；

22、s302、对更新后的节点特征集合进行自适应最大池化操作，将其转换为固定长度的tme特征向量。

23、进一步的，所述s40的具体步骤如下：

24、s401、对输入的ct影像特征计算注意力权重；

25、s402、根据所述注意力权重对所述ct影像特征进行加权求和，生成所述ct影像的加权特征表示。

26、进一步的，所述s50的具体步骤如下：

27、s501、将所述wsi的多尺度特征表示和/或tme的特征表示作为第一模态特征，将所述ct影像的加权特征表示作为第二模态特征；

28、s502、通过多头注意力机制，以第一模态特征作为查询，第二模态特征作为键和值，计算第一模态特征对第二模态特征的注意力表示；

29、s503、以第二模态特征作为查询，第一模态特征作为键和值，计算第二模态特征对第一模态特征的注意力表示；

30、s504、对两个方向的注意力表示进行残差连接和层归一化处理，得到交互增强后的跨模态融合特征。

31、进一步的，所述s60中模型的总损失函数如下：

32、

33、其中，为监督式跨模态对比对齐损失，用于拉近同类样本的跨模态特征距离、推远异类样本距离；为监督二元交叉熵分类损失；为随时间变化的加权系数，用于在训练早期稳定模型。

34、第二方面，本发明还提供了一种基于多模态数据特征的stas检测系统，包括：

35、多模态数据预处理模块，用于对ct图像和wsi进行预处理，分别提取ct影像特征和多尺度病理图像块特征，并构建tme的空间拓扑图；

36、多尺度病理专家模块，连接至所述多模态数据预处理模块，用于通过膨胀注意力机制处理所述多尺度病理图像块特征，提取wsi的多尺度特征表示；

37、图注意力网络模块，连接至所述多模态数据预处理模块，用于对所述tme的空间拓扑图进行图卷积处理，提取tme的特征表示；

38、影像注意力专家模块，连接至所述多模态数据预处理模块，用于通过注意力机制对所述ct影像特征进行加权，提取ct影像的加权特征表示；

39、跨模态双向注意力融合模块，分别连接至所述多尺度病理专家模块、所述图注意力网络模块和所述影像注意力专家模块，用于通过多头注意力机制对所述wsi的多尺度特征表示、tme的特征表示与所述ct影像的加权特征表示进行双向交互式注意力计算，以生成融合特征；

40、分类与优化模块，连接至所述跨模态双向注意力融合模块，用于基于所述融合特征进行stas状态分类，并利用监督式跨模态对比对齐损失与分类损失的联合优化策略来训练整个系统。

41、本发明提供的基于多模态数据特征的stas检测方法及系统与现有技术相比，至少具有如下有益效果：

42、现有技术中stas检测方法准确性较低。本发明通过融合ct影像的宏观信息与病理图像的微观信息，结合多尺度特征提取和深度跨模态交互机制，显著提高了stas诊断的准确性、鲁棒性和可解释性，为肺癌的精准诊疗提供了有力支持。本发明可适应不同医疗中心的数据分布差异，具有良好的跨中心、跨设备、跨人群的普适性，为临床推广应用奠定了坚实基础。本发明通过多个创新性模块协同工作，多尺度病理专家模块采用膨胀自注意力机制，有效解决了wsi长序列数据处理中的计算复杂度问题，同时保留了病理图像在不同倍率下的全局与局部特征，更贴近病理医生的实际诊断思维，图注意力网络模块首次将tme的空间拓扑结构引入stas诊断，通过图神经网络建模细胞间的空间关系和相互作用，挖掘了传统方法难以捕捉的微环境特征，为理解肿瘤侵袭行为提供了新的技术视角，跨模态双向注意力融合模块通过多头注意力实现ct与病理特征的双向交互，使两种模态的信息能够相互增强、互为补充，生成信息量更丰富的融合表示，避免了传统融合方法中模态信息简单叠加或丢失的问题，影像注意力专家模块能够输出每个ct特征的注意力权重，跨模态双向注意力机制可提供模态间的关注关系，使模型的决策过程具有可解释性，增强了临床医生的信任度和采纳意愿。本发明提出的监督式跨模态对比对齐损失与二元交叉熵分类损失的联合优化策略，通过infonce损失函数拉近同类跨模态样本的特征表示，推远异类样本，使ct特征和病理特征在公共语义空间内对齐，增强了跨模态特征的一致性和区分度，采用分段升温策略（λ(t)从0逐渐增至目标值），使模型在训练初期优先学习分类边界，后期逐步强化跨模态对齐，避免了早期过强约束导致的收敛不稳或表示坍缩问题。