一种基于双向选择的病理图像与虚拟分子信息融合分析方法

本发明涉及一种基于双向选择的病理图像与虚拟分子信息融合分析方法，属于计算机视觉和医学图像处理领域，主要涉及全切片病理图像处理、跨模态特征融合和多实例学习分类技术，可应用于肿瘤病理辅助诊断等场景。

背景技术：

1、全切片病理图像能够记录细胞形态、组织结构和空间异质性，是计算病理分析的重要数据来源。由于全切片病理图像具有十亿像素级分辨率，现有计算方法通常先将全切片病理图像划分为多个组织图块，再利用预训练病理编码器获得图块特征，并通过多实例学习完成切片级分类。仅使用病理图像时，模型能够利用直接可见的组织形态，但难以显式利用与肿瘤表型和临床结局相关的基因表达及通路信息。

2、现有多模态病理分析方法通常将全切片病理图像与患者级批量基因组或转录组数据进行融合。患者级批量分子数据将空间异质的组织样本压缩为单一分子向量，缺乏与全切片病理图像中图块级组织区域的空间对应关系。同时，由于额外获取分子检测数据会增加成本和处理时间，临床常规病理图像通常缺少配对分子检测结果。

3、虚拟空间转录组预测模型可以根据病理图像推断空间对应的基因表达谱，从而在无需额外进行分子检测的情况下提供图块级分子信息。然而，虚拟分子预测易受组织形态歧义、数据分布差异以及部分基因表达缺少可观测病理形态表现等因素影响，不同组织区域的分子预测可靠性存在差异。若将虚拟分子表征与病理表征直接拼接或采用对称融合方式，可能导致预测误差传播至以病理形态为基础的表征。此外，现有方法通常未区分虚拟分子信息对图块级表征的注入强度和对切片级聚合位置的影响，难以同时控制分子信息的使用量和作用区域。

4、综上，亟需一种能够以病理形态信息为主体，根据局部跨模态一致程度选择性融合虚拟分子信息，并根据分子信息的形态支持程度引导切片级聚合的病理图像分析方法，以提高病理图像分析的可靠性，为临床病理诊断和精准医学提供技术支持。

技术实现思路

1、本发明提出了一种基于双向选择的病理图像与虚拟分子信息融合分析方法，旨在解决虚拟空间转录组预测可靠性随组织区域变化、直接融合虚拟分子信息易引入噪声并干扰病理表征的问题。

2、本发明的具体步骤如下：

3、s1，将待分析的全切片病理图像划分为多个组织图块；针对各组织图块提取病理表征，并预测虚拟空间转录组表达谱；根据所述虚拟空间转录组表达谱获得与病理表征空间一一对应的虚拟分子表征。

4、s2，获得各组织图块属于多个组织表型概念的软分配权重；根据所述软分配权重，分别对病理表征和虚拟分子表征进行加权聚合，构建病理概念参考库和分子概念参考库。

5、s3，以各组织图块的病理表征为查询，分别计算其与空间配对虚拟分子表征之间的局部兼容度，以及其与分子概念参考库之间的表型条件参考兼容度；根据二者的差异获得病理到分子h2m（histopathology-to-molecular）分子可信度选择分数，并利用所述分子可信度选择分数调节虚拟分子残差向病理表征的注入强度，得到融合图块表征。

6、s4，以各组织图块的虚拟分子表征为查询，分别计算其与空间配对病理表征之间的局部形态兼容度，以及其与病理概念参考库之间的表型条件参考兼容度；根据二者的差异获得分子到病理m2h（molecular-to-histopathology）形态支持选择分数，并将所述形态支持选择分数作为多实例学习聚合的注意力先验。

7、s5，根据任务驱动注意力和所述注意力先验确定各组织图块的归一化注意力权重；利用所述归一化注意力权重对融合图块表征进行加权聚合，获得切片级融合表征；将所述切片级融合表征输入任务分类头，输出全切片病理图像的类别预测结果。

8、其中，对于步骤s1，进一步包括：利用预训练病理编码器提取各组织图块的病理特征；利用虚拟空间转录组预测模型预测同一组织图块的基因表达谱；将所述基因表达谱分别转换为基因级表征和通路活性表征，并融合得到虚拟分子表征。

9、对于步骤s2，进一步包括：利用预训练病理图像-文本编码器计算组织图块与各组织表型概念提示文本之间的相似度，并沿组织表型概念维度进行softmax归一化，得到软分配权重；所述软分配权重表示组织图块属于各组织表型概念的相对程度，取值为0至1，且同一组织图块对应各组织表型概念的软分配权重之和为1。利用所述软分配权重对当前全切片病理图像内的病理表征和虚拟分子表征分别进行加权平均，得到对应组织表型概念的病理概念参考状态和分子概念参考状态；全部所述病理概念参考状态构成病理概念参考库，全部所述分子概念参考状态构成分子概念参考库。

10、对于步骤s3，进一步包括：通过选择器投影网络将病理表征映射为病理查询，将空间配对的虚拟分子表征映射为分子键，并将分子概念参考状态映射为分子参考键；所述选择器空间为用于计算跨模态兼容度的低维特征空间。计算病理查询与空间配对分子键之间的局部兼容度，以及病理查询与各分子参考键之间的概念参考兼容度；根据概念参考兼容度、选择温度和对应组织图块的软分配权重确定表型条件参考检索权重，并对各概念参考兼容度加权求和，得到分子参考兼容度。根据局部兼容度与分子参考兼容度的差异确定h2m分子可信度选择分数；将病理表征与虚拟分子表征融合得到候选多模态表征，并将候选多模态表征相对于病理表征的差值作为候选虚拟分子残差；以病理表征为锚点，根据所述h2m分子可信度选择分数调节候选虚拟分子残差的注入强度，得到融合图块表征。

11、对于步骤s4，进一步包括：通过选择器投影网络将虚拟分子表征映射为分子查询，将空间配对的病理表征映射为病理键，并将病理概念参考状态映射为病理参考键；计算分子查询与空间配对病理键之间的局部形态兼容度，以及分子查询与各病理参考键之间的形态参考兼容度；根据形态参考兼容度、选择温度和对应组织图块的软分配权重确定表型条件参考检索权重，并对各形态参考兼容度加权求和，得到病理参考兼容度；根据局部形态兼容度与病理参考兼容度的差异确定m2h形态支持选择分数。

12、对于步骤s5，进一步包括：通过门控注意力网络，根据融合图块表征计算由分类任务监督的任务驱动注意力对数值；将m2h形态支持选择分数的对数乘以预设注意力先验强度系数后加入所述任务驱动注意力对数值，获得校正注意力对数值；对同一全切片病理图像内各组织图块的校正注意力对数值执行归一化指数运算，得到归一化注意力权重。

13、与现有技术相比，本发明的有益效果如下：

14、（1）本发明以病理表征作为融合锚点，并根据h2m分子可信度选择分数自适应调节虚拟分子残差的注入强度。相较于将两类表征直接拼接或对称融合的方式，可减少区域性虚拟分子预测误差对病理表征的干扰。

15、（2）本发明利用m2h形态支持选择分数对多实例学习注意力进行校正，使获得局部形态支持的虚拟分子信息参与切片级聚合，同时保留由分类任务直接监督的任务驱动注意力。

16、（3）本发明基于组织表型概念软分配构建随当前全切片病理图像自适应变化的双模态概念参考库，使每个组织图块仅需与个概念参考状态交互。当组织图块数量为且时，参考检索的计算复杂度可由全图块两两匹配的降低至。

17、（4）本发明在训练阶段采用概念级跨模态对齐，最小化同一组织表型概念的病理概念参考状态与分子概念参考状态之间的余弦距离。在不要求存在预测噪声的图块级病理表征与虚拟分子表征逐一严格相等的条件下，实现同一组织表型概念的跨模态一致性约束。