一种基于多模态生物可解释AI的免疫检查点抑制剂响应预测系统、方法、装置及存储介质与流程

本发明涉及免疫检查点抑制剂响应预测，尤其涉及一种基于多模态生物可解释ai的免疫检查点抑制剂响应预测系统、方法、装置及存储介质。

背景技术：

1、随着pd-1、pd-l1及ctla-4等免疫检查点抑制剂在实体瘤中的广泛应用，如何准确识别免疫治疗获益患者已成为精准医疗的重要研究方向，目前临床主要依据pd-l1表达水平、肿瘤突变负荷（tmb）、微卫星不稳定性（msi）等生物标志物评估患者对免疫检查点抑制剂的治疗响应，但上述指标通常只能反映肿瘤局部或单一维度的信息，难以全面刻画肿瘤免疫微环境及多源生物学特征之间的复杂关联，因此预测准确率仍存在较大提升空间；

2、另外现有基于人工智能的免疫治疗响应预测方法虽然能够融合部分病理图像或组学信息，但多数采用黑盒深度学习模型，对预测结果缺乏明确的生物学解释，难以揭示影响免疫治疗疗效的关键分子机制及细胞间相互作用关系，导致模型可信度不足，不利于临床辅助决策和个体化治疗方案制定；

3、综合上述情况，本技术提出了一种基于多模态生物可解释ai的免疫检查点抑制剂响应预测系统、方法、装置及存储介质。

技术实现思路

1、基于背景技术存在的技术问题，本发明提出了一种基于多模态生物可解释ai的免疫检查点抑制剂响应预测系统、方法、装置及存储介质。

2、本发明提出的一种基于多模态生物可解释ai的免疫检查点抑制剂响应预测系统，包括多模态数据采集模块、数据质量控制模块、多模态语义编码模块、数字免疫微环境构建模块、生物知识图谱推理模块、跨模态因果解释模块、免疫检查点抑制剂响应预测模块、治疗策略推荐模块以及模型持续学习模块；

3、所述多模态数据采集模块与数据质量控制模块连接，用于采集患者病理图像数据、生物组学数据、医学影像数据及临床数据，并形成统一患者数据集；

4、所述数据质量控制模块与多模态语义编码模块连接，用于完成数据完整性检测、异常值处理、缺失值补全、批次效应校正及数据标准化；

5、所述多模态语义编码模块与数字免疫微环境构建模块和生物知识图谱推理模块连接，用于提取病理图像特征、生物组学特征及临床特征，并建立统一语义特征表示；

6、所述数字免疫微环境构建模块与跨模态因果解释模块连接，用于融合空间组织结构信息、免疫细胞空间分布信息及生物组学信息，构建患者数字免疫微环境模型；

7、所述生物知识图谱推理模块与跨模态因果解释模块连接，用于建立基因、蛋白、信号通路、免疫细胞、药物及临床结局之间的关联网络，并进行知识推理，获得生物关联特征；

8、所述跨模态因果解释模块与免疫检查点抑制剂响应预测模块和疗策略推荐模块连接，用于融合数字免疫微环境特征、生物知识图谱推理结果及多模态语义特征，建立因果推理模型，分析影响免疫检查点抑制剂治疗响应的关键因素及作用路径；

9、所述免疫检查点抑制剂响应预测模块与治疗策略推荐模块和治疗策略推荐模块连接，用于根据因果推理结果预测患者对免疫检查点抑制剂的治疗响应、生存获益及耐药风险；

10、所述治疗策略推荐模块与模型持续学习模块连接，用于根据响应预测结果及知识推理结果生成个体化免疫治疗方案；

11、所述模型持续学习模块用于根据患者治疗结果及随访数据，更新模型参数、生物知识图谱及因果推理模型。

12、优选地，所述多模态数据采集模块采集的多模态数据包括数字病理切片数据、dna测序数据、rna表达数据、蛋白表达数据、空间转录组数据、医学影像数据、临床检查数据及患者随访数据。

13、优选地，所述数字免疫微环境构建模块用于根据多模态语义编码模块输出的病理图像特征、生物组学特征及临床特征，结合免疫细胞空间分布关系及组织微环境信息，构建患者数字免疫微环境模型，并分别计算免疫细胞浸润程度、免疫活化程度、空间异质性及组学表达状态，得到数字免疫微环境指数，其计算公式如下：

14、；

15、其中表示数字免疫微环境指数，表示免疫细胞浸润指数，表示免疫活化指数，表示空间异质性指数，表示组学表达指数，、、、分别表示各指标对应的权重系数，且满足；

16、数字免疫微环境指数作为患者免疫微环境状态的量化表征，并输出至跨模态因果解释模块进行融合分析。

17、优选地，所述生物知识图谱推理模块用于接收多模态语义编码模块输出的多模态语义特征及数字免疫微环境构建模块输出的数字免疫微环境指数，构建包括基因、蛋白、信号通路、免疫细胞、免疫检查点抑制剂及临床结局的异构生物知识图谱，通过计算各节点之间的关联强度，挖掘影响免疫检查点抑制剂治疗响应的潜在生物学关系，并输出生物关联推理特征，其节点关联强度计算公式如下：

18、；

19、其中表示知识图谱中节点i与节点j之间的关联强度，表示两节点之间的生物学相似性，表示两节点在生物调控通路中的关联程度，表示两节点在数字免疫微环境中的共现关联程度，、、分别表示对应指标的权重系数，且满足：，根据所述节点关联强度生成生物关联推理特征，并将所述生物关联推理特征输出至跨模态因果解释模块。

20、优选地，所述跨模态因果解释模块用于接收数字免疫微环境构建模块输出的数字免疫微环境指数及生物知识图谱推理模块输出的生物关联推理特征，对病理图像特征、生物组学特征、数字免疫微环境特征及生物关联推理特征进行跨模态融合，建立多因素因果关联模型，计算各影响因素对免疫检查点抑制剂治疗响应的因果贡献度，并输出关键影响因素及对应的因果解释结果，其因果贡献度计算公式如下：

21、；

22、其中表示第i个影响因素的因果贡献度，表示第i个多模态语义特征的重要性评分，表示第i个数字免疫微环境特征的重要性评分，表示第i个生物关联推理特征的重要性评分，、、分别表示对应特征的融合权重系数，且满足；

23、根据因果贡献度确定影响免疫检查点抑制剂治疗响应的关键驱动因素，并生成对应的因果解释结果，并将所述因果解释结果输出至免疫检查点抑制剂响应预测模块。

24、本发明还提出了一种基于多模态生物可解释ai的免疫检查点抑制剂响应预测方法，包括以下步骤：

25、s1：多模态患者数据汇聚：采集患者病理图像、生物组学数据、医学影像数据及临床数据；

26、s2：多模态数据质量控制：对所采集的数据进行质量检测、标准化处理及多模态对齐；

27、s3：多模态语义特征编码：分别提取病理图像特征、生物组学特征及临床特征，并建立统一语义表示；

28、s4：数字免疫微环境建模：融合空间组织结构信息、免疫细胞空间分布信息及组学信息，构建数字免疫微环境模型；

29、s5：异构生物知识图谱推理：建立生物知识图谱并进行知识推理，获得基因、蛋白、信号通路、免疫细胞及药物之间的生物关联关系；

30、s6：跨模态因果可解释分析：融合数字免疫微环境、生物知识图谱及多模态语义特征，建立跨模态因果推理模型，获得影响免疫检查点抑制剂治疗响应的关键因素及解释路径；

31、s7：免疫检查点抑制剂疗效预测：根据跨模态因果推理结果预测患者对免疫检查点抑制剂治疗的响应情况、生存获益及耐药风险，并生成治疗响应预测结果；

32、s8：模型自学习与持续优化：根据患者实际治疗结果及随访信息，对多模态语义编码模型、生物知识图谱、跨模态因果推理模型及响应预测模型进行参数更新，实现模型持续优化。

33、优选地，所述s4的运行逻辑步骤如下：

34、s401：多模态空间信息映射：接收s3输出的病理图像特征、生物组学特征及临床特征，对病理切片中的肿瘤区域、免疫细胞区域及间质区域进行空间定位，同时将组学表达信息映射至对应组织区域，建立病理空间结构与组学表达之间的对应关系，形成统一的空间生物信息数据集，为数字免疫微环境建模提供基础数据；

35、s402：免疫细胞空间分布分析：根据s401建立的空间生物信息数据集，识别不同类型免疫细胞的位置坐标及分布密度，并结合细胞之间的空间邻近关系计算局部免疫细胞聚集程度，获得免疫细胞空间分布特征，其中，免疫细胞包括cd8⁺t细胞、cd4⁺t细胞、调节性t细胞、nk细胞、树突状细胞及巨噬细胞；

36、局部免疫细胞聚集指数计算公式为：，其中表示免疫细胞浸润指数，表示病理区域内免疫细胞总数，表示第i个免疫细胞与第j个免疫细胞之间的空间邻近权重，表示第j类免疫细胞对应的生物学权重，不同免疫细胞类型具有不同权重；

37、空间邻近权重采用距离衰减方式计算，其计算公式为：，其中表示第i个免疫细胞与第j个免疫细胞之间的欧氏距离，表示空间衰减系数，用于调节邻近细胞之间的影响范围，最终得到整个病理区域的免疫细胞空间分布特征；

38、s403：根据s402获得的免疫细胞空间分布特征，并结合病理组织结构特征及生物组学表达特征，对免疫细胞浸润状态、免疫活化状态、空间异质性状态及组学表达状态进行量化分析，计算数字免疫微环境指数，其计算公式如下：

39、；

40、其中表示数字免疫微环境指数，表示免疫细胞浸润指数，表示免疫活化指数，表示空间异质性指数，表示组学表达指数，、、、分别表示各指标对应的权重系数，且满足；

41、s404：数字免疫微环境模型构建：根据s403计算得到的数字免疫微环境指数，结合免疫细胞空间分布特征及病理组织拓扑关系，构建患者数字免疫微环境模型；数字免疫微环境模型能够反映不同免疫细胞之间的空间互作关系、肿瘤组织与免疫细胞之间的作用关系以及局部免疫微环境状态；

42、s405：数字免疫微环境特征输出：根据s404构建的数字免疫微环境模型，提取患者数字免疫微环境特征向量，并将所述数字免疫微环境特征向量输出至生物知识图谱推理模块，用于后续生物关联关系推理及跨模态因果解释分析。

43、优选地，所述s5的具体逻辑步骤如下：

44、s501：异构生物实体提取：接收s3输出的多模态语义特征及s4输出的数字免疫微环境特征，对患者病理图像、生物组学数据及临床数据中的基因、蛋白、信号通路、免疫细胞、免疫检查点抑制剂及临床结局信息进行统一解析，并分别建立实体节点，形成异构生物实体集合，为生物知识图谱构建提供节点基础；

45、s502：生物知识图谱构建：根据s501获得的异构生物实体集合，以基因调控关系、蛋白相互作用关系、信号通路关系、免疫细胞调控关系及药物作用关系作为实体之间的连接边，构建患者个体化异构生物知识图谱，并结合数字免疫微环境特征对各实体节点进行属性标注，形成包含节点属性及关联关系的知识图谱模型，其各节点之间的关联强度计算公式如下：

46、；

47、其中表示知识图谱中节点i与节点j之间的关联强度，表示两节点之间的生物学相似性，表示两节点在生物调控通路中的关联程度，表示两节点在数字免疫微环境中的共现关联程度，、、分别表示对应指标的权重系数，且满足：；

48、根据上述公式计算各节点之间的综合关联强度，形成知识图谱关系矩阵；

49、s503：根据s502建立的知识图谱关系矩阵，对关联强度高于设定阈值的节点进行多层级关联推理，识别基因、蛋白、信号通路、免疫细胞及免疫检查点抑制剂之间的潜在调控关系，获得影响免疫治疗响应的生物关联路径，并计算各关联路径的可信度，其使用的公式如下：

50、；

51、其中表示生物关联路径可信度，表示路径中相邻两个节点之间的综合关联强度，其取值来源于s502计算得到的关联强度，表示当前关联路径所包含的节点数量，若，则保留该关联路径作为有效生物调控路径，否则剔除该关联路径；

52、s504：关键生物关联特征提取：根据s503得到的生物关联路径，统计各生物实体在全部有效关联路径中的出现频率，并结合关联路径可信度计算各生物实体对免疫检查点抑制剂治疗响应的综合贡献值，其计算公式如下：

53、；

54、其中表示第i个生物实体的综合贡献值，表示第k条有效关联路径的可信度，表示第i个生物实体是否存在于第k条关联路径中，若存在则取1，否则取0，n表示有效关联路径总数；

55、根据综合贡献值由大到小排序，筛选与免疫检查点抑制剂治疗响应关联度较高的关键基因、关键蛋白、关键信号通路及关键免疫细胞，生成生物关联推理特征向量；

56、s505：推理结果输出：将s504生成的生物关联推理特征向量输出至跨模态因果解释模块，并作为跨模态因果解释模型的重要输入，用于计算各生物特征对免疫检查点抑制剂治疗响应的因果贡献度。

57、本发明提出了一种基于多模态生物可解释ai的免疫检查点抑制剂响应预测装置，包括处理器及存储器，所述存储器中存储有计算机程序，计算机程序被处理器执行时，用于实现上述所述的方法。

58、本发明提出了一种计算机可读存储介质，所述计算机程序被处理器执行时，用于实现上述所述的方法。

59、与现有的技术相比，本发明的有益效果是：

60、1、通过融合病理图像、生物组学、医学影像及临床数据等多模态信息，并构建数字免疫微环境模型和异构生物知识图谱，实现对肿瘤免疫微环境及多源生物学特征之间复杂关联关系的综合分析，突破了现有技术仅依赖pd-l1表达、肿瘤突变负荷或微卫星不稳定性等单一生物标志物进行疗效评估的局限，能够更加全面、准确地预测患者对免疫检查点抑制剂的治疗响应，提高预测精度和临床适用性；

61、2、通过建立跨模态因果解释模型，对多模态特征、数字免疫微环境特征及生物知识图谱推理结果进行融合分析，量化影响免疫检查点抑制剂治疗响应的关键驱动因素及作用路径，并生成具有生物学依据的可解释分析结果，克服了现有人工智能预测模型可解释性不足、模型可信度较低的问题，为临床医生提供可靠的疗效预测依据及个体化治疗决策支持，提高了模型的临床应用价值；

62、本发明通过融合病理图像、生物组学、医学影像及临床数据等多模态信息，构建数字免疫微环境模型、生物知识图谱及跨模态因果解释模型，实现对肿瘤免疫微环境、多源生物学特征及其相互作用关系的综合分析，不仅提高了免疫检查点抑制剂治疗响应预测的准确性和可靠性，而且能够识别影响治疗疗效的关键生物学因素及作用机制，增强预测结果的可解释性，为临床个体化免疫治疗方案制定和精准医疗决策提供科学依据。