辅助诊疗信息的生成方法、装置及存储介质与流程

摘要: 本发明涉及人工智能领域,具体而言,涉及一种辅助诊疗信息的生成方法、装置及存储介质。背景技术:1、在临床管理过程中,基于人工智能模型进行预测逐渐被引入医疗决策,以...
辅助诊疗信息的生成方法、装置及存储介质与流程

本发明涉及人工智能领域,具体而言,涉及一种辅助诊疗信息的生成方法、装置及存储介质。

背景技术:

1、在临床管理过程中,基于人工智能模型进行预测逐渐被引入医疗决策,以更加便利地提供辅助诊疗信息。

2、相关技术中,通常人工智能模型仅聚焦于某个阶段下的单一数据模态进行预测,例如,仅分析ct(计算机断层扫描)影像,预测出一个单点解决方案,这种方式因数据片面性容易导致误判,不仅影响了辅助诊疗信息在临床场景中的准确性,而且由于缺乏可解释性容易阻碍临床信任。

3、针对上述辅助诊疗信息的生成准确性较低的问题,目前尚未提出有效的解决方案。

技术实现思路

1、本发明实施例提供了一种辅助诊疗信息的生成方法、装置及存储介质,以至少解决辅助诊疗信息的生成准确性较低的技术问题。

2、为了实现上述目的,根据本技术的一个方面,提供了一种辅助诊疗信息的生成方法,该方法包括:在获得目标对象授权的情况下,获取目标对象在多个诊疗阶段产生的异构多模态临床数据,并从异构多模态临床数据中提取出影像数据及文本数据;将影像数据和文本数据输入诊疗决策模型,并依据诊疗决策模型基于影像数据和文本数据输出辅助诊疗信息,其中,诊疗决策模型是基于多模态训练数据集对视觉语言模型进行训练得到的模型。

3、进一步地,影像数据至少包括第一维度的医学影像,诊疗决策模型包括视觉提取模块、视觉编码器、文本分词器和视觉语言解码器,依据诊疗决策模型基于影像数据和文本数据输出辅助诊疗信息包括:将第一维度的医学影像输入视觉提取模块,利用视觉提取模块从第一维度的医学影像中提取出目标切片序列,其中,所述目标切片序列的维度低于所述第一维度;将目标切片序列输入视觉编码器,利用视觉编码器从目标切片序列中提取出视觉词元信息;将文本数据输入文本分词器,利用文本分词器从文本数据中提取出文本词元信息;将视觉词元信息和文本词元信息输入视觉语言解码器,利用视觉语言解码器通过自回归生成的方式输出辅助诊疗信息。

4、进一步地,利用视觉提取模块从第一维度的医学影像中提取出目标切片序列包括:在视觉提取模块中,利用病灶分割器对第一维度的医学影像进行病灶分割,得到多个病灶结果,其中,病灶结果至少包括病灶坐标和病灶置信度;基于病灶置信度对多个病灶结果进行筛选,得到目标病灶结果;依据病灶坐标确定目标病灶结果的病灶中心,并抽取目标病灶结果的病灶中心所在的图像帧,得到目标切片序列。

5、进一步地,在将影像数据和文本数据输入诊疗决策模型之前,方法还包括:从异构多模态临床数据中提取预设临床特征;依据预设临床特征在病例知识库中进行相似病例检索,得到目标病例日志,其中,病例知识库中包括多个病例日志;依据目标病例日志对文本数据进行补充,得到补充后的文本数据。

6、进一步地,影像数据至少包括第一维度的医学影像,在将影像数据和文本数据输入诊疗决策模型之前,方法还包括:从预设的视觉工具箱调用医学视觉工具,其中,医学视觉工具包括病灶分割器和至少一个医学影像分类器;将第一维度的医学影像输入医学视觉工具,利用医学视觉工具输出影像语义结果;将影像语义结果转换为影像语义文本,并依据影像语义文本对文本数据进行补充,得到补充后的文本数据。

7、进一步地,在依据诊疗决策模型基于影像数据和文本数据输出辅助诊疗信息之后,方法还包括:提取医学视觉工具的影像语义结果及影像语义结果对应的置信度评分,并依据影像语义结果和置信度评分确定工具层解释结果;提取诊疗决策模型中的视觉语言解码器的注意力权重热力图,并在注意力权重热力图中对预设关键区域进行标记处理,将标记处理后的注意力权重热力图确定为影像层解释结果;从辅助诊疗信息中提取自然语言形式的推理链数据,并将推理链数据确定为推理层解释结果;集合工具层解释结果、影像层解释结果、推理层解释结果,得到解释信息,其中,解释信息用于对辅助诊疗信息提供决策解释。

8、进一步地,在依据诊疗决策模型基于影像数据和文本数据输出辅助诊疗信息之后,方法还包括:依据异构多模态临床数据确定临床快照信息,并依据临床快照信息在病例知识库中进行匹配,得到候选病例日志,其中,病例知识库中包括多个病例日志;从辅助诊疗信息中提取第一治疗方案,并从候选病例日志中提取第二治疗方案,并基于第一治疗方案和第二治疗方案生成候选治疗方案集合;依据异构多模态临床数据和候选治疗方案集合生成目标提示词,并将目标提示词输入循证模型,利用循证模型输出目标治疗方案集合,其中,循证模型用于依据临床指南与医学文献对候选治疗方案集合进行交叉比对,并过滤候选治疗方案集合中的风险选项。

9、进一步地,在依据诊疗决策模型基于影像数据和文本数据输出辅助诊疗信息之后,方法还包括:获取辅助诊疗信息对应的临床治疗的临床结果数据;将临床结果数据与异构多模态临床数据进行合并,得到异构多模态更新数据;依据诊疗决策模型基于异构多模态更新数据输出更新后的辅助诊疗信息。

10、为了实现上述目的,根据本技术的另一方面,提供了一种癌症的计算机辅助诊断方法,该方法包括:在获得目标对象授权的情况下,获取目标对象在多个诊疗阶段产生的关于肿瘤的异构多模态临床数据,并从异构多模态临床数据中提取出影像数据及文本数据;将影像数据和文本数据输入诊疗决策模型,并依据诊疗决策模型基于影像数据和文本数据输出辅助诊疗信息,其中,诊疗决策模型是基于多模态训练数据集对视觉语言模型进行训练得到的模型。

11、为了实现上述目的,根据本技术的另一方面,提供了一种肝细胞癌的计算机辅助诊断方法,该方法包括:在获得目标对象授权的情况下,获取目标对象在多个诊疗阶段产生的关于肝脏区域的异构多模态临床数据,并从异构多模态临床数据中提取出影像数据及文本数据;将影像数据和文本数据输入诊疗决策模型,并依据诊疗决策模型基于影像数据和文本数据输出辅助诊疗信息,其中,诊疗决策模型是基于多模态训练数据集对视觉语言模型进行训练得到的模型。

12、为了实现上述目的,根据本技术的另一方面,提供了一种计算机辅助诊断系统,该系统包括客户端和服务端,其中:客户端,用于上传异构多模态临床数据至服务端;服务端,用于在获得目标对象授权的情况下,获取目标对象在多个诊疗阶段产生的异构多模态临床数据,并从异构多模态临床数据中提取出影像数据及文本数据;将影像数据和文本数据输入诊疗决策模型,并依据诊疗决策模型基于影像数据和文本数据输出辅助诊疗信息,其中,诊疗决策模型是基于多模态训练数据集对视觉语言模型进行训练得到的模型。

13、为了实现上述目的,根据本技术的另一方面,提供了一种辅助诊疗信息的生成装置,该装置包括:获取单元,用于在获得目标对象授权的情况下,获取目标对象在多个诊疗阶段产生的异构多模态临床数据,并从异构多模态临床数据中提取出影像数据及文本数据;预测单元,用于将影像数据和文本数据输入诊疗决策模型,并依据诊疗决策模型基于影像数据和文本数据输出辅助诊疗信息,其中,诊疗决策模型是基于多模态训练数据集对视觉语言模型进行训练得到的模型。

14、根据本技术的另一方面,提供了一种计算机可读存储介质,计算机可读存储介质包括存储的程序,其中,在程序运行时控制计算机可读存储介质所在设备执行任意一种辅助诊疗信息的生成方法。

15、根据本技术的另一方面,提供了一种电子设备,包括:一个或多个处理器,存储器,以及一个或多个程序,其中,一个或多个程序被存储在存储器中,并且被配置为由一个或多个处理器执行,一个或多个程序包括用于执行任意一种辅助诊疗信息的生成方法。

16、根据本技术的另一方面,提供了一种计算机程序产品,包括计算机指令,计算机指令被处理器执行时实现上述任意一项的辅助诊疗信息的生成方法的步骤。

17、在本发明实施例中,通过在获得目标对象授权的情况下,获取目标对象在多个诊疗阶段产生的异构多模态临床数据,并从异构多模态临床数据中提取出影像数据及文本数据;将影像数据和文本数据输入诊疗决策模型,并依据诊疗决策模型基于影像数据和文本数据输出辅助诊疗信息,其中,诊疗决策模型是基于多模态训练数据集对视觉语言模型进行训练得到的模型,解决了现有技术中辅助诊疗信息的生成准确性较低的技术问题。

18、通过获取多个诊疗阶段产生的异构多模态临床数据,提供了不同阶段、不同模态的数据基础,进而提取出影像数据和文本数据,并使用基于多模态训练数据集对视觉语言模型进行训练得到的诊疗决策模型进行预测,得到了辅助诊疗信息,实现了跨模态、跨阶段的联合推理,提高了辅助诊疗信息生成的准确性。