基于跨模态持续学习的医学报告生成方法

摘要: 本发明属于医学影像分析,尤其涉及基于跨模态持续学习的医学报告生成方法。背景技术:1、医学报告自动生成是一项重要的跨模态人工智能任务,其目标是从医学影像中自动提取...
基于跨模态持续学习的医学报告生成方法

本发明属于医学影像分析,尤其涉及基于跨模态持续学习的医学报告生成方法。

背景技术:

1、医学报告自动生成是一项重要的跨模态人工智能任务,其目标是从医学影像中自动提取病理相关信息,并生成符合临床规范的诊断文本,从而辅助放射科医生提升诊疗效率与结果一致性。随着医学影像设备的广泛应用,临床场景中的医学影像数据呈现持续、动态增长的特点,因此,如何在不断到达的新数据上实现高效、准确的报告生成,成为智能医疗领域的重要研究方向。

2、尽管现有医学报告生成方法在一定程度上提升了自动化诊断文本生成能力,但仍存在以下技术问题。

3、首先,传统医学报告生成方法通常假设训练数据是静态且完整的,需要在固定数据集上集中训练模型,难以适应真实医疗环境中流式到达的新任务和新数据。在持续接收临床数据的场景下,若重新使用全部历史数据进行训练,将带来较大的时间开销和计算负担;若仅使用新数据进行更新,则容易导致模型遗忘既有知识,产生灾难性遗忘问题。

4、其次,现有医学报告生成模型通常结构较为复杂,视觉特征提取过程缺乏足够的可解释性,难以满足临床应用中对模型透明性和可信性的要求。尤其是在医学场景中,模型不仅需要具备较高的生成性能,还应能够为诊断依据提供一定程度的可解释支撑。

5、此外,现有方法在文本模态与视觉模态之间的语义交互方面仍存在不足,跨模态特征对齐不充分,导致模型对关键病理信息的推理能力和泛化能力受限,从而影响报告生成的临床准确性与语言质量。

6、因此,本发明拟提供一种面向流式医学影像数据的终身可解释医学报告生成方法,以实现高效、稳定且具有可解释性的医学报告自动生成。

技术实现思路

1、本发明的目的在于提供一种基于跨模态持续学习的医学报告生成方法,用以解决上述现有技术中存在的技术问题,实现面向持续到达临床数据的高效医学报告自动生成。首先,针对流式医学数据持续到达的特点,提出一种终身学习机制,使模型在不重复训练历史数据的前提下持续学习新任务,从而降低重复训练的资源消耗并缓解灾难性遗忘问题。其次,设计一种基于kans的可解释视觉特征增强方法,对医学图像进行非线性特征变换,在提升视觉表征能力的同时简化网络结构并增强模型可解释性。此外,构建跨模态交互空间,将文本与视觉特征之间的交互结果作为先验知识嵌入报告生成过程,以增强模型的跨模态语义对齐能力和临床推理能力。

2、本发明采用的技术方案如下:

3、基于跨模态持续学习的医学报告生成方法,包括以下步骤:

4、s1:构建基础学习阶段的医学影像-报告配对训练集,配置视觉编码模块、文本编码模块、跨模态交互模块、报告生成模块以及持续学习模块,对输入医学影像和对应医学报告进行基础训练,获得初始limrg模型;

5、s2:将输入医学影像送入视觉编码模块,提取视觉网格特征和全局视觉特征,并利用kans对所述全局视觉特征进行非线性增强,生成增强后的视觉特征表示;

6、s3:将对应医学报告送入文本编码模块,提取文本嵌入特征,并引入文本记忆单元,通过多头注意力机制对所述文本嵌入特征进行迭代更新,得到增强后的文本特征表示;

7、s4:在跨模态交互模块中构建跨模态空间,使增强后的文本特征与增强后的视觉特征进行交互融合,并将融合结果与原始视觉网格特征进行联合表征,通过报告生成模块解码生成医学报告;

8、s5:在持续学习阶段,当增量医学数据流到达时,基于旧模型的费舍尔信息矩阵和知识蒸馏机制,在不重新训练历史数据的条件下更新词元表与模型参数,并保存更新后的费舍尔信息矩阵和新模型参数,以实现面向流式医学影像数据的持续报告生成。

9、优选的,步骤s1的具体过程如下:

10、s11:采集初始任务的医学影像数据及与其对应的医学诊断报告,构建基础训练集:

11、;

12、其中,表示基础训练集,表示基础训练样本数,表示第个医学影像样本,表示与所述医学影像样本对应的医学报告;

13、s12:配置视觉编码模块、文本编码模块、跨模态交互模块、报告生成模块和持续学习模块,建立用于医学报告生成的基础模型结构,记初始模型为;

14、s13:对基础训练集中的医学影像和医学报告分别进行独立编码,并在训练过程中使文本特征与视觉特征在跨模态空间中进行交互学习;

15、s14:将空间局部视觉特征与全局视觉特征进行融合,并通过报告生成模块生成对应的医学报告,基于报告生成损失对模型参数进行优化,得到初始模型参数:

16、;

17、其中,表示基础学习阶段的报告生成损失,表示求取使目标函数达到最小值时所对应参数取值的优化运算;

18、s15:完成基础训练后,保存基础模型参数以及用于持续学习的费舍尔信息矩阵,为后续增量学习阶段提供约束信息,记为:

19、;

20、其中,表示基础学习阶段训练完成后得到的初始模型参数集合,表示基于初始模型参数计算得到的完整费舍尔信息矩阵,表示矩阵对角化运算,即保留输入矩阵的对角元素并将其余非对角元素置零。

21、优选的,步骤s2的具体过程如下:

22、s21:将输入医学影像送入预训练的卷积神经网络,以提取对应的视觉网格特征:

23、;

24、其中,表示视觉网格特征,表示输入的医学影像;表示预训练的卷积神经网络;

25、s22:对所述视觉网格特征进行平均池化处理,生成全局视觉特征:

26、;

27、其中

, 表示步骤s21提取的视觉网格特征;下标表示位置级的局部视觉特征;表示对输入特征在空间网格维度上进行平均池化的运算;

28、s23:将所述全局视觉特征输入kans模块中,对其执行非线性变换和特征增强处理;对于光滑函数,kans表示为:

29、;

30、其中,表示激活函数,索引表示函数的第个输入变量,索引表示不同的组合方式,表示作用于的外层函数,表示根据全局视觉特征构成的输入特征向量;

31、s24:对kans内部的一元函数进行样条参数化表示,具体为:

32、;;;

33、其中,表示基础函数,表示样条函数,表示b样条基函数,、及均为可训练参数;

34、s25:对输入向量执行kans前向传播,并输出经kans增强后的视觉特征表示:

35、;;

36、其中,表示kans的层数,表示函数复合操作,表示经kans增强后的视觉特征表示,并将所述视觉特征表示作为后续跨模态交互与报告生成的视觉先验信息,表示步骤s22生成的全局视觉特征。

37、优选的,步骤s3的具体过程如下:

38、s31:将输入医学报告送入基于transformer的文本编码器中,提取文本嵌入特征:

39、;

40、其中,表示文本嵌入特征,表示利用所述文本编码器对输入对象进行语义编码和文本嵌入特征提取的运算;

41、s32:构建与特征空间维度一致的文本记忆单元,并将其初始化为单位矩阵:

42、;

43、其中,表示单位矩阵;

44、s33:利用多头注意力机制对所述文本嵌入特征与文本记忆单元进行交互计算,以更新文本记忆信息:

45、;

46、其中,表示步骤s31提取的文本嵌入特征,表示时刻的文本记忆信息,表示依次接收查询;

47、s34:所述多头注意力机制定义为:

48、;;

49、其中,、和分别表示查询、键和值矩阵,为键向量的维度,、、和为可训练参数,表示第个单头缩放点积注意力映射函数,表示归一化指数运算,用于将缩放后的点积结果转换为注意力权重,表示沿特征维度对多个注意力头的输出结果进行拼接的运算;

50、s35:在多个时刻持续迭代所述文本记忆单元,使文本上下文语义信息得到增强,并输出经记忆增强后的文本特征表示,作为后续跨模态交互模块的输入。

51、优选的,步骤s4中具体包括:

52、s41:构建用于融合视觉模态与文本模态信息的跨模态空间,并在训练阶段对所述跨模态空间进行更新;

53、s42:采用多头注意力机制使文本记忆信息与增强后的视觉特征进行特征交互,生成跨模态特征表示:

54、;

55、其中,表示视觉特征与文本记忆信息交互后的融合特征,表示步骤s25得到的经kans模块增强后的视觉特征,表示步骤s33完成预设次数的交互更新后得到的文本记忆信息,表示步骤s34定义的多头注意力映射函数,其三个输入依次为查询矩阵、键矩阵和值矩阵;

56、s43:对跨模态空间进行迭代更新,使其逐步累积视觉信息与文本信息的联合语义知识,更新过程表示为:

57、;

58、其中,表示时刻的跨模态空间状态;在基础训练完成后,将所述跨模态空间固化为先验知识;

59、s44:在报告生成阶段,将固化后的跨模态空间与增强后的视觉特征进行融合,再与原始视觉网格特征进行拼接,形成综合特征表示为:

60、

61、其中,表示由原始视觉网格特征和跨模态视觉增强特征拼接得到的综合特征,并用于后续医学报告生成,表示步骤s25得到的经kans模块增强后的视觉特征;

62、s45:将所述综合特征表示输入基于transformer的报告生成器中,采用自回归解码方式逐词生成医学报告,具体表示为:

63、;

64、其中,表示模型参数,表示时刻预测的词,表示时刻之前已生成的词序列,表示最终生成的完整报告,表示所述完整报告的长度;

65、s46:采用交叉熵损失衡量生成报告与参考报告之间的差异,并据此优化基础学习阶段模型参数,所述交叉熵损失为:

66、;

67、优选的,步骤s5的具体过程如下:

68、s51:在基础训练完成后,保存旧limrg模型参数及其费舍尔信息矩阵的对角元素,用于后续增量学习阶段的参数约束;所述费舍尔信息定义为:

69、;

70、采用经验分布近似为:

71、;

72、仅保留对角项,得到:

73、;

74、其中,表示第个样本,表示样本数量,表示第个模型参数,表示关于模型参数向量计算梯度的运算符,表示在模型参数为的条件下样本的概率或概率密度;

75、s52:当新的增量医学数据到达时,利用旧limrg模型识别增量数据中的新词元,并基于预设频率阈值筛选得到新词集合:

76、;

77、其中,表示基础词表,表示词元在增量数据中的出现频率;

78、s53:将所述新词集合添加至原始词元表末尾,形成更新后的词元表:

79、;

80、并对与词元表相关的权重矩阵进行扩展初始化;对于原始权重矩阵,扩展为:

81、;

82、其中,表示嵌入维度,新增部分初始化为零,表示待添加至原始词元表中的新词集合,表示添加新词后形成的更新词元表;

83、s54:利用费舍尔信息矩阵对旧模型中的重要参数施加正则化约束,以限制关键权重在增量学习过程中的过度变化,从而减轻灾难性遗忘;所述知识正则化损失为:

84、;

85、其中,表示旧limrg模型中第个参数的取值,表示基于旧limrg模型计算得到的费舍尔信息矩阵中与第个模型参数对应的对角元素;

86、s55:利用旧limrg模型作为教师模型,对增量数据生成软标签,并通过知识蒸馏约束新limrg模型的输出分布;所述知识蒸馏损失为:

87、;

88、其中,和分别表示教师模型与学生模型在输出位置处的输出概率分布;

89、s56:对知识正则化损失、知识蒸馏损失以及报告生成损失进行联合优化,更新新limrg模型参数,联合损失函数为:

90、;

91、其中,和为损失权重系数,表示模型参数为时计算得到的报告生成损失,表示步骤s54得到的知识正则化损失,表示知识蒸馏损失;

92、s57:保存更新后的费舍尔信息矩阵和新limrg模型参数,以便在后续新的数据流到达时继续执行持续学习,记为:

93、,

94、其中,表示步骤s56通过最小化联合损失函数得到的新limrg模型参数集合;表示为下一增量学习阶段保存的旧limrg模型参数集合,表示对输入矩阵执行对角化处理;

95、本发明的有益效果包括:

96、首先,本发明提供的面向流式医学影像数据的终身可解释医学报告生成方法,与传统医学报告生成方法通常依赖静态完整数据集并需要对历史数据进行重复训练的技术路线不同,本发明面向真实临床场景中持续、动态到达的医学影像数据进行设计,在持续学习阶段无需重新训练全部历史数据,而是通过费舍尔信息矩阵约束与知识蒸馏相结合的方式,对模型参数和词元表进行增量更新,从而实现对新任务的持续学习与对旧知识的有效保持。

97、其次,本发明在医学报告生成过程中,引入基于kans的可解释视觉特征增强机制以及跨模态先验交互机制。其中,利用kans对医学图像的全局视觉特征进行非线性变换与增强,在提升视觉表征能力的同时简化网络结构并提高模型可解释性;同时,通过构建跨模态空间,实现文本特征与视觉特征之间的交互融合,并将所形成的跨模态先验知识嵌入报告解码过程,从而增强模型对医学影像内容的语义对齐能力、临床推理能力与生成泛化能力。

98、再次,本发明提供的技术方案能够较好地解决现有医学报告自动生成方法在流式临床数据场景下面临的灾难性遗忘、模型可解释性不足以及跨模态语义交互不充分等技术问题,使模型在不回放历史数据的条件下,仍能够保持较高的报告生成质量和临床准确性,特别适合应用于医学影像辅助诊断、智能放射报告生成。

99、最后,通过上述完整的技术实现路径,本发明实现了面向流式医学影像数据的持续、稳定且具有可解释性的医学报告自动生成,为医学影像到诊断文本的跨模态建模提供了一种兼顾持续学习能力、生成性能与临床可信性的技术解决方案。