一种慢性眼部移植物抗宿主病预警及诊断模型

摘要: 本技术涉及机器学习,尤其涉及一种慢性眼部移植物抗宿主病预警及诊断模型。背景技术:1、现有的多模态融合模型在处理包含图像、语音、文本以及结构化表格等异构数据时,通...
一种慢性眼部移植物抗宿主病预警及诊断模型

本技术涉及机器学习,尤其涉及一种慢性眼部移植物抗宿主病预警及诊断模型。

背景技术:

1、现有的多模态融合模型在处理包含图像、语音、文本以及结构化表格等异构数据时,通常面临显著的挑战。这类模型往往采用串行或浅层融合策略,将不同模态的特征提取后简单拼接或加权求和,缺乏对不同数据类型之间深层语义关联的有效建模。此外,表格数据作为典型的结构化信息,其数值与类别特征的离散性与图像、语音等非结构化数据的连续性特征存在本质差异,导致其难以直接融入以深度神经网络为主的处理流程,往往需要经过繁琐的手工特征工程才能参与计算。

2、由于上述处理方式的局限性,现有的多模态模型在整合视觉信息、时序语音信号以及高维表格数据时,极易出现特征对齐困难、信息冗余或关键语义丢失的问题。不同模态的数据在嵌入过程中难以映射到统一的语义空间,导致模型在推理阶段无法准确捕捉跨模态的复杂依赖关系,从而影响了最终决策的准确性与鲁棒性。

3、综上所述,如何将图像、语音、文本及表格等异构数据高效对齐并深度融合,以生成具有全局表征能力的输入序列成为亟待解决的技术问题。

技术实现思路

1、本技术提供一种慢性眼部移植物抗宿主病预警及诊断模型,用以解决现有技术中多模态模型数据特征对齐困难、关键语义丢失的缺陷。

2、本技术提供一种慢性眼部移植物抗宿主病预警及诊断模型,包括:

3、图像嵌入模块,用于对输入的眼前节图像进行特征提取,生成视觉特征表示;

4、语音识别模块,用于将语音信号转换为文本序列;

5、语言嵌入模块,用于对任务提示文本输入和所述文本序列分别进行编码,对应得到任务语义特征表示和语音语义特征表示;

6、表格嵌入模块,用于将表格数据转换为文本描述后,对所述文本描述进行编码,得到与所述语言嵌入模块的语义空间对齐的表格特征表示;

7、主干骨架网络,用于将所述视觉特征表示、所述任务语义特征表示、所述语音语义特征表示和所述表格特征表示分别转换为标准化的词元序列,拼接得到多模态输入序列,基于所述多模态输入序列推理得到决策结果。

8、根据本技术提供的一种慢性眼部移植物抗宿主病预警及诊断模型,所述表格嵌入模块是基于如下步骤进行微调的:

9、将原始表格数据转换为json格式,得到json表格数据;

10、基于眼科领域知识规则,对所述json表格数据进行语义增强,得到知识增强文本;

11、将所述原始表格数据作为输入数据,将对应的知识增强文本作为目标表格特征表示,形成训练样本;

12、冻结除所述表格嵌入模块之外的其他模型参数,基于所述训练样本,对所述表格嵌入模块进行训练。

13、根据本技术提供的一种慢性眼部移植物抗宿主病预警及诊断模型,所述基于所述多模态输入序列推理得到决策结果,包括:

14、将所述多模态输入序列输入至transformer转换器,得到所述转换器输出的融合特征;

15、将所述融合特征输入决策头,得到所述决策头输出的慢性眼部移植物抗宿主病风险等级分类结果和移植物排异结果;

16、其中,所述风险等级分类结果是预警任务的结果,反映慢性眼部移植物抗宿主病的风险等级;

17、所述移植物排异结果是诊断任务的结果,反映是否出现移植物排异反映。

18、根据本技术提供的一种慢性眼部移植物抗宿主病预警及诊断模型,在所述主干骨架网络的训练过程中,对所述预警任务和所述诊断任务的网络参数同时进行优化更新,且所述预警任务的损失和所述诊断任务的损失采用相同的权重进行组合。

19、根据本技术提供的一种慢性眼部移植物抗宿主病预警及诊断模型,所述慢性眼部移植物抗宿主病预警及诊断模型的损失函数包括焦点损失函数,用于动态调整不同样本数据的损失权重。

20、根据本技术提供的一种慢性眼部移植物抗宿主病预警及诊断模型,所述主干骨架网络还用于:

21、基于注意力展开方法,计算所述表格特征表示中各指标特征对决策结果的贡献度;

22、基于梯度加权类激活映射方法,生成所述眼前节图像的热力图。

23、本技术还提供一种慢性眼部移植物抗宿主病预警及诊断装置,包括如下模块:

24、图像嵌入模块,用于对输入的眼前节图像进行特征提取,生成视觉特征表示;

25、语音识别模块,用于将语音信号转换为文本序列;

26、语言嵌入模块,用于对任务提示文本输入和所述文本序列分别进行编码,对应得到任务语义特征表示和语音语义特征表示;

27、表格嵌入模块,用于将表格数据转换为文本描述后,对所述文本描述进行编码,得到与所述语言嵌入模块的语义空间对齐的表格特征表示;

28、主干骨架网络,用于将所述视觉特征表示、所述任务语义特征表示、所述语音语义特征表示和所述表格特征表示分别转换为标准化的词元序列,拼接得到多模态输入序列,基于所述多模态输入序列推理得到决策结果。

29、本技术还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一种所述慢性眼部移植物抗宿主病预警及诊断模型。

30、本技术还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述慢性眼部移植物抗宿主病预警及诊断模型。

31、本技术还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述慢性眼部移植物抗宿主病预警及诊断模型。

32、本技术提供的一种慢性眼部移植物抗宿主病预警及诊断模型,通过图像嵌入模块、语音识别模块和语言嵌入模块分别对视觉输入、语音输入和文本输入进行特征提取,生成标准化的视觉特征表示、语音语义特征表示以及任务语义特征表示,确保每种模态的原始数据都能在进入融合阶段前,被充分挖掘其特有的局部特征与上下文信息,避免了原始信号在预处理阶段的信息损失;针对表格数据,通过表格嵌入模块将表格数据转换为自然语言描述,再利用与语言嵌入模块共享或对齐的编码机制进行处理,从而将离散的结构化数据翻译成了与文本、语音语义空间一致的表格特征表示,从根本上消除了模态间的语义鸿沟,使得表格中的关键量化信息能够以词元的形式参与后续的深度交互;最后,主干骨架网络将所有模态的特征表示统一转换为标准化的词元序列,并进行拼接形成最终的多模态输入序列,由于所有模态数据在输入主干网络前均已完成了语义空间的对齐与标准化,主干网络能够基于这种统一的表示进行端到端的深度推理,极大地提升了模型处理复杂异构数据的效率,并且通过深度融合充分挖掘了图像、语音、文本与表格数据之间的潜在关联,显著增强了模型对全局信息的捕捉能力与决策的准确性,实现了跨模态数据的无缝集成与高效利用。综上所述,本技术将表格数据转换为文本描述,与文本输入、语音信号转换的文本序列对齐,实现多模态数据的标准化,生成具有全局表征能力的输入序列,为模型提供可靠的数据基础,从而提高模型的决策准确性与鲁棒性。