多模态图像识别方法及装置

摘要: 本发明涉及人工智能,特别是涉及一种结合图像特征与结构化定量特征的多模态图像识别方法及装置。背景技术:1、随着人工智能技术的发展,深度学习模型已被广泛应用于医学图...
多模态图像识别方法及装置

本发明涉及人工智能,特别是涉及一种结合图像特征与结构化定量特征的多模态图像识别方法及装置。

背景技术:

1、随着人工智能技术的发展,深度学习模型已被广泛应用于医学图像分析任务中。现有方法通常利用卷积神经网络、视觉transformer或其他深度神经网络对医学图像进行特征提取,并基于提取到的图像表征完成分类、分级、识别或辅助评估等任务。相比传统人工判读方式,基于深度学习的医学图像分析方法能够在一定程度上提高处理效率,降低主观差异,并为临床辅助决策提供参考。

2、然而,现有医学图像智能分析方法仍存在一定局限。多数方法主要依赖原始图像输入,通过端到端模型直接学习图像特征与目标结果之间的映射关系。该类方法虽然能够提取高维视觉表征,但其学习过程容易受到图像质量、采集条件、目标区域差异及背景干扰等因素影响。当样本数量有限、类别分布不均衡或目标形态差异较小时,模型容易关注与分析目标无关的视觉信息,从而影响预测结果的稳定性和泛化能力。

3、另一方面,医学图像中通常包含具有明确意义的结构、形态、边界、纹理及空间关系等定量表型信息。这类信息能够从不同角度反映图像目标的客观特征,并在人工评估过程中具有重要参考价值。但是,现有技术中相当一部分方法仅将图像作为单一输入,未充分利用可量化的结构化表型特征;部分方法虽然引入了人工设计特征或统计特征,但多采用简单拼接、固定加权或单一融合方式,难以根据不同分析目标自适应地调整图像特征与定量特征之间的贡献关系。

4、此外,在多模态融合过程中,不同来源特征的可靠性并不恒定。图像分支可能因局部遮挡、成像噪声或目标区域不清晰而产生不稳定表征,定量特征分支也可能因分割误差、边界提取偏差或特征冗余而降低可靠性。现有融合方法往往缺乏对不同模态置信度的动态评估机制,难以在不同样本中判断图像证据和定量表型证据的可信程度,容易导致低可靠性特征对最终结果产生负面影响。

5、因此,如何在医学图像智能分析过程中充分结合深度图像表征与结构化定量表型特征,并根据不同分析目标和不同样本的特征可靠性进行自适应融合,以提高模型预测的准确性、稳定性和可解释性,是迫切需要本领域技术人员解决的技术问题。

技术实现思路

1、鉴于上述问题,本发明提供用于克服上述问题或者至少部分地解决上述问题的一种多模态图像识别方法及装置。该方法通过对待分析医学图像中的图像表征和结构化定量表型特征进行联合建模,针对不同分析目标分别构建任务相关表征,并根据不同分支输出结果的置信程度生成门控融合权重,解决了现有方法中单一图像输入信息来源有限、结构化定量特征利用不足以及固定融合方式容易引入低可靠性特征的问题。

2、本发明提供了如下方案:

3、一种多模态图像识别方法,包括:

4、获取待分析医学图像;

5、对所述待分析医学图像进行预处理,获得标准化图像数据;

6、利用图像特征提取网络对所述标准化图像数据进行特征提取,获得图像表征;所述图像表征包括局部结构信息、区域纹理信息和全局语义信息;

7、从所述待分析医学图像中获取目标区域、结构区域或分割区域;

8、基于所述目标区域、所述结构区域或所述分割区域,提取结构化定量表型特征;

9、利用定量特征编码网络对所述结构化定量表型特征进行编码,获得定量表型表征;

10、针对至少一个分析目标,分别对所述图像表征和所述定量表型表征进行任务相关映射,获得图像任务表征和定量任务表征;

11、根据所述图像任务表征输出图像分支预测结果,根据所述定量任务表征输出定量特征分支预测结果;

12、根据所述图像分支预测结果确定图像分支置信度,根据所述定量特征分支预测结果确定定量特征分支置信度;根据所述图像分支置信度和所述定量特征分支置信度生成门控融合权重;所述门控融合权重用于调节图像分支预测结果和定量特征分支预测结果在融合结果中的占比;

13、利用所述门控融合权重对所述图像分支预测结果和所述定量特征分支预测结果进行融合,获得目标分析结果。

14、优选地:所述结构化定量表型特征按照不同分析目标进行划分;对于第个分析目标,其对应的结构化定量表型特征表示为:

15、

16、式中,表示预处理后的标准化图像数据,表示目标区域、结构区域或分割区域的集合,表示第个分析目标对应的定量特征提取函数,表示第个分析目标对应的结构化定量表型特征。

17、优选地:所述结构化定量表型特征包括区域面积、面积比例、形状参数、边界清晰度、纹理分布、空间距离、接触关系、厚度变化、圆度、紧密程度或统计分布特征中的一种或多种。

18、优选地:所述定量特征编码网络通过下式对第个分析目标对应的结构化定量表型特征进行编码,获得定量表型表征:

19、

20、式中,表示第个分析目标对应的定量特征编码函数,表示第个分析目标对应的定量表型表征。

21、优选地:所述任务相关映射包括分别对图像表征和定量表型表征进行映射,获得第个分析目标对应的图像任务表征和定量任务表征:

22、

23、式中,表示图像表征,表示图像任务映射函数,表示定量任务映射函数,表示图像任务表征,表示定量任务表征。

24、优选地:所述图像分支置信度和所述定量特征分支置信度分别表示为:

25、

26、式中,表示图像分支置信度计算函数,表示定量特征分支置信度计算函数,表示图像分支置信度,表示定量特征分支置信度,表示图像分支预测结果,表示定量特征分支预测结果;

27、所述置信度计算函数根据预测概率分布、最大预测概率、类别间概率差值、预测熵、特征完整性、特征异常程度或可学习置信度函数中的一种或多种确定。

28、优选地:所述门控融合权重根据所述图像分支置信度、所述定量特征分支置信度、所述图像任务表征和所述定量任务表征中的至少一种确定,表示为:

29、

30、式中,表示第个分析目标对应的门控融合权重,表示门控权重生成函数。

31、优选地:所述利用所述门控融合权重对所述图像分支预测结果和所述定量特征分支预测结果进行融合,获得目标分析结果包括:

32、

33、式中,表示第个分析目标对应的融合预测结果;根据所述融合预测结果获得第个分析目标对应的目标分析结果。

34、优选地:在模型训练过程中,采用多目标联合损失函数对图像特征提取网络、定量特征编码网络、任务相关映射函数、分支预测函数和门控融合函数进行训练,所述多目标联合损失函数表示为:

35、

36、式中,表示总损失函数,表示分析目标数量,表示第个分析目标对应的损失权重,表示第个分析目标对应的损失函数,表示真实标签,表示融合预测结果。

37、一种多模态图像识别装置,用于执行上述的多模态图像识别方法,所述装置包括:

38、图像获取单元,用于获取待分析医学图像;

39、图像预处理单元,用于对所述待分析医学图像进行预处理,获得标准化图像数据;

40、图像特征提取单元,用于利用图像特征提取网络对所述标准化图像数据进行特征提取,获得图像表征;所述图像表征包括局部结构信息、区域纹理信息和全局语义信息;

41、区域获取单元,用于从所述待分析医学图像中获取目标区域、结构区域或分割区域;

42、定量特征提取单元,用于基于所述目标区域、所述结构区域或所述分割区域,提取结构化定量表型特征;

43、定量特征编码单元,用于利用定量特征编码网络对所述结构化定量表型特征进行编码,获得定量表型表征;

44、任务表征构建单元,用于针对至少一个分析目标,分别对所述图像表征和所述定量表型表征进行任务相关映射,获得图像任务表征和定量任务表征;

45、分支预测单元,用于根据所述图像任务表征输出图像分支预测结果,根据所述定量任务表征输出定量特征分支预测结果;

46、置信度计算单元,用于根据所述图像分支预测结果确定图像分支置信度,根据所述定量特征分支预测结果确定定量特征分支置信度;根据所述图像分支置信度和所述定量特征分支置信度生成门控融合权重;所述门控融合权重用于调节图像分支预测结果和定量特征分支预测结果在融合结果中的占比;

47、门控融合单元,用于利用所述门控融合权重对所述图像分支预测结果和所述定量特征分支预测结果进行融合,获得目标分析结果。

48、根据本发明提供的具体实施例,本发明公开了以下技术效果:

49、本技术实施例提供的一种多模态图像识别方法及装置,在图像特征提取的基础上引入结构化定量表型特征,使目标区域的形态、边界、纹理和空间关系能够参与分析过程,避免仅依赖原始图像造成的信息来源单一问题。针对不同分析目标分别建立图像任务表征和定量任务表征,使不同分析目标能够调用与其相关的图像信息和定量信息,减少固定融合方式中无关特征对分析结果的影响。

50、同时,根据图像分支置信度和定量特征分支置信度生成门控融合权重,使融合过程能够根据不同样本中不同分支的输出情况进行调整。当图像分支或定量特征分支的输出置信度较低时,其在最终融合结果中的影响相应降低,从而减少低可靠性特征对目标分析结果的干扰。

51、当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。