基于随机波段投影的高光谱多视图医学图像分类方法及系统

本发明涉及医学图像处理与人工智能，特别涉及一种基于随机波段投影的高光谱多视图医学图像分类方法及系统。

背景技术：

1、医学图像分类是医学人工智能的重要应用方向之一。传统医学图像分析通常依赖单一模态图像，例如超声图像、病理图像、内镜图像、皮肤图像、眼底图像或其他影像数据，由人工经验进行判断或由计算机辅助诊断模型进行自动分类。随着临床精准诊疗需求的提升，仅依赖单一图像模态往往难以充分刻画目标医学对象在微观结构、宏观形态和临床语义层面的复杂差异。

2、高光谱数据能够反映目标医学对象在组织结构、成分组成、散射特征、吸收特征和光谱响应等方面的差异，在医学图像分类、组织识别、病灶分型和辅助诊断方面具有重要潜力。同时，常规医学图像能够提供目标对象的宏观形态、边界、纹理、灰度、血流、结构关系等视觉信息，而辅助检查报告文本则能够以自然语言形式凝练医生对图像特征、临床表现或检查结果的综合描述。将高光谱图像、常规辅助医学图像和报告文本进行联合分析，有望突破单一模态的信息瓶颈，提高医学图像分类的准确性和鲁棒性。

3、然而，实现上述多模态融合分类面临多重技术挑战。首先，高光谱数据图谱合一、维度极高，单一样本通常包含大量光谱-空间测量值，直接作为深度学习模型输入容易引发维数灾难，导致模型在有限医学样本上严重过拟合。现有降维方法中，基于数学变换的方法虽然能够压缩维度，但变换后的特征分量缺乏直观物理意义，可能削弱或抹除对分类起关键作用的细微光谱差异；基于固定波段选择的方法虽然保留一定光谱可解释性，但通常仅利用少量固定波段，容易丢弃大量潜在鉴别信息，且在不同设备、组织类型和医学任务之间泛化能力有限。其次，现有医学图像辅助分类系统大多仅依赖单一影像模态或简单临床特征，缺乏对高光谱数据、辅助图像和报告文本的深度融合；并且通常假设数据模态完整，难以适应真实临床或科研场景中辅助报告文本、辅助医学图像或其他模态不同程度缺失的情况。再次，许多系统仅围绕特定病种或特定病理名称进行建模，类别命名和任务定义过于具体，导致保护范围和应用范围受限。

4、因此，从同一高光谱数据中自动构建多个具有差异性的低维视图表征，并通过多模态注意力机制自适应融合辅助医学图像特征和文本语义特征，同时设计缺失模态鲁棒的学习策略，有望在避免高维输入的前提下，综合利用多源异构信息实现医学图像分类。如何在自动化生成互补多视图的同时，实现模态缺失下的自适应多模态融合，仍是当前亟待突破的技术问题。

技术实现思路

1、本发明所要解决的问题是：提供一种基于随机波段投影的高光谱多视图医学图像分类方法及系统，将高光谱数据的每个波段视为高维光谱空间的一个坐标轴，通过多次独立随机波段投影，将高维光谱数据映射为多张互补的低维彩色视图；同时，结合辅助检查报告文本的语义特征和辅助医学图像的视觉特征，在多模态融合分类模型中引入波段感知特征调制、视图可靠性加权、多模态可靠性偏置注意力和样本条件缺失模态补偿机制，实现目标医学对象的正常类、可疑类和异常类分类，并具备对辅助模态不同程度缺失的容错能力。

2、本发明采用如下技术方案：一种基于随机波段投影的高光谱多视图医学图像分类方法，包括如下步骤：

3、s1、获取目标医学对象的多模态数据并赋予分类标签，所述多模态数据至少包括高光谱原始数据以及由高光谱数据生成的至少一张伪彩色合成图像、以及与所述目标医学对象相关联的辅助检查报告文本和/或辅助医学图像；

4、s2、对所述高光谱原始数据执行多次独立随机波段投影，每次从全部波段中随机选取三个波段，经百分比截断线性拉伸归一化增强后，合成为一张三通道彩色图像，形成同一目标医学对象的多张高光谱多视图图像；结合该目标医学对象已存在的伪彩色图像，构成多视图图像集；

5、s3、提取辅助模态特征，包括：对所述辅助检查报告文本进行文本特征提取，得到文本语义向量；对所述辅助医学图像进行视觉特征提取，得到辅助医学图像特征向量；

6、s4、构建多模态融合分类模型，分别接收所述多视图图像集、文本语义向量及辅助医学图像特征向量作为输入，内部通过波段感知特征调制主干网络、视图可靠性加权多视图聚合、多模态可靠性偏置注意力融合机制和样本条件缺失模态补偿模块，输出分类概率；利用多模态数据及对应的三分类标签对所述多模态融合分类模型进行模型训练，保存最佳模型；

7、s5、将待测目标医学对象的高光谱数据按步骤s2生成多视图图像集，并按步骤s3提取辅助模态特征，输入训练好的多模态融合分类模型，输出分类结果及置信度。

8、作为一种优选，步骤s1所述分类标签，包括正常类、可疑类或异常类，分别表示三种不同的高光谱—影像联合表征模式。三者作为模型训练、分类推理和系统输出的通用类别名称，不直接限定为任何特定病种、特定组织状态、特定病理名称或特定风险等级。

9、对于具体医学图像应用场景，可由专家标注、病理结果、随访结果、分型标准或临床共识确定三类标签的实际医学含义。

10、作为一种优选，步骤s2所述随机波段投影，包括：

11、s2.1、对高光谱原始数据执行k次独立随机波段投影，每次从全部b个波段编号中无放回地随机抽取三个不同的波段编号作为一组，分别提取对应二维单波段图像，重复k次，各次投影所选波段组合不同，使得生成的k个视图在光谱响应上具有差异性；

12、s2.2、采用百分比截断线性拉伸进行归一化增强，并将增强后的三张灰度图分别作为r、g、b通道，合成为一张三通道彩色图像；

13、所述百分比截断线性拉伸采用波段数据分布的2%分位数和98%分位数分别作为拉伸的最小值与最大值，将原始反射强度线性映射至0-255范围，并截断极端值，统一各视图对比度；

14、s2.3、通过k次投影产生k张互补彩色视图，与已有的伪彩色图像共同组成同一目标医学对象的高光谱多视图图像集。

15、作为一种优选，步骤s3所述提取辅助模态特征，包括：

16、步骤3.1、提取辅助检查报告文本特征，使用预训练的自然语言处理模型，包括但不限于clinicalbert、pubmedbert、biobert、医学领域大语言模型编码器，将报告文本转换为一固定维度的语义向量；

17、步骤3.2、提取辅助医学图像视觉特征，使用在预训练的卷积神经网络或视觉transformer，提取辅助医学图像的高层视觉特征；

18、步骤3.3、若目标医学对象包含辅助检查报告文本，则利用预训练语言模型提取整份报告的语义向量；否则，对应文本特征置为可学习的模态缺失嵌入向量。若目标医学对象包含辅助医学图像，则利用预训练视觉模型提取辅助医学图像的视觉特征向量；否则，置为缺失嵌入向量。

19、作为一种优选，步骤s4所述多模态融合分类模型，包含：波段感知图像视图编码器、视图可靠性加权多视图池化器、多模态可靠性偏置注意力融合模块、样本条件缺失模态补偿模块和分类头。

20、所述波段感知图像视图编码器采用共享权重的深度视觉骨干网络，对所有输入的k张高光谱多视图图像及已有伪彩色图像分别独立提取视觉特征；对于每一随机波段投影视图，将其对应的波段编号、中心波长、波段间隔和波段顺序编码为波段组合向量，并通过特征调制层生成通道缩放系数和偏置系数，对视觉骨干网络的浅层、中层或深层特征进行调制，得到一组同时包含空间纹理信息和波段来源信息的图像特征向量；

21、所述视图可靠性加权多视图池化器根据各视图的图像特征向量、波段组合向量以及视图质量统计量计算视图可靠性权重，并按照所述视图可靠性权重对一组图像特征向量进行加权聚合，再与最大池化、平均池化或注意力池化结果组合，获得固定大小的多视图聚合特征向量；

22、所述多模态可靠性偏置注意力融合模块接收所述多视图聚合特征向量、文本语义向量和辅助医学图像特征向量，将其映射为统一维度的模态token，并为每个模态token附加模态存在标志、模态可靠性分数和类别原型一致性分数；在多头自注意力或交叉注意力的注意力logits中加入由所述模态存在标志、模态可靠性分数和类别原型一致性分数生成的偏置项，使可靠性较高且与目标类别原型更一致的模态获得更高融合权重；

23、所述样本条件缺失模态补偿模块根据可用模态特征和模态存在标志生成缺失模态对应的样本条件伪模态向量，并同步输出不确定度分数；当文本模态或辅助医学图像模态缺失时，所述多模态可靠性偏置注意力融合模块使用所述样本条件伪模态向量作为弱补偿输入，并根据所述不确定度分数降低其融合权重；所述分类头由dropout层、全连接层、非线性激活层以及三维全连接输出层组成，输出对应分类的logits；经softmax归一化后得到分类预测概率。

24、作为一种优选，步骤s4所述模型训练，采用加权交叉熵损失函数，依据训练集中正常类、可疑类和异常类样本的比例计算类别权重，以缓解类别不平衡问题；训练过程中以预设概率随机遮盖完整样本中的文本模态或辅助医学图像模态，通过一致性约束或蒸馏损失约束遮盖前真实模态向量与遮盖后样本条件伪模态向量之间的距离，并通过多视图一致性约束或熵正则约束稳定视图可靠性权重；优化器选用adamw，初始学习率设置为0.001，权重衰减系数设置为1×10^-4，采用reducelronplateau策略在验证损失连续若干个epoch无改善时降低学习率；对输入的多视图图像施加随机水平翻转、随机垂直翻转、随机旋转和色彩抖动，进行数据增强；监控验证集上的加权f1分数或macro-f1分数，保存性能最佳的模型权重。

25、作为一种优选，步骤s5所述分类结果通过以下方式之一得出：

26、计算同一目标医学对象所有k个视图预测概率的算术平均值，取概率最大的类别；

27、或者采用多数投票方式，将每一视图的预测类别作为一票，以得票最多的类别作为最终分类结果；

28、若有辅助模态特征，则将多模态融合预测结果直接作为最终分类结果输出。

29、本发明技术方案还提供了：一种基于随机波段投影的高光谱多视图医学图像分类系统，包括：

30、多模态数据获取模块，用于获取目标医学对象的高光谱原始数据、已有的伪彩色图像，以及可选的辅助检查报告文本和辅助医学图像，并统一管理分类标签；

31、随机波段投影多视图生成模块，用于从高光谱全波段中随机选取多组波段组合执行多次随机波段投影，分别提取波段数据并进行归一化增强，合成多张三通道彩色图像，结合已有伪彩色图像形成多视图图像集；

32、模态特征提取模块，分别对辅助检查报告文本进行文本语义特征提取，对辅助医学图像进行视觉特征提取，并处理模态缺失；

33、多模态融合分类模型训练模块，用于构建包含波段感知特征调制主干、视图可靠性加权多视图聚合器、多模态可靠性偏置注意力融合模块及样本条件缺失模态补偿模块的神经网络，利用多视图图像集、文本语义特征、辅助医学图像特征及三分类标签进行训练，保存最佳模型；

34、分类推理模块，用于对待测目标医学对象生成多视图图像并提取可用模态特征，加载最佳模型执行前向推理，输出正常类、可疑类或异常类的分类结果及置信度。

35、作为一种优选，所述系统还包括数据采集设备和数据接入接口；

36、所述数据采集设备包括高光谱成像设备、伪彩色图像采集或生成设备、辅助医学图像采集设备以及辅助检查报告录入或接入终端；

37、所述数据接入接口用于将高光谱原始数据、多张伪彩色合成图像、辅助检查报告文本和辅助医学图像按照目标医学对象编号统一接入。

38、本发明采用以上技术方案与现有技术相比，具有以下技术效果：

39、1、本发明将分类任务表述为通用医学图像三分类任务，采用正常类、可疑类和异常类作为中性类别名称，避免将方法限定于具体病种或具体病理类型，提高了专利文本的通用性和保护范围。

40、2、随机波段投影策略自动生成多视图，在无需专家预设波段的前提下，既保留了光谱物理意义，又实现了数据维度高效压缩和视图互补，大幅降低了过拟合风险。

41、3、本发明融合高光谱图像、辅助医学图像和辅助检查报告文本等多模态信息，有利于从微观光谱、宏观视觉和临床语义多个维度刻画目标医学对象，提高三分类识别能力。

42、4、引入自适应缺失模态处理机制，使模型能够在辅助检查报告文本或辅助医学图像缺失的情况下仍正常工作，符合真实医学场景中数据不全的常态，增强了系统的普适性和鲁棒性。

43、5、计算成本低：每次仅处理三个波段即可生成一幅视图，多视图池化后结合轻量融合模块，整体推理速度能够满足医学图像辅助分析的实时性要求。