基于空间感知与模态路由的视网膜多模态图像分类方法及系统

本技术涉及医学图像处理，具体涉及一种基于空间感知与模态路由的视网膜多模态图像分类方法及系统。

背景技术：

1、眼部疾病是全球范围内导致视力损伤和盲目的主要原因，其中年龄相关性黄斑变性（age-related macular degeneration, amd）和糖尿病视网膜病变（diabeticretinopathy, dr）是发达国家和发展中国家致盲的首要因素。在临床眼科诊断中，光学相干断层扫描（optical coherence tomography, oct）与光学相干断层扫描血管成像（optical coherence tomography angiography, octa）已成为不可或缺的无创影像学检查手段；2d oct图像能够高分辨率地呈现视网膜组织的横断面形态结构改变（如视网膜层间水肿、玻璃膜疣等）；而2d octa图像则能无创地反映视网膜微血管的血流动力学特征（如微动脉瘤、毛细血管无灌注区等）；将眼底影像准确分类为amd、dr、其他眼底疾病（others，如青光眼、视网膜静脉阻塞等非典型疾病）以及正常（normal）四类，对于疾病的早期筛查、鉴别诊断和分级管理具有极其重要的临床意义。

2、近年来，基于深度学习的计算机视觉技术在医学图像分析中取得了显著进展。为了充分利用结构与血管的互补信息，现有的先进方案多采用双流多模态神经网络，同时输入oct和octa图像进行联合分类；然而，在实际的临床复杂场景中，现有的多模态视网膜图像分类技术仍存在以下显著的技术缺陷：

3、第一，现有多模态融合机制未考虑疾病病理的模态特异性，导致特征表达受限。amd和dr在病理机制上对不同成像模态的依赖程度存在显著差异：amd的核心病理特征（如视网膜色素上皮层脱离、玻璃膜疣）在oct结构图像上表现更为直观；而dr的早期核心病理（如微血管渗漏、黄斑中心凹无血管区扩大）则在octa血管图像上更为敏感；然而现有的多模态分类模型通常采用对称的特征拼接（concatenation）或全局交叉注意力机制进行特征融合，这种“一视同仁”的对称融合方式未能根据疾病的特异性动态调整模态权重，容易导致弱势模态的噪声干扰强势模态的有效特征，从而降低了模型对amd和dr的鉴别精度。

4、第二，现有特征提取缺乏对关键病灶区域的空间聚焦能力，且对配准误差高度敏感，视网膜疾病的关键病灶（如黄斑水肿、新生血管）高度集中在黄斑中心凹（fovea）及其周围区域；现有的深度学习模型通常对2d oct和octa图像进行全局卷积或全局token池化，这种处理方式不仅会引入视网膜周边无关区域的背景噪声，稀释核心病灶特征，还会放大模态间的配准误差；在实际采集中，患者眼球的微小颤动会导致2d oct切片与2d octa投影图像之间存在微小的空间错位，现有的像素级或简单的特征级对齐方法在面对这种非刚性配准误差时极易失效，导致跨模态注意力计算时发生特征错配，严重影响了分类的鲁棒性。

5、第三，现有分类网络难以有效处理“其他疾病（others）”这一开放集合类别的边界模糊问题，在真实的临床筛查中，除了典型的amd和dr，还会遇到大量其他非典型或罕见眼底疾病（统称为others类别）；现有的分类模型通常采用单层的softmax分类头，强制将输入样本的概率分布归一化到预设的四个类别中。这种封闭集（closed-set）的分类范式缺乏对模型预测“不确定性”的量化能力，当输入图像属于others类别或图像质量较差时，模型往往会产生“盲目自信”的错误预测，将其强行归类为amd或dr，导致极高的假阳性率和临床误诊风险。

6、因此，目前亟需一种能够自适应疾病特异性进行非对称模态融合、克服配准误差并聚焦核心病灶区域，且具备不确定性量化能力以精准界定非典型疾病边界的视网膜多模态图像分类方法。

技术实现思路

1、发明目的：为了克服以上不足，本技术的目的是提供一种基于空间感知与模态路由的视网膜多模态图像分类方法及系统，能够解决现有深度学习模型在联合分析2d oct与2d octa图像时存在的模态融合不充分、抗配准误差能力差以及对非典型疾病（others）易产生误诊的技术问题。

2、为解决上述技术问题，本技术提供了基于空间感知与模态路由的视网膜多模态图像分类方法，包括：

3、s1：获取同一受试者眼底区域对应的2d oct图像及2d octa图像并执行图像质量校验、视野区域裁剪、尺寸统一重采样、灰度标准化及二维空间配准处理，构建具有统一空间坐标系的多模态视网膜图像数据集；

4、s2：将所述2d oct图像及2d octa图像分别输入双流特征提取网络，通过结构特征编码分支提取结构特征表示并通过血管特征编码分支提取血管特征表示，以生成对应的oct结构特征图及octa血管特征图；

5、s3：根据所述oct结构特征图及octa血管特征图，利用视网膜黄斑中心凹的解剖学物理先验生成空间显著性热力图并根据所述空间显著性热力图对所述oct结构特征图及octa血管特征图进行空间加权，生成聚焦黄斑区的oct增强特征图及octa增强特征图；

6、s4：根据所述oct增强特征图及octa增强特征图，采用非对称交叉注意力机制分别构建结构主导特征提取路径和血管主导特征提取路径，以获取结构主导特征和血管主导特征，并根据预设模态路由门控权重，对所述结构主导特征及血管主导特征进行动态聚合，生成多模态融合特征；

7、s5：将所述多模态融合特征输入层级化不确定性分类网络，进行正常样本与异常样本的二分类判定，当判定结果为正常样本时直接输出正常分类结果；当判定结果为异常样本时，结合证据深度学习计算分类不确定性分数，进行年龄相关性黄斑变性、糖尿病视网膜病变和其他眼底疾病类别的三分类判断，以输出包含normal、amd、dr和others的四分类结果。

8、作为本技术的一种优选方式，在s1中，所述方法包括以下步骤：

9、s11：利用光学相干断层扫描设备采集同一受试者眼底区域的2d oct图像及2docta图像；

10、s12：对采集得到的所述2d oct图像及2d octa图像进行图像质量检测，剔除存在严重运动伪影、成像模糊、局部遮挡及视野缺失的异常图像并保留满足预设质量要求的图像样本；

11、s13：对质量检测后的所述2d oct图像及2d octa图像进行背景区域裁剪处理，去除图像边缘无效黑色区域并保留包含黄斑中心凹区域的有效视网膜区域；

12、s14：将裁剪后的所述2d oct图像及2d octa图像统一重采样至预设输入尺寸并采用z-score标准化方法对图像灰度分布进行归一化处理，以减小不同设备、不同受试者以及不同采集条件造成的图像强度差异；

13、s15：对标准化后的图像样本执行数据增强处理，所述数据增强处理至少包括随机水平翻转、随机角度旋转以及随机亮度和对比度调整，以提高模型对视网膜图像形态变化的泛化能力；

14、s16：利用设备自带配准信息或者基于互信息准则的图像配准方法，对所述2d oct图像及2d octa图像执行二维空间配准处理，使两种模态图像中的黄斑区域及视网膜解剖结构达到空间对应关系，以构建具有统一空间坐标系的多模态视网膜图像数据集。

15、作为本技术的一种优选方式，在s2中，所述方法包括以下步骤：

16、s21：构建包括第一编码器和第二编码器的双流特征提取网络；

17、s22：将配准后的2d oct图像输入第一编码器，提取表征视网膜层状结构、黄斑形态变化以及病灶组织异常信息的结构特征，并将配准后的2d octa图像输入第二编码器，提取表征毛细血管分布状态、血流灌注状态以及微血管异常变化信息的血管特征；

18、s23：分别从所述第一编码器和第二编码器的多个不同深度层提取多尺度特征图并利用特征金字塔融合机制对浅层纹理信息、中层结构信息及深层语义信息进行融合处理；

19、s24：通过通道统一映射及空间尺度统一处理，将不同层级的多尺度特征映射至统一特征空间并采用可学习融合权重对各尺度特征进行加权聚合，生成预设通道维度和空间尺寸的oct结构特征图：

20、，以及octa血管特征图：；其中，h为特征图高度，w为特征图宽度，为特征图通道维度。

21、作为本技术的一种优选方式，在s3中，所述方法包括以下步骤：

22、s31：将所述oct结构特征图输入轻量级卷积分支，通过卷积运算提取反映视网膜层间弯曲状态以及黄斑中心凹凹陷形态的物理弯曲形态特征；

23、s32：基于所述物理弯曲形态特征生成初始响应图并对所述初始响应图进行sigmoid函数激活和空间平滑处理，生成取值范围在[0,1]之间的空间显著性热力图：

24、，其中为轻量级卷积映射函数，为sigmoid激活函数，为空间显著性热力图；

25、s33：对所述空间显著性热力图执行空间平滑处理，使黄斑中心凹区域形成连续高响应区域并使外围区域保持较低响应值；

26、s34：利用所述空间显著性热力图分别对所述oct结构特征图及octa血管特征图进行逐元素相乘，生成聚焦黄斑病灶区域的oct增强特征图及octa增强特征图：

27、，，其中，⊙为广播机制下的逐元素相乘操作，为oct增强特征图，为octa增强特征图。

28、作为本技术的一种优选方式，在s4中，所述方法包括以下步骤：

29、s41：将所述oct增强特征图作为结构模态输入以及将所述octa增强特征图作为血管模态输入，分别构建结构主导交叉注意力分支和血管主导交叉注意力分支；

30、s42：在结构主导交叉注意力分支中，以所述oct增强特征图作为查询特征，以所述octa增强特征图作为键特征和值特征，通过线性映射生成第一查询向量、第一键向量以及第一值向量：

31、，，，其中为结构主导交叉注意力分支的可学习的线性投影矩阵；

32、s43：利用所述第一查询向量、第一键向量以及第一值向量计算跨模态注意力权重并生成反映结构病理特征的结构主导特征：

33、，其中为结构主导特征，为键向量的维度，为第一键向量的转置；

34、s44：在血管主导交叉注意力分支中，以所述octa增强特征图作为查询特征，以所述oct增强特征图作为键特征和值特征，通过线性映射生成第二查询向量、第二键向量以及第二值向量：

35、，，，其中为血管主导交叉注意力分支的可学习的线性投影矩阵；

36、s45：利用所述第二查询向量、第二键向量以及第二值向量计算跨模态注意力权重并生成反映血管病理特征的血管主导特征：

37、，其中为血管主导特征，为第二键向量的转置。

38、作为本技术的一种优选方式，在s4中，所述方法包括以下步骤：

39、s46：分别对所述结构主导特征及血管主导特征执行全局平均池化处理，以获得对应的全局语义表示向量；

40、s47：将所述结构主导特征对应的全局语义表示向量与所述血管主导特征对应的全局语义表示向量在通道维度进行拼接，形成联合特征；

41、s48：将所述联合特征输入多层感知机，通过非线性映射学习结构病理特征与血管病理特征之间的协同关联关系并输出标量门控权重：

42、，其中为多层感知机映射函数，为将和在通道维度拼接；

43、s49：根据所述门控权重对结构主导特征及血管主导特征进行动态加权融合，生成多模态融合特征：

44、；其中，为融合后的最终多模态特征。

45、作为本技术的一种优选方式，在s5中，所述方法包括以下步骤：

46、s51：将所述最终多模态融合特征输入第一级分类网络，通过全局平均池化层对所述最终多模态融合特征进行特征压缩并通过第一全连接层输出正常类别与异常类别对应的二分类预测结果；

47、s52：将小于预设值的异常概率预测值的对应样本判定为normal类别，将大于或等于异常概率预测值的对应样本输入第二级分类网络；

48、s53：利用证据生成层分别输出amd类别、dr类别以及others类别对应的非负证据值并根据所述证据值构建疾病类别判定所需的总证据量：

49、，其中为网络输出的原始证据值，为第二级分类的类别总数，s为模型收集到的总证据量，为dirichlet分布的浓度参数；

50、s54：根据所述总证据量利用主观逻辑理论计算每个类别的预测概率和总体不确定性分数：

51、；其中，为预测概率，为总体不确定性分数；

52、s55：根据所述认知不确定性分数与预设安全阈值之间的关系进行开放集疾病识别与分类决策。

53、作为本技术的一种优选方式，在s5中，设定预设安全阈值，若不确定性分数小于预设安全阈值，则输出总证据量中概率最大的amd或dr分类结果；若不确定性分数高于或等于预设安全阈值，则判定模型证据不足，强制将结果输出为others。

54、作为本技术的一种优选方式，在s5中，所述层级化不确定性分类网络的训练方法包括以下步骤：

55、s101：构建用于约束正常类别与异常类别判定结果的二分类损失项：

56、；其中为当前训练批次中的样本总数；为第i个样本在第一级二分类中的真实标签；为型第一级二分类网络输出的第i个样本属于异常类别的预测概率；

57、s102：构建用于约束amd类别、dr类别以及others类别分类结果的证据分类损失项：

58、；其中为真实标签的one-hot编码，为digamma函数；

59、s103：根据空间显著性热力图构建强制中心响应高于边缘的中心凹先验正则损失项：

60、；其中，和分别为图像中心和边缘的像素坐标集合，表示集合内的像素总数，为空间显著性热力图在坐标(x,y)处的值；

61、s104：构建对高不确定性预测结果进行约束的不确定性惩罚损失项；

62、s105：将所述二分类损失项、证据分类损失项、中心凹先验正则损失项及不确定性惩罚损失项进行加权组合，构建联合损失函数：

63、；其中，为控制空间正则项权重，为控制不确定性惩罚项权重，为不确定性惩罚损失项；

64、s106：利用所述联合损失函数对层级化不确定性分类网络进行统一优化并采用反向传播算法更新网络参数，直至验证集损失收敛。

65、本技术还提供一种实现所述的方法的基于空间感知与模态路由的视网膜多模态图像分类系统，包括：

66、图像获取模块，用于获取同一受试者眼底区域对应的2d oct图像及2d octa图像并执行图像质量校验、视野区域裁剪、尺寸统一重采样、灰度标准化及二维空间配准处理，构建具有统一空间坐标系的多模态视网膜图像数据集；

67、特征提取模块，用于将所述2d oct图像及2d octa图像分别输入双流特征提取网络，通过结构特征编码分支提取结构特征表示并通过血管特征编码分支提取血管特征表示，以生成对应的oct结构特征图及octa血管特征图；

68、空间引导模块，根据所述oct结构特征图及octa血管特征图，利用视网膜黄斑中心凹的解剖学物理先验生成空间显著性热力图并根据所述空间显著性热力图对所述oct结构特征图及octa血管特征图进行空间加权，生成聚焦黄斑区的oct增强特征图及octa增强特征图；

69、模态路由模块，用于根据所述oct增强特征图及octa增强特征图，采用非对称交叉注意力机制分别构建结构主导特征提取路径和血管主导特征提取路径，以获取结构主导特征和血管主导特征，并根据预设模态路由门控权重，对所述结构主导特征及血管主导特征进行动态聚合，生成多模态融合特征；

70、层级分类模块，用于将所述多模态融合特征输入层级化不确定性分类网络，进行正常样本与异常样本的二分类判定，当判定结果为正常样本时直接输出正常分类结果；当判定结果为异常样本时，结合证据深度学习计算分类不确定性分数，进行年龄相关性黄斑变性、糖尿病视网膜病变和其他眼底疾病类别的三分类判断，以输出包含normal、amd、dr和others的四分类结果。

71、本技术还提供一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中， 所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的基于空间感知与模态路由的视网膜多模态图像分类方法。

72、本技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行上述所述的基于空间感知与模态路由的视网膜多模态图像分类方法。

73、本技术的上述技术方案相比现有技术具有以下优点：

74、1、本技术引入中心凹感知空间引导机制，利用2d oct图像中黄斑中心凹呈现“物理凹陷”的光学成像特性与解剖学先验，自动生成空间显著性热力图；相较于现有技术中采用全局卷积或全局token池化导致的周边噪声干扰，本技术通过该热力图对双模态特征进行空间加权，强制模型精准聚焦于黄斑中心凹及其周围的核心病灶区域（如黄斑水肿、玻璃膜疣）；同时由于有效屏蔽了视网膜边缘区域的无关特征，大幅缓解了因患者眼球微动导致的2d oct与2d octa图像之间微小非刚性配准误差对跨模态融合的负面影响，显著提升模型对早期微小病灶的分类敏感度。

75、2、本技术打破传统多模态深度学习模型中“对称拼接”或“全局交叉注意力”融合的局限，设计了疾病感知模态路由，针对amd核心病理偏向组织结构改变、dr早期病理偏向微血管血流动力学改变的临床事实，通过非对称的交叉注意力机制分别构建“结构主导”和“血管主导”特征分支并利用动态门控权重进行自适应聚合，该机制使网络能够根据输入图像的实际病理倾向，自动为oct结构特征和octa血管特征分配最优权重，有效避免了弱势模态噪声对强势模态有效特征的干扰，从而提高amd与dr这两种极易混淆疾病的区分度和分类准确率。

76、3、针对真实临床筛查中大量存在的非典型或罕见眼底疾病（others类别），本技术摒弃了传统softmax分类头强制归一化概率导致的“盲目自信”缺陷，构建了层级化不确定性分类头，通过引入主观逻辑理论和证据深度学习（edl），将网络输出转化为dirichlet分布参数，实现了对模型预测“认知不确定性”的精确量化；当输入图像属于others类别或图像质量较差、模型缺乏充足诊断证据时，不确定性分数会自动飙升并触发安全路由机制，将其稳妥地归类为others；这一机制为开放集疾病划定了安全的决策边界，降低了将罕见疾病误判为典型amd或dr的假阳性率，极大提升了ai辅助诊断系统的临床安全性和医生信任度。

77、4、本技术设计了包含中心凹先验正则项和不确定性惩罚项的多目标联合损失函数，确保了空间引导、模态路由与不确定性分类三大模块在端到端训练中的高效协同，避免了模型在复杂损失空间中的局部最优或“偷懒”预测（如过度输出高不确定性）；此外本技术的网络结构天然支持临床可解释性分析，医生可通过可视化空间显著性热力图直观确认模型是否关注了正确的黄斑病灶区域并通过分析模态路由门控权重了解模型是更依赖结构改变还是血管改变做出的诊断，从而契合医疗器械软件（samd）对ai算法透明度和可解释性的严格监管要求。