免散瞳的白内障诊断方法、装置、电子设备及存储介质

摘要: 本发明涉及医学影像处理,具体涉及免散瞳的白内障诊断方法、装置、电子设备及存储介质。背景技术:1、白内障是中老年群体高发的致盲性眼病,手术是唯一复明手段,因此早期...
免散瞳的白内障诊断方法、装置、电子设备及存储介质

本发明涉及医学影像处理,具体涉及免散瞳的白内障诊断方法、装置、电子设备及存储介质。

背景技术:

1、白内障是中老年群体高发的致盲性眼病,手术是唯一复明手段,因此早期精准分级诊断对临床干预、病情随访和视力保护具有重要意义。传统白内障诊断高度依赖眼科医生的人工阅片经验,基层资源匮乏导致筛查效率低;且高质量影像检查常需散瞳,耗时并有诱发青光眼风险。

2、现有ai辅助白内障诊断多采用单模态影像建模,仅能捕获单一维度眼部特征,信息表征片面且存在特征缺失;同时常规跨膜融合方式难以弥合不同模态之间的差异,跨模态语义鸿沟问题突出,无法实现特征深度对齐与有效融合。因此,现有技术存在白内障诊断精度低、鲁棒性不足,难以适配临床无创诊断需求的技术问题。

技术实现思路

1、本发明提供了一种免散瞳的白内障诊断方法、装置、电子设备及存储介质,以解决白内障诊断精度低、鲁棒性不足,难以适配临床无创诊断需求的问题。

2、第一方面,本发明提供了一种免散瞳的白内障诊断方法,方法包括:获取目标受检者的目标眼睛在免散瞳状态下的晶状体裂隙灯像和彩色眼底像,并分别对晶状体裂隙灯像和彩色眼底像进行预处理,得到对应的第一图像张量和第二图像张量;将第一图像张量和第二图像张量输入至预先构建的双模态图像分类模型进行特征对齐与融合,确定目标眼睛的裂隙灯像预测概率分布和眼底像预测概率分布;根据裂隙灯像预测概率分布和眼底像预测概率分布确定目标眼睛的白内障分级诊断结果。

3、本发明提供的免散瞳的白内障诊断方法,通过在免散瞳状态下同步获取目标受检者目标眼睛的晶状体裂隙灯像与彩色眼底像两类模态图像,在经过预处理后,通过双模态图像分类模型完成多模态特征对齐与融合,确定目标眼睛的裂隙灯像预测概率分布和眼底像预测概率分布,进而基于两个预测概率分布综合两类眼部图像的差异化特征进行联合诊断,确定目标眼睛的白内障分级诊断结果。本发明通过在免散瞳的无创采集条件下获取晶状体裂隙灯像与彩色眼底像两类模态图像,并对两类模态图像进行多模态特征对齐与融合,能够弥补单一图像特征表征片面、信息维度不足的缺陷,消除单模态诊断的特征缺失问题,同时充分结合裂隙灯图像的晶状体结构特征与眼底图像的模糊程度关联特征,有效弥合不同影像模态间的语义差异,实现多维度眼部特征信息的互补利用,进而显著提升免散瞳场景下白内障分级诊断的准确性与稳定性,实现低侵入、高精度的智能白内障分级诊断,更好适配临床无创筛查与诊断需求。

4、在一种可选的实施方式中,在将第一图像张量和第二图像张量输入至预先构建的双模态图像分类模型进行特征对齐与融合之前,方法还包括:将第一图像张量输入至预先构建的单模态图像分类模型,确定目标眼睛的白内障严重等级,白内障严重等级包括:正常等级、轻度等级、中度等级和重度等级;若白内障严重等级为中度等级或重度等级,则将白内障严重等级作为白内障分级诊断结果,若白内障严重等级为正常等级或轻度等级,则将第一图像张量和第二图像张量输入至预先构建的双模态图像分类模型进行特征对齐与融合。

5、本发明考虑到高等级白内障特征显著,单模态即可稳定判定,因此增设单模态前置粗筛机制,通过晶状体裂隙灯单模态图像快速判定白内障严重等级,对中度、重度白内障直接输出诊断结果,进而仅对正常、轻度白内障启动双模态精细融合诊断,能够大幅减少双模态模型的运算频次,降低诊断算力消耗、提升整体诊断效率;轻重病例分级分流处理,兼顾诊断实时性与精细化诊断精度,适配大规模基层筛查的快速落地场景。

6、在一种可选的实施方式中,将第一图像张量和第二图像张量输入至预先构建的双模态图像分类模型进行特征对齐与融合,确定目标眼睛的裂隙灯像预测概率分布和眼底像预测概率分布,包括:将第一图像张量和第二图像张量对应输入至双模态图像分类模型中并行视觉transformer主干网络的裂隙灯像分支和眼底像分支,分别对第一图像张量和第二图像张量进行图像切片与高维映射;获取裂隙灯像分支的第一查询矩阵、第一键矩阵和第一值矩阵,及眼底像分支的第二查询矩阵、第二键矩阵和第二值矩阵,并将第一查询矩阵传递至眼底像分支,与第二键矩阵和第二值矩阵进行点积交叉注意力计算,将第二查询矩阵传递至裂隙灯像分支,与第一键矩阵和第一值矩阵进行点积交叉注意力计算;获取裂隙灯像分支所输出序列头部的第一分类令牌向量,并获取眼底像分支所输出序列头部的第二分类令牌向量;将第一分类令牌向量和第二分类令牌向量作为特征向量输入至双模态图像分类模型的分类器,得到裂隙灯像预测概率分布和眼底像预测概率分布。

7、本发明在双模态融合诊断的基础上,限定双分支并行视觉transformer的跨模态交叉注意力交互机制,通过裂隙灯像分支与眼底像分支相互传递查询矩阵,实现两个模态特征的双向交叉注意力计算,能够精准完成两类图像的语义对齐与深度关联融合,充分挖掘裂隙灯图像与眼底图像之间的隐层关联特征,修正单模态特征偏差,进一步提升多模态特征融合的有效性与精准度,为后续分级诊断提供高辨识度、高鲁棒性的融合特征。

8、在一种可选的实施方式中,根据裂隙灯像预测概率分布和眼底像预测概率分布确定目标眼睛的白内障分级诊断结果,包括:根据裂隙灯像预测概率分布和眼底像预测概率分布确定第一权重系数和第二权重系数;基于第一权重系数和第二权重系数对裂隙灯像预测概率分布和眼底像预测概率分布进行加权融合,得到全局诊断分级概率分布;将全局诊断分级概率分布和预设阈值进行对比,确定白内障分级诊断结果为正常等级、轻度等级、中度等级或重度等级。

9、本发明在双模态输出双概率分布的基础上,采用双权重系数加权融合方式得到全局诊断概率分布,并结合阈值判定完成分级,能够适配不同图像质量、不同病变程度的模态特征差异,实现两类模态预测结果的自适应融合,避免单一模态预测偏差导致的诊断失误,有效提升白内障四级分级结果的准确性与一致性。

10、在一种可选的实施方式中,第一权重系数和第二权重系数的确定过程,包括:根据裂隙灯像预测概率分布确定第一信息熵,并根据眼底像预测概率分布确定第二信息熵,第一信息熵和第二信息熵用于量化双模态图像分类模型所预测结果的不确定度;根据第一信息熵和第二信息熵计算第一权重系数和第二权重系数,计算公式如下所示:

11、

12、

13、其中,为第一权重系数,为第二权重系数,为第一信息熵,为裂隙灯像预测概率分布,为第二信息熵,为眼底像预测概率分布,为正数修正项。

14、本发明基于信息熵量化各模态预测结果的不确定度,动态自适应计算双模态融合权重,对预测不确定性高的模态降低权重、对预测置信度高的模态提升权重,能够有效抑制低质量图像、模糊病变特征带来的诊断干扰,解决固定权重无法适配样本差异、融合策略僵化的问题,大幅提升模型在复杂临床样本场景下的泛化能力与诊断可靠性。

15、在一种可选的实施方式中,双模态图像分类模型和单模态图像分类模型的构建过程,包括:批量获取多组晶状体裂隙灯像和彩色眼底像,并分别对晶状体裂隙灯像和彩色眼底像进行预处理,得到对应的第一图像张量和第二图像张量;构建多模态对偶扩散模型,并将第一图像张量和第二图像张量输入至多模态对偶扩散模型进行训练,直至多模态对偶扩散模型的总损失函数收敛至预设阈值;获取收敛后多模态对偶扩散模型所生成的多组合成配对图像,每组合成配对图像均包含合成晶状体裂隙灯像和合成彩色眼底像;基于视觉transformer主干网络和分类器搭建单分支单模态分类网络,并采用多个合成晶状体裂隙灯像训练单分支单模态分类网络,得到单模态图像分类模型;基于并行视觉transformer主干网络和分类器搭建双分支并行双模态分类网络,并采用多组合成配对图像训练双分支并行双模态分类网络,得到双模态图像分类模型。

16、本发明针对眼科配对标注样本稀缺、真实免散瞳影像数据量不足导致模型训练不充分、泛化能力差的行业痛点,构建多模态对偶扩散模型生成高质量配对合成图像,扩充裂隙灯-眼底配对样本数据集,进而利用合成配对图像分别训练单模态、双模态分类网络,有效弥补真实医疗样本数量少、样本分布不均衡的缺陷,提升单模态粗筛模型与双模态精判模型的训练充分度与特征提取能力,从模型源头提升诊断体系的整体精度与鲁棒性。

17、在一种可选的实施方式中,将第一图像张量和第二图像张量输入至多模态对偶扩散模型进行训练,直至多模态对偶扩散模型的总损失函数收敛至预设阈值,包括:将第一图像张量和第二图像张量输入至多模态对偶扩散模型的编码器,得到对应的两组无噪声隐特征向量,并向两组无噪声隐特征向量中分别加入标准高斯噪声,得到两组带噪声隐特征向量;将两组带噪声隐特征向量分别输入至并行的眼底像去噪分支和裂隙灯像去噪分支,在隐藏层分别提取裂隙灯像去噪分支的第三查询矩阵、第三键矩阵和第三值矩阵,及眼底像去噪分支的第四查询矩阵、第四键矩阵和第四值矩阵;将第四查询矩阵传递至裂隙灯像去噪分支,与第三键矩阵和第三值矩阵进行点积交叉注意力计算,得到裂隙灯侧融合隐特征,并将第三查询矩阵传递至眼底像去噪分支,与第四键矩阵和第四值矩阵进行点积交叉注意力计算,得到眼底侧融合隐特征;将裂隙灯侧融合隐特征分别输入至裂隙灯像去噪分支的解码器和后端映射网络,由解码器输出第一去噪原图,由后端映射网络输出第一预测噪声,并将眼底侧融合隐特征分别输入至眼底像去噪分支的解码器和后端映射网络,由解码器输出第二去噪原图,由后端映射网络输出第二预测噪声;将第一去噪原图和第二去噪原图输入至预先训练的多模态白内障病情分类器,得到对应的第一分级概率分布和第二分级概率分布;根据第一预测噪声、第二预测噪声和标准高斯噪声构建联合噪声重构损失函数,并根据第一分级概率分布和第二分级概率分布构建跨模态分类一致性损失函数;对联合噪声重构损失函数和跨模态分类一致性损失函数进行加权融合得到总损失函数,并基于总损失函数对多模态对偶扩散模型进行反向传播和参数更新,直至总损失函数收敛至预设阈值。

18、本发明限定多模态对偶扩散模型的完整训练机制,隐空间加噪训练能够规避像素级加噪带来的图像失真问题,双向交叉注意力融合提升合成图像的模态匹配度;双损失约束不仅保证扩散模型生成图像的画质真实性,还强制双模态生成内容的病变特征一致性,避免模态合成错位、特征不匹配的问题,有效杜绝伪像生成,保证合成裂隙灯图像与眼底图像符合临床光学规律与病理一致性,解决长尾样本增广失真、模态错位问题,产出高可信、高匹配的配对样本,从训练源头保障分类模型的诊断精度与临床泛化能力,进而保障分类模型的训练效果与诊断精度。

19、第二方面,本发明提供了一种免散瞳的白内障诊断装置,装置包括:图像获取模块,用于获取目标受检者的目标眼睛在免散瞳状态下的晶状体裂隙灯像和彩色眼底像,并分别对晶状体裂隙灯像和彩色眼底像进行预处理,得到对应的第一图像张量和第二图像张量;双模融合模块,用于将第一图像张量和第二图像张量输入至预先构建的双模态图像分类模型进行特征对齐与融合,确定目标眼睛的裂隙灯像预测概率分布和眼底像预测概率分布;分级诊断模块,用于根据裂隙灯像预测概率分布和眼底像预测概率分布确定目标眼睛的白内障分级诊断结果。

20、第三方面,本发明提供了一种电子设备,包括:存储器和处理器,存储器和处理器之间互相通信连接,存储器中存储有计算机指令,处理器通过执行计算机指令,从而执行上述第一方面或其对应的任一实施方式的免散瞳的白内障诊断方法。

21、第四方面,本发明提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机指令,计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的免散瞳的白内障诊断方法。