一种基于多尺度解剖约束与跨模态知识蒸馏的超声生物显微镜眼前节结构提取方法及系统

摘要: 本发明涉及一般的图像数据处理或产生的,特别涉及一种基于多尺度解剖约束与跨模态知识蒸馏的超声生物显微镜眼前节结构提取方法及系统。背景技术:1、超声生物显微镜(ul...
一种基于多尺度解剖约束与跨模态知识蒸馏的超声生物显微镜眼前节结构提取方法及系统

本发明涉及一般的图像数据处理或产生的,特别涉及一种基于多尺度解剖约束与跨模态知识蒸馏的超声生物显微镜眼前节结构提取方法及系统。

背景技术:

1、超声生物显微镜(ultrasound biomicroscopy,ubm)是一种高频超声成像设备,工作频率通常为35-100mhz。相较于眼前节光学相干断层扫描(as-oct),ubm具有声学穿透优势,能够显示虹膜后方、后房及睫状体等光学成像难以观察的深部结构,是闭角型青光眼筛查、房角形态评估与睫状体相关疾病诊断的重要影像学手段。在临床实践中,眼科医师通常需要基于ubm图像手动标注巩膜突、前房角顶点及睫状体等关键结构,并据此计算房角开放距离(angle opening distance, aod)、小梁虹膜夹角(trabecular-iris angle, tia)、房角隐窝面积(angle recess area, ara)、虹膜厚度及睫状体位置等前房角参数,用于评估房角开放程度及青光眼风险。上述过程依赖医师经验,单张图像的完整标注通常需要15-20分钟,且标注结果受图像质量、散斑噪声和前房角闭合状态的影响显著。因此,实现ubm眼前节结构(anterior segment structures)的自动、精准提取具有重要的临床价值。

2、现有技术中,传统ubm图像分析方法主要包括边缘检测、活动轮廓模型、水平集方法、半自动测量软件及规则化几何测量等,此类方法在结构边界清晰、解剖结构可见的条件下可获得一定的处理效果,但其性能高度依赖初始化参数设置、图像质量及操作者的交互精度,在散斑噪声显著或结构边界模糊的场景下稳定性不足。

3、近年来,随着深度学习技术的发展,u-net、unet++、nnu-net、deeplab、yolo等神经网络模型已被探索用于ubm眼前节图像分割、巩膜突定位及前房角参数测量。部分研究表明,多组织分割、巩膜突检测和aod/tia/ara自动计算在特定数据集上具有一定的可行性。然而,现有技术仍存在以下不足:

4、(1)在闭角或窄角状态下,虹膜与角膜或小梁区域相互贴近,巩膜突可能被遮挡而不可见或其影像边界极弱,单纯依赖局部视觉特征的神经网络在此类情形下容易输出不稳定甚至错误的定位结果,而巩膜突是aod、tia、ara等全部下游参数的解剖基准点,其定位偏差会系统性传导至所有参数计算结果;

5、(2)不同ubm设备的探头频率、扫描深度、增益设置、重建算法及图像尺寸存在差异,现有方法通常仅在单一设备或单一采集协议的数据上训练,当部署到目标设备时,性能出现显著下降;

6、(3)ubm图像的像素级结构标注需要由眼科医师逐结构勾画,标注成本高、效率低,同时受ubm图像固有散斑噪声和结构边界模糊的影响,不同标注者之间的标注差异可达30-50像素,标注的一致性和准确性难以保证,标注数据稀缺严重制约有监督深度学习方法的性能上限;

7、(4)现有分割网络通常将角膜、虹膜、睫状体、晶状体及巩膜突等结构视为相互独立的类别进行像素级分类,未能充分利用眼前节各结构之间的空间邻接关系、包络关系和形态统计约束,因此容易产生解剖学上不合理的分割结果,如结构重叠、断裂或相对位置违背解剖常识;

8、(5)低质量ubm图像可能因运动伪影、耦合不良或扫描位置偏差而导致分割结果不可信,现有方法在该类图像上仍强制输出确定性的参数值,且不提供任何关于输出可信度的量化指标,存在潜在的临床误用风险。

技术实现思路

1、本发明解决了现有技术中存在的问题,提供了一种基于多尺度解剖约束与跨模态知识蒸馏的超声生物显微镜眼前节结构提取方法及系统。

2、本发明所采用的技术方案是,一种基于多尺度解剖约束与跨模态知识蒸馏的超声生物显微镜眼前节结构提取方法,包括:

3、对超声生物显微镜图像进行自监督预训练,获得用于特征提取的编码器初始化参数;

4、构建多尺度分割网络,对所述超声生物显微镜图像进行眼前节结构分割,输出可见解剖结构,并对眼前节关键点进行可见性概率评估;所述多尺度分割网络包括外观编码分支和解剖先验编码分支;

5、当可见性概率达到设定阈值时,采用直接回归方式输出关键点的位置坐标,否则切换至上下文概率推理模式,基于可见解剖结构的空间上下文信息估计关键点的后验位置概率分布,并输出位置估计值及其置信区间;

6、在训练阶段,利用辅助模态图像数据对所述多尺度分割网络进行跨模态知识蒸馏;在推理阶段,对输入图像进行质量评估,并根据评估结果选择对应的推理路径,输出结构分割结果、解剖参数及相应的置信度信息。

7、优选地,所述自监督预训练中,基于超声生物显微镜图像的散斑统计特征确定掩码单元尺度,并以与所述掩码单元尺度匹配的结构化掩码对图像进行掩码建模;

8、所述自监督预训练的重建损失包括像素级重建损失、散斑统计分布一致性损失和频域一致性损失中的至少一种。

9、优选地,所述解剖先验编码分支构建可学习的解剖关系图,所述解剖关系图包括若干分别对应多尺度分割网络中待提取的眼前节目标解剖结构的节点,所述节点间具有解剖学约束关系。

10、优选地,所述多尺度分割网络通过解剖约束注意力机制融合外观编码分支输出的外观特征和解剖先验编码分支输出的解剖特征;

11、解剖约束注意力机制根据所述解剖关系图生成约束掩码,用于在注意力权重计算中对解剖关系图中未定义关联的结构之间的特征交互进行抑制。

12、优选地,所述上下文概率推理模式的输入包括角膜后表面终止端位置、虹膜根部位置、睫状体前缘位置及角膜缘距离中的至少一种。

13、优选地,所述跨模态知识蒸馏仅对超声生物显微镜图像与辅助模态图像数据中共有的可见解剖结构执行;跨模态知识蒸馏包括特征级蒸馏和输出级蒸馏,采用跨模态特征适配器对两种模态的特征统计量进行对齐。

14、优选地,所述质量评估基于无参考图像质量评估网络输出若干维度的质量评分;

15、所述维度包括图像清晰度评分、解剖结构可见度评分和扫描方位标准化评分中的至少两种;

16、当质量评分高于第一阈值时执行全精度推理并输出完整分割结果与参数,当质量评分介于第一阈值和第二阈值之间时执行带不确定性量化的推理并输出参数及置信区间,当质量评分低于第二阈值时拒绝输出分析结果并输出重新采集提示。

17、优选地,所述带不确定性量化的推理通过多次随机失活前向传播或深度集成方式估计预测分布,以预测均值作为参数估计值,以预测方差作为不确定性度量,并输出像素级不确定性热图。

18、优选地,所述解剖参数包括房角开放距离、小梁虹膜夹角和房角隐窝面积中的至少一种;

19、解剖参数基于所述多尺度分割网络输出的结构分割结果和关键点位置估计值,按照统一的几何定义自动计算获得,并随关键点的置信区间传播输出解剖参数对应的置信区间。

20、一种超声生物显微镜眼前节结构提取系统,包括:

21、存储器,用于存储计算机程序;

22、处理器,所述处理器执行所述计算机程序时实现所述的基于多尺度解剖约束与跨模态知识蒸馏的超声生物显微镜眼前节结构提取方法;

23、系统接收超声生物显微镜图像,输出眼前节结构的自动分割结果、前房角解剖参数及对应的置信度信息。

24、本发明涉及一种基于多尺度解剖约束与跨模态知识蒸馏的超声生物显微镜眼前节结构提取方法及系统,对超声生物显微镜图像自监督预训练,获得编码器初始化参数;以包括外观编码分支和解剖先验编码分支的多尺度分割网络对超声生物显微镜图像分割眼前节结构,输出可见解剖结构,并对眼前节关键点进行可见性概率评估;可见性概率达到设定阈值时输出关键点的位置坐标,否则基于可见解剖结构的空间上下文信息估计关键点的后验位置概率分布,输出位置估计值及置信区间;训练阶段利用辅助模态图像数据对网络跨模态知识蒸馏,推理阶段对输入图像质量评估,选择对应的推理路径,输出结构分割结果、解剖参数及相应的置信度信息;系统包括存储器及执行方法的处理器。

25、本发明的有益效果在于:

26、(1)利用未标注ubm图像进行散斑感知自监督预训练,使模型在精细标注数据有限的条件下即可获得可用的结构表征,降低标注依赖,显著缓解像素级标注稀缺对模型性能的制约;

27、(2)通过可学习解剖关系图与解剖约束注意力机制,将眼前节结构间的邻接、包络及形态统计先验嵌入网络,有效抑制结构重叠、断裂等解剖学不合理的误分割;

28、(3)针对巩膜突不可见情形,设置可见性判断与上下文概率推理双路径机制,不可见时输出位置概率分布及置信区间,避免强行定位导致的系统性参数偏差,改善闭角病例定位稳健性;

29、(4)通过跨模态解剖知识蒸馏将as-oct的清晰边界知识选择性地迁移至ubm网络,结合散斑统计预训练,降低模型对单一设备灰度分布的过度依赖,增强跨设备泛化能力;

30、(5)在推理阶段设置质量自适应动态推理模块,根据图像质量自动分流全精度推理、不确定性量化推理或拒绝分析,输出结果附带置信度,有效降低低质量图像上的误用风险,形成闭环质量控制;

31、(6)从原始ubm图像输入到前房角参数输出全流程自动化,并将关键点定位不确定性传播至最终参数,输出参数值及其置信区间,实现端到端全自动参数计算。