一种基于双层闭环控制的儿童眼底全景构建方法及系统

摘要: 本发明属于图像处理,涉及一种儿童眼底全景图像的拼接,尤其涉及一种基于双层闭环控制的儿童眼底全景构建方法及系统。背景技术:1、眼底是全身唯一一个能用肉眼直接观察到...
一种基于双层闭环控制的儿童眼底全景构建方法及系统

本发明属于图像处理,涉及一种儿童眼底全景图像的拼接,尤其涉及一种基于双层闭环控制的儿童眼底全景构建方法及系统。

背景技术:

1、眼底是全身唯一一个能用肉眼直接观察到动脉、静脉和毛细血管的部位,这些血管可以直接反映人体全身血液循环的状态以及健康状况。因此,许多疾病是可以通过眼底图像反映出来。眼底照相,是目前眼科最常用的临床检查方法,通过眼底照相采集到眼底图像,并对眼底图像进行分析后即可直接告诉我们视网膜神经、血管、形态的全部信息,有助于眼科疾病的早期诊断和治疗,对一些全身性疾病(比如高血压、高度近视、糖尿病等)的发现及诊断提供帮助。

2、现有技术中的常规眼底图像大多为45°眼底相机所拍摄,其视野小,会导致视网膜周边信息遗漏;尤其是儿童眼底图像,其视野有限、照明不均、局部模糊或畸变明显,不同拍照时刻可能存在姿态变化、眼球运动和有效视场差异。因此,为了得到更大范围的眼底全景图像,更大范围地看到患者眼底情况,通常会通过不同角度多拍几张眼底图像,再基于图像拼接方法对不同角度的眼底图像进行拼接,从而有利于对眼底疾病的诊断。

3、对于眼底图像的拼接,现有技术大体形成以下几类技术路线:

4、1、固定流程的配准与融合;

5、部分方案采用“预处理—特征提取—特征匹配—变换估计—融合”的固定流程。例如,cn109658393a公开了基于视盘定位、血管分割、对数极坐标配准和距离矩阵加权融合的眼底图像拼接方法;cn112164043a公开了采用surf、匹配筛选、ransac与融合的眼底拼接流程。此类方法通常把配准器视为一次性计算模块,当某一中间环节失败时,缺乏对失败责任模块、图像版本和空间区域的结构化定位。

6、rdlr相关论文公开了面向儿童眼底图像的鲁棒匹配与局部优化方法,可作为本方案的一种底层配准原语,其重点是提高配准与全景构建的算法性能,并未公开本方案中的模块证据责任传播、检查点局部失效和双层依赖更新控制链。

7、2、递归拼接、质量反馈和重复执行;

8、cn114897678b公开了一种儿童眼底图像拼接与视网膜图谱更新方案:监测新增图像,将图像入队,调用训练后的配准与融合模型,把新图像与当前全景递归拼接,并基于覆盖范围和质量判断是否继续采集。cn113436070b公开了血管分割、特征组合、匹配、变换、去缝与疾病类别校验等步骤,在校验不一致时选择图像并重复相关步骤。cn116228545a公开了图像分类、筛选、排序以及相邻图像成对拼接并以拼接结果替换原图、循环执行的方案。

9、上述方案体现了质量判断或流程重复,但通常以整个预定流程或一段固定流程为重试单位,未形成从多源模块证据到具体责任模块、具体图像版本、具体空间区域和最早可恢复检查点的映射,也未公开仅使受影响后代失效并安全复用其余计算结果的机制。

10、3、基于连接置信度的全局调整;

11、cn114399429a公开了依据图像连接置信度形成连接关系、选择根节点并沿路径进行全局调整的方案。该方向能够处理多图之间的连接结构,但其重点在连接路径与全局变换调整,尚未形成模块级证据责任分布、版本/区域约束的检查点失效、安全复用以及将局部恢复结果反向更新候选边后验和下游所有权依赖的联合机制。

12、除了上述几种方案以外,公开号为cn118469810a的发明专利申请公开了一种基于人机交互的眼底图像拼接方法、展示方法及装置,其基于图像拼接请求,对从影像列表到图像拼接界面的选取操作进行检测,得到第一检测结果;若第一检测结果表征目标眼底图像被选取至基准图像的预设区域,则将目标眼底图像与基准图像进行图像配准拼接,生成拼接结果;将影像列表中每个目标眼底图像对应的拼接结果进行图像融合,生成眼底全景图像。该方案采用人机交互的方式将影像列表中的所有目标眼底图像选取至基准图像的预设区域,进行图像配准拼接。

13、基于上述现有技术,虽可实现眼底图像的拼接。但是,其也存在一些客观缺陷:1、重试粒度过粗;现有流程经常从头执行整条流水线,导致已正确完成的预处理、血管提取、候选区域计算和匹配结果被重复计算,影响眼底图像拼接重建的质量与效果;2、缓存复用缺少安全边界;如果只按文件名或模块名复用中间结果,当输入图像版本、模型、参数或上游产物发生变化时,容易错误复用陈旧结果,影响眼底图像拼接重建的质量与效果;3、局部恢复可能引发全局不一致;一条配准边被替换或降权后,相关环路、位姿和融合区域均可能变化;若局部层和全局层没有明确反馈协议,容易形成重复失败或隐性冲突,影响眼底图像拼接重建的质量与效果。

技术实现思路

1、本发明的目的在于:为了解决现有儿童眼底全景图像拼接重建质量低、拼接重建效果差的问题,提供一种基于双层闭环控制的儿童眼底全景构建方法及系统。

2、本发明为了实现上述目的具体采用以下技术方案:

3、一种基于双层闭环控制的儿童眼底全景构建方法,包括以下步骤:

4、步骤1、利用获取的初始图像,构建候选配准图;

5、步骤2、根据候选配准图选择待检测候选配准边;选边通过,则确定待检测候选配准边的证据状态,进入步骤3;选边未通过,则重新选边;

6、步骤3、根据证据状态为“可进入局部评估”的待检测候选配准边的预计成本和全局剩余预算,计算局部预算、生成边任务记录;

7、步骤4、利用边任务记录构建原语dag,执行原语dag,建立检查点依赖关系,得到实际执行的配准原语标识、配准原语输出记录和检查点记录;

8、步骤5、根据实际执行的配准原语标识、配准原语输出记录和检查点记录,得到配准执行证据,并绑定到本次配准尝试,得到完整配准执行证据集合;

9、步骤6、评估完整配准执行证据集合,执行决策规则,得到决策动作;若决策动作为“恢复”,则进入步骤7;若决策动作为“跳过局部细化”或“继续”,则进入步骤9;若决策动作为“停止”,则终止本次全景构建;

10、步骤7、决策结果经分流、责任定位、信号分组、去重,得到责任定位结果;若责任定位结果为“已定位”,则再结合计算的三个清单进行转换、散列计算处理,得到完整责任定位结果,进入步骤8;若责任定位状态为“歧义”或“证据不足”,则不生成恢复建议,并终止本次全景构建;

11、步骤8、利用完整责任定位结果生成恢复建议;若恢复建议的状态为“已提出”,则经校验恢复建议、继续运行原语dag、重算输出与证据、重新执行证据门控处理,得到重算决策结果;若重算决策结果的重算决策动作为“跳过局部细化”或“继续”,则进入步骤9;若重算决策动作为“恢复”,则返回步骤7的处理入口,并仅记录无新增已验证安全恢复动作的停止原因,不再执行责任定位、恢复,并终止本次全景构建;若重算决策动作为“停止”,则将配准尝试结果标记为拒绝,并终止本次全景构建;若恢复建议的状态不为“已提出”,则不执行恢复,并终止本次全景构建;

12、步骤9、根据重算决策结果进行评估得到验证支持度;对验证支持度进行判定,并更新可靠边集合;

13、步骤10、分别构建定位边输入、融合图像输入、候选图块依赖,得到各连通活动图像版本的对齐变换;

14、步骤11、对定位边输入和融合图像输入进行筛选,从可靠边集合中确定定位边集合,并确定融合图像集合;依据对齐变换,将融合图像集合中的活动图像版本对齐到全景画布,计算权重并进行逐像素加权求和,得到全景图像,同时形成最终位姿依赖和最终图块依赖。

15、一种基于双层闭环控制的儿童眼底全景构建系统,包括:

16、候选配准图构建模块,用于利用获取的初始图像,构建候选配准图;

17、最终候选配准边选择模块,用于根据候选配准图选择待检测候选配准边;选边通过,则确定待检测候选配准边的证据状态,进入获取局部预算及生成边任务记录模块;选边未通过,则重新选边;

18、获取局部预算及生成边任务记录模块,用于根据证据状态为“可进入局部评估”的待检测候选配准边的预计成本和全局剩余预算,计算局部预算、生成边任务记录;

19、构建并执行原语dag模块,用于利用边任务记录构建原语dag,执行原语dag,建立检查点依赖关系,得到实际执行的配准原语标识、配准原语输出记录和检查点记录;

20、提取配准执行证据模块,用于根据实际执行的配准原语标识、配准原语输出记录和检查点记录,得到配准执行证据,并绑定到本次配准尝试,得到完整配准执行证据集合;

21、评估执行证据与执行决策规则模块,用于评估完整配准执行证据集合,执行决策规则,得到决策动作;若决策动作为“恢复”,则进入责任定位并生成完整责任定位结果模块;若决策动作为“跳过局部细化”或“继续”,则进入计算并判定验证支持度模块;若决策动作为“停止”,则终止本次全景构建;

22、责任定位并生成完整责任定位结果模块,用于决策结果经分流、责任定位、信号分组、去重,得到责任定位结果;若责任定位结果为“已定位”,则再结合计算的三个清单进行转换、散列计算处理,得到完整责任定位结果,进入重算与门控判定模块;若责任定位状态为“歧义”或“证据不足”,则不生成恢复建议,并终止本次全景构建;

23、重算与门控判定模块,用于利用完整责任定位结果生成恢复建议;若恢复建议的状态为“已提出”,则经校验恢复建议、继续运行原语dag、重算输出与证据、重新执行证据门控处理,得到重算决策结果;若重算决策结果的重算决策动作为“跳过局部细化”或“继续”,则进入计算并判定验证支持度模块;若重算决策动作为“恢复”,则返回责任定位并生成完整责任定位结果模块的处理入口,并仅记录无新增已验证安全恢复动作的停止原因,不再执行责任定位、恢复,并终止本次全景构建;若重算决策动作为“停止”,则将配准尝试结果标记为拒绝,并终止本次全景构;若恢复建议的状态不为“已提出”,则不执行恢复,并终止本次全景构建;

24、计算并判定验证支持度模块,用于根据重算决策结果进行评估得到验证支持度;对验证支持度进行判定,并更新可靠边集合;

25、构建输入与依赖模块,用于分别构建定位边输入、融合图像输入、候选图块依赖,得到各连通活动图像版本的对齐变换;

26、确定集合并输出全景图像模块,用于对定位边输入和融合图像输入进行筛选,从可靠边集合中确定定位边集合,并确定融合图像集合;依据对齐变换,将融合图像集合中的活动图像版本对齐到全景画布,计算权重并进行逐像素加权求和,得到全景图像,同时形成最终位姿依赖和最终图块依赖。

27、本发明的有益效果如下:

28、1、本发明中,通过把局部配准与全局融合产生的多源证据,转化为带有模块、图像版本、空间区域和检查点约束的责任信息,并据此执行区域化逻辑失效、安全复用、预算受控的局部恢复以及候选配准图、位姿依赖和图块依赖的同步更新,从而避免无差别全流程重算,提高儿童眼底全景的拼接重建质量与拼接重建效果。

29、2、本发明中,构建了内层边级闭环和外层全局闭环,形成可追溯、可回滚且计算范围可控的双层闭环;内层针对单条候选配准边进行证据提取、责任解析和局部恢复,外层根据可靠边、位姿依赖、图块依赖及全景区域质量更新候选配准图并选择后续动作;通过在各处理阶段保存与图像版本、模型、配置、区域和上游产物相绑定的检查点,可以将最终质量问题反向定位到可执行的恢复位置,并在预算及状态机约束下仅重算受影响部分,提高儿童眼底全景的拼接重建质量与拼接重建效果。

30、3、本发明把质量失败转化为可执行责任,多源证据被绑定到边、模块、图像版本和区域,能够形成结构化责任元组,而不是只输出总分;缩小了重复计算范围,通过最早检查点、依赖后代以及版本/区域相交规则,只对受影响的中间结果进行逻辑失效和重算,未受影响的检查点可以安全复用;降低了错误缓存复用风险,复用同时校验输入版本、模型版本、参数快照和上游产物散列,共享产物采用引用感知的逻辑失效;协调了局部配准与全局全景,局部边结果更新候选配准图后验,全局环路、位姿和区域质量问题又能够反向触发边级或图块级恢复,构成双向闭环;抑制了振荡和无限重试,恢复动作受到效用评分、边/模块/全局预算、失败次数和禁忌表共同约束;提高了工程可验证性,显式状态、输入绑定、证据引用、散列和恢复轨迹使每个自动决策都可复现、可审计和可回放;提高了基础算法可替换性,配准与融合算法被封装为可组合原语,本发明的控制链可兼容传统特征、血管结构、灰度、深度网络或rdlr类算法。