一种内窥镜控制辅助的智能诊断识别方法与流程
本发明涉及医疗影像诊断,特别是一种内窥镜控制辅助的智能诊断识别方法。
背景技术:
1、随着高清电子内窥镜、窄带成像、放大内镜及计算机视觉技术的发展,内窥镜检查已由依赖医师肉眼观察的传统模式,逐步向病灶自动检出、区域分割、组织类型识别及浸润深度评估等智能辅助模式演进。现有内窥镜智能诊断方法通常利用卷积神经网络或视觉特征提取网络对内窥镜图像进行处理,通过预先标注的正常组织、炎性病变、癌前病变及早期癌图像训练识别模型,并在检查过程中输出病灶检测框、病灶区域掩码、类别概率或浸润深度打分图,以辅助医师确定可疑病灶的位置和活检区域。为提高诊断信息的完整性,相关技术进一步由单一的正常与病变分类发展为多分支或多任务视觉分析,从同一内窥镜图像中获得空间位置、边界形态和组织浸润风险等多维度信息,从而为内窥镜操作和临床判断提供可视化参考。
2、然而,现有内窥镜智能诊断技术仍存在以下不足。其一,病灶检测、轮廓分割与浸润深度评估通常采用相互独立或松散连接的任务分支,各任务主要依据自身特征完成预测,因而会出现病灶检测框、分割边界与浸润深度区域相互偏离的情况,难以保证同一病灶的多维视觉信息在空间范围和组织语义上的一致性。其二,现有方法多以独立单帧作为推理对象,未充分考虑内窥镜镜头移动、组织蠕动、光照反射、失焦及运动模糊对连续视频帧的影响,导致检测框、分割掩码和浸润深度热力图在相邻帧间发生抖动、闪烁或短时丢失,容易在抑制显示波动的同时削弱短时出现的异常病灶信息,难以兼顾连续显示稳定性与可疑病灶敏感性。
技术实现思路
1、鉴于上述现有存在的问题,提出了本发明。
2、因此,本发明提供了一种内窥镜控制辅助的智能诊断识别方法解决多任务评估不一致及连续视频显示稳定性与异常病灶敏感性难以兼顾问题。
3、为解决上述技术问题,本发明提供如下技术方案:
4、本发明提供了一种内窥镜控制辅助的智能诊断识别方法,其包括,采集连续内窥镜视频帧并进行帧序列化,获取图像清晰度特征,对图像清晰度特征进行分位数归一化,生成图像质量评估分,基于图像质量评估分对训练视频帧进行可用筛选,并对筛选保留的训练视频帧进行病灶多任务视觉标注,构建内窥镜病灶视觉样本集;采用视觉编码层、互证耦合层和联合解码层,构建多任务视觉检测模型,基于内窥镜病灶视觉样本集对多任务视觉检测模型进行联合训练,并基于训练后的多任务视觉检测模型,对待识别视频帧进行双向互证推理,生成病灶视觉表征;从病灶视觉表征中提取帧预测置信度,并将帧预测置信度与对应的图像质量评估分进行门控融合,生成综合门控得分,按照综合门控得分对时间相邻的病灶视觉表征进行动态平滑与连续性校正,生成病灶稳定检测帧;基于帧预测置信度,将病灶稳定检测帧与病灶视觉表征分别配置为稳定显示分支和异常保护分支,生成门控分支序列,当门控分支序列形成连续异常保护分支段时,绕过动态平滑通路,并结合连续异常保护分支段中末位异常保护分支对应的病灶视觉表征进行提示叠加,生成内窥镜控制辅助提示帧。
5、作为本发明所述内窥镜控制辅助的智能诊断识别方法的一种优选方案,其中,所述获取图像清晰度特征,具体步骤如下:
6、按照视频图像对应的采集时刻进行帧序标识,将具有相邻采集时刻的视频图像依次连接,生成内窥镜视频帧序列,并提取内窥镜视频帧序列中的像素亮度信息转换为灰度像素矩阵;
7、对灰度像素矩阵执行空间二阶差分处理,提取组织边缘和纹理交界位置的灰度跃迁响应,生成边缘响应矩阵,并对边缘响应矩阵内灰度跃迁响应的离散程度进行方差聚合,生成清晰度响应值;
8、将清晰度响应值按照帧序标识回写至内窥镜视频帧序列,并将帧序标识、采集时刻和清晰度响应值进行关联封装,生成图像清晰度特征。
9、作为本发明所述内窥镜控制辅助的智能诊断识别方法的一种优选方案,其中,所述图像质量评估分是基于图像清晰度特征,按照帧序标识将当前帧的清晰度响应值与当前帧之前已完成清晰度计算的视频帧的清晰度响应值进行分位比较,确定当前帧的清晰度分位值,并将清晰度分位值映射至归一化区间生成的。
10、作为本发明所述内窥镜控制辅助的智能诊断识别方法的一种优选方案,其中,所述构建内窥镜病灶视觉样本集,具体步骤如下:
11、将图像质量评估分与图像质量筛选阈值逐帧比较,保留图像质量评估分达到图像质量筛选阈值的视频帧,并按照帧序标识汇集生成可用内窥镜视频帧集;
12、从可用内窥镜视频帧集中提取训练视频帧,对训练视频帧进行病灶区域检测标注、病灶轮廓分割标注和浸润深度分类标注,并将训练视频帧与对应标注按照帧序标识关联封装,构建内窥镜病灶视觉样本集。
13、作为本发明所述内窥镜控制辅助的智能诊断识别方法的一种优选方案,其中,所述采用视觉编码层、互证耦合层和联合解码层,构建多任务视觉检测模型,具体步骤如下:
14、视觉编码层基于内窥镜病灶视觉样本集中的可用内窥镜视频帧,通过共享卷积编码和多尺度图像特征提取,生成多尺度视觉特征;
15、互证耦合层基于多尺度视觉特征,分别提取病灶检测分割特征和浸润深度特征,并通过跨任务门控交互将病灶检测分割特征中的空间定位响应嵌入浸润深度特征,将浸润深度特征中的像素深度响应反向嵌入病灶检测分割特征,生成双向互证耦合特征;
16、联合解码层基于双向互证耦合特征,对病灶空间定位响应进行位置解析,生成病灶检测框,对病灶区域内的像素进行组织类别解析,获取像素分类响应并生成病灶分割掩码,根据病灶检测框和病灶分割掩码所限定的病灶区域,对像素深度响应进行逐像素类别解析,获取深度分类响应,并将深度分类响应回填至对应像素位置,生成浸润深度热力图,对像素分类响应和深度分类响应进行空间聚合,生成帧预测置信度;
17、将视觉编码层、互证耦合层和联合解码层按照多尺度视觉特征进行传递、双向门控交互及多任务结果解码的级联关系进行连接,构建多任务视觉检测模型。
18、作为本发明所述内窥镜控制辅助的智能诊断识别方法的一种优选方案,其中,所述生成病灶视觉表征,具体步骤如下:
19、基于样本病灶检测框、样本病灶分割掩码和样本浸润深度热力图,分别与对应的病灶区域检测标注、病灶轮廓分割标注和浸润深度分类标注进行结果校验,并从样本浸润深度热力图中提取与浸润深度分类标注对应的类别区域边界,将类别区域边界与样本病灶分割掩码边界进行空间一致性校验,生成联合训练损失,将联合训练损失进行反向传播,依次调整联合解码层、互证耦合层和视觉编码层的模型参数,获得训练后的多任务视觉检测模型;
20、将待识别视频帧依次输入训练后的多任务视觉检测模型,以病灶空间约束浸润深度解析,并利用浸润深度分布反向校正病灶轮廓,生成病灶视觉表征。
21、作为本发明所述内窥镜控制辅助的智能诊断识别方法的一种优选方案,其中,所述综合门控得分是按照帧序标识,从各病灶视觉表征中提取帧预测置信度,并调用同一帧序标识对应的图像质量评估分,将帧预测置信度作为病灶识别可信因子,将图像质量评估分作为图像可辨识因子,并对病灶识别可信因子与图像可辨识因子执行双因子乘积门控生成的。
22、作为本发明所述内窥镜控制辅助的智能诊断识别方法的一种优选方案,其中,所述生成病灶稳定检测帧,具体步骤如下:
23、对综合门控得分进行互补门控映射,形成写入量和保留量,利用写入量与保留量对病灶检测框、病灶分割掩码及浸润深度热力图执行同帧同步融合,生成当前帧门控平滑帧;
24、将当前帧门控平滑帧封装为当前病灶稳定检测帧,并将当前病灶稳定检测帧作为下一相邻帧执行递推融合时调用的前一病灶稳定检测帧,按照帧序标识逐帧递推,生成病灶稳定检测帧。
25、作为本发明所述内窥镜控制辅助的智能诊断识别方法的一种优选方案,其中,所述生成内窥镜控制辅助提示帧,具体步骤如下:
26、基于门控分支序列,当连续接通异常保护分支的帧数达到异常帧数阈值时,锁定异常保护分支对应的病灶视觉表征,并截断当前病灶稳定检测帧向下一相邻帧的动态平滑递推,生成异常保护输出,当连续接通异常保护分支的帧数未达到异常帧数阈值时,调用同一帧序标识对应的病灶稳定检测帧,生成稳定显示输出;
27、将异常保护输出与稳定显示输出中的病灶检测框、病灶分割掩码和浸润深度热力图与对应帧预测置信度进行同帧关联,并叠加至同一帧序标识对应的待识别视频帧,生成内窥镜控制辅助提示帧。
28、本发明有益效果为:通过双向互证融合病灶定位、轮廓分割与浸润深度特征,提高多维视觉评估的一致性,并结合图像质量与预测置信度实施动态平滑和异常旁路保护,抑制连续视频中的标注抖动并保留突发可疑病灶信息,从而提升内窥镜诊断识别的稳定性、敏感性与辅助提示可靠性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com