一种基于多模态图像融合的阑尾炎内窥镜下手术导航系统

摘要: 本发明涉及手术导航系统,具体为一种基于多模态图像融合的阑尾炎内窥镜下手术导航系统。背景技术:1、现有手术导航系统以ct、mri等多模态医学影像数据为基础,通过三...
一种基于多模态图像融合的阑尾炎内窥镜下手术导航系统

本发明涉及手术导航系统,具体为一种基于多模态图像融合的阑尾炎内窥镜下手术导航系统。

背景技术:

1、现有手术导航系统以ct、mri等多模态医学影像数据为基础,通过三维重建、光学/电磁定位等技术,实时匹配患者解剖结构与手术器械位置,辅助医生精准规划手术路径、监控操作进程,已从早期神经外科应用拓展至骨科、眼科、胸外科等多领域,国产设备在ar导航、便携式低成本、亚毫米级精度等方向实现技术突破,大幅降低手术创伤与操作风险,推动微创手术向更精准、安全的方向发展。

2、如现有技术cn115645050公开的一种手术导航系统,包括工作模块、术中图像获取模块、显示模块和执行模块,执行模块包括标定单元和执行单元;标定单元用于与对象预设部位连接以将对象统一至预设坐标系中;术中图像获取模块获取对象指定部位的术中图像;工作模块根据预设ct图像信息建立手术规划方案,然后将预设ct图像信息与术中图像信息进行配准,并将预设ct图像和手术规划方案传输至显示模块;执行单元将执行单元的坐标位置信息传输至工作模块;显示模块用于显示预设ct图像、手术规划方案以及执行单元的坐标位置信息。

3、如上技术所示,现有通用手术导航系统多基于影像建立模型,实现器械定位引导,但是运用到阑尾细长薄壁的特殊管腔环境中,存在一些明显局限,例如阑尾管腔环境中存在较多的黏膜褶皱等,若内镜视野被黏膜褶皱、黏液部分遮挡时,常规视觉匹配易丢失有效特征,出现导航跟踪中断;且在术中若出现少量出血完全覆盖视野时,系统无应急导航机制,会直接失去引导能力,而阑尾管腔狭小,盲目操作不够安全。

技术实现思路

1、针对现有技术的不足,本发明提供了一种基于多模态图像融合的阑尾炎内窥镜下手术导航系统,解决了现有手术导航系统运用于阑尾内镜手术存在的问题。

2、为实现以上目的,本发明通过以下技术方案予以实现:一种基于多模态图像融合的阑尾炎内窥镜下手术导航系统,包括:

3、多模态影像融合建模单元,用于完成术前ct与内镜超声影像的采集、配准融合,生成阑尾全区域三维可视化模型;

4、拓扑导航参数预配置单元,用于在三维模型中完成腔内特征标注、拓扑关系构建,生成专属拓扑特征库与生物力学形变先验约束;

5、实时位姿与视频接入单元,用于术中低延迟接入内镜高清视频流与光学定位位姿数据,缓存前3帧全量轨迹信息;

6、局部遮挡特征补全单元,用于在视野被黏液、褶皱部分遮挡时,依托拓扑关联关系推算缺失特征坐标,维持匹配连续性;

7、动态安全路径生成单元,用于结合镜头实时位置与病灶目标点生成动态指引线,同步显示剩余距离;

8、微递推应急导航单元,用于在全视野出血特征丢失时,基于缓存位姿与步长完成无视觉递推,约束轨迹不穿出管腔;

9、术中融合渲染单元,用于将术前预标注的病灶、血管、危险区域以半透明色标叠加在原生内镜视野中,并进行镜头安全预警。

10、优选的,所述多模态影像融合建模单元的工作步骤具体为:术前对患者行腹部薄层ct扫描,采集阑尾及其周边伴行血管、系膜组织的完整三维断层影像;同步进行内镜超声扫查,获取阑尾管壁各分层结构、腔内病灶的细节影像数据;

11、然后先通过刚性配准算法完成ct影像与内镜超声影像的全局空间粗对齐,再采用非刚性配准修正因患者体位、器官自然形变带来的空间误差,最终融合生成完整覆盖阑尾本体、腔内病灶、周边血管、手术危险区域的三维可视化模型。

12、优选的,所述拓扑导航参数预配置单元的工作步骤具体为:在完成的三维可视化模型中,采用ai自动标注结合人工复核的方式,对阑尾腔内每一条黏膜褶皱、每一支可识别微小血管的全部特征点标注精准空间坐标,同步记录各特征点之间的相邻连接关系、分支走向的拓扑关联信息,并将记录的数据存入阑尾专属拓扑特征库;同时为每一个拓扑特征点绑定从阑尾开口处0mm基准位开始的管腔轴向深度标签,构建全管腔覆盖的轴向锚定体系;针对阑尾仅数厘米的极短行程特性,提前定制步长0.1mm的微递推运行参数,录入预构建的阑尾专属生物力学形变先验库,预设适配该细长管腔的专属运动约束规则,将术前三维模型提取的阑尾管腔内壁轮廓设定为递推硬边界,运行过程中自动过滤所有超出阑尾管腔范围的无效运动轨迹。

13、优选的,所述实时位姿与视频接入单元的工作步骤具体为:将术中内窥镜输出的高清视频信号通过低延迟传输链路接入导航系统,同步通过光学定位模块实时追踪内窥镜镜头的空间姿态与绝对位置信息;系统后台持续缓存最近3帧的内镜精准位姿数据,完整记录包括镜头的移动速度、旋转角度、运动方向的全量轨迹信息。

14、优选的,所述动态安全路径生成单元的工作步骤具体为:系统结合当前镜头的实时位置与术前预设的病灶切除目标点,自动计算并生成动态三维路径指引线,同步在视野边角区域显示镜头到目标点的实时剩余距离数值。

15、优选的,所述术中融合渲染单元的工作步骤具体为:系统将实时采集的内镜画面与术前三维模型开展特征点快速匹配,通过轻量化深度学习实时融合算法,将术前预标注的病灶边界、血管走形、危险区域以半透明色标的形式叠加渲染在原生内镜视野中;手术全程中,当内窥镜镜头偏离预设安全路径、靠近术前标注的危险区域时,系统在内镜视野边缘弹出高亮偏转提示。

16、优选的,所述局部遮挡特征补全单元的工作步骤具体为:当内镜视野被黏膜褶皱、薄层黏液部分遮挡时,通过视野内剩余的可见特征点完成轴向深度锚定,快速锁定当前镜头在阑尾管腔内的具体深度位置;依托已完成匹配的可见特征点的拓扑关联关系,顺着术前预存的褶皱、血管的固有走向,通过几何约束推算出被遮挡区域所有特征点的空间坐标;推算过程中同步启动褶皱与血管双特征交叉校验逻辑,剔除黏液反光、黏膜出血点带来的伪特征点,再结合实时采集的镜头牵拉姿态,调用阑尾生物力学形变先验库微调局部特征坐标的偏移量,并全程维持特征匹配连续不中断。

17、优选的,所述微递推应急导航单元的工作步骤具体为:当术中少量出血完全覆盖内镜视野、视觉特征完全丢失时,系统自动切换至预配置的0.1mm步长微递推应急模式,直接调取缓存的前3帧精准位姿数据,启动帧间运动惯性锁死机制,将后续递推过程中的运动参数严格约束在阑尾内镜临床操作的合理区间内;每完成一次0.1mm的位置推算,系统自动校验当前推算点是否落在阑尾管腔硬边界范围内,修正超出边界的无效轨迹。

18、优选的,系统还包括双模式无缝切换单元:当出血逐步消退、内镜视野重新露出足够的有效特征点时,系统将微递推模式最后一帧输出的位置固化为基准锚点,在该锚点周边毫米级的局部范围内完成视觉特征的快速重匹配,通过渐进式位姿校准完成微递推应急导航与常规视觉融合导航两种模式的零误差无缝切换。

19、优选的,两种模式零误差无缝切换的具体步骤为:

20、系统以10ms为间隔持续对内镜实时画面做像素级语义识别,调用提前训练好的阑尾专属出血语义分割模型,实时统计画面中有效黏膜特征的占比;当连续3帧画面中,未被血液覆盖的黏膜纹理、血管、褶皱的有效特征点数量≥5个,且这些特征点的分布覆盖画面至少2个不同象限时,系统判定出血遮挡状态正式解除,自动启动导航模式切换流程;

21、立刻冻结微递推模式最后一帧的全部位姿数据,将此时刻镜头的空间三维坐标、旋转角度、轴向深度标签、运动速度共6类参数完整固化,作为视觉重匹配的唯一基准锚点;同时调取术前拓扑特征库中,该轴向深度±1mm范围内所有预标注的黏膜褶皱、微小血管的特征坐标集合,限定后续视觉匹配的搜索范围;

22、将当前内镜画面中新露出的5个以上有效特征点,和限定范围内的术前拓扑特征库做快速匹配,依托褶皱与血管双特征交叉校验规则完成特征对齐;

23、自动对比视觉重匹配得到的新位姿和基准锚点位姿,基于不同偏差阈值执行对应梯度的位姿校准;

24、完成校准后自动退出微递推应急模式,切换回常规的实时视觉融合导航状态,同步在后台记录本次出血遮挡的相关数据存入手术专属日志。

25、本发明提供了一种基于多模态图像融合的阑尾炎内窥镜下手术导航系统。与现有技术相比具备以下有益效果:

26、1、现有通用腹腔内镜导航大多直接复用腹部ct影像做全局配准,对阑尾这种直径仅数毫米、行程极短的细长管腔,普遍存在影像融合错位、微小血管与黏膜褶皱标注遗漏的问题。本方案通过ct与内镜超声的“刚性粗对齐+非刚性精修正”双阶段配准,结合ai标注+人工复核的专属拓扑特征库构建,首次实现了阑尾腔内每一条黏膜褶皱、每一支可识别微小血管的全特征空间坐标覆盖,建模精度从常规导航的2-3mm提升至0.1mm级,从根源上解决了阑尾腔内解剖特征辨识度低、术前模型与术中实际解剖形态偏差大的行业痛点。

27、‌2、传统内镜导航一旦视野被黏液、黏膜褶皱部分遮挡,就会因有效特征点不足直接丢失位姿跟踪,导致导航断连。本方案依托预构建的拓扑关联集合r,通过轴向深度锚定公式快速锁定镜头当前管腔位置,顺着褶皱与血管的固有拓扑走向直接推算遮挡区域的特征坐标,再通过双特征交叉校验剔除黏液反光、出血点带来的伪特征,实现了局部遮挡场景下特征匹配全程连续不中断,大幅提升了复杂视野下的导航稳定性。

28、‌3、现有内镜导航在术中出血完全覆盖视野时,视觉特征完全丢失后会直接失效,医生只能依靠经验盲操作,极易出现镜头穿出阑尾壁、误伤周边血管的风险。本方案通过帧间运动惯性锁死约束公式,将递推运动参数严格限定在阑尾内镜临床操作的合理区间内,再配合管腔硬边界合法性校验公式,以0.1mm步长做微递推推算,在2秒的应急窗口内始终维持亚毫米级导航精度,完全避免了全视野出血时导航完全失效的问题。

29、‌4、常规导航在出血消退后重新恢复视觉跟踪时,往往会出现位姿跳变、叠加色标突然错位跳转的问题,极易干扰医生的手术操作节奏。本方案通过双模式切换渐进校准公式,将微递推末帧锚点与视觉重匹配坐标通过5步渐进式平滑过渡完成对齐,全程最大偏移量控制在0.2mm以内,完全消除了模式切换时的画面跳变错位问题,两种导航模式切换过程无任何感知断层,医生操作连贯性不受任何影响。

30、‌5、本方案针对阑尾“管腔细、行程短、管壁薄”的专属解剖特性,定制了从术前拓扑标注、术中运动约束到应急边界校验的全链条专属规则,区别于通用腹腔内镜导航的泛化参数,所有约束逻辑完全贴合阑尾内镜的临床操作场景,半透明色标叠加渲染全程不遮挡原生手术视野,配合偏离安全路径时的高亮预警,既保留了医生常规手术观察的操作习惯,又实现了全流程的安全兜底,大幅降低了年轻医生开展复杂阑尾内镜手术的学习曲线门槛。