一种面向动态软组织的手术导航方法及系统与流程
本发明涉及医学影像处理与手术导航,尤其涉及一种面向动态软组织的手术导航方法及系统。
背景技术:
1、微创手术凭借创伤小、恢复快、并发症少等优势,已广泛应用于腹部、胸腔、骨科等临床领域,术中精准导航是提升手术安全性、减少术中损伤的关键。微创手术中,手术视野依赖内窥镜或腹腔镜的单目视频流,而软组织具有动态形变、易受器械接触干扰、手术视野易被器械遮挡等特点,给术中导航带来了诸多挑战。
2、现有手术导航技术中,针对动态软组织的三维重建多采用全局重建方式,未结合手术操作的局部性特点,导致重建效率低、资源消耗大,且难以实时适配软组织的动态形变;在伪深度估计过程中,缺乏有效的深度置信度评估机制,无法量化重建不确定性,易导致导航误差;高斯锚点管理多采用全局维护策略,未建立局部时空窗口,锚点生命周期管理不合理,易出现冗余锚点堆积或有效锚点丢失的问题,影响形变场优化精度。
3、同时,现有技术难以实现软组织表面形变与深部风险结构的联动更新,往往仅关注表面重建,忽略了深部风险结构(如血管、神经)的位置动态变化,增加了手术损伤风险;在手术器械遮挡视野时,缺乏有效的遮挡评估与显示策略自适应调整机制,导致遮挡区域导航信息缺失或精度下降,无法为术者提供可靠的导航指引。
4、此外,现有导航系统各功能模块独立设计,缺乏协同联动,无法实现视频预处理、深度估计、形变优化、导航渲染与显示控制的一体化集成,难以同步解决动态软组织形变、器械遮挡、深部风险缺失等核心痛点,进一步制约导航实时性与精准性。
5、所以研发出一种面向动态软组织的手术导航方法及系统来解决上述问题。
技术实现思路
1、本发明提出一种面向动态软组织的手术导航方法及系统,以解决现有技术重建效率低、导航精度低,无法满足微创手术对导航精准性、实时性与安全性的综合需求的问题。
2、本发明通过以下技术方案来实现上述目的:
3、本方一种面向动态软组织的手术导航方法,包括:
4、获取术中手术视野的视频流和术前三维医学影像;
5、从术前三维医学影像中分割出脏器表面模型,并标注脏器内的深部风险结构;
6、术前三维医学影像采用itk-snap/3d slicer模型分割出脏器表面模型,医生在增强ct/mri上逐层/区域生长勾画肝脏轮廓(实施例中s41有写)。深部风险结构也可以用itk-snap/3d slicer标注,在术前影像上逐类勾画,每个解剖结构一个整型标签值。
7、对视频流中每一帧图像进行反光抑制、烟雾去除以及器械实例分割,输出增强的组织表面图像和器械区域掩膜;
8、将各组织表面图像逐帧输入单目深度估计网络,输出对应的密集伪深度图,根据组织表面图像和密集伪深度图,生成深度置信度图;
9、在器械区域掩膜中提取器械尖端,在三维像素空间内构建以器械尖端为中心的局部时空窗口;
10、在局部时空窗口内根据逐帧图像对应的密集伪深度图和深度置信度图,实时生成高斯锚点,将局部时空窗口内对应像素的深度置信度大于预设阈值的区域判定为有效可信区,根据有效可信区生成新的高斯锚点,得到对应图像更新后的高斯锚点;
11、基于光流约束、器械接触事件约束以及软组织生物力学先验约束对高斯锚点的参数进行迭代优化,得到高斯场;
12、将高斯场与脏器表面模型进行配准,得到表面位移场,根据表面位移场,基于径向基函数插值法更新深部风险结构的三维空间位置,对更新后的所述深部风险结构进行可视化渲染,生成增强导航图像。
13、进一步地,根据组织表面图像和密集伪深度图,生成深度置信度图,包括:
14、根据组织表面图像计算光度一致性置信度、纹理丰富度置信度;
15、根据密集伪深度图计算单目深度估计网络的网络自身不确定性置信度;
16、对光度一致性置信度、纹理丰富度置信度、网络自身不确定性置信度进行加权融合,得到深度置信度图。
17、进一步地,在器械区域掩膜中提取器械尖端,在三维空间内构建以器械尖端为中心的局部时空窗口,包括:
18、基于连通域分析在器械区域掩膜中提取器械尖端的二维像素坐标;
19、根据密集伪深度图将器械尖端的二维像素坐标转换为三维空间位置;
20、以三维空间中建立以手术器械尖端位置为中心,根据预设的空间兴趣域半径建立局部时空窗口。
21、进一步地,当深部风险结构距离器械尖端的距离小于预设的安全阈值时,对空间兴趣域半径进行自适应调整,自适应调整的表达式为:
22、
23、其中,为当前操作阶段预设的空间兴趣域半径,为覆盖深部风险结构所需的最小半径。
24、进一步地,实时生成高斯锚点后,还包括对局部时空窗口内的高斯锚点进行维护,具体包括:
25、为局部时空窗口内的所有高斯锚点配置独立的年龄参数与成熟度参数;
26、当高斯锚点处于局部时空窗口的有效可信区内时,将高斯锚点的年龄参数强制重置为预设年龄参数最大值,并设置成熟度参数按预设的公式逐帧迭代递增;
27、当高斯锚点离开局部时空窗口后,设置年龄参数逐帧自动递减,锚点进入休眠待命状态;
28、当锚点年龄参数衰减至小于等于0时,判定该锚点长期无效且无观测价值,对锚点执行执行永久删除操作。
29、进一步地,基于光流约束、器械接触事件约束以及软组织生物力学先验约束的构建过程如下:
30、构建光流约束,光流约束包括基于lucas-kanade光流算法将高斯锚点投影至二维图像平面,并跟踪高斯锚点的投影点在下一帧的对应位置,得到高斯锚点的位移矢量,当投影点的光流亮度残差或前后向光流一致性误差超过预设的光流误差阈值时,判定该位移矢量无效并剔除,对应高斯锚点改由相邻有效锚点插值或软组织生物力学先验约束进行更新;
31、构建器械接触事件约束,器械接触事件约束包括根据组织表面图像和器械尖端的位置计算器械尖端与组织表面的有向距离d,计算以器械尖端为中心的预设小区域ω内的深度梯度幅值最大值g_max,计算公式为:
32、
33、其中,为位置p处的深度值,为位置处的深度梯度;
34、当同时满足<且>时,判定器械与组织发生接触事件,其中为距离阈值,为梯度阈值;
35、在接触事件触发后,在接触点周围预设范围内的所有高斯锚点被标记为待刷新状态,更新锚点权重,并重置成熟度参数,高斯锚点的权重更新的表达式为:
36、
37、为接触事件触发后的高斯锚点的权重,为接触事件触发之前的高斯锚点的权重,为不透明度增量;
38、高斯锚点的权重是锚点的不透明度/渲染贡献权重,是用来做图像渲染的,器械压到组织时,局部形变大、原锚点已经不可靠,所以给这些锚点的加上一个固定增量δw_contact,让它们在后续迭代中获得更大的梯度、更快被刷新重建,从而快速适配局部形变。
39、构建软组织生物力学先验约束,软组织生物力学先验约束包括引入混合物理先验模型作为正则项,正则项具体计算公式为:
40、
41、其中,为弹性平滑项,惩罚相邻高斯锚点之间位移矢量的二阶梯度,定义为:
42、
43、其中,n为空间相邻高斯锚点对集合,为第i个高斯锚点的位移矢量,为体积守恒项,约束局部组织区域的体积变化率趋近于零,计算公式为:
44、
45、其中,为局部单元e的形变梯度雅可比矩阵,为低维运动基约束,将当前形变场投影至从历史形变数据中提取的低维运动基上,惩罚投影重建误差,计算公式为:
46、
47、其中,为低维运动基矩阵,由主成分分析或自编码器从历史形变数据中提取得到;
48、、、分别为弹性平滑项、体积守恒项、低维运动基约束的权重。
49、进一步地,基于光流约束、器械接触事件约束以及软组织生物力学先验约束对高斯锚点的参数进行迭代优化,包括:
50、构建梯度下降迭代策略的损失函数:
51、
52、为光流约束损失,为器械接触事件约束损失,为软组织生物力学先验约束损失;
53、采用梯度下降迭代策略对高斯锚点的位置、协方差、颜色与不透明度参数进行逐帧反向修正、实时更新锚点参数;
54、在每一次迭代中进行如下操作:
55、采用lucas–kanade光流算法将高斯锚点投影至二维图像平面并跟踪其在下一帧的对应位置,得到位移矢量,以作为数据项代入梯度下降迭代策略的损失函数中的;
56、当判定器械与组织发生接触时,对接触点周围预设范围内的锚点增大不透明度并提高对应的权重,使接触区域锚点优先重建局部形变,将局部形变作为数据项代入梯度下降迭代策略的损失函数中的;
57、将正则项代入梯度下降迭代策略的损失函数中的;
58、迭代直至损失收敛,得到每一帧图像对应的最优高斯锚点参数,通过优化后的最优高斯锚点参数,基于4d高斯泼溅技术进行连续帧时序迭代累积,得到四维形变场。
59、进一步地,对更新后的所述深部风险结构进行可视化渲染时,基于重建不确定性对深部风险结构进行可视化渲染,包括:
60、根据所述深度置信度图和所述四维形变场的优化残差,计算空间各区域的重建不确定性,计算公式为:
61、σ=√(1-c)×res/res_max;
62、c为深度置信度,为四维形变场优化残差,为残差上限阈值,重建不确定性σ的取值范围为[0,1],σ越大表示重建不确定性越高;
63、透明度调制:深部风险结构渲染的不透明度与重建不确定性满足以下关系:
64、;
65、其中,为预设最小可见透明度,取值范围(0,0.3];为不确定性上限阈值;k为调制曲线陡峭度控制指数,k≥1;当增大时,风险结构趋于半透明但仍保留不低于的可视性;
66、边界扩散显示:深部风险结构或安全边界的轮廓线以扩散带形式渲染,扩散带宽度w正比于重建不确定性,计算公式为:
67、;
68、其中,w0为基础宽度,η为扩散系数,σ为重建不确定性;扩散带内颜色饱和度由内向外线性或非线性递减,不确定性越高,边界视觉效果越模糊;
69、颜色编码:在风险热图模式下,建立从高不确定性冷色到低不确定性暖色的映射函数,具体判定规则为:
70、当<时,采用高饱和度警示色显示;
71、当≥且≤时,颜色饱和度随增大线性递减;
72、当>时,饱和度降至预设最小值或渐变至冷色;
73、其中,为低不确定性阈值,为高不确定性阈值,<。
74、进一步地,还包括进行遮挡状态评估与显示策略自适应调整,具体包括:
75、遮挡区域评估包括根据器械区域掩膜计算遮挡区域面积占当前帧总面积的比例,当超过预设阈值时,自动调整增强导航图像显示模式;
76、整体重建质量评估包括构建整体重建质量指标,整体重建质量指标的计算公式为:
77、
78、其中,为图像像素总数,为所有像素级深度置信度,为四维形变场优化残差,为残差上限阈值,、为权重系数,满足+=1;
79、显示策略自适应调整:当低于预设阈值时,将安全边界向外偏移保守偏置量,计算公式为:
80、
81、其中,为基础偏置,为缩放系数。
82、本发明还提供了用于所述的一种面向动态软组织的手术导航方法的系统,包括:
83、获取模块,所述获取模块用于获取术中手术视野的视频流和术前三维医学影像;
84、分割模块,所述分割模块用于从术前三维医学影像中分割出脏器表面模型,并标注脏器内的深部风险结构;
85、增强模块,所述增强模块用于对视频流中每一帧图像进行反光抑制、烟雾去除以及器械实例分割,输出增强的组织表面图像和器械区域掩膜;
86、置信度模块,所述置信度模块用于将各组织表面图像逐帧输入单目深度估计网络,输出对应的密集伪深度图,根据组织表面图像和密集伪深度图,生成深度置信度图;
87、构建模块,所述构建模块用于在器械区域掩膜中提取器械尖端,在三维像素空间内构建以器械尖端为中心的局部时空窗口;
88、生成模块,所述生成模块用于在局部时空窗口内根据逐帧图像对应的密集伪深度图和深度置信度图,实时生成高斯锚点,将局部时空窗口内对应像素的深度置信度大于预设阈值的区域判定为有效可信区,根据有效可信区生成新的高斯锚点,得到对应图像更新后的高斯锚点;
89、优化模块,所述优化模块用于基于光流约束、器械接触事件约束以及软组织生物力学先验约束对高斯锚点的参数进行迭代优化,得到高斯场;
90、渲染模块,所述渲染模块用于将高斯场与脏器表面模型进行配准,得到表面位移场,根据表面位移场,基于径向基函数插值法更新深部风险结构的三维空间位置,对更新后的所述深部风险结构进行可视化渲染,生成增强导航图像。
91、本发明的有益效果在于:
92、本发明提出的一种面向动态软组织的手术导航方法及系统,实现了局部时空窗口重建、深度置信度量化与锚点精细化管理的协同融合,突破现有导航技术在动态软组织适配、遮挡场景应对及深部风险结构联动更新上的瓶颈,提升手术导航的精准度、实时性与场景适配能力,满足微创手术中对动态软组织导航、深部风险防护及遮挡状态下连续导航的综合需求。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com