一种电子内窥镜实时图像正向保持方法及系统与流程

摘要: 本技术涉及医用内窥镜图像处理,尤其涉及一种可实现实时画面正向保持的电子内窥镜及对应的图像校正处理方法。背景技术:1、电子内窥镜广泛应用于消化道、耳鼻喉、泌尿腔道...
一种电子内窥镜实时图像正向保持方法及系统与流程

本技术涉及医用内窥镜图像处理,尤其涉及一种可实现实时画面正向保持的电子内窥镜及对应的图像校正处理方法。

背景技术:

1、电子内窥镜广泛应用于消化道、耳鼻喉、泌尿腔道等人体腔道的临床病灶筛查,医护人员握持内窥镜手柄进行探查操作时,手柄会随操作动作发生旋转、翻转,内窥镜前端的图像传感单元随之同步偏转,最终导致显示设备输出的腔道图像发生倾斜,不符合人眼常规观察视角。医护人员需要频繁调整握持姿态以矫正画面,长时间操作易产生视觉疲劳,倾斜图像还容易造成图像边缘微小病灶漏判,影响临床诊断准确性,因此业内普遍采用惯性传感单元采集姿态数据配合图像旋转校正,实现画面实时正向保持。

2、目前常规内窥镜图像校正方案直接利用惯性传感单元输出的全部三轴姿态数据参与图像旋转运算,该方案存在明显缺陷:惯性传感单元长时间持续工作过程中芯片会产生温升,温度变化会引入角速度零偏误差,即温度漂移。随着手术探查时长不断增加,漂移误差持续累积,姿态解算得到的旋转角度与手柄实际偏转角度偏差持续变大,图像校正偏移量不断加剧,长时间手术中后期画面倾斜矫正效果显著下降。

技术实现思路

1、本技术主要解决现有电子内窥镜图像校正方案中惯性传感单元长期工作存在温度漂移误差,随手术时长累积造成图像校正角度偏差持续扩大,长时间探查画面正向保持精度差的技术问题;同时兼顾解决轴向无效旋转干扰、算力成像精度失衡、边缘病灶丢失、旋转形变画质衰减等附属缺陷。

2、为实现上述目的,本技术实施例第一方面提供一种电子内窥镜实时图像正向保持方法,包括:

3、接收由图像传感单元与惯性传感单元初始化并同步采集的腔道原始图像、惯性三轴原始姿态数据;

4、基于所述惯性三轴原始姿态数据完成温度漂移补偿,并结合内窥镜运动状态自适应融合多传感器姿态信息,剔除三轴姿态中的轴向旋转分量,输出二维有效旋转角度;

5、依据所述二维有效旋转角度自适应切换图像分块粒度,在分块切换临界区间执行帧间平滑过渡,结合亮度阈值区分图像前景组织与旋转黑边,并基于区分结果在完整保留病灶的前提下完成黑边填充;

6、计算图像各子块旋转形变程度,依据所述形变程度逐块自适应调节图像锐度、降噪、曝光三类增强参数;

7、对校正补偿后的图像执行基础调色,输出正向成像画面。

8、在上述实施方式中,通过对惯性三轴原始姿态数据增设温度漂移补偿,能够抵消惯性传感单元长时间工作升温带来的零偏误差,避免校正角度随手术时长持续偏移,长时间诊疗过程中图像正向保持精度稳定;搭配适配运动工况的多传感器自适应融合策略,兼顾静态无漂移、动态无抖动的校正效果,同时剔除无观察意义的轴向旋转分量,消除画面无意义自转干扰,贴合医生临床观察习惯。进一步,根据二维有效旋转角度自适应调整图像分块粒度,平衡图像处理算力消耗与成像精细度;分块切换区间设置帧间平滑过渡,消除分块切换带来的画面频闪;依托亮度阈值区分前景组织与黑边并针对性填充,可完整保留图像边缘病灶区域,降低漏诊风险。最后,依据图像子块自身旋转形变程度差异化调节锐度、降噪、曝光参数,对拉伸失真区域做针对性画质补偿,改善旋转后图像边缘模糊、局部偏暗问题,提升微小病灶辨识度。

9、作为本技术实施例的一种实施方式,所述基于所述惯性三轴原始姿态数据完成温度漂移补偿,并结合内窥镜运动状态自适应融合多传感器姿态信息,剔除三轴姿态中的轴向旋转分量,输出二维有效旋转角度,包括:

10、实时读取所述惯性传感单元自身温度数据,通过多项式拟合方式得到各轴角速度零偏,利用所述各轴角速度零偏校正所述惯性三轴原始姿态数据以完成温度漂移补偿;

11、依据连续多帧角速度幅值区分内窥镜不同运动工况,针对不同工况动态调整加速度计与陀螺仪的融合权重,融合得到完整三轴姿态;

12、去除所述三轴姿态中的轴向旋转分量,仅保留俯仰、横滚两类分量作为所述二维有效旋转角度输出。

13、在上述实施方式中,通过温度数据多项式拟合求取角速度零偏并校正姿态数据,能够消除惯性传感单元长时间工作产生的温漂误差,保证长时间手术下姿态解算精度;根据角速度幅值划分不同运动工况并动态调整传感器融合权重,兼顾静态观测无漂移、快速操作无画面抖动的效果;去除轴向旋转分量仅保留俯仰、横滚分量参与校正,避免手柄自转带来的无意义画面旋转,输出的二维有效旋转角度更贴合内镜临床观察需求。

14、作为本技术实施例的一种实施方式,通过多项式拟合方式得到各轴角速度零偏,包括:

15、预先在多组恒温稳态条件下采集所述惯性传感单元三轴零偏数据,拟合生成各轴独立拟合系数并存储;

16、运行过程中结合实时温度与对应轴拟合系数计算实时零偏。

17、在上述实施方式中,预先在多组恒温稳态条件下采集零偏数据并拟合存储各轴独立系数,设备运行时结合实时温度快速算出实时零偏,能够精准匹配惯性传感单元不同温度下的偏移特性,稳定消除温度漂移带来的姿态误差,长期诊疗过程中图像校正精度持续可靠。

18、作为本技术实施例的一种实施方式,依据连续多帧角速度幅值区分内窥镜不同运动工况,针对不同工况动态调整加速度计与陀螺仪的融合权重,包括:

19、判定为静止工况时,提高加速度计融合占比;

20、判定为低速运动工况时,均衡分配加速度计、陀螺仪融合权重;

21、判定为高速抖动工况时,提高陀螺仪融合占比。

22、在上述实施方式中,区分静止、低速、高速三类工况动态调整融合权重:静止工况加大加速度计权重,抑制静态漂移;高速抖动工况提升陀螺仪权重,减弱运动拖影;低速工况均衡分配权重,兼顾稳定性与响应速度,不同操作状态下均可输出精准三轴姿态数据。

23、作为本技术实施例的一种实施方式,所述去除所述三轴姿态中的轴向旋转分量,保留俯仰、横滚两类分量作为所述二维有效旋转角度输出,包括:

24、响应外部临时跟随操作指令;

25、指令生效期间,保留轴向旋转分量参与后续图像校正;

26、指令撤销后,屏蔽轴向旋转分量,仅输出俯仰、横滚分量。

27、在上述实施方式中,常规诊疗时屏蔽轴向旋转分量,避免手柄自转造成画面无效旋转干扰观察;触发临时跟随指令时启用轴向分量校正,适配特殊检查操作需求,兼顾常规观察清晰度与特殊工况使用灵活性。

28、作为本技术实施例的一种实施方式,依据所述二维有效旋转角度自适应切换图像分块粒度,在分块切换临界区间执行帧间平滑过渡,结合亮度阈值区分图像前景组织与旋转黑边,并基于区分结果在完整保留病灶的前提下完成黑边填充,包括:

29、按照所述旋转角度大小划分多档分块规格;

30、在不同分块规格切换的临界区间,对前后帧插值权重做渐变混合实现平滑过渡;

31、通过亮度阈值划分画面内有效组织区域与黑边区域,对所述黑边区域进行像素填充并拉伸所述有效组织区域。

32、在上述实施方式中,根据旋转角度匹配对应分块规格,兼顾运算算力与图像精细度;分块切换区间采用插值权重渐变混合,消除切换时画面频闪;借助亮度阈值区分组织与黑边并填充、拉伸有效区域,完整保留图像边缘病灶,降低漏诊概率。

33、作为本技术实施例的一种实施方式,所述在不同分块规格切换的临界区间,对前后帧插值权重做渐变混合实现平滑过渡,包括:

34、当所述旋转角度处于分块切换临界区间时,逐帧调整新旧分块对应的图像插值权重直至完成规格切换。

35、在上述实施方式中,在分块切换临界区间逐帧调整新旧分块插值权重,实现分块规格平缓切换,消除直接切换产生的画面频闪,让校正画面过渡更加顺滑。

36、作为本技术实施例的一种实施方式,所述计算图像各子块旋转形变程度,依据所述形变程度逐块自适应调节图像锐度、降噪、曝光三类增强参数,包括:

37、根据每个所述图像子块旋转前后坐标偏移量计算对应形变程度;

38、形变程度越高的所述图像子块,对应调高锐度、降低降噪强度并提升曝光增益;

39、形变程度越低的所述图像子块,对应降低锐度、提高降噪强度并采用基础曝光增益。

40、在上述实施方式中,通过图像子块坐标偏移量化形变程度,针对不同形变区域差异化调节画质参数;拉伸形变严重区域强化细节、提亮画面,形变轻微区域侧重降噪,有效改善旋转造成的边缘模糊、局部发暗问题,提升病灶识别清晰度。

41、作为本技术实施例的一种实施方式,所述形变程度与锐度、降噪、曝光增强参数采用线性对应关系进行调节,各调节系数预先标定存储。

42、在上述实施方式中,形变程度与画质参数采用线性对应关系调节,调节系数提前标定存储,参数匹配逻辑简单高效,可快速完成各图像子块的画质自适应调整,保证不同形变区域画质调节效果稳定统一。

43、本技术实施例的第二方面,提供一种电子内窥镜实时图像正向保持系统,包括:

44、内窥镜手柄组件,设有相对位置固定的图像传感单元与惯性传感单元,所述图像传感单元用于采集腔道原始图像,所述惯性传感单元用于输出惯性三轴原始姿态数据;

45、主机主板,设有isp单元、fpga单元与存储单元,所述存储单元分别与所述isp单元、所述fpga单元电性相连以传输预存标定系数,所述isp单元用于执行上述实施例第一方面的电子内窥镜实时图像正向保持方法;

46、显示输出模块,用于接收经所述主机主板校正补偿并基础调色后的图像,输出正向成像画面。

47、整体上,本技术实施例先采集多组恒温下惯性传感单元零偏数据拟合存储独立系数,运行时结合实时温度算出零偏以校正姿态数据,有效消除长时间工作带来的温度漂移误差;再依据角速度幅值区分静止、低速、高速工况动态调整加速度计与陀螺仪融合权重,静止工况抑制漂移、高速工况减少拖影、低速工况兼顾稳定与响应,保障各类操作下三轴姿态解算精准;同时可灵活控制轴向旋转分量,常规状态屏蔽该分量避免无意义画面自转,触发临时跟随指令时启用以适配特殊检查需求。校正环节根据旋转角度自适应匹配分块规格,平衡算力与成像精度,分块切换临界区间逐帧渐变插值权重消除画面频闪,还通过亮度阈值区分有效组织与黑边并填充拉伸,完整保留边缘病灶降低漏诊风险;另外依托图像子块坐标偏移量化形变程度,形变与锐度、降噪、曝光参数采用预标定线性系数自适应调节,对高形变区域强化细节提亮画面、低形变区域侧重降噪,改善旋转造成的边缘模糊、局部偏暗问题,整套流程依靠姿态解算结果联动驱动图像校正与画质优化,最终输出长期精度稳定、过渡顺滑、病灶辨识度高的正向腔道图像,适配长时间临床诊疗使用。