针体形变识别与进针深度解算方法、系统、设备及介质与流程

本发明涉及针灸手法数字化测量、机器视觉、惯性传感器数据融合和柔性细长器械形变重建，具体涉及一种基于视觉惯性融合的针体形变识别与进针深度解算方法、系统、设备及介质。

背景技术：

1、针刺操作过程中，针灸针穿过皮肤、皮下组织、筋膜和肌肉等组织层次，会受到轴向阻力、横向约束、摩擦和组织牵拉。由于针灸针直径小、长径比大，针体可能产生微小弯曲。若将针灸针视为绝对刚性直杆，并直接以针柄或针体外露参考点的位移作为针尖位移，针体弯曲引起的参考点姿态变化和偏移会被误计入进针位移，产生形变伪位移。

2、多相机视觉追踪能够提供无累积漂移的绝对空间观测，但在操作者手部遮挡、镜面反光、标识超出视野或针体对比度降低时，易发生短时观测缺失。惯性测量单元具有采样频率高且不依赖外部视线的优点，但由加速度和角速度积分获得的位置和姿态存在零偏累积。仅采用视觉或仅采用惯性信息均难以在快速提插、捻转和局部遮挡条件下连续、准确地获得针尖运动。

3、现有器械导航技术通常将针或导管近似为刚体，或者仅跟踪针柄端标记，未同时利用针体可见中心线的三维形状、针柄惯性姿态和皮肤参考面的动态位置，对进入组织后不可见针段进行连续重建。尤其在针体发生弯曲时，针柄参考点位移与针尖真实位移并不等同，造成进针深度误差。

4、因此，需要在原有多相机视觉和惯性测量基础上，建立统一时空基准，联合针柄参考点、针体中心线和皮肤参考面，重建不可见针段和针尖位置，并针对针体形变造成的伪位移进行补偿。

技术实现思路

1、本说明书提供一种针体形变识别与进针深度解算方法、系统、设备及介质，用以解决视觉遮挡、惯性漂移、皮肤参考面变化和针体刚体假设共同导致的针尖位置及进针深度解算不连续、不准确的问题。

2、根据本说明书实施例的第一方面，提供一种针体形变识别与进针深度解算方法，包括：

3、同步获取多相机视觉系统采集的针灸针、针柄参考位置和皮肤参考区域的多视角图像，以及固定设置于针柄或针体参考位置的惯性测量单元输出的加速度、角速度和姿态数据；

4、建立视觉全局坐标系、惯性局部坐标系和针体坐标系之间的空间变换关系，并依据统一触发信号或时间戳完成视觉数据和惯性数据的时间配准；

5、从所述多视角图像中定位主动发光视觉标识和针体可见中心线，并通过多视角几何重建获得针柄参考点的视觉三维坐标、针体可见中心线三维点集以及皮肤参考面；

6、以针柄参考点的位置、速度、姿态、惯性零偏和针体形变参数作为状态量，对视觉三维坐标和惯性数据进行融合估计；

7、依据所述针体可见中心线三维点集、针柄参考点的位置和姿态以及针体与皮肤参考面的交点，对针体中心线进行曲线拟合并获得曲率分布，进而重建针体不可见部分和针尖位置；

8、根据重建的针尖位置与将针体视为刚性直杆时获得的参考针尖位置之间的差异确定形变伪位移，并利用所述形变伪位移修正针尖位置，根据修正后的针尖位置相对于所述皮肤参考面的有向距离，输出垂直进针深度。

9、可选的，在所述的同步获取多相机视觉系统采集的针灸针、针柄参考位置和皮肤参考区域的多视角图像的步骤中，

10、所述多相机视觉系统包括至少三个高速工业相机，各高速工业相机通过同一硬件触发信号、统一时钟或精确时间协议进行图像同步；所述主动发光视觉标识包括至少三个具有非共线空间位置关系的发光单元，以获得针柄参考位置的三维位置和姿态。

11、可选的，在所述的从所述多视角图像中定位主动发光视觉标识和针体可见中心线，并通过多视角几何重建获得针柄参考点的视觉三维坐标、针体可见中心线三维点集以及皮肤参考面的步骤中，

12、所述皮肤参考面通过设置于皮肤表面或皮肤邻近固定支撑面上的至少三个皮肤参考点重建；当皮肤参考点数量大于三个时，采用稳健平面拟合获得皮肤参考面，并根据皮肤参考点在连续图像中的运动更新所述皮肤参考面。

13、可选的，在所述的建立视觉全局坐标系、惯性局部坐标系和针体坐标系之间的空间变换关系的步骤中，

14、所述空间变换关系通过标定姿态下主动发光视觉标识、惯性测量单元和针体轴线的同步观测确定，包括惯性局部坐标系到视觉全局坐标系的旋转矩阵和平移向量，以及针体坐标系到惯性局部坐标系的安装旋转矩阵和安装平移向量。

15、可选的，在所述的以针柄参考点的位置、速度、姿态、惯性零偏和针体形变参数作为状态量，对视觉三维坐标和惯性数据进行融合估计的步骤中，

16、所述融合估计采用扩展卡尔曼滤波、无迹卡尔曼滤波或因子图优化；当视觉观测被遮挡或质量低于预设阈值时，降低视觉观测权重并利用惯性测量数据和前一时刻针体形变参数进行短时状态预测；视觉观测恢复后，通过固定时长滑动窗口对遮挡期间的状态进行平滑校正。

17、可选的，在所述的依据所述针体可见中心线三维点集、针柄参考点的位置和姿态以及针体与皮肤参考面的交点，对针体中心线进行曲线拟合并获得曲率分布的步骤中，

18、所述针体可见中心线三维点集通过针体边缘的亚像素定位、相机间极线约束匹配和三角测量获得；所述针体中心线采用三次样条曲线、b样条曲线或离散弹性杆模型表示，并根据曲线一阶导数和二阶导数计算曲率分布。

19、可选的，在所述的根据重建的针尖位置与将针体视为刚性直杆时获得的参考针尖位置之间的差异确定形变伪位移，并利用所述形变伪位移修正针尖位置，根据修正后的针尖位置相对于所述皮肤参考面的有向距离，输出垂直进针深度的步骤中，

20、重建针体不可见部分时，以针柄参考点和针柄姿态确定针体中心线的近端位置边界和切向边界，以针体与皮肤参考面的交点确定进入组织的边界位置，并结合针灸针有效长度、中心线连续性和弯曲能量约束确定针尖位置；所述垂直进针深度为修正后的针尖位置沿皮肤参考面法向的投影距离，并同时输出由视觉重投影误差、惯性协方差和曲线拟合残差确定的深度置信度。

21、根据本说明书实施例的第二方面，提供一种针体形变识别与进针深度解算系统，包括多相机视觉采集模块、惯性数据采集模块、皮肤参考面获取模块、同步模块、坐标标定模块、融合滤波模块、形变识别模块、形变补偿模块和深度解算模块；所述多相机视觉采集模块用于输出主动发光视觉标识、针体可见中心线和皮肤参考区域的多视角图像；所述惯性数据采集模块用于输出加速度、角速度和姿态数据；其余各模块被配置为所述的针体形变识别与进针深度解算方法。

22、根据本说明书实施例的第三方面，提供一种计算设备，包括存储设备以及处理器，所述存储设备用于存储计算机程序，所述处理器运行所述计算机程序以使所述计算设备执行所述的针体形变识别与进针深度解算方法的步骤。

23、根据本说明书实施例的第四方面，提供一种存储介质，其存储有所述的计算设备中所使用的计算机程序，该计算机程序被处理器执行时实现所述的针体形变识别与进针深度解算方法的步骤。

24、本说明书实施例，提供一种针体形变识别与进针深度解算方法、系统、设备及介质，与现有技术相比，本说明书实施例具有以下有益效果：

25、其一，视觉绝对位置和惯性高频状态互补，可提高遮挡和快速动作条件下的连续性；其二，将针体可见中心线和曲率分布纳入融合解算，避免单纯依赖针柄参考点；其三，通过针柄位姿、皮肤交点、有效长度和弯曲约束重建不可见针段，实现针尖位置估计；其四，明确计算并剥离形变伪位移，使进针深度与针体弯曲相分离；其五，以动态皮肤参考面作为深度基准，可减少皮肤表面运动对深度解算的影响；其六，可输出深度置信度，便于教学评价、实验分析和设备安全控制。