基于内窥镜序列图的激光点追踪方法、追踪器及碎石系统与流程
本发明涉及激光点追踪，具体而言，涉及基于内窥镜序列图的激光点追踪方法、追踪器及碎石系统。
背景技术：
1、激光碎石术是目前治疗肾结石、输尿管结石、膀胱结石等尿路结石的主流手术方法之一。在该手术中，医生首先会使用内窥镜将一根纤细的光纤插入到结石所在位置，然后在内窥镜的监视下利用激光的热效应直接击碎结石。
2、但是激光激发瞬间，结石表面会发生热消融和机械崩解，产生大量的粉尘、微小碎屑以及空化气泡等衍生物。而这些衍生物会在极短时间内（毫秒级）遮挡内窥镜的摄像头视野或覆盖目标区域。
3、手术中，会引入鞘管等吸走结石碎石，鞘管等其他异物也会对内窥镜所采集到的图像产生干扰。
4、在某些病理条件下（如输尿管狭窄、出血或息肉），结石表面与周围人体软组织（如输尿管壁、肾盏黏膜）的颜色和纹理特征极易混淆，难以瞬间区分高亮的反光点是来自于结石还是湿润的黏膜。
5、综上，当采用单帧检测器检测内窥镜采集到的图像中的结石，当检测到结石后，利用激光的热效应直接击碎结石。当内窥镜采集到的图像被干扰时，则会造成误识别为结石，若系统认为为结石，瞬间击发激光以击碎结石，造成医疗事故。
6、另外，患者的呼吸运动、灌注液的水流冲击以及医生长时间操作导致的手部微小抖动，都会导致激光光纤末端与结石的相对位置发生高频位移。激光点可能在几十毫秒内从结石表面滑落至输尿管壁，造成医疗事故。
7、激光激发瞬间，结石表面会发生热消融和机械崩解，产生大量的粉尘、微小碎屑以及空化气泡等衍生物，该衍生物飘过时，单帧检测器在检测激光点时的置信度则会瞬间下降，导致控制激光的控制系统输出“开-关-开-关”的高频脉冲信号，不仅会损坏激光发生器源，而且可能因误判为安全的瞬间击发激光，造成医疗事故。
技术实现思路
1、本发明的目的在于提供基于内窥镜序列图的激光点追踪方法、追踪器及碎石系统，解决了现有技术中采用单帧检测器检测结石时误检测容易引发医疗事故；另外衍生物飘过时，单帧检测器在检测激光点时的置信度则会瞬间下降，损坏激光发生器源的技术问题。
2、作为本发明的第一方面，本发明提供了一种基于内窥镜序列图的激光点追踪方法，包括：
3、基于卡尔曼滤波器，根据当前时刻之前的多个序列帧图像预测所述目标激光点在当前帧图像中的预测位置；
4、基于单目标跟踪算法，对当前帧图像中的目标激光点进行跟踪检测，得到第一检测框以及第二检测框，所述第一检测框的置信度大于第二检测框的置信度；
5、将所述第一检测框与所述预测位置进行匹配；
6、当所述第一检测框与所述预测位置之间的匹配度小于或等于所述第一预设值时，将所述第二检测框与所述预测位置进行匹配，当所述第二检测框与所述预测位置的匹配度大于第二预设值时，根据所述第二检测框更新所述目标激光点的运动轨迹。
7、在本发明一实施例中，基于卡尔曼滤波器，根据当前时刻之前的多个序列帧图像预测所述目标激光点在当前帧图像中的预测位置，包括：
8、构建状态空间模型，所述状态空间模型定义目标激光点的状态向量；
9、基于匀速运动模型，根据所述目标激光点在上一帧图像中的状态向量，预测所述目标激光点在当前帧图像中的当前状态向量和当前误差协方差矩阵；
10、根据所述目标激光点在当前帧图像中的当前状态向量确定所述目标激光点在所述当前帧图像中的预测位置；
11、其中，所述目标激光点的状态向量可记为：
12、
13、式中，为所述目标激光点的中心坐标，α为帧图像的宽高比，
h为帧图像的高度，为所述目标激光点的速度分量；
14、所述当前状态向量的计算公式为：
15、
16、其中，fk为状态转移矩阵，为目标激光点的当前状态向量；
17、当前误差协方差矩阵的计算公式为：
18、；
19、其中，为当前误差协方差矩阵，fk为状态转移矩阵，
qk为当前噪声协方差矩阵。
20、在本发明一实施例中，基于卡尔曼滤波器，根据当前时刻之前的多个序列帧图像预测所述目标激光点在当前帧图像中的预测位置，还包括：
21、根据所述目标激光点在当前帧图像中的当前状态向量确定所述目标激光点的当前速度；
22、当所述目标激光点的当前速度大于预设速度阈值时，增大所述当前噪声协方差矩阵中的速度项对应的权重，以更新所述当前噪声协方差矩阵；
23、根据更新后的当前噪声协方差矩阵更新所述当前误差协方差矩阵。
24、在本发明一实施例中，基于卡尔曼滤波器，根据当前时刻之前的多个序列帧图像预测所述目标激光点在当前帧图像中的预测位置，还包括：
25、获取所述匀速运动模型在预测所述目标激光点在当前帧图像中的当前状态向量时的当前观测值；
26、根据所述当前观测值计算当前卡尔曼增益；
27、根据所述当前卡尔曼增益更新所述目标激光点在当前帧图像中的当前状态向量；
28、其中，当前卡尔曼增益的计算公式为：
29、
30、其中，式中，
kk为当前卡尔曼增益，为当前误差协方差矩阵，
rk为当前噪声矩阵，h为观测矩阵，是h的转置矩阵；
31、根据所述当前卡尔曼增益更新所述当前状态向量的更新公式为：
32、
33、其中，式中，为更新后的当前状态向量，为当前状态向量时的当前观测值，为更新前的当前状态向量，
kk为当前卡尔曼增益。
34、在本发明一实施例中，所述激光点追踪方法，还包括：
35、获取与所述预测位置匹配的检测框对应的置信度；
36、根据所述置信度反向映射至所述当前噪声矩阵。
37、在本发明一实施例中，所述第一检测框的置信度大于第一预设阈值，所述第二检测框的置信度小于或等于所述第一预设阈值，且大于第二预设阈值。
38、在本发明一实施例中，所述第一检测框的置信度大于第一预设阈值，所述第二检测框的置信度在预设范围内，所述预设范围根据历史帧图像中目标激光点被障碍物遮挡时对应的检测框的置信度分布范围。
39、在本发明一实施例中，所述激光点追踪方法，还包括：
40、当所述第一检测框与所述预测位置之间的匹配度大于第一预设值时，根据所述第一检测框更新所述目标激光点的运动轨迹。
41、作为本发明的第二方面，本发明还提供了一种基于内窥镜序列图的激光点追踪器，包括：
42、卡尔曼滤波器，所述卡尔曼滤波器用于根据当前时刻之前的多个序列帧图像预测所述目标激光点在当前帧图像中的预测位置；
43、神经网络模型，所述神经网络模型用于基于单目标跟踪算法，对当前帧图像中的目标激光点进行跟踪检测，得到第一检测框以及第二检测框，所述第一检测框的置信度大于第二检测框的置信度；
44、匹配单元，所述匹配单元用于将所述第一检测框与所述预测位置进行匹配；
45、轨迹确定单元，所述轨迹确定单元用于当所述第一检测框与所述预测位置之间的匹配度小于所述第一预设值时，将所述第二检测框与所述预测位置进行匹配，当所述第二检测框与所述预测位置的匹配度大于或等于第二预设值时，根据所述第二检测框更新所述目标激光点的运动轨迹。
46、作为本发明的第二方面，本发明还提供了一种内窥镜碎石系统，包括：
47、激光发生器，用于发射激光束至目标检测区域以形成激光点；
48、内窥镜，用于采集目标检测区域的图像；以及
49、上述所述的激光点追踪器。
50、本发明提供的一种基于内窥镜序列图的激光点追踪方法，首先采用卡尔曼滤波器根据当前时刻之前的多个序列帧图像预测目标激光点在当前帧图像中的预测位置，然后采用单目标跟踪算法确定当前帧图像中的高分检测框以及低分检测框。然后采用双阶段匹配，首先采用高分检测框与预测位置进行匹配，当匹配失败时，再用低分检测框与预测位置进行匹配，可以找回因遮挡物遮挡而遗失的目标激光点，并将遗失的目标激光点重新找回并关联至目标激光点的运动轨迹上，提高了对目标激光点追的准确性，从而保证了目标激光点的连续性，提高了目标激光点追踪的连续性。如此便可无论结石会不会被遮挡，结石会不会与其他组织相似，由于目标激光点的追踪的准确性，因此依然可以准确的击碎结石，大大降低了误伤的概率，提高了手术的安全性。并且由于目标激光点的追踪的准确性，控制激光的控制系统所输出的控制信号则稳定，降低了激光发生器的损坏概率。