远程手术指导可视化人工选择位点跟踪方法、系统和装置与流程

1.本发明涉及远程手术指导技术领域，具体涉及一种远程手术指导可视化人工选择位点的跟踪方法、系统和装置。


背景技术：

2.我国人口众多、地域辽阔，区域经济发展不均衡，医疗资源分布不均，基层医疗人员医疗水平有限。远程手术指导的实施，对于解决医疗资源分布不均，使偏远地区患者享受高水平医疗资源，适当解决偏远地区的医疗服务需求与供给矛盾、医疗资源配置不均衡、基层医疗机构资源相对稀缺、卫生人员的受教育水平与服务能力的结构性差异等问题具有重要的社会和经济效益。
3.部分基层医疗人员医疗水平有限，在面对难度较高的手术时，手术质量无法得到充分的保证。而且不同资质的医生，对手术路径的规划及选择也有着不同的判断标准。远程手术指导，能够帮助手术端医生在远程指导端医生的指导下，通过交互方式顺利精准的进行手术，保证了手术的安全性、准确性及质量。例如，基于远程会议系统，远程医生根据现场摄像头拍摄的手术场景画面进行标注指导手术，远程会议系统将指导标注传输给手术室的监视器，并配合语音进行术中指导。
4.但是现有的远程手术指导没有考虑到，在人体组织的柔性变形、遮挡与消失、尺度变化、光照变化以及图像模糊等复杂体内环境下，手术影像实时动态变化，手术端后续手术过程的精度、安全及质量无法得到有效的保证。


技术实现要素：

5.(一)解决的技术问题
6.针对现有技术的不足，本发明提供了一种远程手术指导可视化人工选择位点的跟踪方法、系统和装置，解决了无法实现指导端医生确定的手术位置的实时动态跟踪的技术问题。
7.(二)技术方案
8.为实现以上目的，本发明通过以下技术方案予以实现：
9.一种远程手术指导可视化人工选择位点的跟踪方法，包括：
10.s1、根据指导端医生在初始帧图像的人工选择操作，获取需要动态追踪的源点作为目标位点，所述初始帧图像自远程指导端和手术端共享画面中采集；
11.s2、获取包含所述目标位点的目标区域，并针对所述目标区域执行掩膜操作和检测sift特征点，获取第一特征点集；
12.s3、实时跟踪所述目标区域，获取所述初始帧图像后续的每一帧图像对应的跟踪区域，并针对所述跟踪区域执行掩膜操作和检测sift特征点，获取第二特征点集；
13.s4、根据所述第一特征点集和第二特征点集，通过执行特征匹配及噪音点剔除获取最终匹配点的坐标位置，并且确定单应性矩阵；
14.s5、采用所述单应性矩阵对所述目标位点的坐标位置进行映射，确定所述初始帧图像后续的每一帧图像对应的跟踪位点，所述跟踪位点用于指导手术端医生执行手术操作。
15.优选的，所述跟踪方法还包括：
16.s6、将所述跟踪位点发送至远程指导端，并通过音视频交互实现所述指导端医生和手术端医生实时交流。
17.优选的，所述s3中采用全卷积孪生网络实时跟踪所述目标区域，获取所述初始帧图像后续的每一帧图像对应的跟踪区域，具体包括：
18.s31、对所述初始帧图像的目标区域、所述初始帧图像后续的每一帧图像进行特征提取，获取对应的特征图；
19.s32、计算所述目标区域和当前帧图像之间的相似性，以所述目标区域的特征图作为卷积核，对所述当前帧图像的特征图进行卷积操作，以此获取相似性得分；
20.s33、取最大相似得分时，将所述当前帧图像对应的区域作为所述跟踪区域。
21.优选的，所述s4具体包括：
22.s41、根据所述第一特征点集和第二特征点集，采用k近邻快速匹配算法进行特征匹配，获取初始匹配点；
23.s42、根据所述初始匹配点，采用iforest算法进行噪音点过滤，获取最终匹配点；
24.s43、判断所述最终匹配点数目是否大于设定阈值，若是，根据所述最终匹配点的坐标位置获取所述单应性矩阵。
25.优选的，所述s43还包括：
26.若所述最终匹配点数目小于等于所述设定阈值，将所述当前帧图像更新为初始帧图像，转入s32。
27.优选的，所述s2中获取包含所述目标位点的目标区域，具体包括：
28.在所述初始帧图像上选取包括目标位点在内的组织纹理清晰的区域作为所述目标区域。
29.一种远程手术指导可视化人工选择位点的跟踪系统，包括：
30.第一获取模块，用于根据指导端医生在初始帧图像的人工选择操作，获取需要动态追踪的源点作为目标位点，所述初始帧图像自远程指导端和手术端共享画面中采集；
31.第二获取模块，用于获取包含所述目标位点的目标区域，并针对所述目标区域执行掩膜操作和检测sift特征点，获取第一特征点集；
32.实时跟踪所述目标区域，获取所述初始帧图像后续的每一帧图像对应的跟踪区域，并针对所述跟踪区域执行掩膜操作和检测sift特征点，获取第二特征点集；
33.追踪模块，用于根据所述第一特征点集和第二特征点集，通过执行特征匹配及噪音点剔除获取最终匹配点的坐标位置，并且确定单应性矩阵；
34.映射模块，用于采用所述单应性矩阵对所述目标位点的坐标位置进行映射，确定所述初始帧图像后续的每一帧图像对应的跟踪位点，所述跟踪位点用于指导手术端医生执行手术操作。
35.优选的，所述跟踪系统还包括：
36.交互模块，用于将所述跟踪位点发送至远程指导端，并通过音视频交互实现所述
指导端医生和手术端医生实时交流。
37.一种远程手术指导可视化人工选择位点的跟踪装置，包括远程指导端和手术端，所述远程指导端包括第一交互装置，所述手术端包括第二交互装置和采样装置；
38.所述第一交互装置，用于接收所述采样装置采集的手术实时视频作为远程指导端和手术端的共享画面，并根据指导端医生在初始帧图像的人工选择操作，获取需要动态追踪的源点作为目标位点，所述初始帧图像自所述共享画面中采集；
39.所述第二交互装置，用于获取包含所述目标位点的目标区域，并针对所述目标区域执行掩膜操作和检测sift特征点，获取第一特征点集；
40.以及，用于实时跟踪所述目标区域，获取所述初始帧图像后续的每一帧图像对应的跟踪区域，并针对所述跟踪区域执行掩膜操作和检测sift特征点，获取第二特征点集；
41.以及，用于根据所述第一特征点集和第二特征点集，通过执行特征匹配及噪音点剔除获取最终匹配点的坐标位置，并且确定单应性矩阵
42.以及，采用所述单应性矩阵对目标位点的坐标位置进行映射，确定所述初始帧图像后续的每一帧图像对应的跟踪曲线，所述跟踪曲线用于指导手术端医生执行手术操作。
43.优选的，所述第二交互装置，还用于将所述跟踪位点发送至第一交互装置；
44.所述第一交互装置和第二交互装置均包括音视频交互装置；所述音视频交互装置用于实现所述指导端医生和手术端医生实时交流。
45.(三)有益效果
46.本发明提供了一种远程手术指导可视化人工选择位点的跟踪方法、系统和装置。与现有技术相比，具备以下有益效果：
47.本发明在选定的初始帧图像上进行需要动态追踪的目标位点的标注，再通过实时传输，实现在手术端交互界面准确输出，并通过目标跟踪等相关技术，实现后续手术过程中所述目标位点的实时动态跟踪，有效提高了手术定位精度、减少手术损伤、优化手术路径及提高手术成功率；提高了远程手术指导的准确度及缩减远程手术时间。
附图说明
48.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
49.图1为本发明实施例提供的一种远程手术指导可视化人工选择位点的跟踪方法的流程示意图；
50.图2为本发明实施例提供的一种远程手术指导可视化人工选择位点的跟踪系统的结构框图；
51.图3为本发明实施例提供的一种远程手术指导可视化人工选择位点的跟踪装置的整体业务流程示意图。
具体实施方式
52.为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术
方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
53.本技术实施例通过提供一种远程手术指导可视化人工选择位点的跟踪方法、系统和装置，解决了无法实现指导端医生确定的手术位置的实时动态跟踪的技术问题，实现有效提高手术定位精度、减少手术损伤、优化手术路径及提高手术成功率。
54.本技术实施例中的技术方案为解决上述技术问题，总体思路如下：
55.本发明实施例在选定的初始帧图像上进行需要动态追踪的目标位点的标注，再通过实时传输，实现在手术端交互界面准确输出，并通过目标跟踪等相关技术，实现后续手术过程中所述目标位点的实时动态跟踪，有效提高了手术定位精度、减少手术损伤、优化手术路径及提高手术成功率；提高了远程手术指导的准确度及缩减远程手术时间。
56.为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
57.实施例：
58.第一方面，如图1所示，本发明实施例提供了一种远程手术指导可视化人工选择位点的跟踪方法，包括：
59.s1、根据指导端医生在初始帧图像的人工选择操作，获取需要动态追踪的源点作为目标位点，所述初始帧图像自远程指导端和手术端共享画面中采集；
60.s2、获取包含所述目标位点的目标区域，并针对所述目标区域执行掩膜操作和检测sift特征点，获取第一特征点集；
61.s3、实时跟踪所述目标区域，获取所述初始帧图像后续的每一帧图像对应的跟踪区域，并针对所述跟踪区域执行掩膜操作和检测sift特征点，获取第二特征点集；
62.s4、根据所述第一特征点集和第二特征点集，通过执行特征匹配及噪音点剔除获取最终匹配点的坐标位置，并且确定单应性矩阵；
63.s5、采用所述单应性矩阵对所述目标位点的坐标位置进行映射，确定所述初始帧图像后续的每一帧图像对应的跟踪位点，所述跟踪位点用于指导手术端医生执行手术操作；
64.s6、将所述跟踪位点发送至远程指导端，并通过音视频交互实现所述指导端医生和手术端医生实时交流。
65.本发明实施例在选定的初始帧图像上进行需要动态追踪的目标位点的标注，再通过实时传输，实现在手术端交互界面准确输出，并通过目标跟踪等相关技术，实现后续手术过程中所述目标位点的实时动态跟踪，有效提高了手术定位精度、减少手术损伤、优化手术路径及提高手术成功率；提高了远程手术指导的准确度及缩减远程手术时间。
66.下面将结合具体内容详细介绍上述技术方案的各个步骤：
67.s1、根据指导端医生在初始帧图像的人工选择操作，获取需要动态追踪的源点作为目标位点，所述初始帧图像自远程指导端和手术端共享画面中采集。
68.远程指导端对手术发起端实时共享画面中的适合进行指导路径标注的目标帧图像帧进行冻结作为初始帧图像，以保证双方所关注的为同一帧图像。
69.远端指导端医生在初始帧图像上开启手术规划源点的选取操作：使用鼠标、触控
笔等输入设备在关键位置进行标注，获取需要动态追踪的源点作为目标位点。
70.s2、获取包含所述目标位点的目标区域，并针对所述目标区域执行掩膜操作和检测sift特征点，获取第一特征点集src_kpoints。
71.所述s2中获取包含所述目标位点的目标区域，具体包括：
72.在所述初始帧图像上选取包括目标位点在内的组织纹理清晰的区域作为所述目标区域。
73.s3、实时跟踪所述目标区域，获取所述初始帧图像后续的每一帧图像对应的跟踪区域，并针对所述跟踪区域执行掩膜操作和检测sift特征点，获取第二特征点集dst_kpoints。
74.所述s3中采用全卷积孪生网络实时跟踪所述目标区域，获取所述初始帧图像后续的每一帧图像对应的跟踪区域，具体包括：
75.s31、对所述初始帧图像的目标区域z、所述初始帧图像后续的每一帧图像x进行特征提取，获取对应的特征图和
76.s32、计算所述目标区域和当前帧图像之间的相似性，以所述目标区域的特征图作为卷积核，对所述当前帧图像的特征图进行卷积操作，以此获取相似性得分，
[0077][0078]
其中，函数表示一种包括卷积层和池化层的卷积神经网络，相当于特征提取器，以对图像进行特征提取；函数f(x,z)表示z和x之间的相似性得分，得分数值越大越相似。
[0079]
s33、取最大相似得分时，将所述当前帧图像对应的区域作为所述跟踪区域。
[0080]
s4、根据所述第一特征点集和第二特征点集，通过执行特征匹配及噪音点剔除获取最终匹配点的坐标位置，并且确定单应性矩阵；具体包括：
[0081]
s41、根据所述第一特征点集src_kpoints和第二特征点集dst_kpoints，采用k近邻快速匹配算法进行特征匹配，获取初始匹配点。
[0082]
对于k近邻匹配：
[0083][0084]
其中，x
ik
表示第一特征点集src_kpoints中的第i个特征点；y
jk
表示第二特征点集dst_kpoints中的第j个特征点；k表示样本维度，此处表示第一特征点集和第二特征点集中特征点对应的特征向量长度；d
ij
表示特征点x
ik
与y
jk
之间的距离；d表示第二特征点集dst_kpoints中所有特征点与第一特征点集src_kpoints中第i个特征点的距离构成的距离空间。
[0085]
确定空间d中最小距离d
ij
′
，并说明第二特征点集dst_kpoints中第j’个特征点与第一特征点集src_kpoints中的第i个特征点匹配成功；同理，采用对于src_kpoints其他特征点同样应用k近邻匹配算法，求出初步匹配点。
[0086]
s42、根据所述初始匹配点，采用iforest算法进行噪音点过滤，获取最终匹配点。
[0087]
对于iforest算法(孤立森林算法)：
[0088]
①
根据包含n个样本的数据集n，具体到本发明实施例中，即包括n个样本的第一特征点集src_kpoints，计算孤立树itree平均路径长度：
[0089][0090]
其中，h(i)为调和数，该估计值取ln(i) 0.577。
[0091]
②
样本异常值得分：
[0092][0093]
其中，h(x)为初始匹配点中的样本点x从孤立树itree的根节点到叶子节点经过的边的数量；e(h(x))为样本x在一批孤立树中路径的期望。
[0094]
③
异常判定：
[0095]
当e(h(x))
→
c(n)时，s
→
0.5，样本x路径平均长度与树的平均长度接近，不能判定异常；
[0096]
当e(h(x))
→
0时，s
→
1，即x的异常值得分接近1，判定为异常点；
[0097]
当e(h(x))
→
n-1时，s
→
0，即x的异常值得分接近0，判定为正常点。
[0098]
当s∈(0，5]时，接受所述初始匹配点作为最终匹配点；否则，不接受。
[0099]
s43、判断所述最终匹配点数目是否大于设定阈值，若是，根据所述最终匹配点的坐标位置获取所述单应性矩阵，
[0100]
对于单应性矩阵h：
[0101][0102]
求得：
[0103][0104]
其中，x1表示第一特征点集src_kpoints中特征点x轴坐标构成的行向量；y1表示第一特征点集src_kpoints中特征点y轴坐标构成的行向量；e1表示元素为1且长度与x1相同的行向量；
[0105]
x2表示第二特征点集dst_kpoints中特征点x轴坐标构成的行向量；y2表示第二特征点集dst_kpoints中特征点y轴坐标构成的行向量；e2表示元素为1且长度与x2相同的行向量。
[0106]
由于||h||＝1，因此矩阵h的自由度为8，故至少提供4个最终匹配点对，就可求解出矩阵h。
[0107]
需要说明的是，本发明实施例中优选为采用大量匹配成功的特征点对，以提高算法鲁棒性，而不局限与刚好求解出矩阵h的匹配点对数目。
[0108]
若所述最终匹配点数目小于等于所述设定阈值，将所述当前帧图像更新为初始帧图像，转入s32。
[0109]
s5、采用所述单应性矩阵对所述目标位点的坐标位置进行映射，确定所述初始帧图像后续的每一帧图像对应的跟踪位点，所述跟踪曲线用于指导手术端医生执行手术操作。
[0110]
s6、将所述跟踪位点发送至远程指导端，并通过音视频交互实现所述指导端医生
和手术端医生实时交流。
[0111]
具体的，本发明实施例采用特殊颜色标记追踪位点，并把处理后的图像通过视频通信实时传输到远程指导端，指导端医生根据本次的诊疗计划，持续完成医疗知识的输出，指导手术接收端医生进行手术操作。
[0112]
所述音视频交互具体可以采用麦克风、扬声器、显示屏等音视频设备实现。
[0113]
本发明实施例提供的跟踪方法主要应用于但不限于远程病理指导场景；在人体组织的柔性变形、遮挡与消失、尺度变化、光照变化以及图像模糊等复杂体内环境下，能够在指导端通过远程交互装置对人工选择的目标位点进行可视化输入，在手术端远程交互装置上进行目标位点的可视化精准输出；手术端能够对人工选择的目标位点进行精确跟踪，实现远程手术指导中的手术规划位置与指引，指导手术医生进行精准的手术操作；能够在指导端和手术端进行视频、影像的实时共享，并通过音频输入输出设备实现远程手术指导过程中的实时交互。
[0114]
此外，为了便于后期手术评估、质控以及为患者的后期治疗提供依据，本发明实施例能够在指导端和手术端分别对影像及视频进行存储。
[0115]
第二方面，如图2所示，一种远程手术指导可视化人工选择位点的跟踪系统，包括：
[0116]
第一获取模块，用于根据指导端医生在初始帧图像的人工选择操作，获取需要动态追踪的源点作为目标位点，所述初始帧图像自远程指导端和手术端共享画面中采集；
[0117]
第二获取模块，用于获取包含所述目标位点的目标区域，并针对所述目标区域执行掩膜操作和检测sift特征点，获取第一特征点集；
[0118]
实时跟踪所述目标区域，获取所述初始帧图像后续的每一帧图像对应的跟踪区域，并针对所述跟踪区域执行掩膜操作和检测sift特征点，获取第二特征点集；
[0119]
追踪模块，用于根据所述第一特征点集和第二特征点集，通过执行特征匹配及噪音点剔除获取最终匹配点的坐标位置，并且确定单应性矩阵；
[0120]
映射模块，用于采用所述单应性矩阵对所述目标位点的坐标位置进行映射，确定所述初始帧图像后续的每一帧图像对应的跟踪位点，所述跟踪位点用于指导手术端医生执行手术操作；
[0121]
交互模块，用于将所述跟踪位点发送至远程指导端，并通过音视频交互实现所述指导端医生和手术端医生实时交流。
[0122]
第三方面，一种远程手术指导可视化人工选择位点的跟踪装置，包括远程指导端和手术端，所述远程指导端包括第一交互装置，所述手术端包括第二交互装置和采样装置；
[0123]
所述第一交互装置，如图3所示，用于接收所述采样装置采集的手术实时视频作为远程指导端和手术端的共享画面，并根据指导端医生在初始帧图像的人工选择操作，获取需要动态追踪的源点作为目标位点，所述初始帧图像自所述共享画面中采集。
[0124]
所述第一交互装置，还用于将路径曲线通过编码后传输到手术端。具体的，针对指导端医生选择的路径曲线，封装成json数据，通过tcp协议传输到手术端的第二交互装置。
[0125]
所述第二交互装置，用于获取包含所述目标位点的目标区域，并针对所述目标区域执行掩膜操作和检测sift特征点，获取第一特征点集；
[0126]
以及，用于实时跟踪所述目标区域，获取所述初始帧图像后续的每一帧图像对应的跟踪区域，并针对所述跟踪区域执行掩膜操作和检测sift特征点，获取第二特征点集；
[0127]
以及，用于根据所述第一特征点集和第二特征点集，通过执行特征匹配及噪音点剔除获取最终匹配点的坐标位置，并且确定单应性矩阵
[0128]
以及，采用所述单应性矩阵对目标位点的坐标位置进行映射，确定所述初始帧图像后续的每一帧图像对应的跟踪曲线，所述跟踪曲线用于指导手术端医生执行手术操作。
[0129]
优选的，所述第二交互装置，还用于通过网络协议将所述跟踪曲线实时发送至第一交互装置；
[0130]
所述第一交互装置和第二交互装置均包括音视频交互装置；所述音视频交互装置用于实现所述指导端医生和手术端医生实时交流。
[0131]
可理解的是，本发明实施例提供的一种远程手术指导可视化人工选择位点的跟踪系统和装置与本发明实施例提供的一种远程手术指导可视化人工选择位点的跟踪方法相对应，其有关内容的解释、举例和有益效果等部分可以参考一种远程手术指导可视化人工选择位点的跟踪方法中的相应部分，此处不再赘述。
[0132]
综上所述，与现有技术相比，具备以下有益效果：
[0133]
1、本发明实施例在选定的初始帧图像上进行需要动态追踪的目标位点的标注，再通过实时传输，实现在手术端交互界面准确输出，并通过目标跟踪等相关技术，实现后续手术过程中所述目标位点的实时动态跟踪，有效提高了手术定位精度、减少手术损伤、优化手术路径及提高手术成功率；提高了远程手术指导的准确度及缩减远程手术时间。
[0134]
2、本发明实施例提供的跟踪方法主要应用于但不限于远程病理指导场景；在人体组织的柔性变形、遮挡与消失、尺度变化、光照变化以及图像模糊等复杂体内环境下，能够在指导端通过远程交互装置对人工选择的目标位点进行可视化输入，在手术端远程交互装置上进行目标位点的可视化精准输出；手术端能够对人工选择的目标位点进行精确跟踪，实现远程手术指导中的手术规划位置与指引，指导手术医生进行精准的手术操作；能够在指导端和手术端进行视频、影像的实时共享，并通过音频输入输出设备实现远程手术指导过程中的实时交互。
[0135]
3、为了便于后期手术评估、质控以及为患者的后期治疗提供依据，本发明实施例能够在指导端和手术端分别对影像及视频进行存储。
[0136]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0137]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。