基于关键点跟踪的定位方法、系统、设备、终端及应用与流程

1.本发明属于医疗器械技术领域，尤其涉及一种基于关键点跟踪的定位方法、系统、设备、终端及应用。


背景技术：

2.目前，计算机视觉技术已遍布各个领域，如制造业、检验、文档分析、医疗诊断和军事等，成为各种智能或自主系统中不可分割的一部分。随着社会的进步，经济的增长，居民消费水平的不断提高，居民的医疗消费需求也随着增长。然而传统医疗手术过程会存在以下缺点，长时间站立操作会增加医生手术疲劳，进而引起人手颤抖等生理因素，增加手术误操作风险，另外体内医疗手术会存在视线遮挡，操作难度大等难题，如果全程采用ct照射会给患者和医生带来极大的辐射危害，同时存在增加创口维度，导致术后恢复时间增加等问题。因此，亟需一种新的医疗器械定位方法、系统。
3.通过上述分析，现有技术存在的问题及缺陷为：
4.(1)传统医疗手术过程中，长时间站立操作会增加医生手术疲劳，进而引起人手颤抖等生理因素，增加手术误操作风险。
5.(2)体内医疗手术会存在视线遮挡，操作难度大等难题，如果全程采用 ct照射会给患者和医生带来极大的辐射危害，同时存在增加创口维度，导致术后恢复时间增加等问题。
6.解决以上问题及缺陷的难度主要在于自动化的定位手术目标点的同时，尽量减少ct对患者和医生的辐射危害。另外机械设备自动定位手术目标点，能够提高手术精度，而且能提前规划手术过程，减少手术中的误操作风险，另外可以做到手术过程的可视化，提前进行医患沟通，减少医患矛盾。


技术实现要素：

7.针对现有技术存在的问题，本发明提供了一种基于关键点跟踪的定位方法、系统、设备、终端及应用。
8.本发明是这样实现的，一种基于关键点跟踪的定位系统，所述基于关键点跟踪的定位系统，包括人机交互界面、计算单元、自动化机械设备、末端手术组件、关键点器具、相机模组、3dct机以及手术台；其中，所述计算单元包括工控机、树莓派，所述自动化机械设备包括机械臂、机械手，所述末端手术组件包括钻孔机，所述关键点器具包括红外反光标记球，所述相机模组包括双目、多目、彩色相机，所述3dct机包括cbct。该定位系统采用视觉高精度方案，结合机械装备的自动化，能够实现手术过程的自动化高精度定位。
9.其中，所述人机交互界面与计算单元连接用于控制整个系统操作，所述自动化机械设备与计算单元连接用于传输与接受计算单元命令，所述末端手术组件安装在自动化设备末端法兰处用于手术操作，所述关键点器具安装在末端手术组件某一固定位置提供关键跟踪点，所述相机模组安装在空间中某一位置，该位置需满足关键点器具位于相机模组视
野内，用于跟踪关键点器具，所述 3dct机安装在手术台旁边用于提供3d医疗影像。
10.本发明的另一目的在于提供一种应用所述的基于关键点跟踪的定位系统的基于关键点跟踪的定位方法，所述基于关键点跟踪的定位方法包括以下步骤：
11.步骤一，将红外反光标记工具安装到患病点某一固定位置处，用于提供手术过程中的视觉系统的跟踪目标点，同时能够为图像空间到物理世界位置的自动配准过程提供连接枢纽；
12.步骤二，3dct机进行术前3dct重建，得到3dct影像，3dct影像能够提供断骨的真实情况，可视化患病内容；
13.步骤三，对得到的3dct影像进行分割得到目标区域影像图，分割目标区域影像图能够剔除其他像素点的不利影响；
14.步骤四，设计虚拟定位位置及方向；
15.步骤五，将虚拟定位位置与原始3d影像融合，得到原始3d影像目标位置点；
16.步骤六，计算虚拟图像目标位置点在真实物理世界的位姿，得到导航系统坐标系相对于执行目标点的真实位姿m1，该步骤将图像空间映射到真实物理空间，为后续机械臂执行操作提供目标点；
17.步骤七，导航实时跟踪反光标记工具，与m1联合计算得到机械臂执行目标点位姿，该目标位姿点为视觉坐标系换算到机械臂基座坐标系的真实执行点；
18.步骤八，机械执行运动规划，操作机械臂到执行目标点；
19.步骤九，导航判断机械臂末端是否到达执行点，如果到达，执行操作；如果未到达，则反馈给机械臂补偿姿态，对机械臂进行误差补偿，直到可执行目标点位置结束，误差补偿减少手术过程误差，提高手术定位精度。
20.进一步，步骤一中，所述安装反光标记工具到患病处需要医生进行术前诊断，之后安装至断骨两侧。
21.步骤三中，所述3d医疗影像分割是指语义分割，执行目标操作区域与其他背景区域需要区分开表示。
22.进一步，步骤四中，所述虚拟定位位置及方向的设计需要主刀医生进行规划，以确保手术过程的合理性。
23.步骤六中，所述图像坐标到真实物理世界坐标指的是dicom图像像素坐标与真实物理世界的转换，表达公式如下：
24.p＝o d
×s×
i；
25.其中，p表示对应的待求得物理空间点，o表示图像得坐标原点，d表示图像与物理空间坐标的方向关系，s表示像素间距，i表示图像空间下标。
26.步骤七中，所述导航系统坐标与机械臂坐标之间需进行手眼标定，设标定后导航系统坐标与机械臂底座直接位姿关系为m0，机械臂末端与执行工具之间坐标为m1，安装于患病处的反光标记工具与执行工具之间位姿关系为m2，则患病目标点相对于机械臂的位姿关系为m0
×
m2
×
m1。
27.本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
28.将红外反光标记工具安装到患病点某一固定位置处；3dct机进行术前 3dct重建，得到3dct影像；对得到的3dct影像进行分割得到执行目标区域影像图；对执行目标区域3d影像设计虚拟操作点，得到虚拟执行目标位置点；将虚拟执行目标位置点与原始3d影像融合，得到原始3d影像操作位置点；计算图像虚拟操作点位姿在真实物理世界的位姿，得到患病处反光标记工具相对于执行目标点的真实位姿m1；导航实时跟踪位于机械臂末端法兰处反光标记工具，与m1联合计算得到机械臂执行目标点位姿；机械执行运动规划，操作机械臂到执行目标点；导航判断机械臂末端是否到达执行点，如果到达，执行操作；如果未到达，则反馈给机械臂补偿姿态，对机械臂进行误差补偿，直到到达可执行目标点结束。
29.本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
30.将红外反光标记工具安装到患病点某一固定位置处；3dct机进行术前 3dct重建，得到3dct影像；对得到的3dct影像进行分割得到执行目标区域影像图；设计虚拟手术操作位置点；将虚拟操作位置点与原始3d影像融合，得到原始3d影像操作位置点；计算图像虚拟操作位置点位姿在真实物理世界的位姿，得到患病处反光标记工具相对于执行目标点的真实位姿m1；导航实时跟踪机械臂末端法兰处反光标记工具，与m1联合计算得到机械臂执行目标点位姿；
31.机械执行运动规划，操作机械臂到执行目标点；导航判断机械臂末端是否到达执行点，如果到达，执行操作；如果未到达，则反馈给机械臂补偿姿态，对机械臂进行误差补偿，直到到达可执行目标点结束。
32.本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的基于关键点跟踪的定位系统。
33.本发明的另一目的在于提供一种所述的基于关键点跟踪的定位系统在医疗器械技术领域中的应用，所述医疗器械技术领域，包括用于人体的医疗器械和用于动物的医疗器械；
34.其中，所述医疗器械包括呼吸机、超声仪、ct机、核磁共振、激光治疗仪以及手术机器人在内的医疗器械设备；所述关键点为手工制作的工具标记点或者经过视觉特征检测提供的关键点在内的位置点。
35.结合上述的所有技术方案，本发明解决了手术过程中的定位问题，减少了医生的工作量，对手术领域，特别是手术机器人领域做出了重要贡献，另外填补了动物医疗领域手术机器人的空白。本发明提供的基于关键点跟踪的定位方法，手术过程只采用一次3dct重建，全程跟踪手术过程，借助光学系统的高精度定位，协助机械设备快速定位与导航，解决传统手术存在的痛点，特别是手术过程中精准定位问题。
附图说明
36.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
37.图1是本发明实施例提供的基于关键点跟踪的定位方法流程图。
38.图2是本发明实施例提供的基于关键点跟踪的定位方法原理图。
39.图3是本发明实施例提供的基于关键点跟踪的定位系统结构简图；
40.图中：1、人机交互界面；2、计算单元；3、自动化机械设备；4、末端手术组件；5、关键点器具；6、相机模组；7、3dct机；8、手术台；9、红外反光标记工具；10、红外反光标记工具；11、断骨；12、断骨。
41.图4是本发明实施例提供的骨科手术机器人系统结构简图。
42.图5是本发明实施例提供的系统工作流程图。
43.图6是本发明实施例提供的整体系统结构简图。
具体实施方式
44.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
45.针对现有技术存在的问题，本发明提供了一种基于关键点跟踪的定位方法、系统、设备、终端及应用，下面结合附图对本发明作详细的描述。
46.本发明提供一种基于视觉的关键点跟踪定位方法，手术过程只采用一次3dct重建，就能全程跟踪手术过程，协助机械设备快速定位与导航，解决传统手术存在的痛点，特别是手术过程中精准定位问题。
47.一种基于关键点跟踪的定位方法在医疗器械领域的应用方案，其中医疗器械领域包括用于人体的医疗器械和用于动物的医疗器械等。
48.如图1所示，本发明实施例提供的基于关键点跟踪的定位方法包括以下步骤：
49.s101，将红外反光标记工具安装到患病点某一固定位置处；
50.s102，3dct机进行术前3dct重建，得到3dct影像；
51.s103，对得到的3dct影像进行分割得到目标区域影像图；
52.s104，设计虚拟定位位置及方向；
53.s105，将虚拟定位位置与原始3d影像融合，得到原始3d影像目标位置点；
54.s106，计算虚拟图像目标位置点在真实物理世界的位姿，得到导航系统坐标系相对于执行目标点的真实位姿m1；
55.s107，导航实时跟踪反光标记工具，与m1联合计算得到机械臂执行目标点位姿；
56.s108，机械执行运动规划，操作机械臂到执行目标点；
57.s109，导航判断机械臂末端是否到达执行点，如果到达，执行操作；如果未到达，则反馈给机械臂补偿姿态，对机械臂进行误差补偿，直到可执行目标点位置结束。
58.本发明实施例提供的基于关键点跟踪的定位方法原理图如图2所示。
59.如图3所示，本发明实施例提供的基于关键点跟踪的定位系统，包括：人机交互界面1、计算单元2(如工控机、树莓派等)、自动化机械设备3(如机械臂、机械手等)、末端手术组件4(如钻孔机等)、关键点器具5(如红外反光标记球等)、相机模组6(如双目、多目、彩色相机等)、3dct机7(如cbct等)、手术台8。
60.其中人机交互界面1与计算单元2连接用于控制整个系统操作，自动化机械设备3与计算单元连接用于传输与接受计算单元命令，末端手术组件4安装在自动化设备3末端法
兰处用于手术操作，关键点器具5安装在末端手术组件某一固定位置提供关键跟踪点，相机模组6安装在空间中某一位置(该位置需满足关键点器具位于相机模组视野内)用于跟踪关键点器具5，3dct机7安装在手术台8 旁边用于提供3d医疗影像。
61.下面结合具体实施例对本发明的技术方案作进一步描述。
62.实施例1
63.下面以骨科手术机器人骨折内固定术为例进行说明，整体系统结构简图如图4所示。该方案硬件系统包括如下：1.ui界面、2.工控机、3.机械臂(如六轴，七轴等)、4.末端手术组件(如钻孔机等)、5.红外反光标记工具、6.双目相机模组、7.3dct机、8.手术台、9.红外反光标记工具、10.红外反光标记工具、11. 断骨、12.断骨。
64.其中硬件连接关系为：ui界面1与工控机2连接用于人工控制整个系统操作，机械臂3与工控机2连接用于传输与接受处理命令，末端手术组件4安装在机械臂 3末端法兰处用于手术操作，红外反光标记工具5安装在末端手术组件某一固定位置提供关键跟踪点，相机模组6安装在空间中某一位置(该位置需满足关键点器具位于相机模组视野内)用于跟踪红外反光标记工具5以及红外反光标记工具9和10，断裂骨头11和12分别安装跟踪工具10和9，并置于手术台8上，3dct机7 与工控机2连接并安装在手术台8旁边用于术前提供3d医疗影像。
65.系统工作流程如图5系统流程图所示：
66.步骤1：将红外反光标记工具9和10分别安装到两侧断骨某一固定位置处。
67.步骤2：3dct机7进行术前3dct重建，得到3dct影像。
68.步骤3：对得到的3dct影像进行分割得到断骨两侧骨头影像图。
69.步骤4：对断骨3d影像进行配准，得到虚拟骨头缝合影像图。
70.步骤5：设计连接骨板及打孔位置，得到虚拟打孔点。
71.步骤6：将虚拟打孔点与原始3d影像配准，得到原始3d影像配准位置点。
72.步骤7：计算图像虚拟打孔点位姿在真实物理世界的位姿，得到反光标记工具9、10相对于执行目标点的真实位姿m1。
73.步骤8：导航实时跟踪反光标记工具5、9、10，与m1联合计算得到机械臂执行目标点位姿。
74.步骤9：机械执行运动规划，操作机械臂到执行目标点。
75.步骤10：导航判断机械臂末端是否到达执行点，如果到达，可执行打孔操作，如果未到达，则反馈给机械臂补偿姿态，对机械臂进行误差补偿，直到可执行打孔结束。
76.其中步骤1中，安装反光标记工具9和10需要医生进行术前诊断，之后安装至断骨两侧。
77.其中步骤3中，3d医疗影像分割是指语义分割，断裂骨头需要区分开表示为 a1、a2。
78.其中步骤4中，3d医疗影像配准是通过图像算法得到断裂骨头缝合之间需进行旋转角度r及平移向量t，具体的公式如下：
79.b＝{a1×
r t,a2}
80.其中a1表示断裂骨头其中一块，a2表示另一块，r表示通过医疗影像配准得到的旋转角度，t表示平移角度，{,}表示连接关系，b表示经过旋转平移得到的缝合后的完整骨头。
81.其中步骤5中，打孔位置及骨板的设计需要主刀医生进行规划，以确保骨板和打孔
位置的合理性。
82.其中步骤7中，图像坐标到真实物理世界坐标指的是dicom图像像素坐标与真实物理世界的转换，其表达公式如下：
83.p＝o d
×s×i84.其中p表示对应的待求得物理空间点，o表示图像得坐标原点，d表示图像与物理空间坐标的方向关系，s表示像素间距，i表示图像空间下标。
85.其中步骤8中，导航系统坐标与机械臂坐标之间需要进行手眼标定，设标定后导航系统坐标与机械臂底座直接位姿关系为m0，机械臂末端与执行工具之间坐标为m1，反光标记工具5与9之间位姿关系为m2，反光标记工具5与10之间位姿关系为m3，则断骨11上的目标点相对于机械臂的位姿关系为m0
×
m2
×
m1、断骨12上的目标点相对于机械臂的位姿关系为m0
×
m3
×
m1。
86.实施例2
87.下面以骨科手术机器人穿刺术为例进行说明，整体系统结构简图如图6所示。该方案硬件系统包括如下：1.ui界面、2.工控机、3.机械臂(如六轴，七轴等)、4.末端手术组件(如钻孔机等)、5.红外反光标记工具、6.双目相机模组、 7.3dct机、8.手术台、9.红外反光标记工具、10.骨头。
88.其中硬件连接关系为：ui界面1与工控机2连接用于人工控制整个系统操作，机械臂3与工控机2连接用于传输与接受处理命令，末端手术组件4安装在机械臂 3末端法兰处用于手术操作，红外反光标记工具5安装在末端手术组件某一固定位置提供关键跟踪点，相机模组6安装在空间中某一位置(该位置需满足关键点器具位于相机模组视野内)用于跟踪红外反光标记工具5以及红外反光标记工具 9，并置于手术台8上，3dct机7与工控机2连接并安装在手术台8旁边用于术前提供3d医疗影像。
89.系统工作流程如图5系统流程图所示：
90.步骤1：将红外反光标记工具9安装到需穿刺骨头某一固定位置处。
91.步骤2：3dct机7进行术前3dct重建，得到3dct影像。
92.步骤3：对得到的3dct影像进行分割得到患病骨头影像图。
93.步骤4：医师设计穿刺点，得到虚拟穿刺位置点。
94.步骤5：从原始3d影像得到图像空间需穿刺位置点位姿。
95.步骤6：计算图像穿刺位置点位姿在真实物理世界的位姿，得到反光标记工具9相对于执行目标点的真实位姿m1。
96.步骤7：导航实时跟踪反光标记工具5、9，与m1联合计算得到机械臂执行目标点位姿。
97.步骤8：机械执行运动规划，操作机械臂到执行目标点。步骤9：机械执行运动规划，操作机械臂到执行目标点。
98.步骤9：导航判断机械臂末端是否到达执行点，如果到达，可执行穿刺操作，如果未到达，则反馈给机械臂补偿姿态，对机械臂进行误差补偿，直到可执行穿刺结束。
99.其中步骤1中，安装反光标记工具9需要医生进行术前诊断，之后安装至患病骨头某一位置点。
100.其中步骤3中，3d医疗影像分割是指语义分割，患病骨头需要区分开表示为 a1、a2。
101.其中步骤4中，图像穿刺点的设计需要主刀医生进行规划，以确保穿刺位置的合理性。
102.其中步骤6中，图像坐标到真实物理世界坐标指的是dicom图像像素坐标与真实物理世界的转换，其表达公式如下：
103.p＝o d
×s×i104.其中p表示对应的待求得物理空间点，o表示图像得坐标原点，d表示图像与物理空间坐标的方向关系，s表示像素间距，i表示图像空间下标。
105.其中步骤8中，导航系统坐标与机械臂坐标之间需要进行手眼标定，设标定后导航系统坐标与机械臂底座直接位姿关系为m0，机械臂末端与执行工具之间坐标为m1，反光标记工具5与9之间位姿关系为m2，则骨头11上的穿刺目标点相对于机械臂的位姿关系为m0
×
m2
×
m1。
106.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
107.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。