位置确定方法、装置、设备及存储介质与流程

1.本发明涉及医疗技术领域，尤其涉及一种位置确定方法、装置、设备及存储介质。


背景技术：

2.手术导航是指在手术过程中跟踪手术器械并将手术器械的位置显示在手术视野的影像资料上，通过空间定位系统使医生明确手术器械相对于病人解剖结构的位置，给手术带来了极大的便利，使外科手术更快速、更精确、更安全。
3.目前，确定手术器械的位置主要有以下两种方式。
4.第一种方式：借助一个类似手柄的面板，该面板上安装有标志点，把手术器械的尖端放置在面板上的标志点处，通过定位系统得到面板上的标志点坐标，进而变换得到尖端的三维坐标。
5.第二种方式：绕着手术器械的尖端旋转手术器械，在旋转的过程中，同一个标志点在各个位置处的坐标是符合球面方程的，尖端处在球心位置，通过计算球面方程来确定尖端的位置。
6.第一种方式，操作简便，但是标志点有一定的尺寸，不是绝对的一个点，这就会带来很大的误差。第二种方式，需要进行一定次数的迭代运算。迭代运算取决于迭代变量、迭代关系式和迭代结束条件；迭代变量对于最终的计算结果影响很大，如果最初迭代变量选取不合适，可能迭代过程不收敛，有时还会陷入局部最小；如果迭代关系式建立不恰当，则会导致错误的结果；如果用于迭代过程进行控制的迭代结束条件不合理，得到的结果不仅误差大，而且效率低。


技术实现要素：

7.本发明实施例提供一种位置确定方法、装置、设备及存储介质，能够确定出手术器械相对于器官或生物组织的位置，降低误差，提高效率。
8.一方面，本发明实施例提供了一种位置确定方法，方法包括：
9.确定利用三维摄像头所采集的图像中包括的手术器械和第一物体；第一物体包括器官或生物组织；
10.利用手术器械对应的手术器械三维模型，确定手术器械的预设部位的位置及姿态；
11.利用第一物体对应的器官生物组织三维模型，确定第一物体的位置；
12.根据手术器械的预设部位的位置以及第一物体的位置，确定手术器械相对于第一物体的位置。
13.在本发明的一个实施例中，手术器械包括多个组成部分；
14.利用手术器械对应的手术器械三维模型，确定手术器械的预设部位的位置，包括：
15.从多个组成部分中，确定预设部位所处的组成部分；
16.利用手术器械三维模型以及所确定的组成部分，确定预设部位的位置。
17.在本发明的一个实施例中，手术器械包括多个组成部分；
18.利用手术器械对应的手术器械三维模型，确定手术器械的预设部位的位置，包括：
19.从多个组成部分中，确定预设部位所处的组成部分；
20.利用手术器械三维模型对除所确定的组成部分之外组成部分进行匹配；
21.利用除与所确定的组成部分之外组成部分匹配的手术器械三维模型区域之外的手术器械三维模型区域以及所确定的组成部分，确定预设部位的位置。
22.在本发明的一个实施例中，利用手术器械对应的手术器械三维模型，确定手术器械的预设部位的位置，包括：
23.利用手术器械三维模型，确定手术器械在图像中的部位的位置；
24.根据手术器械在图像中的部位的位置、手术器械在图像中的部位与预设部位的距离差，确定预设部位的位置。
25.在本发明的一个实施例中，本发明实施例提供的位置确定方法还包括：
26.根据手术器械相对于第一物体的位置，获取手术器械相对于第一物体的位置周边的第二物体；
27.对第二物体进行颜色标注。
28.另一方面，本发明实施例提供了一种手术器械的位置确定装置，装置包括：
29.物体确定模块，用于确定利用三维摄像头所采集的图像中包括的手术器械和第一物体；第一物体包括器官或生物组织；
30.手术器械位置确定模块，用于利用手术器械对应的手术器械三维模型，确定手术器械的预设部位的位置及姿态；
31.第一物体位置确定模块，用于利用第一物体对应的器官生物组织三维模型，确定第一物体的位置；
32.相对位置确定模块，用于根据手术器械的预设部位的位置以及第一物体的位置，确定手术器械相对于第一物体的位置。
33.在本发明的一个实施例中，手术器械包括多个组成部分；手术器械位置确定模块，具体用于：
34.从多个组成部分中，确定预设部位所处的组成部分；
35.利用手术器械三维模型以及所确定的组成部分，确定预设部位的位置。
36.在本发明的一个实施例中，手术器械包括多个组成部分；手术器械位置确定模块，具体用于：
37.从多个组成部分中，确定预设部位所处的组成部分；
38.利用手术器械三维模型对除所确定的组成部分之外组成部分进行匹配；
39.利用除与所确定的组成部分之外组成部分匹配的手术器械三维模型区域之外的手术器械三维模型区域以及所确定的组成部分，确定预设部位的位置。
40.在本发明的一个实施例中，手术器械位置确定模块，具体用于：
41.利用手术器械三维模型，确定手术器械在图像中的部位的位置；
42.根据手术器械在图像中的部位的位置、手术器械在图像中的部位与预设部位的距离差，确定预设部位的位置。
43.在本发明的一个实施例中，本发明实施例提供的位置确定装置还包括：
44.颜色标注模块，用于根据手术器械相对于第一物体的位置，获取手术器械相对于第一物体的位置周边的第二物体；对第二物体进行颜色标注；第二物体包括器官或生物组织。
45.再一方面，本发明实施例提供一种位置确定设备，设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；
46.处理器执行计算机程序时实现本发明实施例提供的位置确定方法。
47.再一方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现本发明实施例提供的位置确定方法。
48.本发明实施例的位置确定方法、装置、设备及存储介质，能够确定出手术器械相对于器官或生物组织的位置，降低误差，提高效率。
附图说明
49.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
50.图1示出了本发明实施例提供的位置确定方法的流程示意图；
51.图2示出了本发明实施例提供的场景示意图；
52.图3示出了本发明实施例提供的内窥镜的结构示意图；
53.图4示出了本发明实施例提供的能量刀的结构示意图；
54.图5示出了本发明实施例提供的能量刀的刀头被遮挡的场景示意图；
55.图6示出了本发明实施例提供的位置确定装置的结构示意图；
56.图7示出了能够实现根据本发明实施例的位置确定方法及装置的计算设备的示例性硬件架构的结构图。
具体实施方式
57.下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
58.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
59.为了解决现有技术问题，本发明实施例提供一种位置确定方法、装置、设备及存储介质。下面首先对本发明实施例提供的位置确定方法进行说明。
60.图1示出了本发明实施例提供的位置确定方法的流程示意图。位置确定方法可以包括：
61.s101：确定利用三维摄像头所采集的图像中包括的手术器械和第一物体。
62.其中，第一物体包括器官或生物组织。
63.s102：利用手术器械对应的手术器械三维模型，确定手术器械的预设部位的位置及姿态。
64.s103：利用第一物体对应的器官生物组织三维模型，确定第一物体的位置。
65.s104：根据手术器械的预设部位的位置以及第一物体的位置，确定手术器械相对于第一物体的位置。
66.在本发明的一个实施例中，手术器械可以包括但不限于能量刀、内窥镜、止血钳、直角钳、组织剪、手术刀、手术镊、持针器、缝针、齿直钳、组织钳、阑尾钳、肺叶钳、胃钳、肠钳、吸引器头、骨剪、咬骨钳、骨膜剥离子、神经剥离子、骨锉和骨凿等等。
67.在本发明的一个实施例中，预设部位可以包括但不限于头部、刃口部、尖部、销轴部、钳口部、喙部和锉齿部等。
68.图2示出了本发明实施例提供的场景示意图。
69.利用能量刀对器官或生物组织进行手术。利用内窥镜观察物理手段(比如x射线)不能显示的器官及生物组织结构、形态、密度、成分等特性。利用三维摄像头进行手术中图像的采集。
70.在本发明的一个实施例中，假设利用三维摄像头所采集的图像中包括手术器械“能量刀”和器官“胃”。预设部位为能量刀刀头。则利用能量刀三维模型对能量刀进行三维匹配，确定能量刀刀头的位置及姿态；利用胃三维模型对胃进行三维匹配，确定胃的位置及姿态；进而依据能量刀刀头的位置以及胃的位置，确定能量刀相对于胃的位置。
71.在本发明的一个实施例中，对于能量刀、内窥镜、止血钳和直角钳等刚体，可以直接利用其三维模型进行匹配确定其位置及姿态，也可以采用三维可变形刚体匹配的方法进行匹配确定位置及姿态。
72.相对于传统固定模型的匹配，采用三维可变形刚体匹配的方法可以在保持匹配速度的情况下，提高匹配的成功率和准确率。
73.本发明实施例并不对采用三维可变形刚体匹配的方法进行匹配的方式进行限定，任何可用的方式均可以应用于本发明实施例中。
74.本发明实施例的位置确定方法，能够确定出手术器械相对于器官或生物组织的位置，降低误差，提高效率。
75.在本发明的一个实施例中，手术器械可以包括多个组成部分。比如，内窥镜包括镜杆部分和镜头部分；能量刀包括可以拆分为杆及刀芯部分和可活动部分。图3示出了本发明实施例提供的内窥镜的结构示意图，图4示出了本发明实施例提供的能量刀的结构示意图。
76.在本发明的一个实施例中，可以对可变形手术器械进行拆分匹配。从多个组成部分中，确定预设部位所处的组成部分；利用手术器械三维模型以及所确定的组成部分，确定预设部位的位置。
77.示例性的，对于内窥镜，假设预设部位为内窥镜镜头。则从内窥镜包括的多个组成部分中，确定内窥镜镜头所处的组成部分，确定出内窥镜镜头所处的组成部分为镜头部分；
进而利用内窥镜三维模型以及镜头部分，确定内窥镜镜头的位置。
78.本发明实施例无需对除内窥镜镜头所处的组成部分的其他组成部分进行匹配，能够提高匹配速度。
79.在本发明的一个实施例中，在匹配时，可以按照需求对器官或生物组织的一个部分进行匹配，当这部分匹配完成后，可以根据器官或生物组织的结构关系缩小其他部分匹配的区域。具体的，可以从多个组成部分中，确定预设部位所处的组成部分；利用手术器械三维模型对除所确定的组成部分之外组成部分进行匹配；利用除与所确定的组成部分之外组成部分匹配的手术器械三维模型区域之外的手术器械三维模型区域以及所确定的组成部分，确定预设部位的位置。
80.示例性的，对于内窥镜，假设预设部位为内窥镜镜头。则从内窥镜包括的多个组成部分中，确定内窥镜镜头所处的组成部分，确定出内窥镜镜头所处的组成部分为镜头部分；进而利用内窥镜三维模型对除镜头部分之外组成部分进行匹配；然后利用除镜头部分之外组成部分匹配的内窥镜三维模型区域之外的内窥镜三维模型区域以及镜头部分，确定内窥镜镜头的位置。
81.本发明实施例通过先对预设部位所处的组成部分之外的其他部分进行匹配，然后缩小预设部位所处的组成部分的匹配区域，能够提高确定预设部位的位置的准确性。
82.在本发明的一个实施例中，在实际操作环境中，不可避免会出现手术器械在三维摄像头视野中被遮挡的情况。此时，三维摄像头只能观察到手术器械的部分，进而匹配确定出该部分所在的空间位置和朝向，而不能确定出手术器械的预设部位的位置。图5示出了本发明实施例提供的能量刀的刀头被遮挡的场景示意图。
83.基于此，在本发明的一个实施例中，可以利用手术器械三维模型，确定手术器械在图像中的部位的位置；根据手术器械在图像中的部位的位置、手术器械在图像中的部位与预设部位的距离差，确定预设部位的位置。
84.在本发明的一个实施例中，对于具有销轴部的手术器械，比如，止血钳、组织剪和手术镊等。假设该销轴部位于三维摄像头所采集的图像中，则确定销轴部的位置，根据销轴部的位置，销轴部与止血钳的钳口、组织剪的尖部或手术镊的喙部等的距离差，确定止血钳的钳口、组织剪的尖部或手术镊的喙部等的位置。可以理解的是，销轴部与止血钳的钳口、组织剪的尖部或手术镊的喙部等的位置关系是已知的。
85.在内窥镜手术中，在能量刀刀头被遮挡时可以采用以下方法借助内窥镜画面对刀头位置进行定位。在刀头被遮挡时，能量刀的杆部为能量刀中当前能被三维摄像头观察到的仅有部分。对于能量刀，通常会在能量刀的刀杆上嵌入一定的文字标注等特征。这段特征对应能量刀刀头的空间位置关系为术前已知。同时，即使在能量刀刀头相对三维摄像头被遮挡的时候，在内窥镜镜头视野中，大多数时候依然能较容易地获取能量刀上的特征，如文字。以下描述以文字为例，但不局限于文字特征。
86.假定一个三维场景中能量刀刀头沿能量刀杆部延伸的位置d0，由于能量刀的中文字的位置与其刀头的相对位置固定，可记文字所在的位置为t0。通过三维摄像头采集到的图像中包括嵌入在能量刀上的文字，进而利用能量刀三维模型，确定嵌入在能量刀上的文字的位置，进而根据能量刀上的文字的位置以及能量刀上的文字与能量刀刀头的距离差，确定能量刀的位置。
87.在本发明的一个实施例中，假定一个三维场景中能量刀刀头沿能量刀杆部延伸的位置d0，由于能量刀的中文字的位置与其刀头的相对位置固定，可记文字所在的位置为t0。通过透视投影函数，获得文字在内窥镜视野中的位置t’。通过内窥镜画面进行文字匹配获取内窥镜画面中观察到的文字实际位置t1。此时透视投影计算出的位置t’与内窥镜画面中观察到的文字实际位置之间沿能量刀杆部方向的位置差即反应了此时假定的能量刀刀头位置与实际能量刀刀头之间的位置差。在获取此位置差后，即可反向推算出此时能量刀刀头沿能量刀杆部实际延伸的位置和当前假设的位置之间的差值，以此得到当前能量刀刀头的实际位置。
88.在本发明的一个实施例中，还可以采取逐步推进假定的能量刀刀头沿杆部延伸的位置的方式，确定能量刀刀头的位置。每次将假定能量刀刀头的位置或嵌入在能量刀上的文字的位置沿杆部移动一定距离，对嵌入在能量刀上的文字进行投影映射后比较其和内窥镜视野中真实文字的距离变化，并以此对能量刀刀头位置做进一步调整，直到投影映射后的文字和真实观察到的文字相重合。
89.在本发明的一个实施例中，本发明实施例提供的位置确定方法，还可以包括：根据手术器械相对于第一物体的位置，获取手术器械相对于第一物体的位置周边的第二物体；对第二物体进行颜色标注；第二物体包括器官或生物组织。
90.在本发明的一个实施例中，可以根据第二物体的生物特征，对第二物体进行颜色标注。
91.其中，生物特征可以包括第二物体的尺寸、组织特征和是否病变等。
92.比如，当器官发生病变，则对器官进行颜色标注。
93.再比如，血管为动脉血管，则对动脉血管进行颜色标注。
94.本发明实施例在获取到手术器械相对于器官或生物组织的位置周边的器官或生物组织(比如血管)后，可以做出血管出血风险预警和手术器械的效用监测，进而降低手术风险。
95.在手术过程中，能量刀能有效的封闭直径较小的血管。但是，对于相对较粗的血管，需要医生的额外处理来防止或者降低出血。所以在手术过程中，如果医生能直观的了解即将处理的血管的直径，将大大降低手术的风险，以及病人所承受的负担。
96.在本发明的一个实施例中，在手术过程中，可以把器官或生物组织内部的结构，叠加在内窥镜画面中。在叠加时，按照血管的不同尺寸，选择不同的颜色来对血管进行标注。出血风险越大的血管用用越警戒的颜色标注，以提醒医生需要额外的谨慎处理。在本发明的一个实施例，还可以直接标注血管的直径等。
97.在本发明的一个实施例中，在手术过程中，可以监测识别手术过程中的出血情况，并从三维模型中获取医生所切割的血管的尺寸，来动态调整颜色的标注。例如，在常规情况下，该能量刀能有效封闭正常生物组织的三毫米的血管。但是在实际手术过程中，由于各种原因，血管在能量器械的作用下无法闭合牢固，导致三毫米的血管也可能出现了出血。当在医生的内窥镜画面中监测到三毫米血管的出血情况后，动态降低三毫米，以及三毫米以下数字的警戒级别。并且，在发现医生的能量刀效能大幅降低的情况下，对医生提出提醒。
98.在本发明的一个实施例中，还可以基于手术器械对应的手术器械三维模型，确定手术器械的姿态。
99.与上述的方法实施例相对应，本发明实施例还提供一种位置确定装置。如图6所示，图6示出了本发明实施例提供的位置确定装置的结构示意图。
100.位置确定装置可以包括：
101.物体确定模块601，用于确定利用三维摄像头所采集的图像中包括的手术器械和第一物体。其中，第一物体包括器官或生物组织。
102.手术器械位置确定模块602，用于利用手术器械对应的手术器械三维模型，确定手术器械的预设部位的位置及姿态。
103.第一物体位置确定模块603，用于利用第一物体对应的器官生物组织三维模型，确定第一物体的位置。
104.相对位置确定模块604，用于根据手术器械的预设部位的位置以及第一物体的位置，确定手术器械相对于第一物体的位置。
105.在本发明的一个实施例中，手术器械包括多个组成部分；手术器械位置确定模块602，具体用于：
106.从多个组成部分中，确定预设部位所处的组成部分；
107.利用手术器械三维模型以及所确定的组成部分，确定预设部位的位置。
108.在本发明的一个实施例中，手术器械包括多个组成部分；手术器械位置确定模块602，具体用于：
109.从多个组成部分中，确定预设部位所处的组成部分；
110.利用手术器械三维模型对除所确定的组成部分之外组成部分进行匹配；
111.利用除与所确定的组成部分之外组成部分匹配的手术器械三维模型区域之外的手术器械三维模型区域以及所确定的组成部分，确定预设部位的位置。
112.在本发明的一个实施例中，手术器械位置确定模块602，具体用于：
113.利用手术器械三维模型，确定手术器械在图像中的部位的位置；
114.根据手术器械在图像中的部位的位置、手术器械在图像中的部位与预设部位的距离差，确定预设部位的位置。
115.在本发明的一个实施例中，本发明实施例提供的位置确定装置还包括：
116.颜色标注模块，用于根据手术器械相对于第一物体的位置，获取手术器械相对于第一物体的位置周边的第二物体；对第二物体进行颜色标注；第二物体包括器官或生物组织。
117.本发明实施例的位置确定装置，能够确定出手术器械相对于器官及生物组织的位置，降低误差，提高效率。
118.图7示出了能够实现根据本发明实施例的位置确定方法及装置的计算设备的示例性硬件架构的结构图。如图7所示，计算设备700包括输入设备701、输入接口702、中央处理器703、存储器704、输出接口705、以及输出设备706。其中，输入接口702、中央处理器703、存储器704、以及输出接口705通过总线710相互连接，输入设备701和输出设备706分别通过输入接口702和输出接口705与总线710连接，进而与计算设备700的其他组件连接。
119.具体地，输入设备701接收来自外部的输入信息，并通过输入接口702将输入信息传送到中央处理器703；中央处理器703基于存储器704中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器704中，然后通过
输出接口705将输出信息传送到输出设备706；输出设备706将输出信息输出到计算设备700的外部供用户使用。
120.也就是说，图7所示的计算设备也可以被实现为位置确定设备，该位置确定设备可以包括：存储有可在处理器上运行的计算机程序的存储器；以及处理器，该处理器在执行计算机程序时可以实现本发明实施例提供的位置确定方法和装置。
121.本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序；该计算机程序被处理器执行时实现本发明实施例提供的位置确定方法。
122.需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
123.以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(asic)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、rom、闪存、可擦除rom(erom)、软盘、cd-rom、光盘、硬盘、光纤介质、射频(rf)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
124.还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
125.以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。