一种内窥镜图像检测方法、装置、设备及存储介质与流程

1.本技术涉及智能医疗技术领域，尤其涉及一种内窥镜图像检测方法、装置、设备及存储介质。


背景技术：

2.内窥镜是集中了传统光学、人体工程学、精密机械、现代电子、数学、软件等于一体的检测仪器。一个具有图像传感器、光学镜头、光源照明、机械装置等，它可以经口腔进入胃内或经其他天然孔道进入体内。利用内窥镜可以看到x射线不能显示的病变，因此它对医生非常有用。例如，借助内窥镜医生可以观察胃内的溃疡或肿瘤，据此制定出最佳的治疗方案；
3.内窥镜技术不开刀的现代微创外科技术将更多地取代传统手术，并正在发生着日新月异的变化，其中内窥镜技术的应用更具有重要的意义；被誉为“人类的第三只眼睛”，是一项集“检查-诊断-治疗”为一体的耳鼻喉诊疗“光导纤维”无创设备，是国际耳鼻喉治疗领域最先进的技术之一，是人类医学史上首次利用光导纤维的突破性进展；
4.现有技术，医生每次都要根据ct、mr等影像的术前诊断结果，在实际的内窥镜手术诊断过程中，凭记忆或者在多个屏幕上查看之前ct、mr等影像数据的病灶区域，非常不方便，且对目标待检测区域中图像位置等的检的精确度也有所影响。


技术实现要素：

5.为了解决上述技术问题，针对以上问题点，本技术公开了内窥镜图像检测方法，可以在内窥镜使用过程中，将待检测区域的三维图像数据中的空间点位置信息投影至内窥镜的实时检测图像中，使得内窥镜可以根据投影得到的与各空间点位置信息各自对应的目标空间点位置信息，实时检测内窥镜是否到达待检测区域，并在内窥镜到达待检测区域后基于目标空间点位置信息确定内窥镜的目标检测图像；这种设计不仅可以使得医生在内窥镜的显示画面中实时查看待检测区域的空间点位置信息，而且可以提高内窥镜检测的目标检测图像的位置的精确度。
6.为了达到上述发明目的，本技术提供了一种内窥镜图像检测方法，所述的方法包括：
7.获取待检测区域的三维图像数据和所述三维图像数据对应的多个空间点位置信息；
8.基于预设投影规则，将所述多个空间点位置信息投影至内窥镜的实时检测图像中，得到与各空间点位置信息各自对应的目标空间点位置信息，其中，目标空间点位置信息表征在所述内窥镜的实时检测图像中的目标投影区域中目标点的位置信息；
9.获取内窥镜镜头的当前空间位置和当前朝向；
10.分别对所述各目标空间点位置信息与所述当前空间位置进行距离计算，得到所述当前空间位置与所述各目标空间点位置信息之间各自对应的目标距离；
11.若基于各目标距离确定所述当前空间位置与所述待检测区域之间的位置关系满足预设条件，则基于所述内窥镜镜头的当前朝向和所述各目标空间点位置信息生成所述待检测区域对应的目标检测图像，其中，所述目标检测图像用于表征内窥镜检测到的所述待检测区域中与当前朝向对应的二维图像。
12.在一些实施方式中，所述基于预设投影规则，将所述多个空间点位置信息投影至内窥镜的实时检测图像中，得到与各空间点位置信息各自对应的目标空间点位置信息，其中，目标空间点位置信息表征在所述内窥镜的实时检测图像中的目标投影区域中目标点的位置信息，包括：
13.从所述多个空间点位置信息中确定标记点位置；
14.基于所述标记点位置确定所述内窥镜在所述待检测区域中的所述内窥镜镜头的标记空间位置；
15.基于所述标记空间位置和所述标记点位置进行矩阵计算，得到所述多个空间点位置信息对应的第一转换矩阵；
16.基于所述第一转换矩阵，将所述多个空间点位置信息投影至内窥镜的检测图像中，得到与各空间点位置信息各自对应的目标空间点位置信息。
17.在一些实施方式中，所述获取内窥镜镜头的当前朝向，包括：
18.获取所述内窥镜镜头的镜头中心的当前坐标；
19.根据所述镜头中心的当前坐标确定所述镜头中心的欧拉角；
20.根据所述镜头中心的欧拉角确定所述内窥镜镜头的当前朝向。
21.在一些实施方式中，所述若基于各目标距离确定所述当前空间位置与所述待检测区域之间的位置关系满足预设条件，则基于所述内窥镜镜头的当前朝向和所述各目标空间点位置信息生成所述待检测区域对应的目标检测图像，之前还包括
22.分别判断各目标距离是否小于等于预设阈值；
23.若存在至少一个目标距离小于预设阈值，则确定内窥镜镜头的当前空间位置与所述待检测区域之间的位置关系满足预设条件，并执行目标检测图像的生成步骤。
24.在一些实施方式中，所述基于所述内窥镜镜头的当前朝向和所述各目标空间点位置信息生成所述待检测区域对应的目标检测图像，包括：
25.基于所述内窥镜镜头的当前朝向和所述内窥镜的成像设备的特征信息进行转换矩阵计算，得到所述目标空间点位置信息的第二转换矩阵；
26.基于所述第二转换矩阵和所述各目标空间点位置信息生成所述待检测区域对应的目标检测图像。
27.在一些实施方式中，所述基于所述内窥镜镜头的当前朝向和所述内窥镜的成像设备的特征信息进行转换矩阵计算，得到所述目标空间点位置信息的第二转换矩阵，包括：
28.基于所述内窥镜镜头的当前朝向进行旋转矩阵计算，得到旋转矩阵；
29.基于所述内窥镜的成像设备的特征信息和所述旋转矩阵进行转换矩阵计算，得到所述目标空间点位置信息对应的第二转换矩阵。
30.所述基于所述内窥镜镜头的当前朝向进行旋转矩阵计算，得到旋转矩阵，包括：
31.获取所述内窥镜镜头的镜头中心的当前坐标；
32.根据所述镜头中心的当前坐标确定所述镜头中心的欧拉角；
33.基于所述欧拉角进行旋转矩阵计算，得到所述内窥镜镜头的当前朝向确定旋转矩阵。
34.在一些实施方式中，所述基于所述第二转换矩阵和所述各目标空间点位置信息生成所述待检测区域对应的目标检测图像，包括：
35.基于所述第二转换矩阵对所述各目标空间点位置信息进行矩阵转换，得到所述各目标空间点位置信息对应的目标位置信息；
36.基于各目标位置信息对应的几何图形生成对应的目标检测图像。
37.在一些实施方式中，所述获取待检测区域的三维图像数据和所述三维图像数据对应的多个空间点位置信息之前，还包括：
38.获取医学图像；
39.对所述医学图像进行三维重建，得到与医学图像对应的三维结构图；
40.对所述三维结构图进行图像分割处理，得到待检测区域的三维图像数据；
41.从所述待检测区域的三维图像数据中确定出所述三维图像数据对应的多个空间点位置信息。
42.本技术还提供了一种内窥镜图像检测装置，所述的装置包括：
43.第一获取模块，用于获取待检测区域的三维图像数据和所述三维图像数据对应的多个空间点位置信息；
44.位置信息确定模块，用于基于预设投影规则，将所述多个空间点位置信息投影至内窥镜的实时检测图像中，得到与各空间点位置信息各自对应的目标空间点位置信息，其中，目标空间点位置信息表征在所述内窥镜的实时检测图像中的目标投影区域中目标点的位置信息；
45.第二获取模块，用于获取内窥镜镜头的当前空间位置和当前朝向；
46.距离确定模块，用于分别对所述各目标空间点位置信息与所述当前空间位置进行距离计算，得到所述当前空间位置与所述各目标空间点位置信息之间各自对应的目标距离；
47.图像确定模块，用于若基于各目标距离确定所述当前空间位置与所述待检测区域之间的位置关系满足预设条件，则基于所述内窥镜镜头的当前朝向和所述各目标空间点位置信息生成所述待检测区域对应的目标检测图像，其中，所述目标检测图像用于表征内窥镜检测到的所述待检测区域中与当前朝向对应的二维图像。
48.本技术还提供了一种内窥镜图像检测设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述所述的内窥镜图像检测方法。
49.本技术还提供了一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行如上述所述的内窥镜图像检测方法。
50.实施本技术实施例，具有如下有益效果：
51.本技术公开的内窥镜图像检测方法，可以在内窥镜使用过程中，将待检测区域的三维图像数据中的空间点位置信息投影至内窥镜的实时检测图像中，使得内窥镜可以根据投影得到的与各空间点位置信息各自对应的目标空间点位置信息，实时检测内窥镜是否到
达待检测区域，并在内窥镜到达待检测区域后基于目标空间点位置信息确定内窥镜的目标检测图像；这种设计不仅可以使得医生在内窥镜的显示画面中实时查看待检测区域的空间点位置信息，而且可以提高内窥镜检测的目标检测图像的位置的精确度。
附图说明
52.为了更清楚地说明本技术所述的内窥镜图像检测方法、装置、设备及存储介质，下面将对实施例所需要的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
53.图1为本技术实施例提供的一种内窥镜图像检测方法的流程示意图；
54.图2为本技术实施例提供的一种目标空间点位置信息的确定方法的流程示意图；
55.图3为本技术实施例提供的一种内窥镜镜头的当前朝向的确定方法的流程示意图；
56.图4为本技术实施例提供的另一种内窥镜图像检测装置的结构示意图；
57.图5为本技术实施例提供的一种内窥镜图像检测设备的结构示意图。
具体实施方式
58.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
59.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
60.对本技术实施例进行进一步详细说明之前，对本技术实施例中涉及的名词和术语进行说明，本技术实施例中涉及的名词和术语适用于如下的解释。
61.欧拉角，用来确定定点转动刚体位置的3个一组独立角参量，由章动角θ、旋进角(即进动角)ψ和自转角φ组成，为欧拉首先提出而得名。
62.以下结合图1介绍本技术图像检测方法，可以应用于智能医疗领域，具体的，可以应用于在内窥镜手术中的图像检测；可以应用于在需要进行诊断的人体组织区域。
63.请参考图1，其所示为本技术实施例提供的一种内窥镜图像检测方法的流程示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规；或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序，内窥镜图像检测方法，可以按照实施例或附图所示的方法顺序执行。具体的如图1所示，所述方法包括：
64.s101,获取待检测区域的三维图像数据和三维图像数据对应的多个空间点位置信息；
65.需要说明的是，在本技术实施例中，待检测区域的三维图像数据可以是手术过程中需要进行检测或诊断的病灶区域的三维结构图或其他需要进行检测或查看的区域；
66.在本技术实施例中，待检测区域是从区别于内窥镜检测到的图像的三维图像中分割出来的；
67.在本技术实施例中，待检测区域的三维图像数据的获取方法可以包括但不限于：
68.获取医学图像；
69.在本技术实施例中，医学图像可以采用医学成像设备进行图像采集，例如可以是ct图像、mr影像或thz图像；
70.对所述医学图像进行三维重建，得到与医学图像对应的三维结构图；
71.在本技术实施例中，可以采用现有的三维重建方法，对医学图像进行三维重建，获得该医学图像对应的三维结构图；
72.对三维结构图进行图像分割处理，得到待检测区域的三维图像数据；
73.具体的，通过采集的ct图像数据进行三维重建，可以先分割出待检测区域所在组织的整体区域的三维结构，如支气管区域三维结构图，再从整体区域的三维结构中分割出待检测区域的三维图像数据，如一个或多个病灶区域。
74.在本技术实施例中，可以对三维结构图进行区域分割，基于治疗需求分割出待检测区域的三维图像数据，也即是待检测区域三维结构图；
75.从待检测区域的三维图像数据中确定出三维图像数据对应的多个空间点位置信息；
76.其中，基于多个空间点位置信息，可以勾画出三维图像数据对应的待检测区域的轮廓；也即是多个空间点位置信息可以用于表征待检测区域的轮廓信息。
77.具体的，可以包括n个点，其中n为大于等于3的正整数；
78.每个点的坐标可以用ai表示，其中，i为(1，...，n)，ai为三维空间坐标，其坐标可以用ai(xi,yi,zi)表示。
79.s103,基于预设投影规则，将多个空间点位置信息投影至内窥镜的实时检测图像中，得到与各空间点位置信息各自对应的目标空间点位置信息，其中，目标空间点位置信息表征在内窥镜的实时检测图像中的目标投影区域中目标点的位置信息；
80.在本技术实施例中，预设投影规则可以为矩阵转换规则，基于矩阵转换规则，将三维图像数据对应的多个空间点位置信息投影至内窥镜的实时检测图像中，进而得到与各空间点位置信息各自对应的目标空间点位置信息；
81.其中，目标空间点位置信息可以是空间点位置信息基于预设投影规则投影至内窥镜采集到的实时显示图像中对应的空间点位置信息；空间点位置信息与目标空间点位置信息一一对应；目标空间点位置信息可以用bi(xi,yi,zi)表示，其中，i为(1，...，n)；
82.具体的，各目标空间点位置信息对应的目标点形成内窥镜的实时检测图像中的目标投影区域；具体的，可以基于各目标空间点位置信息对应的目标点勾画出目标投影区域，其中，目标投影区域与基于多个空间点位置信息勾画出的三维图像数据对应的待检测区域的轮廓的结构相同；
83.也即是目标投影区域是待检测区域的轮廓基于预设投影规则投影至内窥镜显示画面中的轮廓区域。
84.在本技术实施例中，如图2，其所示为本技术实施例提供的一种目标空间点位置信息的确定方法的流程示意图，具体的，如下：
85.s201，从多个空间点位置信息中确定标记点位置；
86.在本技术实施例中，从待检测区域的三维图像数据对应的多个空间点位置信息中，选取任意一位置进行标记，可以记为标记点位置；
87.例如，标记点位置可以用a
mark
(u,v,w)表示。
88.s203，基于标记点位置确定内窥镜在待检测区域中的内窥镜镜头的标记空间位置；
89.在本技术实施例中，可以基于标记点位置确定待检测区域中与标记点位置对应的目标标记点位置；
90.在本技术实施例中，基于待检测区域的三维图像数据中标记点位置，在实际的待检测区域中选取与标记点位置对应的目标标记点位置；其中，实际的待检测区域可以是目标物体上的待检测区域，例如，可以是人体上的支气管等区域；
91.具体的，标记点位置和目标标记点位置可以指代待检测区域中的同一位置；
92.当内窥镜移动中目标标记点位置时，获取内窥镜镜头的标记空间位置；
93.在本技术实施例中，标记空间位置，可以是在内窥镜实际使用过程中，将内窥镜移动至待检测区域的目标标记点位置时内窥镜镜头的位置；
94.例如，标记空间位置可以用b
mark
(x,y,z)表示。
95.s205，基于标记空间位置和标记点位置进行矩阵计算，得到多个空间点位置信息对应的第一转换矩阵；
96.在本技术实施例中，可以基于标记空间位置和标记点位置，确定其偏移矩阵；
97.具体的，可以基于标记空间位置与标记点位置之间的偏移向量，确定偏移矩阵；
98.其中，偏移矩阵t(x-u,y-v,z-w)；
99.在本技术实施例中，可以再基于偏移矩阵t以及矩阵转换规则，计算得到投影矩阵m；
100.具体的，投影矩阵m可以为
101.具体的，可以将投影矩阵m作为第一转换矩阵。
102.在本技术另一实施例中，基于将多个空间点位置信息投影至内窥镜的实时检测图像中时，无需旋转，因此，还可以将偏移矩阵t直接作为第一转换矩阵。
103.s207，基于第一转换矩阵，将多个空间点位置信息投影至内窥镜的检测图像中，得到与各空间点位置信息各自对应的目标空间点位置信息。
104.在本技术实施例中，当第一转换矩阵为投影矩阵m时，则目标空间点位置信息bi的
计算公式为：
105.在本技术实施例中，当第一转换矩阵为偏移矩阵t(x-u,y-v,z-w)时，则目标空间点位置信息bi的计算公式为bi＝ai t。
106.在本技术实施例中，目标投影区域的透明度可以根据实际需求进行调整；
107.具体的，可以将直接将目标投影区域的图像与原始的待检侧区域的三维图像数据的显示图像的透明度相同。
108.还可以将目标投影区域的图像的透明度设置为0，也即是仅仅显示目标投影区域轮廓；不会遮挡内窥镜本身采集的图像的显示画面。
109.s105,获取内窥镜镜头的当前空间位置和当前朝向；
110.在本技术实施例中，内窥镜镜头的当前空间位置可以是内窥镜镜头的镜头中心的坐标位置；
111.具体的，可以基于内窥镜镜头的当前空间位置确定内窥镜镜头的当前朝向。
112.在本技术实施例中，如图3，其所示为本技术实施例提供的一种内窥镜镜头的当前朝向的确定方法的流程示意图，具体的，如下：
113.s301，获取内窥镜镜头的镜头中心的当前坐标；
114.在本技术实施例中，采用内窥镜镜头上设置的位姿传感器获取镜头中心的当前坐标；其中，位姿传感器可以用于检测其位置和三维姿态。
115.具体的，若将位姿传感器设置在内窥镜镜头中心的位置上，则位姿传感器采集的位姿传感器的坐标即为镜头中心的当前坐标；
116.若位姿传感器设置内窥镜镜头上，其与镜头中心之间的距离为m，则基于位姿传感器采集的位姿传感器的坐标以及距离m，即可计算得到镜头中心的当前坐标。
117.s303，根据当前坐标确定镜头中心的欧拉角；
118.在本技术实施例中，位姿传感器可以基于获取到的镜头中心的坐标确定镜头中心的欧拉角；
119.s305，根据镜头中心的欧拉角确定内窥镜镜头的当前朝向。
120.在本技术实施例中，可以基于欧拉角中的章动角θ、旋进角(即进动角)ψ和自转角φ计算出基于该欧拉角的方向向量，该方向向量即可代表内窥镜镜头在当前位置的朝向。
121.s107,分别对各目标空间点位置信息与当前空间位置进行距离计算，得到当前空间位置与各目标空间点位置信息之间各自对应的目标距离；
122.在本技术实施例中，可以分别计算每个目标位置信息与当前空间位置之间的距离；
123.具体的，内窥镜的当前空间位置可以用c
cur
(x
cur
,y
cur
,z
cur
)表示；
124.计算每个目标位置信息bi与c
cur
之间的目标距离；
125.具体的，目标距离可以用l表示；
126.具体的，
127.s109,若基于各目标距离确定当前空间位置与待检测区域之间的位置关系满足预设条件，则基于内窥镜镜头的当前朝向和各目标空间点位置信息生成待检测区域对应的目
标检测图像，其中，目标检测图像用于表征内窥镜检测到的待检测区域中与当前朝向对应的二维图像；
128.在本技术实施例中，在若基于各目标距离确定当前空间位置与待检测区域之间的位置关系满足预设条件，则基于内窥镜镜头的当前朝向和各目标空间点位置信息生成待检测区域对应的目标检测图像之前，可以基于各目标距离，确定内窥镜镜头的当前空间位置与待检测区域之间的位置关系；
129.具体的，可以分别判断各目标距离是否小于等于预设阈值；
130.若存在至少一个目标距离小于预设阈值，则确定内窥镜镜头的当前空间位置与待检测区域之间的位置关系满足预设条件，并执行目标检测图像的生成步骤；
131.在本技术实施例中，可以是若所有目标距离中存在一个目标距离小于预设阈值，则即可以确定内窥镜镜头的当前空间位置与待检测区域之间的位置关系满足预设条件；
132.具体的，预设条件可以是内窥镜镜头的当前空间位置位于待检测区域之外的预设范围内；
133.具体的，可以是内窥镜镜头的当前空间位置与待检测区域中的至少一个点之间的距离小于预设距离阈值；
134.优选的，可以是内窥镜镜头的当前空间位置与待检测区域中的至少一个点之间的距离小于1mm。
135.在本技术实施例中，若内窥镜镜头的当前空间位置位于待检测区域之外的预设范围内；则基于内窥镜镜头的当前朝向和各目标空间点位置信息生成待检测区域对应的目标检测图像。
136.在本技术实施例中，基于内窥镜镜头的当前朝向和各目标空间点位置信息生成待检测区域对应的目标检测图像，包括以下步骤：
137.基于内窥镜镜头的当前朝向和内窥镜的成像设备的特征信息，确定目标空间点位置信息的第二转换矩阵；
138.在本说明书实施例中，内窥镜的成像设备可以为相机，其特征信息可以包括相机像素的中心和成像设备至bi拍摄点之间的偏移向量；
139.在本说明书实施例中，基于内窥镜镜头的当前朝向进行旋转矩阵计算，得到旋转矩阵；
140.具体的，当前朝向可以采用欧拉角确定的向量进行表示；进一步的可以是基于内窥镜镜头中心的欧拉角计算旋转矩阵；
141.具体的，可以包括如下步骤：
142.获取内窥镜镜头的镜头中心的当前坐标；
143.根据镜头中心的当前坐标确定镜头中心的欧拉角；
144.具体的，内窥镜镜头的当前朝向可以用ti(θ,φ,ψ)表示；其中，θ表示章动角、ψ表示旋进角和φ表示自转角；
145.基于欧拉角进行矩阵计算，得到内窥镜镜头的当前朝向确定旋转矩阵
146.基于该ti(θ,φ,ψ)进行旋转矩阵r的计算过程如下：
[0147][0148][0149][0150]
则，r＝r
x
*ry*rz[0151]
在本说明书实施例中，基于内窥镜的成像设备的特征信息和旋转矩阵进行转换矩阵计算，得到目标空间点位置信息对应的第二转换矩阵。
[0152]
具体的，可以基于相机像素的中心和成像设备至bi拍摄点之间的偏移向量以及旋转矩阵，进行计算，得到目标空间点位置信息对应的第二转换矩阵；
[0153]
具体的，第二转换矩阵可以是投影矩阵p；
[0154]
进一步的，以成像设备为相机为例；其投影矩阵p表示为：
[0155][0156]
其中，1/dx(pixel/mm)和1/dy(pixel/mm)为图像坐标系到像素坐标系的转换因子，u0,v0为相机像素的中心；t0为相机至bi拍摄点之间的偏移向量。
[0157]
基于第二转换矩阵和各目标空间点位置信息生成待检测区域对应的目标检测图像；
[0158]
在本说明书实施例中，将各目标空间点位置信息基于第二转换矩阵进行转换，得到各目标空间点位置信息对应的目标位置信息；
[0159]
具体的，目标位置信息为二维坐标信息，可以用ki(u,v)表示；
[0160]
则ki的计算公式为：
[0161][0162]
从上述计算公式中，即可得到每个目标空间点位置信息婧投影矩阵p转换后的二维的目标位置信息ki。
[0163]
基于各目标位置信息对应的几何图形生成对应的目标检测图像。
[0164]
在本技术实施例中，基于各目标位置信息进行几何图像的绘制，将所有绘制出的几何图像进行拼接，即可得出目标检测图像；
[0165]
具体的，目标检测图像可以为内窥镜在当前朝向的视角下所检测到的待检测区域的二维图像。
[0166]
由上述本技术提供的内窥镜图像检测方法、装置、设备及存储介质的实施例可见，本技术实施例获取待检测区域的三维图像数据和三维图像数据对应的多个空间点位置信息；基于预设投影规则，将多个空间点位置信息投影至内窥镜的实时检测图像中，得到与各空间点位置信息各自对应的目标空间点位置信息，其中，目标空间点位置信息表征在内窥镜的实时检测图像中的目标投影区域中目标点的位置信息；获取内窥镜镜头的当前空间位置和当前朝向；分别对各目标空间点位置信息与当前空间位置进行距离计算，得到当前空间位置与各目标空间点位置信息之间各自对应的目标距离；若基于各目标距离确定当前空间位置与待检测区域之间的位置关系满足预设条件，则基于内窥镜镜头的当前朝向和各目标空间点位置信息生成待检测区域对应的目标检测图像，其中，目标检测图像用于表征内窥镜检测到的待检测区域中与当前朝向对应的二维图像；利用本说明书实施例提供的技术方案，可以在内窥镜使用过程中，将待检测区域的三维图像数据中的空间点位置信息投影至内窥镜的实时检测图像中，使得内窥镜可以根据投影得到的与各空间点位置信息各自对应的目标空间点位置信息，实时检测内窥镜是否到达待检测区域，并在内窥镜到达待检测区域后基于目标空间点位置信息确定内窥镜的目标检测图像；这种设计不仅可以使得医生在内窥镜的显示画面中实时查看待检测区域的空间点位置信息，而且可以提高内窥镜检测的目标检测图像的位置的精确度。
[0167]
本技术实施例还提供了一种内窥镜图像检测装置，如图4所示，其所示为本技术实施例提供的一种内窥镜图像检测装置的结构示意图；具体的，的装置包括：
[0168]
第一获取模块410，用于获取待检测区域的三维图像数据和三维图像数据对应的多个空间点位置信息；
[0169]
位置信息确定模块420，用于基于预设投影规则，将多个空间点位置信息投影至内窥镜的实时检测图像中，得到与各空间点位置信息各自对应的目标空间点位置信息，其中，目标空间点位置信息表征在内窥镜的实时检测图像中的目标投影区域中目标点的位置信息；
[0170]
第二获取模块430，用于获取内窥镜镜头的当前空间位置和当前朝向；
[0171]
距离确定模块440，用于分别对各目标空间点位置信息与当前空间位置进行距离计算，得到当前空间位置与各目标空间点位置信息之间各自对应的目标距离；
[0172]
图像确定模块450，用于若基于各目标距离确定当前空间位置与待检测区域之间的位置关系满足预设条件，则基于内窥镜镜头的当前朝向和各目标空间点位置信息生成待检测区域对应的目标检测图像，其中，目标检测图像用于表征内窥镜检测到的待检测区域中与当前朝向对应的二维图像。
[0173]
在本技术实施例中，位置信息确定模块420包括：
[0174]
第一确定单元，用于从多个空间点位置信息中确定标记点位置；
[0175]
第二确定单元，用于基于标记点位置确定内窥镜在待检测区域中的内窥镜镜头的标记空间位置；
[0176]
第一计算确定单元，用于基于标记空间位置和标记点位置进行矩阵计算，得到多个空间点位置信息对应的第一转换矩阵；
[0177]
位置信息确定单元，用于基于第一转换矩阵，将多个空间点位置信息投影至内窥镜的检测图像中，得到与各空间点位置信息各自对应的目标空间点位置信息。
[0178]
在本技术实施例中，第二获取模块430包括：
[0179]
第一获取单元，用于获取内窥镜镜头的镜头中心的当前坐标；
[0180]
第三确定单元，用于根据镜头中心的当前坐标确定镜头中心的欧拉角；
[0181]
第四确定单元，用于根据镜头中心的欧拉角确定内窥镜镜头的当前朝向。
[0182]
在本技术实施例中，还包括：
[0183]
判断模块，用于分别判断各目标距离是否小于等于预设阈值；
[0184]
位置关系确定模块，用于若存在至少一个目标距离小于预设阈值，则确定内窥镜镜头的当前空间位置与待检测区域之间的位置关系满足预设条件，并执行目标检测图像的生成步骤。
[0185]
在本技术实施例中，图像确定模块460包括：
[0186]
矩阵确定单元，用于基于内窥镜镜头的当前朝向和内窥镜的成像设备的特征信息进行转换矩阵计算，得到目标空间点位置信息的第二转换矩阵；
[0187]
图像确定单元，用于基于第二转换矩阵和各目标空间点位置信息生成待检测区域对应的目标检测图像。
[0188]
在本技术实施例中，矩阵确定单元包括：
[0189]
第一矩阵确定子单元，用于基于内窥镜镜头的当前朝向进行旋转矩阵计算，得到旋转矩阵；
[0190]
第二矩阵确定子单元，基于内窥镜的成像设备的特征信息和旋转矩阵进行转换矩阵计算，得到目标空间点位置信息对应的第二转换矩阵。
[0191]
在本技术实施例中，第一矩阵确定子单元包括：
[0192]
获取子模块，用于获取内窥镜镜头的镜头中心的当前坐标；
[0193]
确定子模块，用于根据镜头中心的当前坐标确定镜头中心的欧拉角；
[0194]
基于欧拉角进行矩阵计算，得到内窥镜镜头的当前朝向确定旋转矩阵。
[0195]
在本技术实施例中，图像确定单元包括：
[0196]
位置信息确定子单元，用于基于第二转换矩阵对各目标空间点位置信息进行矩阵转换，得到各目标空间点位置信息对应的目标位置信息；
[0197]
图像确定子单元，用于基于各目标位置信息对应的几何图形生成对应的目标检测图像。
[0198]
在本技术实施例中，还包括：
[0199]
第四获取模块，用于获取医学图像；
[0200]
三维重建模块，用于对医学图像进行三维重建，得到与医学图像对应的三维结构图；
[0201]
图像分割模块，用于对三维结构图进行图像分割处理，得到待检测区域的三维图像数据；
[0202]
位置信息确定模块，用于从待检测区域的三维图像数据中确定出三维图像数据对应的多个空间点位置信息。
[0203]
本技术实施例提供了一种内窥镜图像检测设备，设备包括处理器和存储器，存储器中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现如上述方法实施例所述的内窥镜图像检测方法。
[0204]
存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
[0205]
图5为本技术实施例提供的一种内窥镜图像检测设备的结构示意图，该内窥镜图像检测设备的内部构造可包括但不限于：处理器、网络接口及存储器，其中内窥镜图像检测设备内的处理器、网络接口及存储器可以通过总线或其他方式连接，在本说明书实施例所示图5中以通过总线连接为例。
[0206]
其中，处理器(或称cpu(central processing unit，中央处理器))是内窥镜图像检测设备的计算核心以及控制核心。网络接口可选的可以包括标准的有线接口、无线接口(如wi-fi、移动通信接口等)。存储器(memory)是内窥镜图像检测设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的存储器可以是高速ram存储设备，也可以是非不稳定的存储设备(non-volatile memory)，例如至少一个磁盘存储设备；可选的还可以是至少一个位于远离前述处理器的存储装置。存储器提供存储空间，该存储空间存储了内窥镜图像检测设备的操作系统，可包括但不限于：windows系统(一种操作系统)，linux(一种操作系统)等等，本技术对此并不作限定；并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。在本技术实施例中，处理器加载并执行存储器中存放的一条或一条以上指令，以实现上述方法实施例提供的内窥镜图像检测方法。
[0207]
本技术的实施例还提供了一种计算机可读存储介质，所述存储介质可设置于内窥镜图像检测设备之中以保存用于实现方法实施例中的一种内窥镜图像检测方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集可由电子设备的处理器加载并执行以实现上述方法实施例提供的内窥镜图像检测方法。
[0208]
可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0209]
需要说明的是：上述本技术实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0210]
根据本技术的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。
[0211]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0212]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0213]
以上所揭露的仅为本技术一种较佳实施例而已，当然不能以此来限定本技术之权利范围，因此依本技术权利要求所作的等同变化，仍属本技术所涵盖的范围。