虚拟内窥镜的路径规划方法及相关产品与流程

1.本技术涉及医学影像技术领域，特别是涉及一种虚拟内窥镜的路径规划方法及相关产品。


背景技术：

2.支气管是呼吸系统的重要器官，与其相关的损伤或者病变不仅会造成患者巨大的痛苦，也会严重影响身体机能。因此，具有低创甚至无创(如内镜检查)且操作灵活的支气管内窥镜技术，成为了肺部相关疾病损伤的重要检查和治疗手段。
3.传统技术中，少数虚拟内窥镜应用会借助算法对医学图像中的气管进行标注，利用标注后的图像辅助判断气管走向和病灶情况，进行虚拟内窥镜的路径规划。
4.然而，传统的虚拟内窥镜的路径规划方法，存在准确度较低的问题。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种能够提高虚拟内窥镜路径规划准确度的虚拟内窥镜的路径规划方法及相关产品。
6.第一方面，本技术提供了一种虚拟内窥镜的路径规划方法，所述方法包括：
7.将医学影像数据分别输入对应的器官分割模型，得到所述医学影像数据中器官的分割结果；所述医学影像数据的器官包括树状的管腔器官；
8.从所述管腔器官的分割结果中提取出所述管腔器官的中心线；
9.根据所述中心线，确定虚拟内窥镜行进路径的起止点；
10.根据所述起止点，确定所述虚拟内窥镜的行进路径。
11.在其中一个实施例中，所述根据所述中心线，确定出虚拟内窥镜行进路径的起止点，包括：
12.根据所述中心线确定所述虚拟内窥镜行进路径的候选起止点，并将所述候选起止点和所述分割结果进行图形化处理渲染为三维虚拟场景在显示界面上进行展示；
13.获取用户基于所述显示界面确定的所述起止点；其中，所述起止点为所述用户基于展示的所述三维虚拟场景从所述候选起止点中所确定的。
14.在其中一个实施例中，所述根据所述中心线，确定所述虚拟内窥镜行进路径的候选起止点，包括：
15.获取所述中心线的端点和分叉点；
16.将所述中心线的端点和分叉点作为所述虚拟内窥镜行进路径的候选起止点。
17.在其中一个实施例中，所述根据所述起止点，确定所述虚拟内窥镜的行进路径，包括：
18.利用路径搜索算法，获取所述起止点间的中心线段；
19.对所述中心线段进行间隔采样，得到多个路径采样点；
20.对所述多个路径采样点进行插值连接，得到所述虚拟内窥镜的行进路径。
21.在其中一个实施例中，所述方法还包括：
22.在预设的空间范围内，调整所述目标路径采样点的空间位置，得到调整后的路径采样点；所述目标路径采样点为所述多个路径采样点中的任意采样点；
23.对所述调整后的路径采样点进行插值连接，得到所述虚拟内窥镜的行进路径。
24.在其中一个实施例中，所述方法还包括：
25.获取预设的虚拟内窥镜参数；所述虚拟内窥镜参数包括虚拟内窥镜镜头的焦距、移动速率、方向角度和视野角度参数；
26.根据所述虚拟内窥镜参数在三维场景中创建相机节点，建立模拟内窥镜镜头；
27.获取所述模拟内窥镜镜头沿所述行进路径运动过程中采集到的内窥镜模拟画面，并实时输出所述内窥镜模拟画面以及所述模拟内窥镜镜头所在位置的二维图像；
28.获取所述用户输入的操作指令，并根据所述操作指令控制所述模拟内窥镜镜头的运动；其中，所述操作指令为所述用户基于所述内窥镜模拟画面以及所述模拟内窥镜镜头所在位置的二维图像所生成的。
29.在其中一个实施例中，所述将医学影像数据分别输入对应的器官分割模型，得到所述医学影像数据中器官的分割结果，包括：
30.将所述医学影像数据分别输入对应的器官分割模型，得到所述医学影像数据中各器官的分割结果；
31.对各所述器官的分割结果进行融合，得到所述分割结果。
32.第二方面，本技术还提供了一种虚拟内窥镜的路径规划装置，所述装置包括：
33.第一获取模块，用于将医学影像数据分别输入对应的器官分割模型，得到所述医学影像数据中各器官的分割结果；所述医学影像数据的器官包括树状的管腔器官；
34.提取模块，用于从所述管腔器官的分割结果中提取出所述管腔器官的中心线；
35.第一确定模块，用于根据所述中心线，确定虚拟内窥镜行进路径的起止点；
36.第二确定模块，用于根据所述起止点，确定所述虚拟内窥镜的行进路径。
37.第三方面，本技术还提供了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
38.将医学影像数据分别输入对应的器官分割模型，得到所述医学影像数据中器官的分割结果；所述医学影像数据的器官包括树状的管腔器官；
39.从所述管腔器官的分割结果中提取出所述管腔器官的中心线；
40.根据所述中心线，确定虚拟内窥镜行进路径的起止点；
41.根据所述起止点，确定所述虚拟内窥镜的行进路径。
42.第四方面，本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
43.将医学影像数据分别输入对应的器官分割模型，得到所述医学影像数据中器官的分割结果；所述医学影像数据的器官包括树状的管腔器官；
44.从所述管腔器官的分割结果中提取出所述管腔器官的中心线；
45.根据所述中心线，确定虚拟内窥镜行进路径的起止点；
46.根据所述起止点，确定所述虚拟内窥镜的行进路径。
47.第五方面，本技术还提供了一种计算机程序产品，所述计算机程序产品，包括计算
机程序，该计算机程序被处理器执行时实现以下步骤：
48.将医学影像数据分别输入对应的器官分割模型，得到所述医学影像数据中器官的分割结果；所述医学影像数据的器官包括树状的管腔器官；
49.从所述管腔器官的分割结果中提取出所述管腔器官的中心线；
50.根据所述中心线，确定虚拟内窥镜行进路径的起止点；
51.根据所述起止点，确定所述虚拟内窥镜的行进路径。
52.上述虚拟内窥镜的路径规划方法及相关产品，通过将医学影像数据分别输入对应的器官分割模型，能够得到医学影像数据中器官的分割结果，避免了医生进行耗时的标注重建，提高了得到的医学影像数据中器官的分割结果的准确度，从而可以准确地从管腔器官的分割结果中提取出管腔器官的中心线，并根据管腔器官的中心线准确地确定虚拟内窥镜行进路径的起止点，由于虚拟内窥镜行进路径的起止点的准确度得到了提高，从而可以根据虚拟内窥镜行进路径的起止点，准确地确定出虚拟内窥镜的行进路径，提高了确定的虚拟内窥镜的行进路径的准确度。
附图说明
53.图1为一个实施例中虚拟内窥镜的路径规划方法的应用环境图；
54.图2为一个实施例中虚拟内窥镜的路径规划方法的流程示意图；
55.图2a为一个实施例中医学影像数据中各器官的分割结果示意图；
56.图2b为一个实施例中提取的管腔器官的中心线示意图；
57.图3为另一个实施例中虚拟内窥镜的路径规划方法的流程示意图；
58.图3a为一个实施例中渲染的三维虚拟场景以及候选起止点的示意图；
59.图4为另一个实施例中虚拟内窥镜的路径规划方法的流程示意图；
60.图4a为一个实施例中虚拟内窥镜的行进路径示意图；
61.图5为另一个实施例中虚拟内窥镜的路径规划方法的流程示意图；
62.图5a为另一个实施例中虚拟内窥镜的路径规划方法的流程示意图；
63.图6为另一个实施例中虚拟内窥镜的路径规划方法的流程示意图；
64.图6a为一个实施例中采集到的内窥镜模拟画面示意图；
65.图6b为另一个实施例中虚拟内窥镜的路径规划方法的流程示意图；
66.图7为另一个实施例中虚拟内窥镜的路径规划方法的流程示意图；
67.图8为一个实施例中虚拟内窥镜的路径规划装置的结构框图。
具体实施方式
68.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
69.以胸部内窥镜行进路径的规划以及手术实施为例，传统方法中，需要医生借助多个轴面(横、冠、矢)的胸部二维医学影像及临床经验来判断支气管走向、宽窄情况和与病灶的位置关系等，从而进行内窥镜行进的规划及手术实施，这十分依赖于医生的主观经验和采集的影像质量，十分不直观、不精准，存在较大的临床风险，且实际实施对医生专业水平
要求较高，不利于支气管内窥镜手术的普及。通常，也有少数医生会借助二维医学图像的手工标注勾画以辅助判断气管走向和病灶情况，但这通常意味者大量的人工勾画工作和耗时，难以满足手术的及时性需要。随着计算技术的发展，少数虚拟内窥镜应用会借助传统图像算法来对气管进行基础的自动标注，以进一步进行虚拟内窥镜的路径规划。然而气管由于其复杂的树状管腔结构和其低亮度的图像特征，传统的图像算法重建出的气管难以满足手术的准确度需要，并且这些方法都忽略了其它与气管相关的器官和病灶对实际内窥镜检查以及手术的相关性，仅仅只对气管或肺结节进行了三维重建，导致三维场景内容单一、参照不足。另外，在临床实际中，不仅需要观察支气管的走行，还需要参考与目标支气管和病灶相邻的其它器官(如血管)和病灶(如肺结节、气肿)的形状、位置等情况，以完成更精准、更安全的手术规划，除需要精准的支气管及病灶的重建作为基础外，虚拟内窥镜技术也需要满足路径规划准确灵活、画面逼真、内容全面、多角度、多深度等实际需求。然而现有的为数不多的虚拟内窥镜系统均需要手动设置或者挑选多个甚至连续的点来规划路径，不仅耗时且不平滑，容易导致漫游时代表内窥镜的摄像机行进转折生硬、甚至穿出气管壁等情况。此外，现有方法不仅重建的三维场景对象单一(通常仅包含气管和目标病灶)，且不支持对不同三维对象的可视化属性进行调整，因此导致可视化模拟的内窥镜画面在逼真度、丰富性、全面性上有明显的限制。基于此，本技术提供一种虚拟内窥镜的路径规划方法及相关产品，旨在解决上述提出的技术问题。
70.本技术实施例提供的虚拟内窥镜的路径规划方法，可以适用于如图1所示的计算机设备。该计算机设备包括通过系统总线连接的处理器、存储器，该存储器中存储有计算机程序，处理器执行该计算机程序时可以执行下述方法实施例的步骤。可选的，该计算机设备还可以包括网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器，该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。可选的，该计算机设备可以是服务器，可以是个人计算机，还可以是个人数字助理，还可以是其他的终端设备，例如平板电脑、手机等等，还可以是云端或者远程服务器，本技术实施例对计算机设备的具体形式并不做限定。
71.在一个实施例中，如图2所示，提供了一种虚拟内窥镜的路径规划方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：
72.s201，将医学影像数据分别输入对应的器官分割模型，得到医学影像数据中器官的分割结果；医学影像数据的器官包括树状的管腔器官。
73.其中，医学影像数据为包括树状的管腔器官的医学影像数据，例如，医学影像数据可以为胸部医学影像数据，则包括的树状的管腔器官可以为气管，或者，医学影像数据可以为腹部医学影像数据，则包括的树状的管腔器官可以为泌尿系统。可选的，医学影像数据可以为电子计算机断层扫描(computed tomography，ct)影像数据，也可以为其他的医学影像数据，本实施例在此不做限制。可选的，本实施例中的器官分割模型包括上述医学影像数据包括的各器官所对应的模型，以上述医学影像数据为胸部医学影像数据为例，胸部医学影像数据中包括气管及其相关的肺、肺血管、肺结节等器官，则上述器官分割模型可以包括气管分割模型、肺分割模型、肺血管分割模型和肺结节分割模型。可选的，上述分割模型可以
为vb-net网络模型，也可以为其他结构的神经网络模型，本实施例在此不做限制。可以理解的是，上述各器官分割模型的输入数据相同，均为上述医学影像数据，只是各器官分割模型的输出结果不同，各器官分割模型的输出结果为上述医学影像数据中包括的各器官的分割结果，可选的，计算机设备在得到各器官的分割结果后可以将各器官的分割结果进行融合得到医学影像数据中器官的分割结果，或者，计算机设备也可以直接将得到的各器官的分割结果确定为医学影像数据中器官的分割结果。示例性地，以上述医学影像数据为胸部医学影像数据为例，将该胸部医学影像数据分别输入到气管分割模型、肺血管分割模型和肺结节分割模型，得到的胸部医学影像数据中气管、肺血管和肺结节的分割结果如图2a所示。可以理解的是，本实施例中的器官分割模型均是经过预先采集的大量医学影像数据及对应的器官的标注进行训练调优所得到的。可选的，计算机设备在将医学影像数据分别输入对应的器官分割模型之前可以对医学影像数据进行预处理，预处理可以包括重采样分辨率和图像归一化等处理。可选的，上述器官分割模型可以包括对树状的管腔器官的分割模型，以及除该树状的管腔器官外的其他器官的分割模型，其中，除树状的管腔器官外的其他器官的分割模型可以根据用户所关注的器官的类型进行设置，例如，以上述医学影像数据为胸部医学影像数据为例，则上述器官分割模型可以包括气管分割模型和除气管外用户关注的其他器官的分割模型。
74.s202，从管腔器官的分割结果中提取出管腔器官的中心线。
75.可选的，计算机设备可以利用骨架化算法从管腔器官的分割结果中提取出管腔器官的中心线，或者，也可以采用其他的算法从管腔器官的分割结果中提取出管腔器官的中心线。需要说明的是，本实施例中的骨架化算法包括多种算法，并不局限于一种算法。具体地，计算机设备可以利用骨架化算法，对管腔器官的分割结果进行迭代的细化，从而提取出管腔器官的中心线。示例性地，以管腔器官为气管为例，则计算机设备利用骨架化算法从器官的分割结果中提取出的器官的中心线的示意图可以如图2b所示。
76.s203，根据中心线，确定虚拟内窥镜行进路径的起止点。
77.具体地，计算机设备根据提取出来的中心线上的点，确定虚拟内窥镜行进路径的起止点。可选的，计算机设备根据上述中心线上的起始点、终止点和分叉点，确定出虚拟内窥镜行进路径的起止点。例如，计算机设备可以将上述中心线上管腔入口处的端点确定为虚拟内窥镜行进路径的起始点，将上述中心线上非起始点的其它端点确定为虚拟内窥镜行进路径的终止点，或者，可以将上述中心线上管腔入口处的端点确定为虚拟内窥镜行进路径的起始点，将上述中心线的任一分叉点确定为虚拟内窥镜行进路径的终止点。可选的，计算机设备还可以根据中心线确定出虚拟内窥镜行进路径的多个候选起止点，将这多个候选起止点展示给用户，由用户从多个候选起止点中确定出虚拟内窥镜行进路径的起止点。
78.s204，根据起止点，确定虚拟内窥镜的行进路径。
79.可选的，假设虚拟内窥镜行进路径的起始点为p1，虚拟内窥镜行进路径的终止点为p2，则计算机设备可以将p1和p2之间的连接线段确定为虚拟内窥镜的行进路径，或者，计算机设备可以将p1和p2之间的连接线段按照中心线端点和分叉点进行划分，从划分后的各个分段中进行间隔采样，将采样出的点进行依序连接，确定出虚拟内窥镜的行进路径。
80.上述虚拟内窥镜的路径规划方法中，通过将医学影像数据分别输入对应的器官分割模型，能够得到医学影像数据中器官的分割结果，避免了医生进行耗时的标注重建，提高
了得到的医学影像数据中器官的分割结果的准确度，从而可以准确地从管腔器官的分割结果中提取出管腔器官的中心线，并根据管腔器官的中心线准确地确定虚拟内窥镜行进路径的起止点，由于虚拟内窥镜行进路径的起止点的准确度得到了提高，从而可以根据虚拟内窥镜行进路径的起止点，准确地确定出虚拟内窥镜的行进路径，提高了确定的虚拟内窥镜的行进路径的准确度。
81.进一步地，在一个实施例中，如图3所示，上述s203，包括：
82.s301，根据中心线确定虚拟内窥镜行进路径的候选起止点，并将候选起止点和分割结果进行图形化处理渲染为三维虚拟场景在显示界面上进行展示。
83.可选的，计算机设备可以获取中心线的端点和分叉点，将中心线的端点和分叉点的作为虚拟内窥镜行进路径的候选起止点。可选的，计算机设备可以根据邻域关系获取中心线的端点和分叉点。进一步地，计算机设备将确定的虚拟内窥镜行进路径的候选起止点和医学影像数据中器官的分割结果进行图形化处理渲染为三维虚拟场景，并将渲染的三维虚拟场景在显示界面上进行显示。可选的，计算机设备可以将虚拟内窥镜行进路径的候选起止点以控制点的形式显示在场景中，如图3a所示，图3a的左侧为将医学影像数据的分割结果进行图像化处理渲染的三维虚拟场景示意图，图3a的右侧为确定的候选起止点的示意图。需要说明的是，本实施例中通过将候选起止点和分割结果进行图形化处理渲染为三维虚拟场景在显示界面上进行展示能够提供对不同器官、病灶的透明度、可见性的调整，是调整后的结果更加全面、直观，相比其它方法该过程更直观、更灵活、更全面，使得用户能够直观、全面地看到展示的候选起止点和分割结果。
84.s302，获取用户基于显示界面确定的起止点；其中，起止点为用户基于展示的三维虚拟场景从候选起止点中所确定的。
85.具体地，用户将上述候选起止点和上述医学影像数据的分割结果进行图形化处理渲染为三维虚拟场景在显示界面上进行展示后，用户可以基于展示的三维虚拟场景从展示的候选起止点中确定出虚拟内窥镜行进路径的起止点，计算机设备可以根据用户确定虚拟内窥镜行进路径的起止点的触发指令，获取用户基于显示界面确定的虚拟内窥镜行进路径的起止点。可以理解的是，根据管腔器官的中心线能快速计算出虚拟内窥镜行进路径的候选起止点，从而将候选起止点和分割结果进行图形化处理渲染为三维虚拟场景在显示界面上进行展示从而能够使用户基于显示界面通过简单、便捷的交互式方式确定出虚拟内窥镜行进路径的起止点。
86.本实施例中，计算机设备根据管腔器官的中心线能够准确地确定出虚拟内窥镜行进路径的候选起止点，从而可以将虚拟内窥镜行进路径的候选起止点和医学影像数据的分割结果准确地进行图像化处理渲染为三维虚拟场景展示在显示界面上，由于确定的虚拟内窥镜行进路径的候选起止点的准确度得到了提高，并且展示的三维虚拟场景比较丰富、逼真和灵活，从而用户可以基于展示的三维虚拟场景以及虚拟内窥镜行进路径的候选起止点，准确地确定出虚拟内窥镜行进路径的起止点，即通过该过程提高了确定的虚拟内窥镜行进路径的起止点的准确度。
87.在上述根据虚拟内窥镜的起止点，确定虚拟内窥镜的行进路径的场景中，计算机设备可以利用起止点间的中心线段确定出虚拟内窥镜的行进路径，在上述实施例的基础上，在一个实施例中，如图4所示，上述s204，包括：
88.s401，利用路径搜索算法，获取起止点间的中心线段。
89.可选的，路径搜索算法可以为dijkstra最短路径算法，也可以为其他的路径搜索算法。也就是说，计算机设备可以利用dijkstra最短路径算法，获取虚拟内窥镜行进路径的起止点间的中心线段。可以理解的是，利用路径搜索算法，获取的虚拟内窥镜行进路径的起止点间的中心线段不至一个，可以为多个中心线段。
90.s402，对中心线段进行间隔采样，得到多个路径采样点。
91.可选的，计算机设备可以利用采样算法对虚拟内窥镜行进路径的起止点间的中心线段进行间隔采样，得到多个路径采样点。可选的，计算机设备对虚拟内窥镜行进路径的起止点间的中心线段进行的间隔采样可以为等间隔采样，或者，也可以为间隔不等的采样。可选的，计算机设备还可以将得到的多个路径采样点展示在上述三维场景中。
92.s403，对多个路径采样点进行插值连接，得到虚拟内窥镜的行进路径。
93.可选的，计算机设备可以对上述得到的多个路径采样点进行插值连接，得到虚拟内窥镜的行进路径，可选的，计算机设备可以采用三维样条曲线插值算法对上述多个路径采样点进行插值连接，或者，计算机设备也可以对上述得到的多个路径采样点，利用其他的插值方法如空间样条曲线插值法进行插值连接，得到虚拟内窥镜的行进路径。需要说明的是，对多个路径采样点进行插值连接，是构建了一条连续空间点构成的平滑曲线作为虚拟内窥镜的行进路径。可选的，计算机设备得到虚拟内窥镜的行进路径后还可以将得到的虚拟内窥镜的行进路径显示在上述三维场景中，示例性地，得到的虚拟内窥镜的行进路径可以为如图4a所示的行进路径。
94.本实施例中，计算机设备利用路径搜索算法，能够快速地获取到虚拟内窥镜行进路径起止点间的中心线段，从而可以对获取的中心线段快速地进行间隔采样，提高得到多个路径采样点的效率，而虚拟内窥镜的行进路径是对得到的多个路径采样点进行插值得到的，由于得到多个路径采样点的效率得到了提高，从而也提高了得到虚拟内窥镜的行进路径的效率。
95.在一些场景中可能还需要对确定的路径采样点的位置进行调整，利用调整后的路径采样点得到虚拟内窥镜的行进路径，在上述实施例的基础上，在一个实施例中，如图5所示，上述方法还包括：
96.s501，在预设的空间范围内，调整目标路径采样点的空间位置，得到调整后的路径采样点；目标路径采样点为多个路径采样点中的任意采样点。
97.具体地，计算机设备在预设的空间范围内，通过对上述多个路径采样点中的任意采样点进行拖拽操作，以实现对多个路径采样点中的任意采样点的空间位置进行调整，得到调整后的路径采样点。需要说明的是，上述预设的空间范围为三维空间，也就是说计算机设备是在三维空间内通过对上述多个路径采样点中的任意采样点进行拖拽操作，实现对多个路径采样点中的任意采样点的空间位置进行调整。可选的，预设的空间范围应该在上述管腔器官的范围内，以管腔器官为气管为例，则本实施例中预设的空间范围为气管内壁以内的范围。可选的，本实施例中的目标路径采样点可以为上述多个路径采样点中的任意一个采样点，或者，也可以为上述多个路径采样点中的至少一个采样点，但目标路径采样点的数量小于上述多个路径采样点的数量。
98.s502，对调整后的路径采样点进行插值连接，得到虚拟内窥镜的行进路径。
99.具体地，计算机设备采用插值算法对调整后的路径采样点进行插值连接，得到虚拟内窥镜的行进路径。可选的，上述插值算法可以为三维样条曲线插值算法。可以理解的是，本实施例中，计算机设备也可以采用其他的插值算法对调整后的路径采样点进行插值，得到虚拟内窥镜的行进路径。
100.示例性地，下边结合图5a以上述医学影像数据为胸部医学影像数据为例对本技术提供的确定虚拟内窥镜的行进路径的过程加以说明，如图5a所示，计算机设备可以首先利用器官分割模型得到气管及相关器官、病灶的三维分割结果，再利用骨架化算法提取出气管的中心线s，提取气管中心线s的端点、分叉点作为路径起止候选点p，再对路径起止候选点p进行可视化渲染并显示，由用户根据显示的结果选取路径起止点p1和p2，基于中心线搜索p1至p2的中心线段，并间隔采样获得n个路径点pn，对n个路径点pn进行三维样条曲线插值获得行进路径l，获取用户输入的是否调整路径的指令，若是，拖拽调整路径上的采样点pn得到n个调整后的路径点，再对调整后的n个路径点pn进行三维样条曲线插值获得行进路径l的步骤，若否，则将获得的行进路径l确定为行进路径l。
101.本实施例中，计算机设备在预设的空间范围内对目标路径采样点的空间位置进行灵活调整，这在能够使得获取的虚拟内窥镜的行进路径更加平滑，同时，也能规避误操作导致路径穿出树状的管腔器官的情况；另外，计算机设备在预设的空间范围内，对目标路径采样点的空间位置进行调整，使得调整后的路径采样点的准确度更高，从而可以对调整后的路径采样点进行插值连接，准确地得到虚拟内窥镜的行进路径，提高了得到的虚拟内窥镜的行进路径的准确度。
102.在上述实施例的基础上，计算机设备可以通过模拟内窥镜的行进过程并实时显示虚拟内窥镜镜头捕捉的画面，进而还可以利用虚拟内窥镜镜头捕捉的画面控制虚拟内窥镜的运动，在上述实施例的基础上，在一个实施例中，如图6所示，上述方法还包括：
103.s601，获取预设的虚拟内窥镜参数；虚拟内窥镜参数包括虚拟内窥镜镜头的焦距、移动速率、方向角度和视野角度参数。
104.其中，虚拟内窥镜参数包括虚拟内窥镜镜头的焦距、移动速率、方向角度和视野角度参数。可选的，计算机设备可以从用户输入的信息中获取预设的虚拟内窥镜参数，也可以根据内窥镜的结构和已有的镜头参数，获取预设的虚拟内窥镜参数。示例性地，获取的虚拟内窥镜镜头的焦距可以为50mm，虚拟内窥镜镜头的移动速率可以为1.5毫米/秒，虚拟内窥镜镜头的方向角度可以为沿虚拟内窥镜行进路径当前位置处的切线方向，虚拟内窥镜的视野角度参数可以为75度。
105.s602，根据虚拟内窥镜参数在三维场景中创建相机节点，建立模拟内窥镜镜头。
106.具体地，计算机设备根据上述获取的预设的虚拟内窥镜参数在三维场景中创建相机节点，建立模拟内窥镜镜头，以对内窥镜镜头进行模拟。可以理解的是，本实施例中计算机设备可以根据上述虚拟内窥镜参数在三维场景中创建内窥镜镜头所能采集的画面的空间结构，利用该空间结构对内窥镜镜头进行模拟。这里需要说明的是，计算机设备在根据上述虚拟内窥镜参数在三维场景中创建相机节点，建立模拟内窥镜镜头时需要上述虚拟内窥镜参数，即需要用到上述虚拟内窥镜参数包括的所有参数建立模拟内窥镜镜头。继续以上述获取的虚拟内窥镜镜头的焦距为50mm，虚拟内窥镜镜头的移动速率为1.5毫米/秒，虚拟内窥镜镜头的方向角度为沿虚拟内窥镜行进路径当前位置处的切线方向，虚拟内窥镜的视
野角度参数为75度为例，则计算机设备可以在三维场景中创建焦距为50mm，移动速率为1.5毫米/秒，方向角度为沿虚拟内窥镜行进路径当前位置处的切线方向，视野角度参数为75度的相机节点，建立模拟内窥镜镜头。
107.s603，获取模拟内窥镜镜头沿行进路径运动过程中采集到的内窥镜模拟画面，并实时输出内窥镜模拟画面以及模拟内窥镜镜头所在位置的二维图像。
108.具体地，计算机设备控制上述建立的模拟内窥镜镜头沿确定的行进路径由起点向终点进行运动，并获取运动过程中采集到的内窥镜模拟画面，实时地输出采集到的内窥镜模拟画面以及上述模拟内窥镜镜头所在位置的二维图像。示例性地，模拟内窥镜镜头沿上述行进路径运动过程中采集到的内窥镜模拟画面可以为如图6a所示的画面。可选的，模拟内窥镜镜头所在位置的二维图像可以包括模拟内窥镜镜头所在位置的横断位图像、模拟内窥镜镜头所在位置的冠状位图像、模拟内窥镜镜头所在位置的矢状位图像中的任一种二维图像。
109.s604，获取用户输入的操作指令，并根据操作指令控制模拟内窥镜镜头的运动；其中，操作指令为用户基于内窥镜模拟画面以及模拟内窥镜镜头所在位置的二维图像所生成的。
110.具体地，计算机设备将模拟内窥镜镜头沿行进路径运动过程中采集到的内窥镜模拟画面以及模拟内窥镜镜头所在位置的二维图像实时输出后，用户可以基于实时输出的内窥镜模拟画面以及模拟内窥镜镜头所在位置的二维图像生成操作指令，使计算机设备根据该操作指令控制上述模拟内窥镜镜头的运动。可选的，上述操作指令可以为调整指令，也可以为暂停指令，也就是说，计算机设备可以根据上述操作指令在模拟内窥镜镜头运动的过程中随时调整上述虚拟内窥镜参数(如虚拟内窥镜镜头的焦距、移动速率、方向角度、视野角度以及启动、暂停虚拟内窥镜参数等)来控制镜头运动和显像，或者，可以暂停模拟内窥镜镜头以控制镜头运动，从而获得期望的内窥镜模拟画面并截图存档。也就是说，用户可以根据实时输出的内窥镜模拟画面和模拟内窥镜镜头的位置生成控制模拟内窥镜的行进速度、视野角度、播放以及暂停的操作指令。需要说明的是，在虚拟内窥镜镜头沿行进路径运动过程中，通过上述丰富的调整参数和截图功能，使得用户能够灵活、便捷的完成模拟操作以获得多角度、丰富逼真的视觉信息。
111.进一步地，本实施例的完整方案可以如图6b所示的流程图，针对于图6b中的描述，可参见s601-s604中的描述，本实施例在此不再赘述。
112.本实施例中，计算机设备根据预设的虚拟内窥镜参数能够在三维场景中创建相机节点，建立模拟内窥镜镜头，从而可以获取模拟内窥镜镜头沿虚拟内窥镜的行进路径运动过程中采集到的内窥镜模拟画面，通过实时输出内窥镜模拟画面以及模拟内窥镜镜头所在位置的二维图像，能够使用户基于内窥镜模拟画面以及模拟内窥镜镜头所在位置的二维图像生成操作指令，进而使计算机设备根据该操作指令控制模拟内窥镜镜头的运动以获得期望的内窥镜模拟画面，使得用户能够灵活、便捷的完成模拟操作以获得多角度、更加丰富逼真的视觉信息。
113.在上述将医学影像数据分别输入对应的器官分割模型，得到医学影像数据中器官的分割结果的场景中，计算机设备需要对各器官分割模型输出的分割结果进行融合才能够得到医学影像数据中器官的分割结果，在上述实施例的基础上，在一个实施例中，如图7所
示，上述s201，包括：
114.s701，将医学影像数据分别输入对应的器官分割模型，得到医学影像数据中各器官的分割结果。
115.具体地，在本实施例中，器官分割模型包括多个分割模型，其中，分割模型的数量与医学影像数据包括的器官的数量一致，计算机设备可以将上述医学影像数据分别输入医学影像数据包括的器官对应的器官分割模型，得到医学影像数据中各器官的分割结果。以医学影像数据为胸部医学影像数据为例，则上述器官分割模型可以包括气管分割模型、肺分割模型、肺血管分割模型和肺结节分割模型，计算机设备可以将该胸部医学影像数据分别输入气管分割模型、肺分割模型、肺血管分割模型和肺结节分割模型，得到该胸部医学影像数据中气管的分割结果、肺的分割结果、肺血管的分割结果和肺结节的分割结果。
116.s702，对各器官的分割结果进行融合，得到分割结果。
117.具体地，计算机设备将上述得到的医学影像数据中各不同器官的分割结果进行融合，得到上述医学影像数据中器官的分割结果。可选的，计算机设备得到的医学影像数据中各器官的分割结果可以为三维的分割结果，计算机设备可以在三维空间中对各器官的分割结果进行融合，从而得到医学影像数据中器官的分割结果。
118.需要说明的是，本技术中仅对医学影像数据中的管腔器官进行分割，得到管腔器官的分割结果，本方案仍能完成虚拟内窥镜的模拟，但本方案用不同的器官分割模型获取各个不同器官的目的是：
①
通过获取多个器官的分割结果，能够构建更丰富全面的三维场景，为用户选择规划虚拟内窥镜的路径提供更准确、全面的参考，例如，肺结节分割结果展示在三维场景中，医生可根据需要进行手术的目标结节所处的位置和周边气管、血管等的关系，确定最优的路径终止点并调整路径，以指导进行更低创伤的内窥镜手术；
②
通过获取多个器官的分割结果，在虚拟内窥镜的输出画面中，可以调节多个器官分割结果的三维显示透明度，则可以在获取模拟内窥镜镜头沿行进路径运动过程中采集到的内窥镜模拟画面时不仅仅看到当前位置的管腔器官的内壁，还可看到其他器官的透视关系，有利于获取更丰富、全面的内窥镜图像；
③
使用不同的模型是不同器官间影像或解剖结构的特征差异决定的，尽管利用多任务的模型可以同时对同一区域的不同器官进行分割，但是由于不同器官间的影像表现有差异，例如，针对气管的分割，在分割气管时分割模型提取特征需更关注于与气管相关的影像区域，如果用同时对同一区域的不同器官进行分割的模型对气管进行分割，那么气管的分割精确度会有所丧失，因此，本技术采用不同的的模型对不同的器官进行分割以提高对不同器官的分割的准确度。
119.本实施例中，计算机设备将医学影像数据分别输入对应的器官分割模型，利用了多个器官分割模型进行医学影像数据中各器官的分割，避免了医生进行耗时的标注重建，能够快速地得到医学影像数据中各器官的分割结果，从而可以对各器官的分割结果进行快速地融合，得到医学影像数据中器官的分割结果，提高了得到的医学影像数据中器官的分割结果的效率。
120.为了便于本领域技术人员的理解，以下对本技术提供的虚拟内窥镜的路径规划方法进行详细介绍，该方法可以包括：
121.s1，将医学影像数据分别输入对应的器官分割模型，得到医学影像数据中各器官的分割结果；医学影像数据的器官包括树状的管腔器官。
122.s2，对各器官的分割结果进行融合，得到医学影像数据中器官的分割结果。
123.s3，从管腔器官的分割结果中提取出管腔器官的中心线。
124.s4，获取中心线的端点和分叉点，将中心线的端点和分叉点作为虚拟内窥镜行进路径的候选起止点，并将候选起止点和分割结果进行图形化处理渲染为三维虚拟场景在显示界面上进行展示。
125.s5，获取用户基于显示界面确定的起止点；其中，起止点为用户基于展示的三维虚拟场景从候选起止点中所确定的。
126.s6，利用路径搜索算法，获取起止点间的中心线段。
127.s7，对中心线段进行间隔采样，得到多个路径采样点。
128.s8，在预设的空间范围内，调整目标路径采样点的空间位置，得到调整后的路径采样点；目标路径采样点为多个路径采样点中的任意采样点；
129.s9，对调整后的路径采样点进行三维样条曲线插值，得到虚拟内窥镜的行进路径。
130.s10，获取预设的虚拟内窥镜参数；虚拟内窥镜参数包括虚拟内窥镜镜头的焦距、移动速率、方向角度和视野角度参数中的至少一种。
131.s11，根据虚拟内窥镜参数在三维场景中创建相机节点，建立模拟内窥镜镜头。
132.s12，获取模拟内窥镜镜头沿行进路径运动过程中采集到的内窥镜模拟画面，并实时输出内窥镜模拟画面以及模拟内窥镜镜头所在位置的二维图像。
133.s13，获取用户输入的操作指令，并根据操作指令控制模拟内窥镜镜头的运动；其中，操作指令为用户基于内窥镜模拟画面以及模拟内窥镜镜头所在位置的二维图像所生成的。
134.需要说明的是，针对上述s1-s13中的描述可以参见上述实施例中相关的描述，且其效果类似，本实施例在此不再赘述。
135.应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
136.基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的虚拟内窥镜的路径规划方法的虚拟内窥镜的路径规划装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个虚拟内窥镜的路径规划装置实施例中的具体限定可以参见上文中对于虚拟内窥镜的路径规划方法的限定，在此不再赘述。
137.在一个实施例中，如图8所示，提供了一种虚拟内窥镜的路径规划装置，包括：第一获取模块、提取模块、第一确定模块和第二确定模块，其中：
138.第一获取模块，用于将医学影像数据分别输入对应的器官分割模型，得到医学影像数据中各器官的分割结果；医学影像数据的器官包括树状的管腔器官；
139.提取模块，用于从管腔器官的分割结果中提取出管腔器官的中心线；
140.第一确定模块，用于根据中心线，确定虚拟内窥镜行进路径的起止点；
141.第二确定模块，用于根据起止点，确定虚拟内窥镜的行进路径。
142.本实施例提供的虚拟内窥镜的路径规划装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
143.在上述实施例的基础上，可选的，上述第一确定模块，包括：第一确定单元和第二确定单元，其中：
144.第一确定单元，用于根据中心线确定虚拟内窥镜行进路径的候选起止点，并将候选起止点和分割结果进行图形化处理渲染为三维虚拟场景在显示界面上进行展示。
145.第二确定单元，用于获取用户基于显示界面确定的起止点；其中，起止点为用户基于展示的三维虚拟场景从候选起止点中所确定的。
146.本实施例提供的虚拟内窥镜的路径规划装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
147.在上述实施例的基础上，可选的，上述第一确定单元，用于获取中心线的端点和分叉点；将中心线的端点和分叉点作为虚拟内窥镜行进路径的候选起止点。
148.本实施例提供的虚拟内窥镜的路径规划装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
149.在上述实施例的基础上，可选的，上述第二确定模块包括：第一获取单元、采样单元和第二获取单元，其中：
150.第一获取单元，用于利用路径搜索算法，获取起止点间的中心线段。
151.采样单元，用于对中心线段进行间隔采样，得到多个路径采样点。
152.第二获取单元，用于对多个路径采样点进行插值连接，得到虚拟内窥镜的行进路径。
153.本实施例提供的虚拟内窥镜的路径规划装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
154.在上述实施例的基础上，可选的，上述装置还包括：调整模块和第二获取模块，其中：
155.调整模块，用于在预设的空间范围内，调整目标路径采样点的空间位置，得到调整后的路径采样点；目标路径采样点为多个路径采样点中的任意采样点。
156.第二获取模块，用于对调整后的路径采样点进行插值连接，得到虚拟内窥镜的行进路径。
157.本实施例提供的虚拟内窥镜的路径规划装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
158.在上述实施例的基础上，可选的，上述装置还包括：第三获取模块、建立模块、第四获取模块和控制模块，其中：
159.第三获取模块，用于获取预设的虚拟内窥镜参数；虚拟内窥镜参数包括虚拟内窥镜镜头的焦距、移动速率、方向角度和视野角度参数。
160.建立模块，用于根据虚拟内窥镜参数在三维场景中创建相机节点，建立模拟内窥镜镜头。
161.第四获取模块，用于获取模拟内窥镜镜头沿行进路径运动过程中采集到的内窥镜
模拟画面，并实时输出内窥镜模拟画面以及模拟内窥镜镜头所在位置的二维图像。
162.控制模块，用于获取用户输入的操作指令，并根据操作指令控制模拟内窥镜镜头的运动；其中，操作指令为用户基于内窥镜模拟画面以及模拟内窥镜镜头所在位置的二维图像所生成的。
163.本实施例提供的虚拟内窥镜的路径规划装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
164.在上述实施例的基础上，可选的，上述第一获取模块，包括：第三获取单元和融合单元，其中：
165.第三获取单元，用于将医学影像数据分别输入对应的器官分割模型，得到医学影像数据中各器官的分割结果。
166.融合单元，用于对各器官的分割结果进行融合，得到分割结果。
167.本实施例提供的虚拟内窥镜的路径规划装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
168.上述虚拟内窥镜的路径规划装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
169.在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
170.将医学影像数据分别输入对应的器官分割模型，得到医学影像数据中器官的分割结果；医学影像数据的器官包括树状的管腔器官；
171.从管腔器官的分割结果中提取出管腔器官的中心线；
172.根据中心线，确定出虚拟内窥镜行进路径的起止点；
173.根据起止点，确定虚拟内窥镜的行进路径。
174.上述实施例提供的计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
175.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
176.将医学影像数据分别输入对应的器官分割模型，得到医学影像数据中器官的分割结果；医学影像数据的器官包括树状的管腔器官；
177.从管腔器官的分割结果中提取出管腔器官的中心线；
178.根据中心线，确定出虚拟内窥镜行进路径的起止点；
179.根据起止点，确定虚拟内窥镜的行进路径。
180.上述实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
181.在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
182.将医学影像数据分别输入对应的器官分割模型，得到医学影像数据中器官的分割结果；医学影像数据的器官包括树状的管腔器官；
183.从管腔器官的分割结果中提取出管腔器官的中心线；
184.根据中心线，确定出虚拟内窥镜行进路径的起止点；
185.根据起止点，确定虚拟内窥镜的行进路径。
186.上述实施例提供的计算机程序产品，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
187.需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
188.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
189.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
190.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。