估计内窥镜在人体气道模型中的位置的制作方法

1.本披露内容涉及一种用于估计人体气道模型中的位置的图像处理设备、一种包括内窥镜和图像处理设备的内窥镜系统以及一种计算机程序产品。


背景技术：

2.可以用比如支气管镜等内窥镜对人体气道进行检查，以确定患者是否患有肺部疾病、肿瘤、肺部感染等等，并且在一些情况下，可以从气道的一部分获取/取出样品或将样品插入气道的一部分中。内窥镜通常包括比如相机等图像捕获设备，该图像捕获设备位于要插入到患者体内的内窥镜的远端并连接到显示器，以便向医疗人员提供内窥镜的远端所在的气道部分的视图。
3.通常，当对人体气道进行检查时，医疗人员将需要查遍肺树的大多部分或所有部分，比如气管、左右支气管以及其各自的细支气管和肺泡，以检查是否存在任何异常情况。有关各个部分的信息通常出于记录目的写入日志。替代性地，在其他情况下，希望例如基于磁共振(mr)或计算机断层摄影(ct)扫描结果对人体气道的特定部分(比如特定细支气管)进行研究。
4.然而，当导航通过人体气道的各部分时，医疗人员通常凭借经验将内窥镜导航通过人体气道，以例如基于来自内窥镜的相机图像到达肺树的大多部分/所有部分、和/或特定部分。由于人体气道各部分(比如各个支气管或各个细支气管)通常看起来十分相似，因此有发生错误的风险，例如没有到达人体气道的期望部分或者将气道的某个部分错认为气道的不同部分。这进而增加了患者未得到适当检查的风险。
5.在一些设备/系统中，使用比如回声设备等另外的设备来确定内窥镜的远端的位置，然而这通过引入了要控制的另外的设备而增加了医疗人员的检查复杂度并且增加了检查的成本。
6.通常，事后很难记录已经进行了正确的检查，例如，对人体气道的大多部分或所有部分进行了全面检查和/或对人体气道的特定部分进行了检查。
7.因此，提供一种改进的设备/系统来估计内窥镜在人体气道模型中的位置仍然是一个问题。


技术实现要素：

8.根据第一方面，本披露内容涉及一种用于使用被训练成确定一组解剖参考位置的机器学习数据架构来估计内窥镜在人体气道模型中的位置的图像处理设备，所述图像处理设备包括处理单元，该处理单元可操作地连接到该内窥镜的图像捕获设备，其中，该处理单元被配置为：
9.获得记录图像流；
10.使用该机器学习数据架构对该记录图像流中的记录图像进行连续分析，以确定是否已经到达该组解剖参考位置中的解剖参考位置子集中的解剖参考位置；并且
11.在确定已经到达该解剖参考位置的情况下，基于该解剖参考位置来更新内窥镜位置。
12.因此，该图像处理设备可以通过分析该记录图像流以简便的方式来确定该内窥镜在该人体气道模型中的位置。因此，通过允许医疗人员专注于从该内窥镜的图像中识别异常情况而不是跟踪该内窥镜的位置，可以更容易地检查这些人体气道。由该图像处理设备基于这些记录图像来确定该内窥镜的位置可以避免对比如回声(例如，超声波)设备或用于电磁导航的设备等附加设备的需要，进而使医疗人员的检查更简单并且设备的量减少。
13.这进而可以向该医疗人员提供该内窥镜在这些人体气道中的位置的指示，从而允许该医疗人员以简单的方式导航通过这些人体气道。此外，通过更新内窥镜位置，可以降低错误导航的风险，比如将该内窥镜导航到气道的不期望部分，从而再次降低由于该医疗人员的错误导航和/或人为手术错误而没有检查这些人体气道的期望部分的风险。
14.当更新该内窥镜位置时，先前的位置可以存储在例如存储介质、计算机、服务器等处，从而允许容易地记录已经执行了对这些人体气道的正确检查。例如，可以登记该内窥镜已定位在右支气管的特定细支气管中，进而允许容易地记录检查。
15.该人体气道模型可以表示人(比如进行检查的人)的气道。例如，该模型可以表示这些人体气道的一般结构，例如气管、支气管、细支气管和/或肺泡。该模型可以示意性地表示人体气道，和/或可以表示进行检查的人的特定结构。该模型可以被配置为使得所确定的该内窥镜在该模型中的位置基本上对应于、对应于或者是该内窥镜在人的人体气道中的实际位置。所确定的位置和/或实际位置可以对应于或者是确定内窥镜所在的人体气道的一部分或节段。
16.解剖参考位置可以是这些人体气道内的任何位置，例如该肺树内的任何位置。解剖参考位置可以是和/或可以对应于在人体气道中可以采用内窥镜(比如其远端)的位置。在一些实施例中，解剖参考位置是发生视觉特性的位置，该视觉特性允许该图像处理设备基于该图像来估计该内窥镜的位置。替代性地或另外地，解剖参考位置可以是这些人体气道中发生分叉的位置，比如气管分叉成左支气管和右支气管的位置和/或支气管和/或细支气管分叉的位置。
17.在一些实施例中，解剖参考位置是和/或对应于模型中的预定位置。解剖参考位置可以替代性地或另外地对应于该模型中的多个预定位置。
18.一组解剖参考位置可以包括两个或更多个解剖参考位置。在一些实施例中，解剖参考位置子集包括该组解剖参考位置中的两个或更多个解剖参考位置，比如该组解剖参考位置中的一些但不是全部解剖参考位置。解剖参考位置子集可以基于内窥镜位置(比如先前估计的内窥镜位置)来确定。
19.在一些实施例中，该处理单元可以被配置为从该组解剖参考位置中选择解剖参考位置子集。该子集可以包括该组解剖参考位置中的至少一个比如多个解剖参考位置。
20.该处理单元可以被配置为从该组解剖参考位置中选择包括该内窥镜可以到达的一个或多个解剖参考位置或由该一个或多个解剖参考位置组成的解剖参考位置子集作为下一个解剖参考位置。
21.在一些实施例中，这些解剖参考位置是预定的解剖参考位置。
22.在一些实施例中，该模型包括该模型中的多个预定位置。该模型中的预定位置可
以对应于某一解剖参考位置，该解剖参考位置潜在地是唯一的解剖参考位置。在一些实施例中，该模型包括多个预定位置，每个预定位置对应于一个或多个解剖参考位置。例如，预定位置可以是气管中的位置、右支气管中的位置、左支气管中的位置、次级支气管中的位置、细支气管中的位置、肺泡中的位置、这些位置中的一个或多个位置之间分叉处的位置，或其任意组合。该预定位置可以是内窥镜可能估计所在的位置。
23.这些预定位置和/或解剖参考位置可以是以下中的一个或多个：声带、气管、右主支气管、左主支气管以及支气管中出现的任何一个或多个分叉，比如分叉为例如次级支气管或三级支气管、细支气管、肺泡等的双分叉或三分叉。
24.贯穿本文，术语“主支气管”和“初级支气管”可以互换使用。
25.贯穿本文，还将理解的是，“位置”不必局限于特定点，而是可以指人体气道中的区域、人体气道的一部分的部分或人体气道的一部分。
[0026]“更新后的”内窥镜位置在本文中可以被理解为估计的内窥镜位置(比如潜在地被配置为插入患者体内的内窥镜端头，例如内窥镜的端头部)可以在该人体气道模型中进行更新。
[0027]
在一些实施例中，该内窥镜位置可以基于图像流中的一个或多个图像结合比如内窥镜的先前位置和/或最近开始检查的信息等附加信息来确定。替代性地或另外地，该图像处理设备可以提供所估计位置的置信度分数。当该置信度分数低于预定和/或可调整置信度阈值时，图像处理设备可以存储该信息，提供该置信度分数低于该置信度分数的指示，提供对内窥镜的一个或多个潜在估计位置的指示和/或要求用户输入以验证可能来自一个或多个潜在估计位置的估计位置。
[0028]
在一些实施例中，该内窥镜位置可以被估计为该模型中存在的多个预定位置中的与解剖参考位置的距离最小的位置。在一些实施例中，每个解剖参考位置可以对应于该模型中存在的预定位置。在这种情况下，该内窥镜位置可以被确定为与已经到达的解剖参考位置相对应的预定位置之一。
[0029]
可以通过从图像流中的一个或多个图像中提取特征并对所提取的图像特征使用机器学习数据架构来执行对是否已经到达解剖参考位置的确定。可以使用任何已知的特征提取方法。
[0030]
该机器学习数据架构可以是任何已知的机器学习数据架构。例如，该机器学习数据架构可以包括人工神经网络、卡尔曼滤波(kalman-filter)、深度学习算法等。该机器学习数据架构可以被配置为在数据集中包括所确定的解剖参考位置和/或其特征的图像，以用于该机器学习数据架构的训练和/或进一步训练。
[0031]
该机器学习数据架构可以是深度学习数据架构。替代性地或另外地，该机器学习数据架构可以是和/或包括一个或多个卷积神经网络。
[0032]
该机器学习数据架构可以是第一机器学习数据架构。
[0033]
在一些实施例中，用户可以能够校正对解剖参考位置的检测和/或更新后的位置。该机器学习数据架构可以被配置为将校正的对到达解剖参考位置的检测和/或校正的更新后的位置包括到其数据集中，从而允许对该机器学习数据架构进行进一步训练。替代性地或另外地，在对到达解剖参考位置的后续检测导致先前对到达解剖参考位置的确定可能是错误的结论的情况下，机器学习数据架构可以校正基于错误确定而更新的位置和/或将校
正的确定及其图像和/或其特征包括在该机器学习数据架构的数据集(潜在地训练数据集)中。
[0034]
该人体气道模型可以是这些人体气道的整体和/或一般模型，比如包括肺树和气管的人体气道的示意图概述。该模型可以被提供为每次检查前的特定输入，或者可以是用于大多数或所有检查的整体模型。在一些实施例中，该模型可以是人体气道的简化模型。替代性地或另外地，该模型可以在检查期间更新，例如响应于更新该模型中的内窥镜位置而更新。替代性地或另外地，该模型可以通过检查前进行的ct扫描结果来提供和/或使用检查前进行的ct扫描结果进行更新。
[0035]
在一些实施例中，该方法进一步包括向用户显示该模型。贯穿本披露内容，将理解的是，显示模型可以是或可以包括显示该模型的视图。该方法还可以包括在所显示的模型上指示该内窥镜的位置和/或在所显示的模型上指示该内窥镜的更新后的位置。对该内窥镜在模型上的位置的指示可以是对人体气道的估计内窥镜所在的节段的显示，比如在给定的支气管和/或给定的细支气管中。该指示可以作为图形指示进行，比如彩色标记、突出显示部分、闪烁部分、部分的叠加等。在一些实施例中，该位置可以指示气道的估计内窥镜所在的部分或节段。该模型和/或对该内窥镜位置的指示可以显示在与图像处理设备分离、连接或集成的显示器上。替代性地或另外地，可以显示对一个或多个先前位置的指示，潜在地与对内窥镜位置的指示相结合。
[0036]
图像处理设备的处理单元可以是任何处理单元，比如中央处理单元(cpu)、图形处理单元(gpu)、微控制器单元(mcu)、现场可编程门阵列(fpga)或其任何组合。处理单元可以包括一个或多个物理处理器和/或可以由多个单独的处理单元组合。
[0037]
术语“内窥镜”可以被定义为适于检查自然和/或人造身体开口(例如用于探查肺腔)的设备。另外地或替代性地，术语“内窥镜”可以被定义为医疗设备。
[0038]
在本说明书中，从近侧到远侧的方向可以被定义为沿着内窥镜的插入管的这些部分延伸的轴线。遵循对于术语“远侧”和“近侧”的定义，即，近侧是最靠近操作者的端部，而远侧是远离操作者的端部。从近侧到远侧的方向不一定是直的，例如，如果内窥镜的插入管是弯曲的，则从近侧到远侧的方向遵循插入管的曲率。从近侧到远侧的方向例如可以是插入管的中心线。
[0039]
记录图像流可以是视频流。记录图像流可以由图像捕获设备提供，该图像捕获设备潜在地布置在内窥镜中，比如在内窥镜的端头部中和/或端头部处。摄像头模块可以被配置为获得图像流，从而表示内窥镜的端头部的周围环境。
[0040]
图像处理设备可以估计内窥镜的布置在内窥镜的远侧部分的端头部的位置。内窥镜端头部可以形成和/或包括内窥镜的远端。替代性地或另外地，图像处理设备可以估计端头部或远侧镜头或窗口的摄像头模块的位置，例如其中摄像头模块布置在端头部的近侧。
[0041]
该内窥镜可以进一步包括内窥镜的近端处的一个或多个手柄、内窥镜的远端处的端头部、从内窥镜的近端延伸到远端的插入管以及弯曲区段，该弯曲区段可以具有可以连接到端头部的远端节段。这可以允许在人体气道内操纵端头部。
[0042]
该弯曲区段可以包括一定数量的铰链互连的节段，这些节段包括远端节段、近端节段、以及定位在该近端节段与该远端节段之间的多个中间节段。至少一个铰链构件可以将相邻的节段彼此互连。该弯曲区段可以是允许端头部组件相对于插入管弯曲的区段，潜
在地允许操作者在端头部组件被插入患者体腔中时操纵该端头部组件。弯曲区段可以一件式模制而成，或者可以由多个模制零件构成。
[0043]
在一些实施例中，该子集包括多个解剖参考位置。
[0044]
因此，图像处理设备可以能够确定是否已经到达多个解剖参考位置中的一个，并因此确定更新的内窥镜位置，其中当内窥镜从其先前位置移动时可能有多个内窥镜位置。
[0045]
该子集可以包括该组解剖参考位置中的一些或全部解剖参考位置。在一些实施例中，该子集包括预定义的多个解剖参考位置。替代性地或另外地，该子集可以借助于机器学习数据架构(比如确定是否已经到达解剖参考位置的机器学习数据架构)或第二机器学习数据架构来进行选择。
[0046]
在一些实施例中，该处理单元进一步被配置为：
[0047]
在确定已经到达该解剖参考位置的情况下，更新该解剖参考位置子集。
[0048]
这进而允许该子集包括可能的解剖参考位置，即内窥镜可以从其当前估计位置到达的解剖参考位置。因此，图像处理设备可以只寻找多个可能的解剖参考位置，进而允许提高系统的计算效率和误差鲁棒性。
[0049]
该子集可以在更新内窥镜位置之前、之后或同时动态更新。更新后的子集可以不同于该子集。替代性地或另外地，更新后的子集可以包括该组解剖参考位置中的多个解剖参考位置。
[0050]
在一些实施例中，在确定已经到达解剖参考位置(潜在地来自解剖参考位置的第一子集)的情况下，处理单元被配置为确定解剖参考位置的第二子集。另外地或替代性地，可以最初确定第一子集，并且在确定已经到达第一子集的解剖参考位置的情况下，可以确定第二子集。
[0051]
更新后的子集和/或第二子集可以包括与该子集和/或该第一子集相同数量的解剖参考位置。替代性地，更新后的子集和/或第二子集可以包括比该子集和/或该第一子集更少或更多的解剖参考位置。
[0052]
在一些实施例中，可以更新该子集和/或可以基于所到达的解剖参考位置和/或基于估计的内窥镜位置来生成第二子集。
[0053]
在一些实施例中，该处理单元可以被配置为更新解剖参考位置子集，使其包括该内窥镜可以到达的一个或多个解剖参考位置或由该一个或多个解剖参考位置组成，作为下一个解剖参考位置。例如，当内窥镜已经到达预定的解剖参考位置时，该解剖参考位置子集可以被更新为包括该内窥镜可以到达的(多个)解剖参考位置作为下一个解剖参考位置。
[0054]
在一些实施例中，更新后的解剖参考位置子集包括该解剖参考位置子集中的至少一个解剖参考位置。
[0055]
这进而允许图像处理设备确定内窥镜的向后运动，比如内窥镜到其先前位置的运动。
[0056]
该解剖参考位置子集中的至少一个解剖参考位置可以是或可以包括所到达的解剖参考位置。替代性地或另外地，该解剖参考位置子集中的至少一个解剖参考位置可以是或可以包括多个先前到达的解剖参考位置。
[0057]
在一些实施例中，该解剖参考位置是包括多个分支的分支结构。该图像处理设备可以进一步被配置为：确定该内窥镜进入该多个分支中的哪个分支；并基于所确定的分支
来更新内窥镜位置。
[0058]
因此，可以降低在解剖参考位置看起来相似的情况下估计错误的内窥镜位置的风险。此外，这允许改善对内窥镜位于气道的哪一部分的登记，例如以确保已经执行了足够详细的检查。例如，在左主支气管和右主支气管中的分支可能分别看起来相似的情况下，该图像处理设备可以估计内窥镜位置，从而知道该内窥镜是否已经进入左主支气管或右主支气管。因此，该图像处理设备可以能够对例如分别在右初级支气管和左初级支气管中分叉成次级支气管的分叉进行区分。
[0059]
该分支可以是分叉，比如双分叉、三分叉等。该图像处理设备可以通过分析该图像流来确定该内窥镜进入多个分支中的哪个分支。所确定的分支可以是内窥镜进入的分支。替代性地或另外地，该图像处理设备可以基于来自比如潜在地设置在内窥镜的手柄处的指南针或加速度计、磁共振设备等一个或多个传感器的输入来确定内窥镜进入哪个分支。在一些实施例中，该图像处理设备可以使用机器学习数据架构来识别分支和/或确定该内窥镜进入该多个分支中的哪个分支。
[0060]
在例如经由显示单元向操作者和/或医疗人员提供图像流的情况下，该图像处理设备可以进一步能够向操作者和/或医疗人员指示分支。在一些实施例中，可以指示每个分支。分支和/或分支可以通过图形叠加(比如文本和/或颜色叠加)在该流的图像上以图形方式指示。
[0061]
在一些实施例中，对分支和/或分支的指示可以根据用户(例如医疗人员)的请求来指示。换句话说，用户可以激活对分支和/或分支的指示。例如，请求可以通过按钮按下、触摸屏按下和/或语音命令输入到图像处理设备。因此，分支和/或特定分支可以在内窥镜图像上指示，以帮助用户在用户希望时导航内窥镜。因此，在用户不需要导航帮助的情况下，无需提供指示。
[0062]
在一些实施例中，该图像处理设备(比如其处理单元)被配置为连续分析记录图像以确定这些记录图像中的至少一个中是否存在可能是分支结构的两个或更多个内腔。
[0063]
潜在地，该图像处理设备被配置为连续分析记录图像以确定在这些记录图像中的至少一个中是否可见可能是分支结构的两个或更多个内腔。
[0064]
该图像处理设备可以被配置为识别和/或检测图像中的内腔，并随后确定是否识别到了两个或更多个内腔。例如，该图像处理设备可以被配置为确定图像中的哪个(哪些)像素属于内腔和/或确定内腔的边界。
[0065]
两个或更多个内腔指示和/或可能是分支。每个内腔可以是具有通向肺树的一部分的开口的内腔。例如，在内窥镜位于气管中的情况下，可以在图像中识别出两个内腔，其中两个内腔分别通向左主支气管和右主支气管。
[0066]
该图像中存在/可见的两个或更多个内腔的位置可以是解剖参考位置。
[0067]
在一些实施例中，该图像处理设备可以被配置为在图像中确定和/或定位两个或更多个内腔中的每一个内腔的中心点，比如几何中心。替代性地或另外地，该图像处理设备可以被配置为确定至少一个记录图像中每个内腔的范围。每个内腔的范围可以被确定为例如外接圆、边界框、每个内腔的外接矩形和/或两个或更多个内腔中的每一个内腔的像素构成的(多个)图像中总像素的百分比。
[0068]
潜在地，对记录图像的连续分析可以包括连续分析记录图像以确定这些记录图像
中的至少一个中是否存在可能是分支结构的两个或更多个内腔。替代性地或另外地，该图像处理设备可以被配置为连续分析记录图像，包括连续分析这些记录图像以确定这些记录图像中的至少一个中是否存在可能是分支结构的两个或更多个内腔。
[0069]
在一些实施例中，该图像处理设备(比如其处理单元)被配置为使用被训练成检测内窥镜图像中的内腔的第二机器学习架构来确定至少一个记录图像中是否存在两个或更多个内腔。
[0070]
被训练成检测内腔的该第二机器学习架构可以是被训练成检测内窥镜图像(比如来自内窥镜的图像捕获设备的图像)中的内腔(比如一个或多个内腔)的第二机器学习架构。
[0071]
该第二机器学习算法可以参考如上文和下文所述的机器学习算法进行描述。替代性地或另外地，该第二机器学习算法可以是和/或包括神经网络，比如卷积神经网络和/或深度学习数据架构。
[0072]
该第二机器学习算法可以被训练成将图像中的(多个)像素分类为属于相应的内腔。
[0073]
在一些实施例中，该图像处理设备(比如其处理单元)进一步被配置为，在确定该至少一个记录图像中存在两个或更多个内腔的情况下，估计该两个或更多个内腔在该人体气道模型中的位置。
[0074]
因此，该图像处理设备可以向用户指示哪个内腔通向何处，从而有助于内窥镜导航到肺树和/或人体气道的期望部分。
[0075]
替代性地或另外地，该图像处理设备可以被配置为识别两个或更多个内腔和/或其在人体气道模型中的位置。
[0076]
例如，该图像处理设备可以被配置为定位两个或更多个内腔中的每一个通向人体气道的哪些组成部分或部分。作为示例，在内窥镜位于气管中并且在图像中识别到了两个内腔的情况下，该图像处理设备可以被配置为潜在地基于模型分别确定两个内腔中的哪一个通向左主支气管以及两个内腔中的哪一个通向右主支气管。
[0077]
替代性地或另外地，该图像处理设备可以被配置为基于其各自通向肺树的哪一部分来对两个或更多个内腔进行分类。
[0078]
该图像处理设备可以被配置为基于内窥镜的较早估计位置和/或基于(多个)内腔的较早分类(比如(多个)内腔的较早估计位置)来估计两个或更多个内腔在人体气道模型中的位置。
[0079]
该图像处理设备可以被配置为使用(第一)机器学习架构来估计位置。
[0080]
在一些实施例中，该图像处理设备被配置为，在确定该至少一个记录图像中存在两个或更多个内腔的情况下，使用该第一机器学习架构来估计该两个或更多个内腔在该人体气道模型中的位置。
[0081]
在一些实施例中，该图像处理设备(比如其处理单元)被配置为响应于对两个或更多个内腔在人体气道模型中的位置的确定而确定至少一个后续记录图像中是否存在一个或多个内腔，并且在确定至少一个后续记录图像中存在一个或多个内腔的情况下，至少部分地基于先前估计的两个或更多个内腔的位置和/或先前估计的内窥镜位置来确定该一个或多个内腔在该人体气道模型中的位置。
[0082]
因此，该图像处理设备可以确定内窥镜是否正在靠近、进入或即将进入先前识别的内腔之一。
[0083]
后续记录图像可以是记录图像流中的图像，该图像是在检测到两个或更多个内腔的至少一个图像之后纪录的，潜在地在时间上在该至少一个图像之后。在一些实施例中，在其中检测到存在两个或更多个内腔的至少一个图像可以是第一图像，并且该至少一个后续记录图像可以是第二图像，该第二图像在该第一图像之后进行记录。
[0084]
在一些实施例中，该图像处理设备可以被配置为分析至少一个随后记录的图像以识别和检测至少一个随后记录的图像中的内腔，比如任何内腔。该图像处理设备可以被配置为随后确定在至少一个随后记录的图像中是否存在一个或多个内腔。
[0085]
该图像处理设备可以被配置为使用该第二机器学习数据架构来确定至少一个后续记录图像中是否存在一个或多个内腔。替代性地或另外地，该图像处理设备可以被配置为使用该第二机器学习数据架构至少部分地基于先前估计的位置来确定该一个或多个内腔在该人体气道模型中的位置。潜在地，该图像处理设备可以被配置为至少部分地基于中心点和/或边界框(比如这些内腔的边界框的相对大小)来确定该位置。
[0086]
在一些实施例中，该图像处理设备可以被配置为，在确定第二图像中仅存在一个内腔的情况下，确定该内腔在该人体气道模型中的位置并响应于此来更新估计的内窥镜位置。
[0087]
作为示例，在第一图像中检测到两个内腔并且已经由处理单元将其识别为分别通向左主支气管和右主支气管的情况下，该图像处理设备可以被配置为在该第一图像之后获得第二图像并确定该图像中存在两个内腔。例如，在捕获该第一图像与该第二图像之间的时间内，该内窥镜可能已经靠近该左主支气管的内腔移动。在该示例中，该图像处理设备可以将两个内腔分别识别为左主支气管内腔和右主支气管内腔。
[0088]
在一些实施例中，该图像处理设备可以被配置为至少部分地基于对两个或更多个内腔的潜在地先前或更早的分类和/或识别来确定该一个或多个内腔在该人体气道模型中的位置。
[0089]
在一些实施例中，该图像处理设备(比如其处理单元)进一步被配置为响应于确定至少一个记录图像中存在两个或更多个内腔而进行以下操作：
[0090]
确定该内窥镜进入该两个或更多个内腔中的哪一个；并且
[0091]
基于该两个或更多个内腔中确定的一个内腔来更新该内窥镜位置。
[0092]
对该内窥镜进入该两个或更多个内腔中的哪一个的确定可以基于对图像流中的图像的分析。在一些实施例中，分析可以包括跟踪该两个或更多个内腔中的每一个以获得比如内腔在图像中的运动，例如在多个潜在地连续的图像上的运动。作为示例，可以在多个图像上跟踪图像中相应的经识别内腔的中心点(比如几何中心或加权中心)和/或每个经识别内腔的范围。例如，可以在多个图像上跟踪相对于(多个)图像中的像素总数的属于每个相应识别的内腔的多个像素。
[0093]
进入或退出的确定可以使用该(第一)机器学习算法进行。
[0094]
两个或更多个内腔中的每一个都可以是和/或可以对应于相应的解剖参考位置。更新后的内窥镜位置可以是估计的内窥镜位置。
[0095]
替代性地或另外地，该图像处理设备可以被配置为，响应于确定至少一个记录图
像中存在两个或更多个内腔，确定内窥镜退出两个或更多个内腔中的哪一个并响应于此来更新该内窥镜位置。
[0096]
在一些实施例中，该图像处理设备(比如其处理单元)被配置为通过响应于确定该至少一个记录图像中存在两个或更多个内腔而分析多个记录图像以确定该内窥镜的移动来确定该内窥镜进入该两个或更多个内腔中的哪一个。
[0097]
该图像处理设备可以被配置为分析多个潜在地连续的记录图像。在一些实施例中，该分析包括在如上文所讨论的图像中检测(多个)内腔，潜在地包括检测其中心和/或范围。在一些实施例中，该分析进一步包括分类和/或确定(多个)内腔的位置。
[0098]
在一些实施例中，该内窥镜的运动可以通过跟踪和/或监测该图像中内腔的位置来确定。
[0099]
在一些实施例中，该处理单元进一步被配置为：
[0100]
在确定已经到达该解剖参考位置的情况下，存储该记录图像流的一部分。
[0101]
这进而允许改进检查记录，因为随后可以验证已经对人体气道的期望部分(比如所有部分)进行了检查。替代性地或另外地，可以随后(重新)检查视频流以获得气道中各个位置的异常情况。
[0102]
流的(多个)部分可以存储在本地存储空间、优选地存储介质上。该流可以替代性地或另外地被传输到外部设备，比如计算机、服务器等。在一些实施例中，所存储的记录图像流可以用于帮助系统确定到达特定解剖参考位置。
[0103]
在一些实施例中，记录图像流可以与标签一起存储，该标签将视频流与所到达的解剖参考位置相关联和/或与基于所到达的解剖参考位置确定的估计内窥镜位置相关联。该标签可以采用例如元数据、叠加、存储结构、包括记录图像流的文件的文件名结构等形式。
[0104]
在一些实施例中，用户(比如医疗人员)可以随后基于所存储的记录图像流来校正由该图像处理设备确定的内窥镜位置。校正的内窥镜位置可以被传输到图像处理设备，从而潜在地将所存储的记录图像流中的一个或多个图像和/或解剖参考位置引入训练数据集中，以便允许训练机器学习数据架构。
[0105]
在一些实施例中，该处理单元进一步被配置为：
[0106]
在更新该解剖参考位置子集的步骤之前，生成该人体气道模型，和/或
[0107]
在更新该解剖参考位置子集的步骤之后，基于所到达的解剖参考位置和/或该更新后的解剖参考位置子集中的解剖参考位置来更新该人体气道模型。
[0108]
因此，可以根据检查信息(比如根据个体患者的生理机能)来更新该模型，进而允许医疗人员更好地观察个体患者的气道。例如，在患者的气道中缺少双分叉的情况下，可以通过使用检查信息在模型中考虑这一点。
[0109]
例如，模型的更新可以由以下组成或包括以下：添加人体气道的建模部分、从模型中去除人体气道的建模部分、选择人体气道模型的一部分和/或添加和/或去除模型中的细节。例如，在确定该内窥镜位于右支气管中的情况下，可以将该右支气管的某些支气管和/或细支气管添加到模型中。
[0110]
该模型可以例如响应于其检测而更新以示出气道的另外的部分。可以响应于和/或作为确定是否已经到达解剖参考位置的一部分来执行对另外的部分的检测。对另外的部
分的检测可以基于图像流。该检测可以由机器学习数据架构进行。例如，当在图像流中检测到指示细支气管的分叉时，可以更新该模型以指示这些细支气管。可以基于该内窥镜的位置来估计检测到的部分的位置。
[0111]
另外地或替代性地，可以根据所到达的解剖参考位置来更新模型。该模型可以基于记录图像流进行更新。
[0112]
在一些实施例中，所显示的模型(即该模型的视图)可以被更新和/或该模型的显示和/或视图可以被更新。该模型的显示可以被更新为示出该模型的区段，例如该模型的放大区段。
[0113]
在一些实施例中，该模型被创建为和/或基于一般公知的人体气道模型。该模型可以是人体气道的示意性结构。
[0114]
该内窥镜位置可以映射到该模型。在一些实施例中，更新该内窥镜位置包括从该模型的多个预定位置选择一个位置。该位置的选择可以包括选择最接近和/或最近似于该内窥镜位置的位置。该选择可以基于图像流中的一个或多个图像。
[0115]
在一些实施例中，该人体气道模型是示意性人体气道模型，其优选地基于来自磁共振(mr)扫描输出和/或计算机断层摄影(ct)扫描输出的图像来生成。
[0116]
通过为每个患者提供特定的模型，可以提高位置估计的准确性，因为提供了特定气道的特定知识。
[0117]
mr扫描输出和/或ct扫描输出可以转换为潜在地简化的示意性模型。在一些实施例中，关于该人体气道的附加知识(比如其整体模型)可以与mr扫描输出和/或ct扫描输出结合使用，以提供示意性人体气道模型。
[0118]
mr和/或ct扫描输出对于患者可能是唯一的。潜在地，该模型可以基于来自相同或不同人体的多个mr和/或ct扫描输出来生成。
[0119]
在一些实施例中，可以从mr和/或ct扫描输出中生成和/或提取该人体气道模型。
[0120]
在一些实施例中，该处理单元进一步被配置为：
[0121]
在更新该内窥镜位置的步骤之后，执行该内窥镜位置到该人体气道模型的映射，并在该人体气道模型的视图上显示该内窥镜位置。
[0122]
将该内窥镜位置映射到该人体气道模型在此处可以理解为该内窥镜位置可以相对于或相关于该人体气道模型来确定。在一些实施例中，映射包括确定该人体气道的该内窥镜所在的部分。替代性地或另外地，映射可以包括从该模型中的多个位置确定模型中与该内窥镜位置相对应的位置。在一些实施例中，该内窥镜位置可以从模型中的多个位置映射到模型中的在多个位置中最接近该内窥镜位置的位置。
[0123]
该人体气道模型的视图可以是二维视图，比如示意性地示出人体气道的二维示意图。二维示意图可以例如示出这些人体气道的截面，例如呈肺树的形状。替代性地或另外地，可以提供该模型的视图以示出或指示第三维度，例如通过提供多个二维视图(比如两个截面)和/或通过允许二维视图围绕旋转轴旋转180度、至多360度或360度。当要指示第三维度时，可以提供围绕三个轴线(即x轴、y轴和z轴)中的每一个的旋转，潜在地至多旋转360度或360度。
[0124]
该视图可以显示在潜在地包括电子显示器和/或监视器的显示单元上，例如平板显示器(fpd)，比如液晶显示器(lcd)、发光二极管(led)显示器等。在一些实施例中，该电子
显示器可以是触摸屏。在一些实施例中，该显示单元包括该图像处理设备。
[0125]
该内窥镜位置可以以任何已知方式在该显示屏上指示。例如，该位置可以通过该内窥镜位置所在、改变颜色、闪烁、突出显示等的人体气道部分、通过标记(比如黑白或彩色形状，例如点、十字、正方形等)、通过文本的方式和/或通过指示该内窥镜位置的叠加来指示。
[0126]
在一些实施例中，该处理单元进一步被配置为：
[0127]
存储至少一个先前的内窥镜位置，并在该人体气道模型上显示该至少一个先前的内窥镜位置。
[0128]
这进而允许该图像处理设备向医疗人员指示该内窥镜先前在气道中的位置，从而再次允许医疗人员在检查期间简单快速地将该内窥镜导航到气道的其他部分。
[0129]
在确定解剖参考位置对应于先前位置的情况下，可以显示这种情况。
[0130]
先前的内窥镜位置可以以任何已知方式在显示器上指示。在结合先前的内窥镜位置来指示所确定的内窥镜位置的情况下，先前的内窥镜位置可能以与所确定的内窥镜位置不同的方式来指示。例如，先前的位置可以通过该内窥镜位置先前所在、改变颜色、闪烁、突出显示等的人体气道部分、通过在该模型中的某个位置处布置的标记(比如黑白或彩色形状，例如点、十字、正方形等)、通过文本的方式和/或通过指示该内窥镜位置的叠加来指示。标记颜色、闪烁频率、突出显示和/或标记的形状可能与指示该模型中确定的内窥镜位置的那些标记颜色、闪烁频率、突出显示和/或标记的形状有所不同。
[0131]
在一些实施例中，该图像处理设备进一步包括用于接收肺树中的预定期望位置的输入装置，该处理单元进一步被配置为：
[0132]
在该人体气道模型上指示该预定期望位置。
[0133]
该预定期望位置可以是肺树中的特定部分或特定区域，比如一个或多个特定支气管、一个或多个特定细支气管和/或一个或多个特定肺泡。该预定期望位置可以是要进行检查(例如异常情况)的一部分。
[0134]
该预定期望位置可以以任何已知方式比如借助于触摸屏、键盘、指点设备、计算机鼠标中的一个或多个输入到该图像处理设备和/或基于来自ct扫描或mr扫描输出的信息自动或手动输入。
[0135]
对应地，该输入装置可以是用户输入设备，比如指点设备(例如鼠标、触摸板等)、键盘或潜在地与显示屏集成以显示该人体气道模型的触摸屏设备。
[0136]
该模型上的指示可以以类似于关于先前的内窥镜位置和/或所确定的内窥镜位置所描述的指示的方式进行。
[0137]
在一些实施例中，该处理单元进一步被配置为：
[0138]
确定到该预定期望位置的路线，该路线包括一个或多个预定期望内窥镜位置，
[0139]
确定更新后的内窥镜位置是否与该一个或多个预定期望内窥镜位置中的至少一个相对应，并且
[0140]
在确定该更新后的内窥镜位置不与该一个或多个预定期望内窥镜位置中的至少一个相对应的情况下，在该模型上提供该更新后的内窥镜位置不与该一个或多个预定期望内窥镜位置中的至少一个相对应的指示。
[0141]
因此，可以为医疗人员提供到该预定期望位置的建议路线，从而允许该内窥镜的
导航变得简单并且潜在地缩短检查时间，因为一旦发生错误的导航，就可以避免或指示内窥镜的错误导航。
[0142]
在一些实施例中，该路线可以根据人体气道的入口和/或根据更新后的解剖参考位置来确定。在一些实施例中，该路线可以是直接到达预定期望位置的路线。另外地或替代性地，该路线可以被确定为经由一个或多个参考位置的路线。可以在每次更新内窥镜位置之后更新该路线。在每次更新内窥镜位置之后更新该路线的情况下，可以提供类似逐向导航的功能，例如，使得可以向医疗人员提供关于当人体气道中出现分叉时如何导航内窥镜的信息。该路线可以响应于确定内窥镜位置不在该路线上(例如不对应于或不等于预定期望位置之一)而更新。
[0143]
在一些实施例中，该处理单元可以基于其算法来确定路线。替代性地或另外地，可以基于不同潜在路线的试错来确定路线。在一些实施例中，该路线由机器学习数据架构确定。
[0144]
该一个或多个预定期望内窥镜位置可以是一个或多个预定的中间内窥镜位置。在一些实施例中，该一个或多个预定期望内窥镜位置各自对应于该模型中的内窥镜位置。
[0145]
在一些实施例中，该路线可以包括该内窥镜的一个或多个先前位置。
[0146]
在一些实施例中，该机器学习数据架构通过以下方式进行训练：
[0147]
确定体腔的多个解剖参考位置，
[0148]
基于多个内窥镜图像获得该多个解剖参考位置中的每一个的训练数据集，
[0149]
使用所述训练数据集来训练该机器学习模型。
[0150]
该训练数据集可以包括多个图像。该训练数据集可以被更新为包括记录图像流中的多个图像。
[0151]
该体腔可以是该人体气道和/或肺树。
[0152]
该机器学习数据架构(比如第一机器学习数据架构)可以通过设置有训练数据集来训练，该训练数据集包括来自内窥镜的大量图像流，比如100个或更多个图像流，每个图像流潜在地包括多个图像。该训练数据集可以包括示出该人体气道内的解剖参考位置的一个或多个图像。这些图像可以来自内窥镜的图像设备的视频流。该机器学习数据架构可以被训练成针对f分数进行优化，比如f1分数或fβ，这将被理解为本领域公知的。该机器学习数据架构可以使用该训练数据集和对应的相关解剖参考位置进行训练。潜在地，这些解剖参考位置可以由多个人关联。
[0153]
在提供第二机器学习数据架构的情况下，该第二机器学习数据架构可以通过设置有训练数据集来训练，该训练数据集包括来自内窥镜的大量图像流，比如100个或更多个图像流，每个图像流潜在地包括多个图像。该训练数据集可以与该第一机器学习数据架构的训练数据集相同。该训练数据集可以来自该人体气道内部，并且可以包括其中存在两个或更多个内腔的一个或多个图像。该第一机器学习数据架构可以使用训练数据集和相关图像中的哪些像素属于该两个或更多个内腔中的每一个的对应相关边界和/或信息来训练。潜在地，相关联的像素和/或边界可以由多个人关联。
[0154]
本披露内容的第二方面涉及一种内窥镜系统，该内窥镜系统包括内窥镜和根据本披露内容的第一方面的图像处理设备，其中，该内窥镜系统具有图像捕获设备，并且其中，该图像处理设备的处理单元可操作地连接到该内窥镜的所述图像捕获单元。
[0155]
该内窥镜可以是包括以下中的一个或多个的内窥镜：在其近端处的手柄、在近侧-远侧方向上延伸的插入管、弯曲区段和/或该内窥镜的远端处的端头部，端头部的近端潜在地连接到弯曲区段的远端。该图像捕获设备可以以有线和/或无线方式连接到该图像处理单元。
[0156]
该处理单元可以被配置为接收来自该内窥镜图像捕获设备的一个或多个图像。该一个或多个图像可以是记录图像流。
[0157]
在一些实施例中，该内窥镜系统进一步包括显示单元，其中，该显示单元可操作地连接到该图像处理设备，并且其中，该显示单元被配置为显示该人体气道模型的至少一个视图。
[0158]
该显示单元可以被配置为显示该模型和/或显示来自该图像捕获设备的视频流。此外，该显示单元可以被配置为显示记录图像流。该显示器可以是任何已知的显示器或监视器类型，潜在地如关于本披露内容的第一方面所描述的。
[0159]
本披露内容的第三方面涉及包括根据本披露内容的第一方面的图像处理设备的显示单元。
[0160]
本披露内容的第四方面涉及一种计算机程序产品，包括程序代码装置，当该程序代码装置在图像处理设备上执行时，被配置为至少使该图像处理设备的处理单元执行本披露内容的第一方面的步骤。
[0161]
可以以不同方式实施本披露内容的不同方面，包括如以上和以下描述的图像处理设备、显示单元、内窥镜系统和计算程序产品，各自产生结合以上描述的至少一个方面描述的一个或多个益处和优点，并且各自具有一个或多个优选的实施例，这些实施例与结合以上描述的和/或从属权利要求中披露的至少一个方面描述的优选的实施例相对应。此外，将理解的是，结合本文所描述的方面之一所描述的实施例可以同等地应用于其他方面。
附图说明
[0162]
现在将基于非限制性示例性实施例并且参考附图来更详细地描述端头部组件和方法，在附图中：
[0163]
图1a示出了在其中实施了根据本披露内容的端头部组件的内窥镜的立体图，
[0164]
图1b示出了图1a的内窥镜所连接的显示单元的立体图，
[0165]
图2示出了根据本披露内容的实施例的图像处理设备的处理单元的步骤的流程图，
[0166]
图3示出了根据本披露内容的实施例的图像处理设备的处理单元的步骤的流程图，
[0167]
图4a示出了根据本披露内容的实施例的显示单元的示意性模型的视图，
[0168]
图4b示出了根据本披露内容的实施例的显示单元的示意性模型的视图，
[0169]
图5示出了根据本披露内容的实施例的内窥镜系统的示意图，
[0170]
图6示出了根据本披露内容的实施例的显示单元的图像的视图，
[0171]
图7示出了根据本披露内容的实施例的图像处理设备的处理单元的步骤的流程图，
[0172]
图8a示出了根据本披露内容的实施例的显示单元的图像的视图，以及
[0173]
图8b示出了根据本披露内容的实施例的显示单元的图像的另一视图。
[0174]
在本文描述的各个实施例和附图中，对相似的要素使用相似的附图标记。
具体实施方式
[0175]
首先参考图1a，示出了内窥镜1。内窥镜是一次性的，并且不打算被清洗和重复使用。内窥镜1包括长形插入管3。在插入管3的近端3a处布置有操作手柄2。操作手柄2具有用于通过操控线操纵在插入管3的远端3b处的端头部组件5的控制杆21。摄像头组件6定位在端头部5中并且被配置为通过内窥镜1的监视器缆线13将图像信号传输到监视器11。
[0176]
在图1b中，示出了包括监视器11的显示单元。监视器11可以允许操作者查看由内窥镜1的摄像头组件6捕获的图像。监视器11包括缆线插口12，内窥镜1的监视器缆线13可以连接至该缆线插口，以在内窥镜1的摄像头组件6与监视器11之间建立信号通信。
[0177]
图1b所示的监视器11进一步被配置为显示模型的视图。显示单元进一步包括图像处理设备。
[0178]
图2示出了根据本披露内容的实施例的图像处理设备的处理单元的步骤的流程图。实施流程图的步骤，使得处理单元被配置为执行这些步骤。
[0179]
在第一步骤61中，从内窥镜的图像捕获设备(比如相机单元)获得图像流。在步骤62中，分析图像流中的图像以确定是否已到达解剖参考位置。在其他实施例中，图像流中的多个图像可以在步骤62中顺序地或同时进行分析。
[0180]
当在步骤62中确定尚未到达解剖参考位置时，处理单元返回到步骤61，如决策62a所指示的。从图像捕获单元获得图像的步骤61以及分析图像的步骤62可以同时进行和/或可以顺序地进行。
[0181]
解剖参考位置是发生分叉的位置。在步骤62中，处理单元通过使用机器学习数据架构确定是否在获得的图像流中的图像中看到分叉来确定是否已到达解剖参考位置。机器学习数据架构被训练成检测来自内窥镜的图像中的分叉。在其他实施例中，解剖参考位置可以是潜在地显示出与分叉的特征不同或类似的特征的其他位置。
[0182]
当在步骤62中确定已经到达解剖参考位置时，处理单元被配置为继续进行到步骤63，如决策62b所指示的。在步骤63中，基于所确定的解剖参考位置来更新人体气道模型中的内窥镜位置。这可能包括生成内窥镜位置和/或去除先前的内窥镜位置并插入新的内窥镜位置。
[0183]
在步骤63中，基于已经到达解剖参考位置的确定和例如由处理单元先前确定的先前位置，将内窥镜位置确定为模型中存在的多个预定位置中的一个。
[0184]
图3示出了根据本披露内容的实施例的图像处理设备的处理单元的步骤的流程图。
[0185]
在图3所示的流程图的步骤70中，提供了人体气道模型。步骤70中提供的模型是包括人体气道的整体结构的通用的、公知的模型。人体气道模型包括气管、支气管(即左右初级支气管、次级支气管和三级支气管)以及多个细支气管。在一些实施例中，在步骤70中生成的模型可以从或基于来自人体气道的mr扫描和/或ct扫描(潜在地来自特定患者)的输出生成。
[0186]
在步骤70中，还输入模型上的预定期望位置。预定期望位置可以是例如支气管和/
或细支气管。
[0187]
在图3所示的流程图中的步骤70中，还在显示单元上显示模型的视图。显示单元可以是如图1b所示并关于该图描述的显示单元。模型的视图是人体气道的整体结构。在一些实施例中，视图可以是如图4a所示并且关于该图描述的视图和/或如图4b所示并且关于该图描述的视图。在步骤70中，还在模型的视图上指示内窥镜的初始位置。初始位置可能位于气管的上部部分，如模型的视图所示。
[0188]
在步骤71中，在整个模型中确定了从起点(例如进入人体气道的入口和/或人气道的一部分(比如气管))到预定期望位置的路线。该路线可以包括人体气道中的多个预定位置，这些预定位置潜在地对应于潜在的内窥镜位置和/或解剖参考位置。在一些实施例中，可以提供多个预定期望位置，并且可以提供单个路线和/或总路线。
[0189]
在步骤71中，所确定的路线还在步骤70中显示的模型的视图中示出。该路线可以通过标记来示出，例如如图4b的模型视图中所展示的。
[0190]
在步骤72中，从内窥镜的图像捕获设备(比如相机单元)获得图像流。内窥镜可以是如图1a所示并关于该图描述的内窥镜。步骤72可以与步骤71和/或步骤70同时进行。
[0191]
在步骤73中，分析图像流中的图像以确定是否已到达解剖参考位置。在步骤73中，使用机器学习数据架构进行分析。在其他实施例中，图像流中的多个图像可以在步骤73中顺序地或同时进行分析。在步骤73中，要么采取确定尚未到达解剖参考位置的决策73a，要么采取确定已经到达解剖参考位置的决策73b。
[0192]
当采取决策73a时，处理单元被配置为返回到步骤72，在该步骤中，从内窥镜获得图像流，即从内窥镜的图像捕获单元获得图像流。步骤72和步骤73可以同时或顺序地进行，并且可以在处理单元确定是否已经到达解剖参考位置的同时获得图像流。步骤72、步骤73和步骤73a分别对应于图2所示的流程图的步骤61、步骤62和步骤62a。
[0193]
在采取决策73b的情况下，处理单元进入与图2所示的流程图的步骤63相对应的步骤74。在步骤74中，基于所确定的解剖参考位置和内窥镜的先前位置来更新人体气道模型中的内窥镜位置。在其他实施例中，内窥镜位置可以按如参考图2所述的各种替代方式进行更新。
[0194]
在步骤75中，更新后的内窥镜位置在步骤71中生成的模型的视图中示出。更新后的内窥镜位置由布置在模型中对应于更新后的内窥镜位置的位置处的标记显示。更新后的内窥镜位置将替换模型中先前的内窥镜位置。替代性地，一个或多个先前的位置可以保持显示在模型的视图上，潜在地被指示为使得更新后的位置在视觉上可与(多个)先前位置区分开来。例如，指示先前的内窥镜位置的标记可以被更改为与指示更新后的内窥镜位置的标记不同的类型或颜色。
[0195]
在步骤75中，还可以存储更新后的位置。更新后的位置被存储在图像处理设备的本地非暂态存储装置中。更新后的位置可以替代性地或随后传输到外部非暂态存储装置。
[0196]
在步骤75中还可以存储图像流中的多个图像，其中在步骤73中检测到解剖参考位置，并且可以存储该图像流中的(多个)图像。可以参考更新后的参考位置将图像存储在本地非暂态存储装置和/或存储在外部非暂态存储装置中。所存储的图像还可以由机器学习数据架构使用，例如以改进对解剖参考位置的检测。例如，可以将所存储的(多个)图像中的一个或多个图像和/或所到达的解剖参考位置引入到机器学习数据架构的数据集中。
[0197]
在步骤76中，处理单元通过确定更新后的内窥镜位置是否对应于包括在该路线中的人体气道中的预定位置之一来确定更新后的内窥镜位置是否在步骤70中确定的路线上。在步骤76中，可以采取两个决策，其中一个决策76a是更新后的内窥镜位置在路线上，而另一个决策76b是更新后的内窥镜位置不在所确定的路线上。
[0198]
在采取决策76a时，处理单元返回到步骤72。
[0199]
在采取决策76b时，处理单元进行到步骤77，在该步骤中，向用户(即医疗人员)提供更新后的位置不在步骤71中确定的路线上的指示。该指示可以是在显示单元和/或模型的视图上的可视指示，和/或可以是听觉提示，比如向用户回放的声音等。
[0200]
在步骤77中提供指示之后，处理单元返回到步骤71并根据更新后的内窥镜位置确定到预定期望位置的新路线。
[0201]
应当注意的是，将理解步骤72和步骤73可以与步骤71、步骤74-77并行运行和/或决策73b可以中断步骤74-77和步骤71。
[0202]
图4a示出了根据本披露内容的实施例的显示单元的示意性模型的视图。
[0203]
示意性模型的视图可以在图3的流程图中的步骤70中生成和/或可以显示在图1b所示并参考该图进行描述的显示单元上。
[0204]
在图4a的视图中，示出了示意性人体气道模型。图4a所示的视图不一定成比例，并且其中的单个部分或要素的相对尺寸不一定对应于其所模拟的人体气道的部分或要素的相对尺寸。在图4a中，该视图展示了气管80、左初级支气管81a和右初级支气管81b。此外，该模型示出了次级支气管以及一些细支气管82a-82e。
[0205]
图4a所示的模型的视图可以在某些实施例中或多或少地进行详细描述。图4a中所示的视图可以显示在图1b所示并关于该图进行描述的显示单元上。
[0206]
图4b示出了根据本披露内容的实施例的显示单元的示意性模型的视图。
[0207]
与图4a所示的视图类似，图4b中的模型的视图分别展示了气管80、左支气管81a和右支气管81b以及细支气管组82a-82e。
[0208]
在图4b所示的示意性模型的视图中，示出了内窥镜的估计位置83。估计的内窥镜位置83由布置在模型中的基本上对应于并表示内窥镜在人体气道中的位置的位置处的点指示。应当注意的是，该点不需要示出内窥镜位置的确切实时位置，但可以示出估计内窥镜所在的近似位置或人体气道的区域或部分。
[0209]
在图4b所示的示意性模型的视图中，还在细支气管组82b中的细支气管之一中指示预定期望位置84。
[0210]
在图4b的视图中，进一步示出了从初始内窥镜位置(即气管的上端)到预定位置84的路线85。如图4b所示，估计的内窥镜位置83在到预定位置84的路线85上。在估计的内窥镜位置不在到预定位置84的路线85上的情况下，这可以在图4b的视图中指示。替代性地或另外地，这可以以另一种视图和/或另一种方式指示。例如，如果在图4b的视图中下一个更新后的内窥镜位置是在通往细支气管82a的路线上而不是在路线85上，则可以确定更新后的内窥镜位置不在路线上。
[0211]
图5示出了根据本披露内容的实施例的内窥镜系统9的示意图。内窥镜系统9包括内窥镜90、具有处理单元的图像处理设备92。内窥镜90具有图像捕获设备91，并且图像处理设备92的处理单元可操作地连接到内窥镜91的图像捕获设备。在该实施例中，图像处理设
备92集成在显示单元93中。在该实施例中，图像处理设备92被配置为使用被训练成确定一组解剖参考位置的机器学习数据架构来估计内窥镜90在人体气道模型中的位置，所述图像处理设备包括处理单元，该处理单元可操作地连接到该内窥镜的图像捕获设备。在该实施例中，图像处理设备92的处理单元被配置为：
[0212]
获得记录图像流；
[0213]
使用该机器学习数据架构对该记录图像流中的记录图像进行连续分析，以确定是否已经到达该组解剖参考位置中的解剖参考位置子集中的解剖参考位置；并且
[0214]
在确定已经到达该解剖参考位置的情况下，基于该解剖参考位置来更新内窥镜位置。
[0215]
图6示出了根据本披露内容的实施例的显示单元的图像100的视图。图像100是记录图像流中的图像。记录图像流由内窥镜的摄像头模块记录。图像100已通过图像处理设备进行分析。
[0216]
图像100示出了气管的分支为左初级支气管102和右初级支气管103的分支，即双分叉101。双分叉101是预定的解剖参考位置，并且图像处理设备基于图像100确定已经到达双分叉101并更新内窥镜在人体气道模型中的位置(图6中未示出)。在提供了如例如图4a和图4b所示的示意性模型的视图的情况下，图像处理设备可以更新该视图上的估计的内窥镜位置的视图。
[0217]
在图像100中，图像处理设备使用图像处理设备的机器学习数据架构确定双分叉101的两个分支为左主支气管102和右主支气管103。图像处理设备在图像100上提供向操作者(例如医疗人员)指示左主支气管102的第一叠加104以及向操作者指示右主支气管103的第二叠加105。第一叠加104和第二叠加105响应于用户按下按钮(未示出)而在屏幕上提供。第一叠加104和第二叠加105可以通过再次按下按钮来去除。
[0218]
在操作者将内窥镜导航到左主支气管102或右主支气管103的情况下，由图像处理设备确定内窥镜已经进入左主支气管102和右主支气管103中的哪一个。图像处理设备基于所确定的内窥镜已经进入的左主支气管102或右主支气管103之一来更新估计的内窥镜位置。当遇到随后的分支时，图像处理设备基于有关内窥镜已经进入主支气管102、103中的哪一个的信息来确定分支在人体气道模型中的位置。
[0219]
图7示出了根据本披露内容的实施例的图像处理设备的处理单元的步骤的流程图。
[0220]
在步骤200中，图像处理设备从来自内窥镜的图像捕获设备的图像流中获得第一图像。在其他实施例中，该步骤可以包括获得第一多个图像。
[0221]
在步骤202中，图像处理设备分析第一图像以识别和检测第一图像中的任何内腔。在步骤202中，图像处理设备还在图像中确定并定位任何经识别内腔的中心点。此外，步骤202中的图像处理设备通过确定每个经识别内腔的边界框来确定第一图像中每个内腔的范围。在步骤202中，处理单元使用被训练成检测内腔的第二机器学习数据架构。
[0222]
在步骤204中，处理单元确定第一图像中是否存在两个或更多个内腔。如果确定第一图像中不存在两个或更多个内腔，则处理单元返回204a到再次获得第一图像的步骤200。
[0223]
另一方面，如果在步骤204中确定第一图像中存在两个或更多个内腔，则处理单元继续204b到步骤206。在步骤206中，处理单元识别并估计该两个或更多个内腔在人体气道
模型中的位置。在步骤206中，处理单元使用第一机器学习架构来识别和估计该两个或更多个内腔在人体气道模型中的位置。
[0224]
在步骤208中，处理单元从图像流中获取第二图像。
[0225]
在步骤210中，图像处理设备分析第二图像以使用第二机器学习数据架构来识别和检测第二图像中的任何内腔。图像处理设备执行类似于步骤202的该步骤，然而用于第二图像而不是第一图像。
[0226]
如果在第二图像中检测到一个或多个内腔，则步骤212中的处理单元至少部分地基于步骤206中的两个或更多个内腔的识别和估计位置来确定第二图像中的一个或多个内腔在人体气道模型中的位置。
[0227]
在步骤214中，处理单元确定第二图像中是否仅存在一个内腔。如果第二图像中存在两个或更多个内腔，则处理单元存储在步骤212中进行的分类(即识别和位置确定)并返回214a到获得另一个第二图像的步骤208。当处理单元再次到达步骤212时，在步骤212中进行的分类随后可以用于以后的分类中。
[0228]
在步骤212中进行的分类进一步基于在步骤202和步骤210中确定的边界框和中心点。
[0229]
如果在步骤214中确定第二图像中仅存在一个内腔，则处理单元进行214b到步骤216，在该步骤中，内窥镜位置被更新。在步骤216中，内窥镜位置被更新为与一个内腔在人体气道模型中的位置相对应的解剖参考位置。因此，在步骤216中，处理单元确定内窥镜已经进入该一个内腔。
[0230]
图8a示出了根据本披露内容的实施例的显示单元的图像110的视图。图像110是记录图像流中的图像。记录图像流由内窥镜的摄像头模块记录。图像110已由图像处理设备进行分析。
[0231]
图像110示出了右主支气管的分支(即双分叉111)的两个内腔112a、112b，该右主支气管分支成具有内腔112a的第一次级右支气管和具有内腔112b的第二次级右支气管。
[0232]
双分叉111是预定的解剖参考位置。
[0233]
在图像110中，图像处理设备识别第一内腔112a和第二内腔112b。图像处理设备进一步确定第一内腔112a的中心点113a和第二内腔112b的中心点113b。此外，图像处理设备通过指示第一内腔112a的外接圆114a和第二内腔112b的外接圆114b来直观地指示图像上的相对大小。如图8a所示，第一内腔112a具有比第二内腔112b更大的相对尺寸。
[0234]
图8b示出了根据本披露内容的实施例的显示单元的图像110’的另一视图。图8b的图像110’基于与图像110相同的图像，并且因此，还示出了双分叉111的两个内腔112a、112b。图像110’相应地已通过图像处理设备进行分析。
[0235]
在图像110’中，图像处理设备识别第一内腔112a和第二内腔112b。在图像110’中，图像处理设备确定第一内腔112a的边界框115a和第二内腔112b的边界框115b。此外，图像处理设备将第一内腔112a的位置估计为右次级支气管分支3(rb3)并将第二内腔112b的位置估计为右第二支气管分支2(rb2)。图像处理设备用指示第一内腔112a的估计位置的文本叠加116a和指示第二内腔112b的估计位置的文本叠加116b来指示这一点。当确定内窥镜进入第一内腔112a时，内窥镜位置被更新为对应于rb3，或者当确定内窥镜进入第二内腔112b时，内窥镜位置被更新为对应于rb2。
[0236]
虽然已经详细描述并示出了一些实施例，但是本发明不局限于此，而是还可以以落入以下权利要求中所限定的主题的范围的其他方式来实施。具体而言，应理解的是，在不脱离本发明的范围的情况下可以利用其他实施例并且可以做出结构和功能改变。
[0237]
在列举了若干装置的设备权利要求中，这些装置中的若干装置可以由一个和同一项硬件来实施。在相互不同的从属权利要求中叙述了或在不同实施例中描述了某些措施这一单纯事实并不指示不能有利地使用这些措施的组合。
[0238]
应强调的是，当在本说明书中使用时，术语“包括(comprises)/包括(comprising)”是用于指明所陈述的特征、整数、步骤或部件的存在，但不排除存在或添加一个或多个其他特征、整数、步骤、部件或其群组。