用于处理电子医学图像以确定增强的电子医学图像的系统和方法与流程

1.本发明的各个方面总体上涉及在计划和/或执行医疗手术中有用的系统和方法。


背景技术：

2.在减少对患者的创伤和风险的同时提高医疗效果方面已经取得了实质性进展。许多曾经需要开放手术的手术现在可以用侵入性较小的技术来完成，从而为患者提供更少的恢复时间和感染风险。某些需要活检、电刺激、组织消融或去除天然产物或异物的手术可以通过微创手术执行。
3.例如，在泌尿科领域，肾脏结石或肾结石会在泌尿道中积聚并且滞留在肾脏中。肾结石是源于尿液的物质的沉积物，通常是矿物质和酸式盐。虽然较小的结石可能会自然地从体内排出，但较大的结石可能需要手术干预才能去除。虽然开放手术曾经是去除结石的标准治疗，但是其他侵入性较小的技术，诸如输尿管镜检查术和经皮肾镜取石术/肾镜碎石术(pcnl)已经作为更安全、有效的替代方案出现。另外地，成像技术的进步已经提高了医疗专业人员在手术之前和期间识别和定位结石的能力。尽管如此，医疗专业人员仍必须分析图像以确定结石的位置和大小以及是否存在任何结石。此外，图像经常被遮挡、是模糊的和/或难以评估，从而使得医疗专业人员辨别任何结石的存在或尺寸的任务具有挑战性。
4.本发明的系统、装置和方法可以矫正上述缺陷中的一些和/或解决现有技术的其他方面。


技术实现要素：

5.本发明的示例除了其他之外涉及医疗系统和方法。本文所公开的示例中的每一个可以包括结合其他所公开示例中的任一个描述的特征中的一个或多个。
6.在一个示例中，本发明包括一种用于处理源于医疗装置的电子图像的方法，其包括接收源于医疗装置的图像帧并且确定在图像帧中的第一颜色通道和第二颜色通道。可以通过比较第一颜色通道和第二颜色通道来识别电磁束光晕的位置。可以基于电磁束光晕来确定电磁束的边缘，并且可以基于电磁束的边缘来确定电磁束的尺寸度量。可以基于电磁束的尺寸度量来显示在图像帧上的视觉指示器。
7.在另一个示例中，本发明包括一种用于处理源于医疗装置的电子图像的系统，该系统包括至少一个数据存储装置，其存储用于处理电子图像的指令；以及至少一个处理器，其被配置为执行指令以执行用于处理电子图像的操作。该操作可以包括处理源于医疗装置的电子图像，其包括接收源于医疗装置的图像帧并且确定在图像帧中的第一颜色通道和第二颜色通道。可以通过比较第一颜色通道和第二颜色通道来识别电磁束光晕的位置。可以基于电磁束光晕来确定电磁束的边缘，并且可以基于电磁束的边缘来确定电磁束的尺寸度量。可以基于电磁束的尺寸度量来显示在图像帧上的视觉指示器。
8.在另一个示例中，本发明包括一种非暂时性计算机可读介质，其存储指令，当由计
算机执行时，该指令致使计算机执行用于处理源于医疗装置的电子图像的操作。该操作可以包括处理源于医疗装置的电子图像，其包括接收源于医疗装置的图像帧并且确定在图像帧中的第一颜色通道和第二颜色通道。可以通过比较第一颜色通道和第二颜色通道来识别电磁束光晕的位置。可以基于电磁束光晕来确定电磁束的边缘，并且可以基于电磁束的边缘来确定电磁束的尺寸度量。可以基于电磁束的尺寸度量来显示在图像帧上的视觉指示器。
附图说明
9.并入并构成本说明书的一部分的附图示出了各种示例性实施例，并且与描述一起用于解释本发明的原理。
10.图1示出了根据本发明的各方面的医疗系统；
11.图2是根据本发明的各方面的用于处理医学图像的示例性方法的流程图；
12.图3是根据本发明的各方面的用于确定医学图像中物体的尺寸的示例性方法的流程图；
13.图4是根据本发明的各方面的用于医学图像增强的示例性方法的流程图；
14.图5示出了根据本发明的各方面的可以根据图1至图4中讨论的技术使用的示例性系统。
具体实施方式
15.本发明的示例包括促进和提高微创手术的效率和安全性的系统和方法。例如，本发明的各方面可以为用户(例如，医师、医疗技术人员或其他医疗服务提供者)提供更容易识别、确定尺寸并且因此从患者的肾脏或其他器官去除肾结石或其他物质的能力。在一些实施例中，例如，本发明可以用于在使用或不使用激光碎石术的情况下计划和/或执行柔性输尿管镜手术。本文所讨论的技术也可以适用于其他医疗技术，诸如利用内窥镜的任何医疗技术。
16.现在将详细参考上述的以及在附图中示出的本发明的示例。只要有可能，在所有附图中将使用相同的附图标记来指代相同或相似的部分。
17.术语“近侧”和“远侧”在本文中用于指代示例性医疗装置或插入装置的部件的相对位置。当在本文中使用时，“近侧”是指相对更接近身体的外部或更接近使用医疗装置或插入装置的操作者的位置。相反地，“远侧”是指相对更远离使用医疗装置或插入装置的操作者，或更接近身体内部的位置。
18.前面的一般性描述和下面的详细描述仅仅是如要求保护的特征的示例性和说明性，而不是限制性的描述。如本文所使用的，术语“包括”、“含有”或其其他的变型旨在涵盖非排他性的内容物，以使得包括一列要素的过程、方法、物品或设备不仅仅包括那些要素，而是可以包括未明确列出或不是这种过程、方法、物品或设备所固有的其他要素。另外地，术语“示例性”在本文中是按“示例”而非“典范”的意义使用的。如本文所使用的，术语“大约”、“基本上”和“约”指示在所述值的 /-5％内的值范围。
19.图1示出了医疗系统100，其包括医疗装置，诸如内窥镜或其他医疗成像装置/医疗装置105、网络110、可以包括可以由用户/从业者/医师/患者125查看的显示器120的用户装
置115，以及可以包括可以执行本文所讨论的技术的帧处理器135的服务器。内窥镜105、用户装置115和/或服务器130可以有线连接(如图所示)、无线连接或以其他方式通信联接。替代地，服务器130的功能可以在内窥镜105、用户装置115等上执行。服务器130、内窥镜105和/或用户装置115还可以包括单个电子装置。
20.如图1所示，内窥镜105可以是插入装置，诸如，例如，输尿管镜(例如波士顿科学公司的lithovue
tm
数字柔性输尿管镜)。在内窥镜105定位在患者体内的情况下，例如，通过患者的尿道到达患者的肾脏，可以在使用或不使用激光碎石术的情况下插入取出装置(未示出)以取出和去除物质，诸如，例如，肾结石。内窥镜105在插入患者体内时可以记录和/或传输图像和/或视频数据，并且可以具有光或其他成像源，其可以用于显示患者血管、器官等内部的图像。光纤电缆或其他光源可以照亮患者的内部。内窥镜105可以配备或接收激光，激光可以在较低的功率设置下投射，使得其充当瞄准光束。瞄准光束可以用于通知内窥镜用户激光瞄准的位置，而不会以足以破坏组织或肾结石的高强度进行照亮。激光还可以根据源于用户的信号发射更高强度的电磁波，以执行激光碎石术，该激光碎石术可以用于去除、破碎或以其他方式破坏一个或多个器官障碍物，诸如肾结石。
21.显示器120可以是单个显示，或者至少是双重显示，其具有多个屏幕或在一个屏幕上具有多个显示。在一个示例中，显示器中的一个可以显示由内窥镜105当前或先前获得的一个或多个图像。另一个显示器可以显示从一个或多个附加成像装置145，诸如由x射线、磁共振成像、计算机断层扫描、旋转血管造影、超声或另一适当的内部成像装置获得的图像或视频。替代地，显示器120中的一个可以显示使用本文讨论的一种或多种图像增强技术修改的图像，而另一个则可以显示未增强的图像。替代地，显示器120中的一个可以显示使用本文讨论的一种或多种增强技术修改的图像，而显示器120中的另一个则可以显示使用本文讨论的一种或多种不同增强技术修改的图像。
22.软件或应用程序可以操纵、处理和解释从成像装置145接收的图像，以识别瞄准光束、肾结石或其他物质的位置、尺寸和特性。如本文将进一步讨论的，帧处理器135可以处理和增强从内窥镜105接收的图像。
23.当执行诸如碎石术的医疗手术以去除肾结石时，医师可以将内窥镜105插入患者体内。例如，当被内窥镜105上的灯光照射时，显示器120可能会被肾结石的碎片或其他漂浮的颗粒物质部分或完全遮挡。肾结石的碎片可能需要经由内窥镜105所使用的出口通道(通路护套、输尿管等)去除。然而，医师125可能难以确定肾结石是否太大而无法从出口通道排出，以及是否应进一步打碎以便从出口通道排出。医师可能会尝试经由出口通道去除有问题的肾结石，但如果结石太大，结石的锋利度可能会导致组织损伤，这可能对患者造成伤害，增加恢复时间等。需要更有效地识别肾结石是否将从出口通道排出的技术。
24.图2是根据本发明的各方面的用于处理医学图像的示例性方法的流程图。可以是诸如内窥镜105或成像装置145的任何医疗装置的视频或图像帧205的源可以将帧提供给信号输入210。可以将帧提供给可以存储多个帧的帧处理程序215。一个或多个帧220可以提供给帧处理器135，其可以经由本文所讨论的技术产生一个或多个经处理的帧230。经处理的帧230可以被提供给信号输出235，其可显示在显示器120上。
25.信号输入210可以是软件处理程序，其可以传输已经接收的新帧。帧处理程序215可以经由信号输出235将帧直接发送到显示器120，或者其可以将一个或多个帧发送到帧处
理器135。如本文其他地方将讨论的，帧处理器135可以执行物体尺寸确定技术。帧处理程序215还可以将原始帧发送到显示器120，以及还将帧的副本发送到帧处理器135。可以接收经处理的帧230并且还可以将其转发至显示器120。这可以允许原始帧与经处理的帧230一起显示在显示器120上。替代地，帧处理程序215可以将源帧220发送到帧处理器135，并且帧处理器可以返回包括原始帧和增强帧的双重显示的经处理的帧230。因此，经处理的帧230可以大于源帧。帧处理器135可以进一步将按钮或其他用户界面元素添加到经处理的帧230。
26.虽然本文所讨论的技术被讨论为发生在可以被描绘为位于单个装置上的帧处理器135上，但是帧处理器的功能中的任一个可以跨任何数量的装置，例如，在系统100中描绘的装置中的任一个分布。此外，信号输入210、帧处理程序215和/或信号输出235中的一个或多个可以容纳在一个或多个服务器130或系统100上描绘的其他装置中的任一个上。
27.图3是根据本发明的各方面的用于处理医学图像以确定物体的尺寸的示例性方法的流程图。可以从帧源接收多个帧304。帧源可以包括内窥镜105或其他医学成像装置145。一个或多个帧304可以在帧缓冲器处累积。帧可以包括肾结石308或其他物体的图像。虽然肾结石308可以由内窥镜或其他医疗装置105的顶端上的光源照亮，诸如由发出白光的光纤照亮，但是激光束316或其他电磁束也可以存在并且允许瞄准内窥镜的顶端，以用于取出肾结石或执行碎石术等。光束316在照亮时可以使光晕312在光束周围可见，这可能是由于激光的强度导致的。然后，可以采取步骤来确定光束316的尺寸。
28.可以区分光晕312与光束316。由于激光通常具有特定颜色，诸如红色，因此在蓝色或绿色“非匹配”通道322中可能没有光束316的迹线或微弱迹线，且没有光晕312的迹线。相反地，在“匹配”的红色通道326中，激光和光晕312可能一起作为一个大的、明亮的和无法区分的实体出现。类似地，绿色激光及其光晕可能会在绿色通道中作为单个明亮的无法区分的实体出现，同时至少较低强度的光晕不会出现在红色通道或蓝色通道等中。因此，为了分离颜色通道和执行本文所讨论的技术，可以最初确定激光的颜色。此外，内窥镜可能具有源于光缆的白光，以帮助用户进行导航。白光可能创建可能被算法混淆为瞄准光束的反射。通过比较不同的颜色通道来找到瞄准光束，可以避免这个问题。白光将均等地出现在不同的颜色通道中。彩色激光或至少是光晕可能主要出现在对应的颜色通道中。
29.即使瞄准光束可能是特定颜色的激光，瞄准光束也可能在所有颜色通道中都是强烈的。这可能使得将瞄准光束与其他光反射，例如源于内窥镜上的led的光反射区分开来是困难的。然而，瞄准光束可能在其周围具有相关联的光晕，这可以允许区分瞄准光束与其他光源或反射。此外，光晕可能仅出现在特定的颜色通道中，例如激光颜色的通道中。因此，可以通过比较不同的颜色通道来可靠地识别光晕。一旦确定了匹配通道326的光束(例如，用于红色激光的红色通道)和非匹配通道(用于红色激光的绿色和/或蓝色通道)322的较小光束322，就可以组合两个通道以形成遮罩区域，以便更准确地确定光晕。这可以通过从匹配通道326减去非匹配通道322来完成，这可以在329处产生移除了光束316的光晕的图像。替代地，可以在327处倒置通道中的一个以形成倒置通道328。可以将倒置通道328添加到，例如，非匹配通道以形成光晕329。边界框或其他边界可以放置在光晕/遮罩区域330周围以用于进一步的图像分析。
30.在确定边界框330之后，可以确定在光晕中心和边界框内的瞄准光束339。也可能存在图像伪影340。例如，如果激光从瞄准光束本身附近的物体反射出来，则可能出现伪影
340。通过比较各种候选瞄准光束的算法可以认为最大的物体是真实的瞄准光束339，并且可以丢弃或忽略伪影340。真实瞄准光束339的边缘可以使用算法，诸如canny边缘检测、霍夫变换等来确定。然后，该算法可以通过围绕瞄准光束放置圆形或椭圆形来近似瞄准光束339的真实形状和尺寸，以形成瞄准光束椭圆342。这可以动态地完成，或者瞄准光束的形状可以是先前已知的。可以基于所确定的瞄准光束的边缘来执行该椭圆的放置。可以在检测到的边缘上拟合多个候选椭圆，并且可以确定最佳拟合椭圆，例如瞄准光束椭圆342。可以为瞄准光束椭圆342确定度量，诸如长轴和短轴的测量。
31.瞄准光束可以具有标准的预定尺寸和形状。由于瞄准光束316是激光或其他高度定向或单向的电磁光源，因此它不会随着距离而显著变大。因此，瞄准光束所投射的物体都可以通过使用瞄准光束和/或其光晕作为标准度量来进行测量。因此，可以通过评估瞄准光束和/或光晕来测量肾结石或其他物体。然而，可能会出现使准确测量复杂化的困难。肾结石通常呈锯齿状，并且包含会使瞄准光束的外观形状扭曲的缝隙或其他不规则的地方。因此，瞄准光束可能显得异常小或异常大，这可能导致对基于瞄准光束测量的任何物体的尺寸的错误估计。
32.为了缓解这个问题，瞄准光束所瞄准的表面的图像可以在边界框内或以其他方式在瞄准光束316和/或光晕312的预定距离内通过图像分析来进行评估，并且可以在334处进行提取。图像特征可以包括图像照明、纹理、熵、伪影检测等。提取的图像特征加上椭圆342的长轴和短轴可以被提供给经过训练的机器学习系统，其可以应用权重来改变瞄准光束316和/或光晕312的估计尺寸。
33.可以训练机器学习系统。可以确定地面实况指示符的大小(例如，以像素为单位)。地面实况指示符可以是在肾结石图像上物理绘制的圆形或其他形状，其表示瞄准光束的真实尺寸。在训练过程中，将从图像提取物理绘制的圆形的尺寸。可以确定在地面实况指示符的尺寸和瞄准光束特性(椭圆342的长轴和短轴、图像照明、纹理、熵、伪影检测等)之间的相关性。在生产版本的推理步骤中，机器学习模型可能会计算出瞄准光束的尺寸。尽管由瞄准光束所投射的表面产生扭曲，但这仍然可以准确地执行。
34.如上面所讨论的，瞄准光束的尺寸可能是已知的。例如，瞄准光束可以是激光，当其照射在表面上时，会创建5mm宽的“点”。由于激光是定向光束，因此无论距离点所照射的物体有多远，点都可能是5mm宽。因此，基于瞄准光束的最终估计形状和/或尺寸，可以确定瞄准光束所投射的表面的测量值。这可以通过评估物体相对于激光点的已知尺寸的尺寸来完成。例如，如果激光点已知为5mm宽，并且其所照射的肾结石大约是激光点宽度的两倍，则可以确定肾结石为10mm宽。
35.使用相同的技术，可以确定出口通道的尺寸并且将其显示给用户125。因此，使用这种缩放技术，可以确定物体的尺寸，并且还可以确定所投射的虚拟物体的准确尺寸。表示出口通道相对于瞄准光束所投射表面的尺寸的视觉指示器350可以显示在显示器上。用户125因此能够确定瞄准光束所照射的肾结石或其他物体是否将在视觉上以及以最小的认知负荷适应出口通道排出。替代地或另外地，可以显示一个或多个标尺，诸如沿着x轴或y轴的标尺354。边界框330和/或最终瞄准光束椭圆342的视觉指示器也可以在显示器上显示给用户125。
36.图4是根据本文所讨论技术的用于确定医学图像增强的示例性方法的流程图。在
步骤405，可以接收来自医疗装置的图像帧，并且在步骤410，可以确定图像帧中的第一颜色通道和第二颜色通道。在步骤415，可以通过比较第一颜色通道和第二颜色通道来识别电磁束光晕的位置。在步骤420，可以基于电磁束光晕来确定电磁束的边缘，并且在步骤425，可以基于电磁束的边缘来确定电磁束的尺寸度量。在步骤430，可以基于所述电磁束的所述尺寸度量来显示在所述图像帧上的视觉指示器或其他投影。如本文其他地方所讨论的，视觉指示器可以包括出口通道、标尺、边界框、电磁束光晕和/或电磁束的视觉表示。
37.图5示出了根据本发明的各方面的可以根据图1至图4中讨论的技术使用的示例性系统。图5是根据本发明的示例性实施例的可以被配置为服务器130、内窥镜105、成像装置145和/或用户装置115的计算机的简化功能框图。具体地，在一个实施例中，本文所讨论的用户装置、服务器等中的任一个可以是硬件500的总成，包括，例如，用于分组数据通信的数据通信接口520。平台还可以包括一个或多个处理器形式的中央处理单元(“cpu”)502，以用于执行程序指令。平台可以包括内部通信总线508，和可以将数据存储在计算机可读介质522上的存储单元506(诸如，rom、hdd、sdd等)，然而系统500也可以经由网络通信接收编程和数据。系统500还可以具有存储器504(诸如，ram)，其存储用于执行本文提出的技术的指令524，然而指令524还可以临时或永久地存储在系统500的其他模块(例如，处理器502和/或计算机可读介质522)内。系统500还可以包括输入和输出端口512和/或显示器510以与输入和输出装置，诸如键盘、鼠标、触摸屏、监视器、显示器等连接。各种系统功能可以以分布式方式在多个类似的平台上实施，以分配处理负荷。替代地，系统可以通过一个计算机硬件平台的适当编程来实施。
38.所公开的技术可以帮助启用高效且有效的手术来分解和/或从患者的器官去除物质。特别是，用户可以轻松查看经处理的帧以辅助例如，去除在患者肾脏内的肾结石。
39.此外，虽然本发明中讨论的示例通常针对在使用或不使用碎石术的情况下的输尿管镜肾结石去除，但是还可以设想本文所讨论的系统和手术可以同样适用于其他物质去除手术。例如，上面讨论的系统和方法可以在经皮肾镜取石术/肾镜碎石术(pcnl)期间用于计划手术和手术中以定位任何遗漏的肾结石。上面讨论的系统和方法也可以用于计划或进行手术以去除输尿管结石、胆结石、胆管结石等。
40.尽管本文参考了针对特定应用的说明性示例描述了本发明的原理，但是应当理解，本发明不限于此。本领域中具有普通技术并且访问本文所提供的教导的人员将认识到额外的修改、应用、实施例和等同物的替换都落在本文所述特征的范围内。因此，所要求保护的特征不应被视为受之前描述的限制。