在延展实境影像上增强医学扫描影像信息的方法和系统与流程

在延展实境影像上增强医学扫描影像信息的方法和系统
1.交叉引用
2.本技术要求于2020年4月22日提交的美国临时申请号63/013,687的权益，该申请的全部内容以引用的方式并入本文。
技术领域
3.本发明的具体实施方式通常是关于在延展实境影像上增强医学扫描影像信息的各方法和各系统。


背景技术：

4.除非本说明书另有说明，否则本节所描述的方法不是本技术中多个权利要求的现有技术，并且不通过包括在本节中而被视为是现有技术。


技术实现要素：

5.手术上，手术途径的计划至关重要。手术途径可由多个点所界定出，诸如远离病患的安全点和手术前点、病患的组织上的进入点、及该手术的该目标处的目标点。
6.手术前，病患会接受医学扫描(例如，ct或mri)。医学扫描可提供病患的各组织、各器官、和各器官系统的影像。手术途径是基于所述医学扫描影像进行规划。举例来说，可采用人工智能建议外科医师从事最低损伤程度的最佳途径。
7.延展实境技术通常指包括一个或多个真实与虚拟组合环境和一个或多个人机界面(由计算机技术和一个或多个穿戴式装置所产生)的技术。在医学领域中，越来越多使用包括虚拟现实、增强实境、和混合实境的延展实境。举例来说，延展实境可显示紧邻该手术途径的各组织、各器官、和各器官系统的虚拟图像，并在所述虚拟图像上增强医学扫描信息(例如，医学扫描影像)以促成该手术。
8.然而，在何时对病患进行该医学扫描与何时进行该手术之间有不小的时间差异。惯用延展实境技术无法充分协调关于紧邻该手术途径的虚拟图像与该医学扫描中所获得信息的差异。
附图说明
9.图1为显示当对病患进行手术时，可能遇到的数个点之中的多个空间关系的示例图；
10.图2为例示将目标物体的三维影像与目标物体的延展实境影像形成关联性的示例程序的流程图；
11.图3为例示将目标物体的三维影像与医学扫描影像(包括该目标物体)形成关联性的示例程序的流程图；
12.图4a和图4b例示基于医学扫描影像的示例处理影像；
13.图5为例示在该目标物体的延展实境影像上，增强由有关目标物体的医学扫描所
获得信息的示例程序的流程图；及
14.图6为例示随着当手术工具到达该目标物体的表面下区域时该目标物体的移位，获得有关目标物体的延展实境影像的示例程序的流程图，其所有是根据本发明的一些具体实施例进行配置。
具体实施方式
15.在下列实施方式中，参考了形成其一部分的附图。除非另有所指，否则在多个附图中，相同编号通常表示类似部件。在实施方式、附图、及权利要求范围中，所说明的多个例示性具体实施例并非意指为限制性。在不悖离在此所描述目标的精神或范畴的情况下，可利用其他具体实施例，并可进行其他变更。将容易了解，本发明的多个态样(例如，于本说明书通常所说明并在所述图示中所例示)是可广泛多种不同组态进行配置、替换、组合、和设计，其所有属于本说明书明确的设想。
16.在整个下列各段落中，“延展实境(extended reality，xr)”通常指组合虚拟与实体实境的环境，其中该“x”代表用于任何目前或未来空间运算技术的变量。在一些具体实施例中，延展实境是用于组合虚拟与实体实境的所有环境的涵盖性用语。举例来说，延展实境包括增强、虚拟、和混合实境。“延展实境影像(etended reality image)”广义上指内含有关虚拟与实体实境两者的信息的影像。“穿戴式装置(wearable)”、“穿戴式装置技术(wearable technology)”、和“穿戴式装置(wearable device)”是可互换用于通常指免持装置，其可作为配件、嵌入衣物中、植入人体中等穿戴在人身上。此装置通常可侦测、搜集、分析、及/或通讯有关该穿戴者的信息，例如生命体征、移动数据、及/或周围环境数据。穿戴式装置的范例可包括但不限于头戴装置、智能型眼镜等。三维(three-dimensional，3d)模型广义上指由各种几何实体(例如，三角形、直线、弯曲表面等)所连接的3d空间中的点集合。
17.图1为显示当对病患进行手术时，可能遇到的数个点之中的各空间关系的示例图，其根据本发明的一些具体实施例进行配置。在图1中，手术途径110可包括安全点120、手术前点130、进入点140、瞬时点150、和目标点160。安全点120可供机械臂进行操作，以移动或旋转而不会对病患造成任何伤害的点。手术前点130可对应于该机械臂(构造成进行该手术但尚未与该病患实体接触)的定位和角度的点。进入点140可为该机械臂沿着手术途径110首次与该病患接触的点。目标点160可为有关该手术的目标组织或目标器官的点。瞬时点150可介于进入点140与目标点160之间的点。
18.图2为例示将目标物体的三维影像与目标物体的延展实境影像关联在一起的示例程序200的流程图，其根据本发明的一些具体实施例进行配置。程序200可包括一个或多个操作、功能、或动作，如由步骤210、220、230、240、250、260、及/或270所例示，其可由硬件、软件、及/或韧体所执行。所述多个步骤不旨在限于所述具体实施例。所述的步骤和操作仅提供为范例，且所述步骤和操作中的一些可视需要而定、组合为较少步骤和操作、或扩展为附加步骤和操作，而未减损公开具体实施例的本质。尽管所述区块是以序列顺序进行例示，但这些步骤也可平行、及/或采用不同于本说明书所说明的顺序进行。
19.程序200可从步骤210”获得目标物体的三维(3d)影像”开始。在一些具体实施例中，仅为了例示，该目标物体可为病患的组织、器官、器官系统的一部分。所述三维影像中一
者可对应于由三维摄影机(例如，具深度传感器的摄影机)所拍摄的影像，或由二维摄影机所拍摄的一组影像。所述三维影像的另一者可能也对应于由另外来源(诸如，医学扫描装置(例如，超音波扫描机、计算机化断层摄影(computerized tomography，ct)扫描机、磁振造影(magnetic resonance imaging，mri)装置等))所获得的影像。在一些具体实施例中，所述三维影像任一者可对应于该病患的组织、器官、器官系统的表面解剖信息。在一些具体实施例中，该(等)摄影机可构造成拍摄该病患头部的影像，以撷取该病患的头部外观和各轮廓(例如，眼睛、耳朵、鼻尖、鼻孔、耳垂等)。该三维摄影机或所述二维摄影机可耦接到对该病患进行该手术的外科医师的穿戴式装置。或者，该三维摄影机或所述二维摄影机可耦接到由机械臂所控制的内视镜或手术工具。
20.应注意，这些3d影像将视为包括实体实境信息，其由该实体实境中的各装置(例如，3d摄影机、2d摄影机、医学扫描装置等)所撷取。
21.步骤210可接着步骤220“从3d影像识别第一组3d特征点”。在一些具体实施例中，可采用人工智能引擎从步骤210中所获得的该3d影像识别第一组3d特征点。该人工智能引擎可基于各边缘、各对比度、各形状以识别该第一组3d特征点。在一些替代性具体实施例中，该第一组3d特征点可由外科医师透过穿戴式装置进行识别。
22.步骤220可接着步骤230“基于第一组3d特征点识别解剖点”。在一些具体实施例中，该第一组3d特征点是在步骤210中所获得的该3d影像上进行显示或标示，以识别对应于该第一组3d特征点的病患的解剖点。举例来说，通过在病患的3d脸部影像上显示或标示该第一组3d特征点，可识别对应于该第一组3d特征点的该病患的解剖点(例如，眼睛、耳朵、鼻尖、鼻孔、和耳垂)。或者，通过在该病患的3d内视镜影像上显示或标示该第一组3d特征点，可能识别对应于该第一组3d特征点的该病患的解剖点(例如，器官的血管)。在步骤230中，亦可识别该病患(包括所述解剖点)的一个或多个组织、一个或多个器官、和一个或多个器官系统。
23.步骤230可接着步骤240”获得有关解剖点的延展实境影像”。在一些具体实施例中，基于所识别的病患(包括所述解剖点)的一个或多个组织、一个或多个器官、或者一个或多个器官系统，可能获得有关该病患的所述一个或多个组织、一个或多个器官、或一个或多个器官系统的延展实境影像。举例来说，此延展实境影像可为即将显示在穿戴式装置(例如，头戴装置、智能型眼镜等)中的该病患头部的表面的xr影像。在各替代性具体实施例中，此延展实境影像可为即将显示在该穿戴式装置中的该病患色器官(例如，肝脏或大脑)表面的xr影像。这些xr影像包括在该实体实境中所撷取的信息(例如，该病患头部的一个或多个影像、该病患器官的一个或多个影像等)，及该虚拟现实中的该所显现影像。
24.步骤240可接着步骤250“从延展实境影像选择第二组3d特征点”。在一些具体实施例中，基于所述所识别的解剖点，第二组3d特征点是从步骤240中所获得的该延展实境影像进行选择。该第二组3d特征点可对应于所述所识别的解剖点。
25.步骤250可接着步骤260“在第一组3d特征点与第二组3d特征点之间进行影像匹配”。在一些具体实施例中，将该第一组3d特征点与该第二组3d特征点进行匹配，以判定对位该第一组3d特征点和该第二组3d特征点的关系，有时迭代进行以将所述两组3d特征点之间的所述差异降至最低限度。该影像匹配可基于一些影像比较方法，例如迭代最近点(iterative closest point，icp)。基于该所判定的对位该第一组3d特征点和该第二组3d
特征点的关系，该目标物体的该三维影像是有关该目标物体的该延展实境影像。在一些具体实施例中，例如在直角坐标系统中，该所判定的关系可包括但不限于沿着x轴的第一移位；沿着y轴的第二移位；沿着z轴的第三移位；沿着x轴的第一旋转角度；沿着y轴的第二旋转角度；及沿着z轴的第三旋转角度。在各种坐标系统中，该所判定的关系可能不同。
26.步骤260可接着步骤270“将3d影像迭加在延展实境影像上”。在一些具体实施例中，基于在步骤260中所判定的对位该第一组3d特征点和该第二组3d特征点的该关系，目标物体的三维影像是有关目标物体的延展实境影像。因此，在步骤210所获得的目标物体的三维影像可迭加在有关在步骤240中所获得的解剖点的延展实境影像上，以在步骤240所获得的延展实境影像上增强在步骤210所获得的附加信息。
27.图3为例示将目标物体的三维影像与医学扫描影像(包括该目标物体)形成关联性的示例程序300的流程图，其根据本发明的一些具体实施例进行配置。程序300可包括一各或多个操作、功能、或动作，如由步骤310、320、330、340、350、360、及/或370所例示，其可由硬件、软件、及/或韧体所进行。在一些具体实施例中，结合图1，可随着手术工具到达进入点140进行程序300。各个步骤是不旨在限于所述所说明具体实施例。所概述的步骤和操作仅提供示例，且所述步骤和操作中的一些可视需要而定、组合为较少步骤和操作、或扩展为附加步骤和操作，而未减损所公开具体实施例的该本质。尽管所述步骤是以序列例示，但这些步骤也可平行、及/或采用不同于本说明书所说明的顺序进行。
28.程序300可从步骤310“获得有关目标物体的三维(3d)影像”开始。在一些具体实施例中，仅为了例示，该目标物体可为病患的组织、器官、器官系统的一部分。该三维影像可包括由三维摄影机(例如，一具深度传感器的摄影机)所拍摄的影像；或者，一组由二维摄影机所拍摄的影像。在一些具体实施例中，该三维影像可对应于病患的组织、器官、器官系统的表面解剖信息。在一些具体实施例中，该(等)摄影机可构造成拍摄病患头部的影像，以撷取该病患的头部外观和各轮廓(例如，眼睛、耳朵、鼻尖、鼻孔、耳垂等)。该三维摄影机或所述二维摄影机可固定在对病患进行手术的外科医师的穿戴式装置处。或者，该三维摄影机或所述二维摄影机可固定在由机械臂所控制的内视镜或手术工具处。
29.步骤310可接着步骤320“基于医学扫描建构3d模型”。手术前，可使用一些医学扫描撷取病患状态的快照，使可制定手术计划。该手术计划可包括经规划手术途径，如前所阐述。举例来说，该外科医师可命令医学扫描(例如，ct或mri)，以获得包括目标物体(例如，病患的一或多个组织或器官)的医学扫描影像。此医学扫描可在手术之前几天(例如，3至5天)进行。有关该目标物体的三维模型，可基于使用一些已知方法从该医学扫描数据所获得的影像的信息进行建构。
30.图4a和图4b例示基于根据本发明的一些具体实施例进行配置的医学扫描影像的所处理影像。结合图4a和图4b，步骤320可接着步骤330“由医学扫描所获得的程序信息”，其是根据本发明的一些具体实施例。在步骤310所获得的所述3d影像是仅有关该目标物体的表面信息，但并未有关该目标物体的表面下信息。然而，由医学扫描所获得的影像通常是有关该表面和该表面下信息的两者。进行图像处理，以从所述医学扫描移除该表面下信息。
31.在图4a中，在一些具体实施例中，假设手术目标是在病患头部里面，则二进制影像410可从原始mri影像(沿着从病患的头部到脚趾的轴线方向)所衍生出。区域411是病患的头骨，且在原始mri影像中通常是以白色代表。区域411的外周部412可指该病患的皮肤，其
是有关目标物体(即是，病患头部)的表面信息。采用设定临界值方法，可建立包括在该头骨外面(全黑)外物的区域413和在该头骨里面区域415的影像410。影像410可进一步进行处理，以形成影像420。在影像420中，将区域413指定灰阶以区分黑色和白色，以形成区域423。
32.在图4b中，影像420可进一步进行处理，以形成影像430。在影像430中，将区域413的灰阶以外的各区域指定为黑色，以形成区域431。然后，可将影像430中的区域423指定为白色，以形成影像440。因此，沿着周部441的各点可对应于有关该目标物体的表面信息的病患的皮肤。因此，沿着周部441的各点不包括由所述医学扫描所获得的表面下信息。
33.步骤330可接着步骤340“从3d影像选择第一组3d特征点”。在一些具体实施例中，可采用人工智能引擎从在步骤310所获得的3d影像选择第一组3d特征点。人工智能引擎可基于各边缘、各对比度、各形状选择第一组3d特征点。在一些具体实施例中，第一组3d特征点可对应于解剖特征点，例如器官的血管分布或组织纹理。
34.步骤340可接着步骤350“从所处理信息选择第二组3d特征点”。在一些具体实施例中，可采用人工智能引擎从在步骤330中由所处理的医学扫描所获得的信息选择第二组3d特征点。该人工智能引擎可基于各边缘、各对比度、各形状选择第二组3d特征点。在一些具体实施例中，第二组3d特征点可对应于相同解剖特征点(对应于在步骤340中所选择的第一组3d特征点)。
35.步骤350可接着步骤360“在第一组3d特征点与第二组3d特征点之间进行影像匹配”。在一些具体实施例中，将第一组3d特征点与第二组3d特征点进行匹配，以判定对位第一组3d特征点和第二组3d特征点的关系，有时进行迭代以将所述两组3d特征点之间的差异降至最低限度。该影像匹配可基于一些影像比较方法，例如迭代最近点(icp)。基于该所判定的对位第一组3d特征点和第二组3d特征点的关系，有关该目标物体的三维影像是有关该目标物体的所处理影像(例如，影像440)。在一些具体实施例中，例如在笛卡尔(cartesian)坐标系统中，所判定的关系可包括但不限于沿着x轴的第一移位；沿着y轴的第二移位；沿着z轴的第三移位；沿着x轴的第一旋转角度；沿着y轴的第二旋转角度；及沿着z轴的第三旋转角度。在各种坐标系统中，该所判定的关系可能不同。
36.步骤360可接着步骤370“将3d模型与所匹配表面进行匹配”。在一些具体实施例中，基于在步骤360中所判定的对位第一组3d特征点和第二组3d特征点的关系，将第一表面(有关在步骤310中所获得的目标物体)与第二表面(有关在步骤320中基于所述医学扫描所建构的3d模型)进行匹配。3d模型的数个点可界定出该第二表面。因此，基于如前所阐述的所判定的关系，可将在步骤320中所建构的3d模型旋转及/或移位，以将由3d模型的数个点所界定出的表面与第二表面进行匹配。
37.图5为例示在该目标物体的延展实境影像上，增强由有关目标物体的医学扫描所获得的信息的示例程序的流程图，其根据本发明的一些具体实施例进行配置。程序500可包括一个或多个操作、功能、或动作，如由步骤510、520、及/或530所例示，其可由硬件、软件、及/或韧体所进行。所述各种步骤是不旨在限于所述所说明具体实施例。所概述的步骤和操作仅提供为范例，且所述步骤和操作的一些可视需要而定、组合为较少步骤和操作、或扩展为附加步骤和操作，而未减损公开的具体实施例的本质。尽管所述步骤是以序列顺序进行例示，但这些步骤可能平行、及/或采用不同于本说明书所说明的顺序进行。
38.程序500可从步骤510“将三维(3d)影像迭加在第一延展实境影像上”开始。在一些
具体实施例中，结合图2，步骤510可对应于步骤270。举例来说，在步骤510，在步骤210中所获得的目标物体的三维影像可迭加在有关在步骤240中所获得的解剖点的第一延展实境影像上，以在步骤210中所获得的第一延展实境影像上增强在步骤240中所获得的附加信息。
39.步骤510可接着步骤520“基于所匹配3d模型获得第二延展实境影像”。在一些具体实施例中，结合图3，步骤370可接着步骤520。举例来说，在步骤520，此第二延展实境影像可基于在步骤370中所匹配的3d模型所获得。此第二延展实境影像可包括病患头部的一个或多个表面与表面下(例如，组织或器官)xr影像，其是即将显示在穿戴式装置(例如，头戴装置、智能型眼镜等)中。在各替代性具体实施例中，此第二延展实境影像可包括病患的组织(例如，血管)或器官(例如，肝脏或大脑)的一个或多个表面与表面下xr影像，其是即将显示在该穿戴式装置中。这些xr影像包括在实体实境中所撷取的信息(例如，病患的医学扫描影像)，以及虚拟现实中的所显现影像。
40.步骤520可接着步骤530“将第二延展实境影像迭加在第一延展实境影像上”。在一些具体实施例中，因为第二延展实境影像是基于在步骤370中所匹配的3d模型所获得，使得第二延展实境影像的表面影像是将与该第一表面(有关在步骤310中所获得的目标物体)(其亦为在步骤210中所获得的目标物体的三维影像的一部分)进行匹配。在从在步骤210中所获得的目标物体的三维影像识别第一表面之后，第二延展实境影像可基于第一表面迭加在第一延展实境影像上。因为第二延展实境影像是从步骤370中的3d模型(其也是基于步骤320中的医学扫描所建构)所获得，如前所讨论，由所述医学扫描所获得的信息(包括表面下信息)可在该目标物体的第一延展实境影像上进行增强。
41.图6为例示随着当手术工具到达目标物体的表面下区域时该目标物体的移位，以获得有关目标物体的延展实境影像的示例程序的流程图，其根据本发明的一些具体实施例进行配置。程序600可包括一个或多个操作、功能、或动作，如由步骤610、620、630、及/或640所例示，其可由硬件、软件、及/或韧体所进行。在一些具体实施例中，结合图1，随着手术工具经过进入点140并到达瞬时点150可进行程序600。在一些具体实施例中，结合图5，可在步骤530之后进行程序600。所述各步骤不希望仅限于所述的具体实施例。所概述的步骤和操作仅提供为范例，且所述步骤和操作中的一些可视需要而定、组合为较少步骤和操作、或扩展为附加步骤和操作，而未减损公开的具体实施例的该本质。尽管所述步骤是以顺序进行例示，但这些步骤也可平行、及/或采用不同于本说明书所说明的顺序进行。
42.程序600可从步骤610“获得第三延展实境影像”开始。在一些具体实施例中，第三延展实境影像可对应于有关目标物体的表面下区域(例如，图1中的瞬时点150)的影像，以仿真当手术工具到达目标物体的表面下区域时的视野。该手术工具可附接到手术室(其具有与病患的各已知空间关系)中的机械臂。在一些具体实施例中，结合图5，在步骤530之后，第二延展实境影像是已迭加在第一延展实境影像上。因此，在步骤610中，第三延展实境影像可基于第二延展实境影像和所述已知空间关系所获得。
43.步骤610可接着步骤620“获得有关表面下区域的三维(3d)影像”。在一些具体实施例中，有关该表面下区域的3d影像可由当手术工具实体上到达表面下区域时，附接在手术工具上的摄影机或超音波传感器所获得。
44.步骤620可接着步骤630“计算第三延展实境影像与3d影像之间的偏差”。在一些具体实施例中，在步骤610中所获得的第三延展实境影像与在步骤620中所获得的三维影像之
间的偏差，是通过任何技术可行方法进行计算。该偏差可能由手术工具的侵入所造成。举例来说，大脑包括非常柔软的组织。这些组织随着异物(例如，该手术工具)的侵入而容易从其原始位置移位。
45.步骤630可接着步骤640“获得第四延展实境影像”。在一些具体实施例中，在步骤610中所获得的第三延展实境影像可通过补偿在步骤630中所计算出的偏差而进行更新，以获得第四延展实境影像。因此，第四延展实境影像可对应于有关表面下区域的影像，以仿真当手术工具实体上到达目标物体的表面下区域时的视野。因此，该第四延展实境影像可包括由所述医学扫描所获得的信息，并可促成外科医师进行手术，以响应有关一个或多个组织或一个或多个器官的移位。
46.在一些具体实施例中，方法200、300、500、和600可采用有线或无线方式连接到穿戴式装置(例如，hololens)的计算机所进行。该计算机可提供在穿戴式装置上提供实境体验(例如，影像)的延展实境平台。该穿戴式装置的构造如以上在图2、图3、图5、和图6中所阐述显示延展实境影像。
47.所述以上范例系可由硬件(包括硬件逻辑电路)、软件、或韧体、或其组合所实行。所述以上范例可由任何合适的运算装置、计算机系统、穿戴式装置等所实行。该运算装置可包括处理器、内存、和实体网络适配器(nic)，其可能经由通讯总线等彼此通讯。该运算装置可包括非暂时性计算机可读取媒体，其具有储存在其上随着由该处理器执行的各指令或程序代码，使该处理器执行本说明书参考图2、图3、图5、和图6所说明的各程序。举例来说，运算装置可通讯穿戴式及/或一个或多个传感器。
48.以上所简介的所述技术是可在专用硬联机电路中、在结合可编程电路的软件及/或韧体中、或在其组合中实行。专用硬联机电路可以例如一个或多个专用集成电路(application-specific integrated circuit，asic)、可编程逻辑设备(programmable logic device，pld)、场可程序门阵列(field-programmable gate array，fpga)等形式。该术语“处理器(processor)”在广义上解释成包括处理单元、asic、逻辑单元、或可编程门阵列等。
49.本说明书所揭示的具体实施例的一些态样，(全部或部分)是可在集成电路中等效实行为在一台或多台计算机上执行的一个或多个计算机程序(例如，作为在一或多个运算系统上执行的一个或多个程序)、在一个或多个处理器上执行的一个或多个程序(例如，作为在一个或多个微处理器上执行的一个或多个程序)、韧体、或几乎其任何组合，并可根据此揭示内容针对该软件和或韧体设计该电路及/或编写该代码。
50.实行在此简介的所述技术的软件及/或其他指令，可储存在非暂时性计算机可读取储存媒体上，并可由一个或多个通用或专用可编程微处理器所执行。如本说明书所使用的用语，“计算机可读取储存媒体(computer-readable storage medium)”包括以可由机器(例如，计算机、网络装置、个人数字助理(personal digital assistant，pda)、行动装置、制造工具、具有一组或多个处理器的任何装置等)存取的形式提供(即是，储存及/或传输)信息的任何机构。计算机可读取储存媒体可包括可记录式/不可记录式媒体(例如，只读存储器(read-only memory，rom)、随机存取内存(random access memory，ram)、磁盘、或光学储存媒体、闪存装置等)。
51.从前述内容，将了解本发明的各种具体实施例是为了例示性的目的而在本说明书
进行说明，并可能在不悖离本发明的范畴与精神的情况下进行各种修饰。因此，本说明书所揭示的各种具体实施例不旨在进行限制。