术中三维点云生成方法、装置和术中局部结构导航方法与流程

1.本发明涉及一种术中三维点云生成方法、装置和一种术中局部结构导航方法，属于手术导航领域。


背景技术：

2.随着内窥镜技术及手术机器人技术的不断发展，手术导航在微创外科手术中越来越普及。精准的手术导航在复杂的微创外科手术中可以明显改善医生术中组织识别能力，优化手术方案，减少手术创伤。由于术前ct或mri影像与术中内窥镜影像的匹配问题，柔性组织的匹配难度很高。因此，目前临床使用的手术导航系统主要应用于神经外科、骨科等组织刚性强的相关手术中，而少见用于肝胆外科、泌尿外科等柔性组织的手术。
3.为了改善柔性组织术中导航的效果，目前逐渐发展出了术前三维重建模型图像与术中组织三维重建图像配准的技术，在手术初期，组织与模型的匹配度较高时有一定的效果，可以将组织内部病灶在目标组织中的位置显示出来。但在术中，组织被切割或摆动后，组织与模型差异较大，导航误差变大。


技术实现要素：

4.为了克服现有技术的不足，本发明提供一种术中三维点云生成方法和装置，并提供一种术中局部结构导航方法。
5.本发明解决其技术问题所采用的技术方案是：第一方面，本技术提供一种术中三维点云生成方法，包括以下步骤：获取白光图像和在预设激光强度照射下的荧光图像；所述白光图像和所述荧光图像由荧光内窥镜采集而得；从所述白光图像中识别出生理组织的二维像素点；从所述荧光图像中识别出荧光点；所述荧光点为在生理组织上预先点出荧光凝胶的位置在所述荧光图像上的成像；根据所述荧光点在所述荧光图像中的亮度计算所述荧光凝胶的物距；根据所述荧光点在所述二维像素点中的对应位置和所述荧光凝胶的物距，匹配得出至少部分所述二维像素点的三维点云。
6.其中，物距是指荧光凝胶到内窥镜镜头的距离。在特定条件下，荧光图像中，荧光凝胶成像得到的荧光点的亮度只与物距有关。特定条件是指，激光强度一定、荧光凝胶的厚度一定、荧光凝胶中荧光染料的浓度一定。对于光圈可调的荧光内窥镜，还要求光圈一定。
7.本技术提供的术中三维点云生成方法无需利用3d镜头就能生成三维点云，荧光凝胶可随柔性组织移动，能方便地更新柔性组织的位置和形态。
8.进一步地，所述根据所述荧光点在所述荧光图像中的亮度计算所述荧光凝胶的物距的步骤包括：根据所述荧光点在所述荧光图像中的亮度和预制的亮度-物距关系计算所述荧光
凝胶的物距；预制所述亮度-物距关系的步骤包括：在一平面上点出具有预设厚度且含有预设浓度荧光染料的标准凝胶；用荧光内窥镜在不同物距下拍摄同一预设激光强度照射下的所述标准凝胶得到多个标准图像；从所述标准图像中识别出标准荧光点；获取所述标准荧光点的标准亮度；关联所述标准亮度与所述物距得到所述亮度-物距关系。
9.点出标准凝胶的平面可以是载波板，用荧光内窥镜在不同物距下拍摄同一预设激光强度照射下的所述标准凝胶时，不同物距的间隔越小，即物距取得越密集，后续得到的亮度-物距关系更加准确。
10.进一步地，所述亮度-物距关系为记录有与所述标准亮度对应的所述物距的数据库，具体可以是亮度与物距对照的表格，调用亮度-物距关系时，直接查找数据库，读取与荧光亮度对应的距离。
11.所述关联所述标准亮度与所述物距得到所述亮度-物距关系的步骤包括：拟合出有关物距的亮度函数。
12.亮度-物距关系为拟合函数的情况下，更便于测量未记录到亮度与物距关系的中间值，可以减少事前以不同物距拍摄标准凝胶时不同物距的取值间隔。
13.优选地，所述有关物距的亮度函数为多项式函数。
14.第二方面，本技术提供一种术中局部结构导航方法，包括以下步骤：根据术前ct（电子计算机断层扫描）结果或mri（核磁共振成像）结果对目标组织进行三维重建，得到三维模型；按照第一方面所述的术中三维点云生成方法得到三维点云；将所述三维点云与所述三维模型进行点云配准根据配准结果改变所述三维模型的形态。
15.本技术提供的术中局部结构导航方法计算2d图像中单点荧光与相机之间的距离（即物距），求得了深度，实现不用3d摄像头、不用外置红外内窥镜跟踪就可以为任意目标生成三维点云，弥补了当前内窥镜的术中导航组织柔性形变匹配差，术中导航难以实时的问题，对于肝胆外科等柔性组织，可实现术中局部组织的准确实时导航。
16.进一步地，所述目标组织为血管，所述在生理组织上预先点出荧光凝胶的位置包括：（1）、血管分叉点处；（2）、血管弯曲形成夹角小于120
°
的夹角处；（3）、血管上特定相邻荧光凝胶的中间，所述特定相邻荧光凝胶为血管上已存在的且间距大于50mm的相邻荧光凝胶。
17.选择这些位置能以较少的荧光凝胶反映血管的结构和形态，在血管的位置发生变化后仍能准确地与三维模型配准，有利于减少术中导航的数据量。
18.优选地，所述将所述三维点云与所述三维模型进行点云配准时，采用icp配准算法直接进行配准。
19.优选地，所述将所述三维点云与所述三维模型进行点云配准时，先采用刚性配准方法进行粗配准，再使用icp方法进行细配准。
20.第三方面，本技术提供一种术中三维点云生成装置，配合荧光内窥镜使用，包括：获取模块，用于获取白光图像和在预设激光强度照射下的荧光图像；组织识别模块，用于从所述白光图像中识别出生理组织的二维像素点；荧光点识别模块，用于从所述荧光图像中识别出荧光点；所述荧光点为在生理组织上预先点出荧光凝胶的位置在所述荧光图像上的成像；深度计算模块，用于根据所述荧光点在所述荧光图像中的亮度计算所述荧光凝胶的物距；匹配模块，用于根据所述荧光点在所述二维像素点中的对应位置和所述荧光凝胶的物距，匹配得出至少部分所述二维像素点的三维点云。
21.该装置可整合于荧光内窥镜的图像处理单元中，只增加计算，无需增设光学测距硬件，能为使用荧光内窥镜实施术中导航提供条件。
22.本发明的有益效果是：本发明的术中三维点云生成方法无需借助3d镜头，只用普通荧光内窥镜就能生成针对生理组织的三维点云，本发明的术中局部结构导航方法对普通2d荧光内窥镜都适用，计算量小，抗干扰能力强，荧光凝胶可随柔性组织移动，能方便地更新柔性组织的位置和形态，弥补了当前内窥镜的术中导航组织柔性形变匹配差，术中导航难以实时的问题，对于肝胆外科等柔性组织，可实现术中局部组织的准确实时导航。
23.本技术的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术了解。本技术的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
附图说明
24.图1是本技术实施例提供的一种术中三维点云生成方法的流程图。
25.图2是本技术实施例提供的一种术中局部结构导航方法的流程图。
26.图3是血管的三维形态图。
具体实施方式
27.下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
28.下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。
29.目前术中导航的方案有：手动融合方案、基于规划路径的匹配方案、影像配准方案。
30.其中，通用影像配准方案细分有两种：
第一种，提取内窥镜组织影像2d轮廓，与三维模型投影的2d轮廓做配准。
31.第二种，利用双目内窥镜来生成目标组织三维点云，与三维模型的点云来配准。
32.第二种方案用到的内窥镜体积大、硬件成本高，数据量大。第一种方案数据量比第二种方案少，但提取得到的轮廓仍需要用较多像素点来表示，在配准时要配准多个像素，数据量仍然较大，且在柔性组织被摆动、切割后，提取得到的轮廓与三维模型的投影相差较大，难以继续准确导航。
33.针对上述问题，本发明在目标组织的主要拓扑结构上点胶特制的荧光凝胶，利用荧光内窥镜在特定条件下的测距功能，获取荧光凝胶的在白光图像中的相对位置，利用荧光图像获取深度信息，然后与通过图像处理分割出的目标组织进行匹配，得到目标组织三维点云，三维点云与术前重建的三维模型配准融合，实现术中的局部结构导航。该方法对任意2d荧光内窥镜适用，且计算量小，抗干扰能力强，十分适用于术中局部结构导航。
34.参照图1，本发明提供一种术中三维点云生成方法，包括以下步骤：s11：获取白光图像和在预设激光强度照射下的荧光图像。其中，白光图像和荧光图像由荧光内窥镜采集而得。荧光内窥镜会采集到荧光图像和白光图像，其中荧光图像经过滤光，只采集到荧光光波。显示器所显示的图像为荧光图像与白光图像融合后的图像。
35.s12：从白光图像中识别出生理组织的二维像素点。具体是通过深度学习的方法，将对应生理组织像素从内窥镜白光图中分割出，得到生理组织的实际二维组织结构信息，相当于从白光图像中截取出包含目标组织的像素。例如采用unet对目标组织图像进行预训练得到网络模型，在术中时，利用训练好的模型实时推理出目标组织所在像素，并将该像素提取出。
36.s13：从荧光图像中识别出荧光点。荧光点为在生理组织上预先点出荧光凝胶的位置在荧光图像上的成像。识别出荧光点的方法有多种，例如大津法。该荧光凝胶在术中能够附着在血管上，随血管一并移动，在术后一定时间内可被组织吸收。
37.s14：根据荧光点在荧光图像中的亮度计算荧光凝胶的物距。即求出荧光凝胶到内窥镜镜头的距离，反映图像的深度。
38.s15：根据荧光点在二维像素点中的对应位置和荧光凝胶的物距，匹配得出至少部分二维像素点的三维点云。例如，可通过b样条插值的方法匹配。
39.本发明主通过在术中内窥镜图像中对局部血管进行实时跟踪，并与术前三维模型进行融合，可实时反馈局部血管与周围血管、肿瘤等关键组织之间的相对关系。步骤s12中识别出生理组织的原理与现有技术中提取内窥镜组织影像2d轮廓的原理相同，而本技术不止要轮廓，包含目标组织的所有像素都需要。荧光内窥镜的特点是，荧光图像和白光图像拍摄到的物体位置完全相同，只是颜色不同，而预先点出的荧光凝胶是医生点在目标生理组织上的，因此，荧光图像上的荧光点必然就是目标生理组织上的一点，而在特定条件下，荧光点的亮度反映该点的深度，因此根据荧光点在二维像素点中的对应位置即可匹配出所有荧光凝胶的三维点云，相当于目标组织的部分三维点云。此时就可舍弃步骤s12中没有荧光点可对应的二维像素点，在后续与三维模型配准时就可大幅减少数据量。
40.在特定条件下利用荧光点亮度反映该点物距的原理如下：公知的荧光强度定量公式如式（1）。
41.其中，为荧光强度，为荧光量子产率，为吸收光强度。
42.由朗伯-比耳定律可得：比耳定律可得：其中，为摩尔吸光系数，与吸收物质和入射波长相关，为吸收层厚度，c为吸收物质浓度，为入射光强。
43.当物质浓度很低时，有：当物质浓度很低时，有：此时，当固定入射光强时，荧光强度与物质浓度成线性关系。从以上公式可以发现，对于同一种物质制成的厚度相同的材料，如icg（吲哚菁绿）凝胶，当固定入射光强和物质浓度时，其荧光强度是固定的。
44.荧光内窥镜系统中，在同样参数下，获取的荧光图像亮度值主要受荧光强度和相机与发出荧光点的目标位置之间的距离d（即物距）相关，可用以下公式表达：若以“*”统一表示函数的变量，则g(*)的函数表达了荧光强度、相机与目标位置的距离、荧光图像亮度值的转换函数。
45.在icg荧光内窥镜相机中，当激光强度和icg浓度固定时，物质本身属性固定，根据公式（3）可知，荧光强度将会是一个固定值。此时公式（6）可描述为：即此时荧光图像亮度值（）只与相机与目标位置的相对距离相关。
46.因此只要计算出g(*)的反函数，即可以根据荧光图像得到荧光点到相机的距离，公式表达如下：根据相机成像原理，同等环境下，相对距离与荧光图像亮度值接近线性关系，相应的也为近似线性关系，但为了更准确计算出荧光点到相机的距离与荧光图像亮
度值的关系，可以采用拟合逼近的方式，将拟合出，具体方案为：固定激光强度和icg浓度，固定icg点胶厚度，在载玻片上点胶一个icg凝胶，调整相机与凝胶距离，以表示拍摄第一张荧光图像时的距离，以表示拍摄最后一张荧光图像时的距离，在相机距离凝胶范围内，每隔，拍摄一张荧光图像，共得到张荧光图像。固定点胶厚度的方法为，用同一个点胶机和喷嘴，令挤出凝胶的时间相同以保持点胶的厚度相同。尽管如此，凝胶挤出后在一平面上或一弧面上会成半球状或圆台状，中间厚，边缘薄，因此获取亮度时最好取平均值。
47.对上述得到的每张荧光图像，可以通过大津阈值法将点胶位置对应的荧光像素分割出来，并计算荧光像素平均值，作为当前距离下对应的荧光图像像素点亮度。
48.最后，根据每个距离（的取值范围在范围内）所对应的荧光图像像素点亮度，可以通过多项式拟合的方式，得到拟合函数：拟合函数f(*)可视为，越小，得到的亮度-物距关系越准确。
49.参照图2，一种术中局部结构导航方法，包括以下步骤：s0：根据术前ct结果或mri结果对目标组织进行三维重建，得到三维模型。
50.s1：按照本发明的术中三维点云生成方法得到三维点云。
51.s2：将三维点云与三维模型进行点云配准。
52.s3：根据配准结果改变三维模型的形态。
53.由于没有荧光点可对应的二维像素点被舍弃，步骤s2配准时数据量少，配准速度快，能够做到实时导航。另一方面，荧光点的现状和颜色显然与白光图像不同，特异性强，抗干扰能力强，即使柔性组织被摆动或被切开，只要荧光凝胶仍附着，在荧光图像中就依然存在荧光点，仍可继续准确导航。
54.对于较为简单（例如需要荧光凝胶数量10点以下）的组织结构中，步骤s2可以直接采用三维点云跟术前获取的三维模型进行点云配准，完成三维模型与当前图像的融合实现导航。例如，采用icp配准算法直接进行点云配准。
55.对于复杂（例如需要荧光凝胶数量超过10点，如图3可视为复杂结构）的组织结构，步骤s2可以先利用点胶位置与三维模型上标注的点胶位置进行快速粗配准，再采用三维点云信息与完整的三维模型进行细配准，从而提高配准速度和配准精度。例如采用基于点的刚性配准方法，如经典的仿射变换配准方法作为粗配准方案，实现点云之间的大致位置匹配，完成后再利用icp点云配准方法作为细配准方案，实现点云之间的绝对位置匹配。
56.完成三维模型与目标组织的匹配关系计算后，采用常用图像处理方法，通过调整三维模型属性将三维模型在内窥镜图像中的特定位置进行图像融合。在经过荧光点胶后，
对任意术中获取的荧光内窥镜图像，均可以通过上述流程进行术中实时导航。
57.当目标组织为血管时，目标组织细长、柔软，且多分支，比其他生理组织更难以较少的荧光凝胶体现其主要拓扑结构，优选地，参照图3，在生理组织上预先点出荧光凝胶的位置包括：（1）、血管分叉点处，如图3中的a点所指；（2）、血管弯曲形成夹角小于120
°
的夹角顶点处，如图3中的b点所指；（3）、血管上特定相邻荧光凝胶的中间，特定相邻荧光凝胶为血管上已存在的且间距大于50mm的相邻荧光凝胶，如图3的c点所指。需要注意的是，此处所说的“中间”仍在血管上，不能将荧光凝胶点在其他组织上。
58.对于结构简单的普通目标血管，只需要少数几个荧光凝胶就可以根据二维的白光图像生成三维血管点云数据。
59.更优选地，使得相邻点胶距离尽量小于30mm。这样的点胶位置可以在数据量较少的前提下，充分体现出目标血管的结构和形态，在目标血管发生形态变化后，方便追踪血管的形态变化，抗干扰能力强，使得像血管这样复杂、易变形的结构都能实现术中导航。
60.本技术还提供一种术中三维点云生成装置，配合荧光内窥镜使用，包括：获取模块，用于获取白光图像和在预设激光强度照射下的荧光图像；组织识别模块，用于从白光图像中识别出生理组织的二维像素点；荧光点识别模块，用于从荧光图像中识别出荧光点；荧光点为在生理组织上预先点出荧光凝胶的位置在荧光图像上的成像；深度计算模块，用于根据荧光点在荧光图像中的亮度计算荧光凝胶的物距；匹配模块，用于根据荧光点在二维像素点中的对应位置和荧光凝胶的物距，匹配得出至少部分二维像素点的三维点云。
61.该装置可整合于荧光内窥镜的图像处理单元中，只增加计算，无需增设光学测距硬件，能为使用荧光内窥镜实施术中导航提供条件。
62.在本说明书的描述中，参考术语“一个实施方式”“某些实施方式”“示意性实施方式”“示例”“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
63.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。