三维模型和二维图像的融合误差的确定方法及电子设备与流程

1.本技术涉及图像处理技术领域，特别涉及一种三维模型和二维图像的融合误差的确定方法及电子设备。


背景技术：

2.腹腔镜的手术导航中，需要将术前重建的三维模型和腹腔镜视频中的生物组织进行配准，并进行融合显示，从而利用术前重建的血管、病灶标记出视频中实际的血管和病灶位置。
3.相关技术中衡量生物组织的三维模型与腹腔镜视频中生物组织的二维图像的匹配程度，一种方法是基于图像相似度，而基于图像相似度的测量方法无法直接给出两者匹配的实际融合误差，两者匹配的实际融合误差，都是在旋转角度、缩放、平移有精确解的前提下，计算生物组织的三维模型在配准后的相机视角下与精确解的误差。然而在实际的使用中，一般无法给出旋转角度、缩放、平移的精确解，即无法得到最佳旋转角度、缩放、平移参数，导致不能准确计算出生物组织的三维模型与腹腔镜视频中生物组织的二维图像的实际融合误差，因此如何准确计算生物组织的三维模型与腹腔镜视频中生物组织的二维图像的实际融合误差是一个急需解决的问题。


技术实现要素：

4.本技术的目的是提供一种三维模型和二维图像的融合误差的确定方法及电子设备，用以解决现有技术不能准确计算出生物组织的三维模型与腹腔镜视频中生物组织的二维图像的实际融合误差的问题。
5.第一方面，本技术提供一种三维模型和二维图像的融合误差的确定方法，所述方法包括：
6.将所述生物组织的二维图像和三维模型在虚拟相机的视角下使用配准算法进行配准后融合显示；
7.获取二维图像中所述生物组织的第一外轮廓，并获取所述生物组织的三维模型投影到二维平面得到的参考二维图像中所述生物组织的第二外轮廓；
8.确定所述第一外轮廓和所述第二外轮廓之间的像素距离；
9.采用预先确定的单位像素距离和物理距离之间的对应关系，确定所述第一外轮廓和所述第二外轮廓之间的像素距离对应的物理距离作为所述融合误差。
10.在一种可能的实施方式中，所述确定所述第一外轮廓和所述第二外轮廓之间的像素距离，包括：
11.基于所述第一外轮廓和所述第二外轮廓，确定所述第一外轮廓和所述第二外轮廓中用于描述同一位置的像素点对；
12.基于所述像素点对，确定所述第一外轮廓和所述第二外轮廓的平均像素距离误差作为所述第一外轮廓和所述第二外轮廓之间的像素距离。
13.在一种可能的实施方式中，所述基于所述第一外轮廓和所述第二外轮廓，确定所述第一外轮廓和所述第二外轮廓中用于描述同一位置的像素点对，包括：
14.计算所述第一外轮廓和所述第二外轮廓中每个像素点对应的上下文信息；所述上下文信息为所述像素点的邻域结构；
15.计算所述第一外轮廓和所述第二外轮廓中任意两个像素点的花费值；
16.使用匈牙利算法统计出所述第一外轮廓和所述第二外轮廓的总体花费值最低的一组像素点对；其中所述一组像素点对包括多个同一位置的像素点对。
17.在一种可能的实施方式中，所述基于所述像素点对，确定所述第一外轮廓和所述第二外轮廓的平均像素距离误差，包括：
18.在同一坐标系下，确定所述第一外轮廓和所述第二外轮廓中每个像素点的坐标；所述同一坐标系包括x轴坐标和y轴坐标；
19.将所述第一外轮廓和所述第二外轮廓中每个像素点对的x轴上的坐标相减，得到x轴上所有像素点对的像素距离误差；
20.将所述x轴上所有像素点对的像素距离误差除以x轴上像素点对的数量，得到所述x轴上的平均像素距离误差；
21.将所述第一外轮廓和所述第二外轮廓中每个像素点对的y轴上的坐标相减，得到y轴上所有像素点对的像素距离误差；
22.将所述y轴上所有像素点对的像素距离误差除以y轴上像素点对的数量，得到所述y轴上的平均像素距离误差。
23.在一种可能的实施方式中，确定所述单位像素距离和物理距离之间的对应关系，具体包括：
24.在世界坐标系中确定所述生物组织在三维模型中的三维坐标最小值和三维坐标最大值；
25.在所述虚拟相机的同一视角下，将所述三维坐标最小值和三维坐标最大值投影到二维平面，得到所述三维坐标最小值和所述三维坐标最大值对应的二维坐标；
26.基于所述世界坐标系中三维坐标最小值和三维坐标最大值的世界坐标，计算得到三维坐标最小值和三维坐标最大值之间的物理距离；
27.基于所述三维坐标最小值和三维坐标最大值对应的二维坐标，计算得到两个三维坐标最小值和三维坐标最大值对应的二维坐标之间的像素距离；
28.基于所述三维坐标最小值和三维坐标最大值之间的物理距离和所述三维坐标最小值和三维坐标最大值对应的二维坐标之间的像素距离，确定二维坐标系中x轴上的单位像素距离对应的物理距离、以及y轴上的单位像素距离对应的物理距离。
29.在一种可能的实施方式中，所述确定所述第一外轮廓和所述第二外轮廓之间的像素距离对应的物理距离，具体包括：
30.将所述x轴上的平均像素距离误差乘以所述x轴上的单位像素距离对应的物理距离，得到所述第一外轮廓和所述第二外轮廓之间在所述x轴上的像素距离对应的物理距离；
31.将所述y轴上的平均像素距离误差乘以所述y轴上的单位像素距离对应的物理距离，得到所述第一外轮廓和所述第二外轮廓之间在所述y轴上的像素距离对应的物理距离；
32.基于所述第一外轮廓和所述第二外轮廓之间在所述x轴上的像素距离对应的物理
距离和在所述y轴上的像素距离对应的物理距离，得到所述第一外轮廓和所述第二外轮廓之间的像素距离对应的物理距离；
33.将所述第一外轮廓和所述第二外轮廓之间的像素距离对应的物理距离作为所述融合误差。
34.在一种可能的实施方式中，所述获取二维图像中所述生物组织的第一外轮廓，并获取所述生物组织的三维模型投影到二维平面得到的参考二维图像中所述生物组织的第二外轮廓，具体包括：
35.利用人工智能算法，获取二维图像中所述生物组织的第一外轮廓；
36.创建一个视频播放尺寸与所述二维图像播放尺寸一致的虚拟窗口，使用所述虚拟相机在所述虚拟窗口上，将所述生物组织的三维模型在所述虚拟相机的同一视角下，投影到二维平面；
37.获取所述二维平面的二维图像，得到所述参考二维图像；
38.在所述参考二维图像中对所述生物组织进行边缘检测，得到所述生物组织的第二外轮廓。
39.在一种可能的实施方式中，所述确定所述第一外轮廓和所述第二外轮廓之间的像素距离之前，所述方法还包括：
40.利用曲线数据压缩算法，对所述第一外轮廓和所述第二外轮廓进行下采样处理，得到像素点数量相同的第一外轮廓和第二外轮廓。
41.第二方面，本技术提供一种电子设备，包括处理器和存储器：
42.所述存储器，用于存储可被所述处理器执行的计算机程序；
43.所述处理器与所述存储器连接，被配置为执行所述指令以实现如上述第一方面中任一项所述的三维模型和二维图像的融合误差的确定方法。
44.第三方面，本技术提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备执行时，使得所述电子设备能够执行如上述第一方面中任一项所述的三维模型和二维图像的融合误差的确定方法。
45.第四方面，本技术提供一种计算机程序产品，包括计算机程序：
46.所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的三维模型和二维图像的融合误差的确定方法。
47.本技术的实施例提供的技术方案至少带来以下有益效果：
48.本技术实施例会首先确定单位像素距离对应的实际物理距离，然后通过将生物组织的二维图像和三维模型在虚拟相机的视角下使用配准算法进行配准后融合显示；获取二维图像中生物组织的第一外轮廓和生物组织的三维模型投影到二维平面得到的参考二维图像中生物组织的第二外轮廓；确定第一外轮廓和第二外轮廓之间的像素距离；采用预先确定的单位像素距离和物理距离之间的对应关系，确定第一外轮廓和第二外轮廓之间的像素距离对应的物理距离作为融合误差。由此本技术通过预先确定的单位像素距离和物理距离之间的对应关系以及二维图像中生物组织的第一外轮廓和生物组织的三维模型的二维投影图像中生物组织的第二外轮廓，可以较为准确的量化同一生物组织在二维图和三维模型之间的误差，提高生物组织的三维模型与腹腔镜视频中生物组织的二维图像的实际融合误差的准确性，从而能够更加精确地给出三维模型和二维图像的融合误差，能够提升用户
的体验。
49.本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
50.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
51.图1a为本技术实施例提供的腹腔镜视频中生物组织的二维图像的示意图；
52.图1b为本技术实施例提供的术前重建的生物组织的三维模型的示意图；
53.图1c为本技术实施例提供的生物组织的三维模型和二维图像配准后融合显示的融合显示效果图；
54.图2为本技术实施例提供的三维模型和二维图像的融合误差的确定方法的流程示意图；
55.图3a为本技术实施例提供的二维图像中生物组织的第一外轮廓的示意图；
56.图3b为本技术实施例提供的生物组织的三维模型投影到二维平面得到的参考二维图像中生物组织的第二外轮廓的示意图；
57.图3c为本技术实施例提供的二维图像中生物组织的第一外轮廓下采样后的示意图；
58.图3d为本技术实施例提供的参考二维图像中生物组织的第二外轮廓下采样后的示意图；
59.图4为本技术实施例提供的第一外轮廓和第二外轮廓之间的像素距离的确定方法的流程示意图；
60.图5为本技术实施例提供的第一外轮廓和第二外轮廓的总体花费值最低的一组像素点对的示意图；
61.图6为本技术实施例提供的第一外轮廓和第二外轮廓的平均像素距离误差的确定方法的流程示意图；
62.图7为本技术实施例提供的单位像素距离和物理距离之间的对应关系的确定方法的流程示意图；
63.图8为本技术实施例提供的第一外轮廓和第二外轮廓之间的像素距离对应的物理距离的确定方法的流程示意图；
64.图9为本技术实施例提供的电子设备的结构示意图。
具体实施方式
65.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。其中，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员
在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
66.并且，在本技术实施例的描述中，除非另有说明，“/”表示或的意思，例如，a/b可以表示a或b；文本中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况，另外，在本技术实施例的描述中，“多个”是指两个或多于两个。
67.以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、的特征可以明示或者隐含地包括一个或者更多个该特征，在本技术实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
68.腹腔镜的手术导航中，需要将如图1a所示的腹腔镜视频中的生物组织和如图1b所示的术前重建的三维模型进行配准，并进行融合显示(如图1c所示)，从而利用术前重建的血管、病灶标记出视频中实际的血管和病灶位置。在术前重建的三维模型与腹腔镜视频中的生物组织匹配过程中，需要涉及到3d/2d配准。
69.其中，3d/2d匹配二维图像方式是不同维度匹配，需要将腹腔镜视频中的肝脏区域上升到三维，实现3d/3d配准或者将术前三维模型进行降维投影到2d，实现2d/2d配准。在2d/2d配准中，需要将三维模型投影到二维图像，并生成二维轮廓，以及从腹腔镜视频中生物组织的二维图像中分割出生物组织区域，获取生物组织的轮廓，使其分别与术前生物组织的投影轮廓库进行匹配，从轮廓库中选取出最佳匹配的轮廓，进而获取到三维模型的旋转、平移、缩放等参数，从而将三维模型转换到合适位置，实现对视频中血管、病灶的标定。而在3d/3d配准中，因为腹腔镜经常变焦，无法实时获取当前的相机内参，因此无法获得像素点的深度信息，并且生物组织表面非常光滑，没有太明显的标记点，因此本技术中使用的配准方式是2d/2d配准。
70.相关技术中衡量生物组织的三维模型与腹腔镜视频中生物组织的二维图像的匹配程度，主要有两种方法：一种是基于图像相似度，一种是基于边缘信息。其中，基于图像相似度的测量方法无法直接给出两者匹配的实际融合误差，两者匹配的实际融合误差，都是在旋转角度、缩放、平移有精确解的前提下，计算生物组织的三维模型在配准后的相机视角下与精确解的误差。然而在实际的使用中，一般无法给出旋转角度、缩放、平移的精确解，即最佳旋转角度、缩放、平移参数，导致不能准确计算出生物组织的三维模型与腹腔镜视频中生物组织的二维图像的实际融合误差，因此如何准确计算生物组织的三维模型与腹腔镜视频中生物组织的二维图像的实际融合误差是一个急需解决的问题。
71.有鉴于此，本技术提供了一种三维模型和二维图像的融合误差的确定方法及电子设备，用以解决现有技术不能准确计算出生物组织的三维模型与腹腔镜视频中生物组织的二维图像的实际融合误差的问题。
72.本技术的发明构思可概括为：本技术实施例会首先确定单位像素距离对应的实际物理距离，然后通过将生物组织的二维图像和三维模型在虚拟相机的视角下使用配准算法进行配准后融合显示；获取二维图像中生物组织的第一外轮廓和生物组织的三维模型投影到二维平面得到的参考二维图像中生物组织的第二外轮廓；确定第一外轮廓和第二外轮廓之间的像素距离；采用预先确定的单位像素距离和物理距离之间的对应关系，确定第一外轮廓和第二外轮廓之间的像素距离对应的物理距离作为融合误差。由此本技术通过预先确
定的单位像素距离和物理距离之间的对应关系以及二维图像中生物组织的第一外轮廓和生物组织的三维模型的二维投影图像中生物组织的第二外轮廓，可以较为准确的量化同一生物组织在二维图和三维模型之间的误差，提高生物组织的三维模型与腹腔镜视频中生物组织的二维图像的实际融合误差的准确性，从而能够更加精确地给出三维模型和二维图像的融合误差，能够提升用户的体验。
73.需要说明的是，本技术不仅适用于确定三维模型和腹腔镜视频的融合，也适用于生物组织的三维模型和任意二维医学图像的融合误差的计算。本技术实施例中的生物组织例如肝脏、胃、肾脏等内部器官。
74.在介绍完本技术实施例的主要发明思想之后，下面结合附图对本技术实施例提供的三维模型和二维图像的融合误差的确定方法进行介绍。
75.图2为本技术实施例提供的三维模型和二维图像的融合误差的确定方法的流程示意图。如图2所示，该方法包括以下步骤：
76.在步骤201中，将生物组织的二维图像和三维模型在虚拟相机的视角下使用配准算法进行配准后融合显示。
77.具体可以实施为，基于mitk(医学影像交互工具包)的开源软件平台实现本技术实施例提供的三维模型和二维图像的融合误差的确定方法。该方法中首先需要将dicom(digital imaging and communications in medicine，医学数字成像和通信)数据和生物组织的三维模型的数据加载至mitk的开源软件平台中，同时将腹腔镜的手术视频中的生物组织的二维图像渲染到三维窗口中，然后利用2d/3d配准算法将如图1b所示的生物组织的三维模型与如图1a所示的腹腔镜视频中的生物组织的区域配准到一起，进行融合显示,融合显示效果图如图1c所示。
78.在步骤202中，获取二维图像中生物组织的第一外轮廓，并获取生物组织的三维模型投影到二维平面得到的参考二维图像中生物组织的第二外轮廓。
79.在一种可能的实施方式中，本技术实施例中获取二维图像中生物组织的第一外轮廓，并获取生物组织的三维模型投影到二维平面得到的参考二维图像中生物组织的第二外轮廓可以具体实施为：首先利用人工智能算法，获取二维图像中生物组织的第一外轮廓，然后创建一个视频播放尺寸与二维图像播放尺寸一致的虚拟窗口，使用步骤201中的虚拟相机作用在虚拟窗口上，在同一视角下，将生物组织的三维模型投影到二维平面；然后获取二维平面的二维图像，得到参考二维图像；最后在参考二维图像中对生物组织进行边缘检测，得到生物组织的第二外轮廓。
80.其中第一外轮廓为构成生物组织在二维图像中的前沿和后沿的边缘的所有像素点的集合，第二外轮廓为构成生物组织在参考二维图像中的前沿和后沿的边缘的所有像素点的集合。
81.示例性的，生物组织以肝脏为例，首先利用人工智能算法，分割出腹腔镜视频中二维图像中肝脏的第一外轮廓，如图3a所示，第一外轮廓是指肝脏在二维图像中的前沿以及后沿，粗线条为肝脏的后沿，细线条为肝脏的后沿。接下来需要获取肝脏三维模型在步骤201的虚拟相机的相同视角下的投影轮廓，可以通过创建一个视频播放尺寸与腹腔镜视频的播放窗口尺寸一致的虚拟窗口，使用虚拟相机作用在虚拟窗口上，得到肝脏三维模型投影到二维平面后得到的参考二维图像，获取肝脏的投影图像的第二外轮廓，如图3b所示，粗
线条为肝脏的后沿，细线条为肝脏的前沿。由此使用视频播放尺寸与二维图像播放尺寸一致的虚拟窗口，可以保证三维图像投影图像尺寸与视频图像的尺寸一致。
82.在一种可能的实施方式中，为了减少第一外轮廓和第二外轮廓像素点匹配过程中的算法复杂度，加快算法计算时间，本技术实施例中还可以利用曲线数据压缩(douglas
–
peucker)算法，对第一外轮廓和第二外轮廓进行下采样处理，得到像素点数量相同的第一外轮廓和第二外轮廓，如图3c和图3d所示。由此可以减少第一外轮廓和第二外轮廓中像素点的数量，同时可以保证第一外轮廓和第二外轮廓中的像素点可以一一对应。
83.在步骤203中，确定第一外轮廓和第二外轮廓之间的像素距离。
84.在一种可能的实施方式中，本技术中确定第一外轮廓和第二外轮廓之间的像素距离，具体可以实施为如图4所示的步骤：
85.在步骤401中，基于第一外轮廓和第二外轮廓，确定第一外轮廓和第二外轮廓中用于描述同一位置的像素点对。
86.在一种可能的实施方式中，本技术实施例可以使用形状上下文算法(shape context)获取第一外轮廓和第二外轮廓中用于描述同一位置的像素点对，具体可以实施为：首先计算第一外轮廓和第二外轮廓中每个像素点对应的上下文信息；然后计算第一外轮廓和第二外轮廓中任意两个像素点的花费值；最后使用匈牙利算法统计出第一外轮廓和第二外轮廓的总体花费值最低的一组像素点对，如图5所示，白色的像素点为第一外轮廓的像素点，灰色的像素点为第二外轮廓的像素点。其中上下文信息为像素点的邻域结构，一组像素点对包括多个同一位置的像素点对。
87.在步骤402中，基于像素点对，确定第一外轮廓和第二外轮廓的平均像素距离误差作为第一外轮廓和第二外轮廓之间的像素距离。
88.在一种可能的实施方式中，本技术实施例中基于像素点对，确定第一外轮廓和第二外轮廓的平均像素距离误差，具体可以实施为如图6所示的步骤：
89.在步骤601中，在同一坐标系下，确定第一外轮廓和第二外轮廓中每个像素点的坐标；同一坐标系包括x轴坐标和y轴坐标；
90.在步骤602中，将第一外轮廓和第二外轮廓中每个像素点对的x轴上的坐标相减，得到x轴上所有像素点对的像素距离误差；
91.在步骤603中，将x轴上所有像素点对的像素距离误差除以x轴上像素点对的数量，得到x轴上的平均像素距离误差；
92.在步骤604中，将第一外轮廓和第二外轮廓中每个像素点对的y轴上的坐标相减，得到y轴上所有像素点对的像素距离误差；
93.在步骤605中，将y轴上所有像素点对的像素距离误差除以y轴上像素点对的数量，得到y轴上的平均像素距离误差。
94.示例性的，假设第一外轮廓的像素点集合为其中第i个像素点的二维坐标为表示像素点在二维图像坐标系下的x轴上的坐标为在y轴上的坐标为其中坐标原点为虚拟窗口的左上角；m表示第一外轮廓的像素点的数量；与第一外轮廓的像素点集合对应的第二外轮廓的像素点集合为
其中第i个像素点的二维坐标为表示像素点在三维模型投影得到的参考二维图像坐标系下的x轴上的坐标为在y轴上的坐标为因为前文得到的生物组织的二维图像与生物组织的三维模型投影得到的参考二维图像尺寸一致，并且重合，所以第一外轮廓的像素点集合与第二外轮廓的像素点集合在同一坐标系下，均以三维模型的虚拟窗口的左上角为坐标原点。
95.可以使用第一外轮廓的像素点的坐标和第二外轮廓的像素点的坐标计算每一个同一位置的像素点对之间的距离，得到第一外轮廓和第二外轮廓像素点对之间的距离为具体可以实施为，先将x轴上所有像素点对的x轴上坐标的差值相加，得到x轴上的像素距离误差，如然后再除以像素点对的数量m，得到x轴上的平均像素距离误差；同样的，先将y轴上所有像素点对的y轴上坐标的差值相加，得到y轴上的像素距离误差，如然后再除以像素点对的数量m，得到y轴上的平均像素距离误差,最后得到第一外轮廓和第二外轮廓的平均像素距离误差为
96.由此，可以通过第一外轮廓和第二外轮廓每个像素对的坐标计算出第一外轮廓和第二外轮廓的平均像素距离误差，即可以确定第一外轮廓和第二外轮廓之间的像素距离。
97.在步骤204中，采用预先确定的单位像素距离和物理距离之间的对应关系，确定第一外轮廓和第二外轮廓之间的像素距离对应的物理距离作为融合误差。
98.在一种可能的实施方式中，为了得到第一外轮廓和第二外轮廓每个像素点对之间的像素距离对应的物理距离，需要得到虚拟窗口中二维图像中像素点对之间的单位像素距离代表的物理距离，因此本技术实施例中确定单位像素距离和物理距离之间的对应关系，具体可以实施为如图7所示的步骤：
99.在步骤701中，在世界坐标系中确定生物组织在三维模型中的三维坐标最小值和三维坐标最大值；
100.在步骤702中，在虚拟相机的同一视角下，将三维坐标最小值和三维坐标最大值投影到二维平面，得到三维坐标最小值和三维坐标最大值对应的二维坐标；
101.在步骤703中，基于世界坐标系中三维坐标最小值和三维坐标最大值的世界坐标，计算得到三维坐标最小值和三维坐标最大值之间的物理距离；
102.在步骤704中，基于三维坐标最小值和三维坐标最大值对应的二维坐标，计算得到两个三维坐标最小值和三维坐标最大值对应的二维坐标之间的像素距离；
103.在步骤705中，基于三维坐标最小值和三维坐标最大值之间的物理距离和三维坐标最小值和三维坐标最大值对应的二维坐标之间的像素距离，确定二维坐标系中x轴上的单位像素距离对应的物理距离、以及y轴上的单位像素距离对应的物理距离。
104.示例性的，由于本技术中生物组织的三维模型与生物组织的二维图像已经配准并融合显示，因此本技术实施例中借助渲染生物组织的三维模型的vtk(visualization toolkit，视觉化工具函式库)虚拟相机以及vtk坐标变换，将世界坐标系中的生物组织的三维模型中的像素点映射到二维坐标系中，然后找到世界坐标中三维坐标最小值的像素点和
三维坐标最大值的像素点映射到二维坐标系后的坐标。例如可以确定渲染生物组织的三维模型在世界坐标系中的最小包围框，然后可以确定最小包围框中各个像素点的坐标，找出三维坐标最小值的像素点和三维坐标最大值的像素点。假设最小包围框的范围为[min
x
,max
x
,miny,maxy,minz,maxz]，则在世界坐标系中确定生物组织在三维模型中的三维坐标最小值和三维坐标最大值分别为min＝[min
x
,miny,min_z]和max＝[max
x
,maxy,maxz]。在虚拟相机的同一视角下，利用vtk坐标变换，将这两个像素点投影到二维平面，得到三维坐标最小值和三维坐标最大值对应的二维坐标为：
[0105]
和
[0106]
然后首先根据世界坐标系中的生物组织在三维模型中的三维坐标最小值和三维坐标最大值的两个像素点，使用公式(1)计算得到三维坐标最小值和三维坐标最大值之间的物理距离为：
[0107][0108]
再根据三维坐标最小值和三维坐标最大值对应的二维坐标，使用公式(2)计算得到两个三维坐标最小值和三维坐标最大值对应的二维坐标之间的像素距离为：
[0109][0110]
最后根据公式(1)计算得到的三维坐标最小值和三维坐标最大值之间的物理距离和公式(2)计算得到的三维坐标最小值和三维坐标最大值对应的二维坐标之间的像素距离，使用公式(3)计算二维坐标系中x轴上的单位像素距离对应的物理距离、以及使用公式(4)计算y轴上的单位像素距离对应的物理距离：
[0111][0112][0113]
其中，是获取三维坐标最小值的像素点和三维坐标最大值的像素点对应的两个坐标之间的直线距离上单位像素距离对应的实际物理距离，而表示二维坐标下x轴的占比，因此公式(3)就表示二维坐标系中x轴上的单位像素距离对应的物理距离，而表示二维坐标下y轴的占比，因此公式(4)就表示二维坐标系中y轴上的单位像素距离对应的物理距离。
[0114]
由此，可以确定单位像素距离和物理距离之间的对应关系，即得到像素点对之间
的单位像素距离代表的物理距离为：
[0115][0116]
由此，通过渲染生物组织的三维模型在世界坐标系中的最小包围框的两个端点以及坐标转换，可以计算得到虚拟窗口中二维图像中像素点对之间的单位像素距离代表的物理距离。
[0117]
最后，本技术实施例中可以根据图6所示的步骤得到的第一外轮廓和第二外轮廓的平均像素距离误差dist
pixel
和根据图7所示的步骤得到的像素点对之间的单位像素距离代表的物理距离pixel
spacing
，确定第一外轮廓和第二外轮廓之间的像素距离对应的物理距离，具体可以实施为如图8所示的步骤：
[0118]
在步骤801中，将x轴上的平均像素距离误差乘以x轴上的单位像素距离对应的物理距离，得到第一外轮廓和第二外轮廓之间在x轴上的像素距离对应的物理距离；
[0119]
在步骤802中，将y轴上的平均像素距离误差乘以y轴上的单位像素距离对应的物理距离，得到第一外轮廓和第二外轮廓之间在y轴上的像素距离对应的物理距离；
[0120]
在步骤803中，基于第一外轮廓和第二外轮廓之间在x轴上的像素距离对应的物理距离和在y轴上的像素距离对应的物理距离，得到第一外轮廓和第二外轮廓之间的像素距离对应的物理距离；
[0121]
在步骤804中，将第一外轮廓和第二外轮廓之间的像素距离对应的物理距离作为融合误差。
[0122]
示例性的，根据图6所示的步骤得到的第一外轮廓和第二外轮廓的平均像素距离误差dist
pixel
和根据图7所示的步骤得到的像素点对之间的单位像素距离代表的物理距离pixel
spacing
,根据公式(5)计算出第一外轮廓和第二外轮廓之间的像素距离对应的物理距离，最后将计算得到的第一外轮廓和第二外轮廓之间的像素距离对应的物理距离作为融合误差。
[0123][0124]
其中，dist
pixel
[0]表示x轴上的平均像素距离误差，而dist
pixel
[1]表示y轴上的平均像素距离误差，即即
[0125]
由此，通过计算二维图像中生物组织的第一外轮廓和生物组织的三维模型投影到二维平面得到的参考二维图像中生物组织的第二外轮廓的所有像素点对的平均像素距离误差，以及世界坐标系中像素点对之间的单位像素距离代表的物理距离，从而计算出第一外轮廓和第二外轮廓之间的像素距离对应的物理距离，在二维图像上给出视觉上的配准精度基础上，能够非常直接的给出三维模型和二维图像的融合误差，能够提升用户的体验。
[0126]
基于前文的描述，本技术实施例会首先确定单位像素距离对应的实际物理距离，然后通过将生物组织的二维图像和三维模型在虚拟相机的视角下使用配准算法进行配准后融合显示；获取二维图像中生物组织的第一外轮廓和生物组织的三维模型投影到二维平面得到的参考二维图像中生物组织的第二外轮廓；确定第一外轮廓和第二外轮廓之间的像素距离；采用预先确定的单位像素距离和物理距离之间的对应关系，确定第一外轮廓和第
二外轮廓之间的像素距离对应的物理距离作为融合误差。由此本技术通过预先确定的单位像素距离和物理距离之间的对应关系以及二维图像中生物组织的第一外轮廓和生物组织的三维模型的二维投影图像中生物组织的第二外轮廓，可以较为准确的量化同一生物组织在二维图和三维模型之间的误差，提高生物组织的三维模型与腹腔镜视频中生物组织的二维图像的实际融合误差的准确性，从而能够更加精确地给出三维模型和二维图像的融合误差，能够提升用户的体验。
[0127]
下面参照图9来描述根据本技术的这种实施方式的电子设备900。图9显示的电子设备900仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
[0128]
如图9所示，电子设备900以通用电子设备的形式表现。电子设备900的组件可以包括但不限于：上述至少一个处理器901、上述至少一个存储器902、连接不同系统组件(包括存储器902和处理器901)的总线903。
[0129]
总线903表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
[0130]
存储器902可以包括易失性存储器形式的可读介质，例如随机存取存储器(ram)9021和/或高速缓存存储器9022，还可以进一步包括只读存储器(rom)9023。
[0131]
存储器902还可以包括具有一组(至少一个)程序模块9024的程序/实用工具9025，这样的程序模块9024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0132]
电子设备900也可以与一个或多个外部设备904(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与电子设备900交互的设备通信，和/或与使得该电子设备900能与一个或多个其它电子设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口905进行。并且，电子设备900还可以通过网络适配器906与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器906通过总线903与用于电子设备900的其它模块通信。应当理解，尽管图中未示出，可以结合电子设备900使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0133]
在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器902，上述指令可由处理器901执行以完成上述三维模型和二维图像的融合误差的确定方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0134]
在示例性实施例中，还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器901执行时实现如本技术提供的三维模型和二维图像的融合误差的确定方法的任一方法。
[0135]
在示例性实施例中，本技术提供的一种三维模型和二维图像的融合误差的确定方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本技术各种示例性实施方式的三维模型和二维图像的融合误差的确定方法中的步骤。
[0136]
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0137]
本技术的实施方式的用于三维模型和二维图像的融合误差的确定方法的程序产品可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在电子设备上运行。然而，本技术的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0138]
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0139]
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
[0140]
可以以一种或多种程序设计语言的任意组合来编写用于执行本技术操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c 等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务端上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户电子设备，或者，可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。
[0141]
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本技术的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
[0142]
此外，尽管在附图中以特定顺序描述了本技术方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
[0143]
本技术提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本技术总的构思下的几个示例，并不构成本技术保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本技术方案所扩展出的任何其他实施方式都属于本技术的保护范围。
[0144]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实
施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0145]
本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0146]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0147]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0148]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。