一种医学影像图像和三维病理图像的配准方法和系统与流程

1.本发明涉及三维图像配准技术领域，尤其涉及一种医学影像图像和三维病理图像的配准方法和系统。


背景技术：

2.对于多数疾病来说，病变组织的病理学检查为疾病诊断的金标标准。
3.然而，病理诊断具有其自身的技术局限性，具体地：
4.1)病理诊断的前提是采集病变组织，制作病理切片，在显微镜下观察。对于病理观察局限于病变切面的二维水平，缺乏病变的三维空间信息；
5.2)切取的病理组织经过固定、脱水、染色等复杂的病理处理后，病变组织发生较大的形状变化，与病变在体内时的状况发生了较为明显空间构象改变，不便于医生进行诊断；
6.3)目前的病理切片的诊断信息在空间上为二维信息，不能与ct、磁共振等三维影像信息建立空间对应关系。


技术实现要素：

7.本发明所要解决的技术问题是针对现有技术的不足，提供了一种医学影像图像和三维病理图像的配准方法和系统。
8.本发明的一种医学影像图像和三维病理图像的配准方法的技术方案如下：
9.在第一时刻时，对病变区域进行影像扫描，得到医学影像图像，并根据所述医学影像图像获取所述病变区域在第一时刻时的第一中心点，并将所述医学影像图像映射到第一三维坐标系中，得到三维影像图像；
10.在第二时刻时，按照预设方向对所述病变区域进行切片，得到多个病理切片，并获取每个病理切片对应的切片图像，并根据每个病理切片的外表面上的标记点，确定每个病理切片的中心点，按照所述预设方向对所有的切片图像进行依次排列，并根据每个病理切片的中心点确定所述病变区域在第二时刻时的第二中心点，并将排列好的所有切片图像映射到第二三维坐标系中，得到三维病理图像；
11.将所述第一中心点与所述第二中心点在第三三维坐标系中进行重合，并将所述三维影像图像和所述三维病理图像均映射到第三三维坐标系中；
12.对映射到所述第三三维坐标系中的三维影像图像和三维病理图像进行配准。
13.本发明的一种医学影像图像和三维病理图像的配准方法的有益效果如下：
14.一方面，按照预设方向对每个病理切片对应的切片图像进行依次排列，形成三维病理图像，解决了“目前的病理切片的诊断信息在空间上为二维信息，不能与三维的医学影像图像建立空间对应关系”的问题，另一方面，将病变区域在第一时刻时的第一中心点与病变区域在第二时刻时的第二中心点在第三三维坐标系中进行重合，然后将三维影像图像和三维病理图像均映射到第三三维坐标系中，能够极大减少因病变区域变形造成的影响，极大保证医学影像图像和三维病理图像的配准的精度，配准后的医学影像图像和三维病理图
像能够明确病变区域在三维医学影像和三维病理图像上的空间对应关系，有助于医生进行诊断。
15.在上述方案的基础上，本发明的一种医学影像图像和三维病理图像的配准方法还可以做如下改进。
16.进一步，所述对映射到所述第三三维坐标系中的三维影像图像和三维病理图像进行配准，包括：
17.在映射到所述第三三维坐标系中的三维影像图像中，获取所述病变区域的外表面的多个第一坐标点，在映射到所述第三三维坐标系中的三维病理图像中，获取病变区域的外表面的多个第二坐标点，第一坐标点的数量与第二坐标点的数量相同，利用最小平方和的方法，对多个第一坐标点和多个第二坐标点进行配准；然后，对映射在第三三维坐标系中的三维影像图像中的所述病变区域内部的多个坐标点，与映射在所述第三三维坐标系中的三维病理图像中的所述病变区域内部的多个坐标点进行配准。
18.进一步，所述对病变区域进行影像扫描，得到医学影像图像，包括：
19.对所述病变区域进行磁共振扫描或ct扫描，得到所述医学影像图像。
20.进一步，标记点为染色点。
21.本发明的一种医学影像图像和三维病理图像的配准系统的技术方案如下：
22.包括第一获取模块、第二获取模块、重合映射模块和配准模块；
23.所述第一获取模块用于：在第一时刻时，对病变区域进行影像扫描，得到医学影像图像，并根据所述医学影像图像获取所述病变区域在第一时刻时的第一中心点，并将所述医学影像图像映射到第一三维坐标系中，得到三维影像图像；
24.所述第二获取模块用于：在第二时刻时，按照预设方向对所述病变区域进行切片，得到多个病理切片，并获取每个病理切片对应的切片图像，并根据每个病理切片的外表面上的标记点，确定每个病理切片的中心点，按照所述预设方向对所有的切片图像进行依次排列，并根据每个病理切片的中心点确定所述病变区域在第二时刻时的第二中心点，并将排列好的所有切片图像映射到第二三维坐标系中，得到三维病理图像；
25.所述重合映射模块用于：将所述第一中心点与所述第二中心点在第三三维坐标系中进行重合，并将所述三维影像图像和所述三维病理图像均映射到第三三维坐标系中；
26.所述配准模块用于对映射到所述第三三维坐标系中的三维影像图像和三维病理图像进行配准。
27.本发明的一种医学影像图像和三维病理图像的配准系统的有益效果如下：
28.一方面，按照预设方向对每个病理切片对应的切片图像进行依次排列，形成三维病理图像，解决了“目前的病理切片的诊断信息在空间上为二维信息，不能与三维的医学影像图像建立空间对应关系”的问题，另一方面，将病变区域在第一时刻时的第一中心点与病变区域在第二时刻时的第二中心点在第三三维坐标系中进行重合，然后将三维影像图像和三维病理图像均映射到第三三维坐标系中，能够极大减少因病变区域变形造成的影响，极大保证医学影像图像和三维病理图像的配准的精度，配准后的医学影像图像和三维病理图像能够明确病变区域在三维医学影像和三维病理图像上的空间对应关系，有助于医生进行诊断。
29.在上述方案的基础上，本发明的一种医学影像图像和三维病理图像的配准系统还
可以做如下改进。
30.进一步，所述配准模块具体用于：
31.在映射到所述第三三维坐标系中的三维影像图像中，获取所述病变区域的外表面的多个第一坐标点，在映射到所述第三三维坐标系中的三维病理图像中，获取病变区域的外表面的多个第二坐标点，第一坐标点的数量与第二坐标点的数量相同，利用最小平方和的方法，对多个第一坐标点和多个第二坐标点进行配准；然后，对映射在第三三维坐标系中的三维影像图像中的所述病变区域内部的多个坐标点，与映射在所述第三三维坐标系中的三维病理图像中的所述病变区域内部的多个坐标点进行配准。
32.进一步，所述第一获取模块具体用于：对所述病变区域进行磁共振扫描或ct扫描，得到所述医学影像图像。
33.进一步，标记点为染色点。
34.本发明的一种电子设备的技术方案如下：
35.包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序，所述处理器执行所述程序时实现如上述任一项所述的一种医学影像图像和三维病理图像的配准方法的步骤。
附图说明
36.图1为本发明实施例的一种医学影像图像和三维病理图像的配准方法的流程示意图；
37.图2为多个病理切片的示意图；
38.图3为环状网状外罩的结构示意图；
39.图4为本发明实施例的一种医学影像图像和三维病理图像的配准系统的结构示意图。
具体实施方式
40.如图1所示，本发明实施例的一种医学影像图像和三维病理图像的配准方法，包括如下步骤：
41.s1、在第一时刻时，获取三维影像图像，具体地：
42.在第一时刻时，对病变区域进行影像扫描，得到医学影像图像，并根据所述医学影像图像获取所述病变区域在第一时刻时的第一中心点，并将所述医学影像图像映射到第一三维坐标系中，得到三维影像图像；
43.其中，病变区域为病变组织或包含病变组织的区域，例如，肺部的病变组织不易切除，可将整个肺部作为病变区域，通过对，对病变区域进行影像扫描，得到的医学影像图像是三维图像。
44.其中，根据医学影像图像获取第一中心点的实现过程，在很多现有技术中已有公布，本技术中采用的方式为：
45.将三维的医学影像图像映射在第一预设三维坐标系中，在第一预设三维坐标系中，设初始化的中心点o的坐标点为：(x0，y0，z0)，病变区域的外表面上的第n个点p
n
的坐标点为：(x
pn
，y
pn
，z
pn
)，计算o点与p
n
点之间的距离平方值，标记为op
n2
，op
n2
＝(x
pn
‑
x0)2 (y
pn
‑
y0)2 (z
pn
‑
z0)2，由于病变区域的外表面上存在n个坐标点，则对于任一初始化的中心点o有n个距离平方值，计算：d
imaging
‑
3d
＝op
12
op
22
op
32

┈
op
n2
，d
imaging
‑
3d
为最小值时，对应的中心点为第一中心点；即利用最小平方和的方法，计算得到第一中心点。
46.可以以第一中心点作为原点，建立第一三维坐标系，也可选取病变区域上的任一点作为原点，建立第一三维坐标系，当建立好第一三维坐标系后，将医学影像图像映射到第一三维坐标系中，得到三维影像图像。
47.s2、在第二时刻时，获取三维病理图像，具体地：
48.在第二时刻时，按照预设方向对所述病变区域进行切片，得到多个病理切片，并获取每个病理切片对应的切片图像，并根据每个病理切片的外表面上的标记点，确定每个病理切片的中心点，按照所述预设方向对所有的切片图像进行依次排列，并根据每个病理切片的中心点确定所述病变区域在第二时刻时的第二中心点，并将排列好的所有切片图像映射到第二三维坐标系中，得到三维病理图像；
49.其中，将病变区域进行固定后，按照预设方向即按同一个方向从上到下连续对病变区域进行切片，优选等间距对病变区域进行切片，得到的所有病理切片的厚度均相等，按照预设方向依次将每个病理切片标记为s1、s2、
……
s
n
，n表示所有病理切片的总数量；
50.由于病理切片的厚度通常较小，故在计算每个病理切片的中心点时，可将切片图像视作二维图像进行处理，根据最小距离平方和最小方法确定每张病理切片的中心点，具体地：
51.例如，将病理切片s1的切片图像映射到预设二维坐标系中，在预设二维坐标系中，设初始化的病理切片s1的中心点q
o1
的坐标点为(x
o1
，y
o1
)，病理切片s1的的外表面上的标记点p的坐标为(x，y)，计算q
o1
点与p点之间的距离平方值，标记为q
o1
p2，q
o1
p2＝(x
o1
‑
x)2 (y
o1
‑
y)2，由于病变区域的外表面上存在多个标记点，则对于任一初始化的中心点q
o1
有多个距离平方值，计算：d
path
‑
2d
＝q
o1
p
12
q
o1
p
22
q
o1
p
32

┈
q
o1
p
n2
，d
path
‑
2d
为最小值时，对应的中心点为病理切片s1的中心点，即利用最小平方和的方法，计算得到病理切片s1的中心点，如图2所示，病理切片s1中的黑点表示病理切片s1的中心点，以此类推，得到每张病理切片的中心点，标记为q
o1
、q
o2
、q
o3
……
q
on
，在获得每张病理切片的中心点(q
01
、q
o2
、q
o3
、
……
、q
on
)，所在的三维空间区域内，确定病理图像的几何中心q
o0
,计算d
path
＝q
o0
q
012
q
o0
q
022
q
o0
q
032

……
q
o0
q
0n2
，d
path
为最小值时，对应的点为整个病灶的病理图像的中心点q
o0
。同样，也可计算每个病理三维图像上每个表面点与几何中心q
o0
的距离平方和d
path
‑
3d
＝q
o0
p12 q
o0
p
22
q
o0
p
32

……
q
o0
p
n2
。
52.可以以第二中心点作为原点，建立第二三维坐标系，也可选取病变区域上的任一点作为原点，建立第二三维坐标系，当建立好第二三维坐标系后，并将排列好的所有切片图像映射到第二三维坐标系中，得到三维病理图像。
53.s3、重合并映射，具体地：
54.将所述第一中心点与所述第二中心点在第三三维坐标系中进行重合，并将所述三维影像图像和所述三维病理图像均映射到第三三维坐标系中；
55.s4、配准，具体地：对映射到所述第三三维坐标系中的三维影像图像和三维病理图像进行配准。
56.较优地，在上述技术方案中，s4包括：
57.在映射到所述第三三维坐标系中的三维影像图像中，获取所述病变区域的外表面的多个第一坐标点，在映射到所述第三三维坐标系中的三维病理图像中，获取病变区域的外表面的多个第二坐标点，第一坐标点的数量与第二坐标点的数量相同，利用最小平方和的方法，对多个第一坐标点和多个第二坐标点进行配准；然后，对映射在第三三维坐标系中的三维影像图像中的所述病变区域内部的多个坐标点，与映射在所述第三三维坐标系中的三维病理图像中的所述病变区域内部的多个坐标点进行配准。具体地：
58.例如，在映射到所述第三三维坐标系中的三维影像图像中，获取所述病变区域的外表面的第一坐标点的数量为100个，在映射到所述第三三维坐标系中的三维病理图像中，获取病变区域的外表面的第二坐标点的数量为100个，那么共有100
×
100＝10000种对应方式，对于任一种对应方式中，计算出该对应方式中，每对对应的第一坐标点与第二坐标点之间的距离平方值，然后求和，得到该对应方式的距离平方和，以此类推，得到每种对应方式的距离平方和，根据最小的距离平方和对应的对应方式对对映射到所述第三三维坐标系中的三维影像图像和三维病理图像进行配准。
59.然后，可用等距离插值的方法对映射在第三三维坐标系中的三维影像图像中的所述病变区域内部的多个坐标点，与映射在所述第三三维坐标系中的三维病理图像中的所述病变区域内部的多个坐标点进行配准。
60.其中，第一中心点和第二中心点可为几何中心点、重心点或质心点；
61.病理图像重建与配准效果评价，对于重建的三维病理图像的评价指标如下：
62.1)病理重建变形指数(pathological deformation index，pdi)pdi＝(∑d
path
‑
2d
/n)/d
path
‑
3d
，pdi>0,当pdi越大提示在病理处理过程中变形约小；pdi＝1时，提示病变区域在处理过程中无变形；反之，当pdi越小提示在病理处理过程中变形约大；pdi>1时，提示病变区域在病理处理过程组织肿胀(实际上几乎不可能发生)或者重建错误，需要核查重建过程。
63.2)影像病理图像配准准确率(imaging
‑
pathological registration accuracy index，ai)，ai＝d
path
‑
3d
/d
imaging
‑
3d
，ai的值在0到1范围区间，当ai＝0时，提示完全没有配准；当ai＝1时，提示病变区域的三维影像图像和三维病理图像获得完全匹配；在0
‑
1区间内，ai值越大，提示三维影像图像和三维病理图像匹配程度越好。
64.一方面，按照预设方向对每个病理切片对应的切片图像进行依次排列，形成三维病理图像，解决了“目前的病理切片的诊断信息在空间上为二维信息，不能与三维的医学影像图像建立空间对应关系”的问题，另一方面，将病变区域在第一时刻时的第一中心点与病变区域在第二时刻时的第二中心点在第三三维坐标系中进行重合，然后将三维影像图像和三维病理图像均映射到第三三维坐标系中，能够极大减少因病变区域变形造成的影响，极大保证医学影像图像和三维病理图像的配准的精度，配准后的医学影像图像和三维病理图像能够明确病变区域在三维医学影像和三维病理图像上的空间对应关系，有助于医生进行诊断。
65.较优地，在上述技术方案中，所述对病变区域进行影像扫描，得到医学影像图像，包括：
66.对所述病变区域进行磁共振扫描或ct扫描，得到所述医学影像图像。
67.较优地，在上述技术方案中，标记点为染色点。生成染色点的过程为：
68.如图3所示，设置中空的环状网状外罩，呈圆柱形，由柔软、透明、有弹性的细塑料管编织而成，所有的网状节点具有互通性，环状网状外罩的细塑料管内可装不同显像剂。且环状网状外罩在上下方向上无弹性，在四周方向上具有较好的弹性，便于在病变区域的周围形状发生任意形变。环状网状外罩内面带有黏胶，可紧密贴附与病变区域的外表面。
69.可在进行影像(ct或磁共振)检查前或之后完全包裹病变区域，根据检查不同内部注射不同显像剂。显像剂由环状网状外罩上或下端的接口注入，该接口可与注射器紧密结合，注射时不会发生显像剂外漏。在注射接口前端有可活动的卡槽装置，注射显像剂后可卡紧网管，防止显像剂外漏。其中上下的中通透明管上标有刻度尺，可以准确定位病变区域在上下的位置。
70.在对病变区域进行切片之前，将环状网状外罩套设在病变区域的外表面上，其内注射可病理显示的染色剂。确保环状网状外罩的所有点均与病变区域的外表面完好贴合，并黏贴牢固，确保在病理切片处理时不发生脱落，当进行切片时，会同时切环状网状外罩，切环状网状外罩的细塑料管断开，留下染色点。
71.在上述各实施例中，虽然对步骤进行了编号s1、s2等，但只是本技术给出的具体实施例，本领域的技术人员可根据实际情况调整s1、s2等的执行顺序，此也在本发明的保护范围内，可以理解，在一些实施例中，可以包含如上述各实施方式中的部分或全部。
72.如图4所示，本发明实施例的一种医学影像图像和三维病理图像的配准系统200，包括第一获取模块210、第二获取模块220、重合映射模块230和配准模块240；
73.所述第一获取模块210用于：在第一时刻时，对病变区域进行影像扫描，得到医学影像图像，并根据所述医学影像图像获取所述病变区域在第一时刻时的第一中心点，并将所述医学影像图像映射到第一三维坐标系中，得到三维影像图像；
74.所述第二获取模块220用于：在第二时刻时，对所述病变区域进行切片，得到多个病理切片，并获取每个病理切片对应的切片图像，并根据每个病理切片的外表面上的标记点，确定每个病理切片的中心点，按照所述预设方向对所有的切片图像进行依次排列，并根据每个病理切片的中心点确定所述病变区域在第二时刻时的第二中心点，并将排列好的所有切片图像映射到第二三维坐标系中，得到三维病理图像；
75.所述重合映射模块230用于：将所述第一中心点与所述第二中心点在第三三维坐标系中进行重合，并将所述三维影像图像和所述三维病理图像均映射到第三三维坐标系中；
76.所述配准模块240用于对映射到所述第三三维坐标系中的三维影像图像和三维病理图像进行配准。
77.一方面，按照预设方向对每个病理切片对应的切片图像进行依次排列，形成三维病理图像，解决了“目前的病理切片的诊断信息在空间上为二维信息，不能三维的医学影像图像建立空间对应关系”的问题，另一方面，将病变区域在第一时刻时的第一中心点与病变区域在第二时刻时的第二中心点在第三三维坐标系中进行重合，然后将三维影像图像和三维病理图像均映射到第三三维坐标系中，能够极大减少因病变区域变形造成的影响，极大保证医学影像图像和三维病理图像的配准的精度，配准后的医学影像图像和三维病理图像能够明确病变区域在三维医学影像和三维病理图像上的空间对应关系，有助于医生进行诊断。
78.较优地，在上述技术方案中，所述配准模块240具体用于：
79.在映射到所述第三三维坐标系中的三维影像图像中，获取所述病变区域的外表面的多个第一坐标点，在映射到所述第三三维坐标系中的三维病理图像中，获取病变区域的外表面的多个第二坐标点，第一坐标点的数量与第二坐标点的数量相同，利用最小平方和的方法，对多个第一坐标点和多个第二坐标点进行配准；然后，对映射在第三三维坐标系中的三维影像图像中的所述病变区域内部的多个坐标点，与映射在所述第三三维坐标系中的三维病理图像中的所述病变区域内部的多个坐标点进行配准。
80.较优地，在上述技术方案中，所述第一获取模块210具体用于：对所述病变区域进行磁共振扫描或ct扫描，得到所述医学影像图像。
81.较优地，在上述技术方案中，标记点为染色点。
82.上述关于本发明的一种医学影像图像和三维病理图像的配准系统200中的各参数和各个单元模块实现相应功能的步骤，可参考上文中关于一种医学影像图像和三维病理图像的配准方法的实施例中的各参数和步骤，在此不做赘述。
83.本发明实施例的一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序，所述处理器执行所述程序时实现上述任一实施的一种医学影像图像和三维病理图像的配准方法的步骤。
84.其中，电子设备可以选用电脑、手机等，相对应地，其程序为电脑软件或手机app等，且上述关于本发明的一种电子设备中的各参数和步骤，可参考上文中一种医学影像图像和三维病理图像的配准方法的实施例中的各参数和步骤，在此不做赘述。
85.所属技术领域的技术人员知道，本发明可以实现为系统、方法或计算机程序产品。
86.因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。
87.可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是一一但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram),只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
88.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。