图像处理装置以及图像处理方法与流程

1.本发明涉及能够进行二维图像与三维图像或者三维图像与三维图像之间的配准、即多模态图像之间的配准的图像处理装置以及图像处理方法。


背景技术：

2.在医学图像成像领域，在进行检查或治疗时，针对被检体的检查部位，需要将检查或治疗中的该检查部位的二维图像数据或三维图像数据与检查或治疗前取得的三维图像数据进行配准(registration)。
3.在现有技术中，在对被检体的检查部位进行诊断或进行外科手术时，存在作为二维图像数据与三维图像数据之间的配准的drr-ct配准，在drr-ct配准中，预先取得检查部位的ct(电子计算机断层扫描)图像数据，在诊断或外科手术时，取得作为二维数据的drr图像数据(x线数据)，将drr图像数据与ct图像数据配准，从而对检查部位进行分析、诊断。
4.但是，在诊断或外科手术时进行us(超声)引导的情况下，针对预先取得的检查部位的ct图像数据、mr(磁共振)图像数据等，需要将实时获得的us图像数据(二维图像数据)进行配准、即进行us-ct/mr配准，但并不是所获得的所有的us图像数据都很清晰而满足配准要求，因此经常会有us图像数据不清晰而与ct图像数据或mr图像数据等配准失败的情形。
5.而且，由于us图像数据与ct图像数据或mr图像数据之间的图像质量的偏差大于drr图像数据与ct图像数据或mr图像数据之间的图像质量的偏差，因此也无法将drr-ct配准的技术应用到上述us-ct/mr配准中。
6.另外，在现有技术中，在对被检体的检查部位进行诊断或进行外科手术时，存在将获得的作为三维数据的us图像数据与预先取得的三维us图像数据、ct图像数据或mr图像数据等配准的技术。在被检体呼吸时，例如作为检查部位的心脏或者肝脏等的大小和位置会发生变化，因此需要将心脏或肝脏整体的三维us图像数据与预先取得的三维图像数据进行配准，但是获取用于重建心脏或肝脏整体的三维us图像数据的数据的过程比较复杂，而且重建时也需要较长的时间，尤其在进行外科手术时该配准是无法满足手术的要求的。


技术实现要素：

7.因此，鉴于上述情况，本发明提供一种在包括二维us图像的多模态图像之间的配准时能够自动地获得满足配准要求的多个二维us图像数据的图像处理装置以及图像处理方法。
8.本发明的图像处理装置具备：三维体数据取得单元，取得被检体的检查部位的三维体数据；二维图像数据取得单元，取得上述检查部位的一部分的多个二维图像数据；图像质量指数计算单元，计算上述多个二维图像数据的图像质量指数；候选二维图像数据决定单元，基于上述多个二维图像数据的图像质量指数来计算该多个二维图像数据中的规定数量的二维图像数据的整体图像质量指数，在上述整体图像质量指数为对上述检查部位预先
设定的图像质量指数标准值以上时，将上述规定数量的二维图像数据决定为候选二维图像数据；以及图像数据配准单元，将上述候选二维图像数据或基于上述候选二维图像数据重建的薄三维体数据与上述三维体数据配准。
9.本发明的图像处理方法具备：取得被检体的检查部位的三维体数据的步骤；取得上述检查部位的一部分的多个二维图像数据的步骤；计算上述多个二维图像数据的图像质量指数的步骤；基于上述多个二维图像数据的图像质量指数来计算该多个二维图像数据中的规定数量的二维图像数据的整体图像质量指数，在上述整体图像质量指数为对上述检查部位预先设定的图像质量指数标准值以上时，将上述规定数量的二维图像数据决定为候选二维图像数据的步骤；以及将上述候选二维图像数据或基于上述候选二维图像数据重建的薄三维体数据与上述三维体数据配准的步骤。
10.发明效果
11.根据本发明的图像处理装置以及图像处理方法，在进行包括二维us图像的多模态图像之间的配准时，能够自动获得适合与预先获得的三维体数据的配准的二维图像数据或小的三维体数据，能够实时地进行良好且稳定的配准，能够避免配准失败的情况。
附图说明
12.图1是本发明的图像处理装置的结构框图。
13.图2是显示计算出的整体图像质量指数的显示例的图。
14.图3是用于对规定数量的二维us图像数据的整体图像质量指数的计算方法进行说明的图。
15.图4是一个实施方式的用于对多模态图像之间的配准方法进行说明的图。
16.图5是另一个实施方式的用于对多模态图像之间的配准方法进行说明的图。
具体实施方式
17.下面，参考附图对本发明的图像处理装置以及图像处理方法进行说明。
18.第1实施方式
19.图1是图像处理装置10的结构框图。
20.如图1所示，图像处理装置10具备三维体数据取得单元11、二维图像数据取得单元12、图像质量指数计算单元13、候选二维图像数据决定单元14以及图像数据配准单元15。
21.三维体数据取得单元11取得被检体的检查部位的三维体数据。
22.在对被检体进行检查或治疗之前，为了全面地获知检查部位的状况，通常需要对检查部位进行三维扫描来获得检查部位的三维us(超声)体数据、三维ct(电子计算机断层扫描)体数据、或者三维mr(磁共振)体数据等。该检查部位可以是肝脏或心脏等的一个器官也可以是包含肝脏、心脏等在内的多个器官。
23.二维图像数据取得单元12取得检查部位的一部分的多个二维图像数据。
24.在对检查部位、例如肝脏进行检查时，通常需要对肝脏进行二维us扫描。在对被检体的肝脏进行检查时，将探头按压在被检体的腹部中的肝脏部位，将探头滑动或转动到适当的位置来获得肝脏的一部分的多个实时的二维us图像数据。
25.该多个二维us图像数据所包含的图像信息较少，所以需要将该多个二维us图像数
据配准到事先获得的三维体数据、例如三维mr体数据中来进行进一步的判断。
26.当该多个二维us图像数据中的图像轮廓、灰度变化等清晰时，在进行上述二维us图像数据与三维mr体数据的配准时能够成功，但是当该多个二维us图像数据中的图像轮廓、灰度变化等不清晰时，通常无法进行上述配准、即导致配准失败。
27.在本发明中，通过图像质量指数计算单元13来计算多个二维图像数据的图像质量指数。
28.针对多个二维图像数据，以多个二维us图像数据为例来进行说明。
29.图像质量指数根据二维us图像数据的梯度信息(即、边缘轮廓的变化)以及灰度信息等来设定。将图像的梯度大、即边缘轮廓的变化大以及/或者图像的区域的灰度差别大的二维us图像数据的图像质量指数设定得较大，反之将图像质量指数设定得较小。
30.图像质量指数计算单元13计算出由探头获得的肝脏的一部分的多个实时的二维us图像数据的每个的图像质量指数。
31.候选二维图像数据决定单元14基于多个二维图像数据的图像质量指数来计算该多个二维图像数据中的规定数量的二维图像数据的整体图像质量指数，在整体图像质量指数为对检查部位预先设定的图像质量指数标准值以上时，将规定数量的二维图像数据决定为候选二维图像数据。
32.具体地，当二维图像数据是二维us图像数据的情况下，候选二维图像数据决定单元14基于多个二维us图像数据的图像质量指数来计算该多个二维us图像数据中的规定数量的二维us图像数据的整体图像质量指数，关于该整体图像质量指数的计算方法将在后面进行说明。
33.而且，在计算出的整体图像质量指数为对检查部位、例如肝脏预先设定的图像质量指数标准值以上时，将规定数量的二维us图像数据决定为候选二维us图像数据。在此，例如设对肝脏预先设定的图像质量指数标准值为0.8，如图2所示，在(a)中计算出的整体图像质量指数为1，在(b)中计算出的整体图像质量指数为0.1，(a)中的规定数量的二维us图像数据的整体图像质量指数1在预先设定的图像质量指数标准值0.8以上，因此将该规定数量的二维us图像数据决定为候选二维us图像数据，(b)中的规定数量的二维us图像数据的整体图像质量指数0.1在预先设定的图像质量指数标准值0.8以下，因此不将该规定数量的二维us图像数据决定为候选二维us图像数据。也就是说，(a)中的对应的规定数量的二维us图像数据满足与事先获得的三维体数据、例如三维mr体数据的配准的标准，而(b)中的对应的规定数量的二维us图像数据不满足上述配准的标准。
34.此时，在图2的(a)的图像中，以绿色显示“图像质量指数：1”，提醒操作者该规定数量的二维us图像数据满足配准的标准，进而使该规定数量的二维us图像数据与三维mr体数据进行配准，进行进一步的检查。在图2的(b)的图像中，以红色或者黄色显示“图像质量指数：0.1”，提醒操作者该规定数量的二维us图像数据不满足配准的标准，进而操作者会改变对被检体的肝脏的按压位置、即扫描位置或者改变在当前按压位置的转动角度，直到找出满足配准的标准的二维us图像数据。
35.图像数据配准单元15将候选二维图像数据或基于候选二维图像数据重建的薄三维体数据与三维体数据配准。
36.例如，在二维us图像数据满足配准的标准而被决定为候选二维us图像数据时，可
以利用公知的二维图像数据与三维体数据的配准方法将候选二维us图像数据与三维体数据、例如三维mr体数据进行配准，而且，也可以基于候选二维us图像数据来重建薄三维us体数据、即与肝脏整体的三维体数据相比小很多的薄片状的三维us体数据，并利用公知的三维体数据之间的配准方法将该薄三维us体数据与整个肝脏的三维体数据配准。
37.下面，基于图3对多个二维us图像数据中的规定数量的二维us图像数据的整体图像质量指数的一个计算方法进行说明。
38.图3的(a)示出由探头获得的肝脏的一部分的多个实时的二维us图像数据，在该图中示出了6个二维us图像数据，但是由探头获得的该多个二维us图像数据不是6个，而通常是几百个。针对该几百个二维us图像数据，计算每个数据的图像质量指数q，其计算结果在图3的(b)中示出，作为代表性的计算结果示出了5个二维us图像数据的图像质量指数q。候选二维图像数据决定单元14从几百个二维us图像数据中选出图像质量指数q最大的基准二维us图像数据，在图3的(b)中，基准二维us图像数据为位于中央的图像质量指数q为0.9的二维us图像数据。
39.而且，候选二维图像数据决定单元14以在基准二维us图像数据的前后存在相同数量的二维us图像数据的方式来选出规定数量的二维us图像数据。当设该相同数量为n(n为自然数)时，该规定数量为(2n 1)个，因此这里设该规定数量为3以上的奇数个。由探头获得的多个二维us图像数据为沿某一个轴的方向排列的多个数据，因此在所选出的规定数量的二维us图像数据中，基准二维us图像数据位于中央位置。即当选出3个二维us图像数据时，基准二维us图像数据位于第2个的位置，当选出7个二维us图像数据时，基准二维us图像数据位于第4个的位置。而且，该规定数量的二维us图像数据在几百个二维us图像数据中是彼此相邻地排列(存在)的。
40.候选二维图像数据决定单元14构成为，在规定数量的二维us图像数据中，对基准二维us图像数据赋予第一权重，对其它二维us图像数据以离开基准二维us图像数据越远而赋予越小权重的方式赋予小于第一权重的权重，计算各二维us图像数据的图像质量指数与其权重的乘积，将规定数量的二维us图像数据的各个乘积进行相加而得的值作为整体图像质量指数。
41.图3的(c)示出对所选出的规定数量的二维us图像数据赋予权重的情况。在所选出的规定数量的二维us图像数据中，对图像质量指数q为0.9的基准二维us图像数据赋予第一权重、即最大的权重0.5(即w：0.5)，对除了基准二维us图像数据之外的其它二维us图像数据赋予小于第一权重、即0.5的权重，而且以离开基准二维us图像数据越远而赋予越小权重的方式进行赋予，具体为，对图像质量指数q为0.9的基准二维us图像数据仅前方的图像质量指数q为0.7的二维us图像数据赋予权重0.25，对图像质量指数q为0.9的基准二维us图像数据仅后方的图像质量指数q为0.8的二维us图像数据赋予权重0.25，
……
，对位于相比基准二维us图像数据靠最前方的图像质量指数q为0.3的二维us图像数据赋予权重0.02，对位于相比基准二维us图像数据靠最后方的图像质量指数q为0.1的二维us图像数据赋予权重0.02。图3的(c)中的对规定数量的二维us图像数据所赋予的权重的值只是作为示例示出的，还可以是其它值。
42.图3的(d)示出整体图像质量指数的计算式。候选二维图像数据决定单元14计算各二维us图像数据的图像质量指数q与其权重w的乘积，即计算0.9*0.5、0.8*0.25等，并且，如
图3的(d)的计算式所示，将规定数量的二维us图像数据的各个乘积0.9*0.5、0.8*0.25等相加而得的值作为整体图像质量指数qvol。
43.如上所述，根据图3说明了多个二维us图像数据中的规定数量的二维us图像数据的整体图像质量指数的一个计算方法，但是该整体图像质量指数也可以通过其它计算方法来计算。例如，候选二维图像数据决定单元14构成为，针对以上述方式选出的规定数量的二维us图像数据，将该规定数量的二维us图像数据的图像质量指数的平均值作为整体图像质量指数。这样，能够通过比上述计算方法简单的计算方法来计算整体图像质量指数，能够减小系统的数据处理量，加快处理速度。
44.下面，使用图4对多模态图像之间的配准方法进行说明。
45.在步骤s101中，取得被检体的检查部位的三维体数据，该检查部位例如为肝脏，该三维体数据例如为三维us体数据、三维ct体数据、或者三维mr体数据。
46.在步骤s102中，通过探头对检查部位进行扫描而取得检查部位的一部分的多个二维us图像数据。
47.在步骤s103中，针对在步骤s102中取得的多个二维us图像数据，而计算每个图像数据的图像质量指数。
48.在步骤s104中，从多个二维us图像数据中选出图像质量指数最大的二维us图像数据来作为基准二维us图像数据。
49.在步骤s105中，以基准二维us图像数据为中心从前后分别选出相同数量的二维us图像数据，将该选出的二维us图像数据和基准二维us图像数据作为规定数量的二维us图像数据。
50.在步骤s106中，计算规定数量的二维us图像数据的整体图像质量指数，可以采用图3示出的计算方法来进行计算，即对基准二维us图像数据赋予第一权重，对其它二维us图像数据以离开基准二维us图像数据越远而赋予越小权重的方式赋予小于第一权重的权重，计算各二维us图像数据的图像质量指数与其权重的乘积，将规定数量的二维us图像数据的各个乘积进行相加而得的值作为整体图像质量指数。也可以计算规定数量的二维us图像数据的图像质量指数的平均值，并将该平均值作为整体图像质量指数。
51.在步骤s107中，将在步骤s106中计算出的整体图像质量指数与针对检查部位设定的图像质量指数标准值进行比较，当整体图像质量指数在图像质量指数标准值以上时，过度至步骤s108，将规定数量的二维us图像数据决定为候选二维us图像数据。当整体图像质量指数不在图像质量指数标准值以上时，返回至步骤s102，使操作者改变探头对检查部位的扫描位置或者改变探头相对于检查部位的扫描方向，再次取得检查部位的一部分的多个二维us图像数据。
52.在步骤s109中，将候选二维us图像数据与在步骤s101中取得的检查部位的三维体数据进行配准，该配准可以利用公知的二维图像数据与三维体数据的配准方法来进行。
53.上述配准方法例如可以为，人工设定二维us图像数据与三维体数据之间的转换参数，通过仿射变换矩阵在三维体数据中找出与候选二维us图像数据对应的二维截面图，从而实现候选二维us图像数据与检查部位的三维体数据的配准。
54.在上述实施方式中，作为检查部位以肝脏为例进行了说明，但检查部位也可以是心脏、肺等其它器官，需要预先对各个器官设定二维图像数据的图像质量指数标准值。
55.在上述实施方式中，当所获取的二维图像数据不适合配准时，通过以红色或者黄色显示图像质量指数的值来提醒操作者，但是，也可以通过语音等来提醒操作者。
56.根据本实施方式，在对被检体的检查部位进行扫描而获取二维图像数据时，能够自动获得适合与预先获得的三维体数据的配准的二维图像数据，能够实时地进行良好且稳定的配准，避免配准失败的情况。
57.而且，当所获取的二维图像数据不适合配准时，能够通过显示图像等告知操作者，从而使操作者改变扫描条件来重新获取二维图像数据，能够缩短检查时间，提高操作者的工作效率。
58.第2实施方式
59.下面，使用图5对本发明的第2实施方式的图像处理方法进行说明。
60.第2实施方式的图像处理装置的结构与第1实施方式相同，在此不再重复说明。
61.而且，如图5所示，第2实施方式的图像处理方法的步骤s201～s208与第1实施方式的图像处理方法的步骤s101～s108相同，因此不再重复说明。
62.如图5所示，在步骤s209中，基于在步骤s208中决定的候选二维us图像数据来重建薄三维体数据、即薄三维us体数据，该重建利用公知的由二维us图像数据来重建三维us体数据的方法来进行。
63.在步骤s210中，将薄三维us体数据与在步骤s201中取得的检查部位的三维体数据进行配准，该配准可以利用公知的三维体数据之间的配准方法来进行。
64.根据本实施方式，在对被检体的检查部位进行扫描而获取二维图像数据时，能够自动获得图像质量优良的二维图像数据，能够基于该图像质量优良的二维图像数据重建小的三维体数据，能够实现小的三维体数据与原三维体数据之间、即三维体数据之间的实时的稳定的配准，能够避免配准失败的情况。
65.如上所述，虽然对本发明的几个实施方式进行了说明，但这些实施方式是作为例子而示出的，并不意图对发明的范围进行限定。这些实施方式能够以其他各种方式加以实施，在不脱离发明的主旨的范围内能够进行各种省略、置换、变更。这些实施方式及其变形包含于发明的范围及主旨中，并包含于技术方案所记载的发明和与其等同的范围中。