医学图像的匹配方法及装置与流程

1.本发明涉及图像处理技术领域，更具体地，涉及一种医学图像的匹配方法及装置。


背景技术：

2.在脑部医疗导航系统中，为了实现精准的导航，需要建立患者医疗影像中头部位置和患者实际头部位置的变换关系。利用患者医疗影像中的面部点云和实时采集的患者面部点云进行配准，可以得到导航系统需要的变换关系。但在治疗过程中，患者的头部可能会移动，这对导航系统的处理能力和反应速度提出了更高的要求。
3.相关技术中，利用ransac(random sample consensus，随机抽样一致)算法计算患者医疗影像中的面部点云和实时采集的患者面部点云之间的关系。但由于ransac算法是一种不确定的算法，具有随机性，可能导致配准错误。在导航的过程中，还可能误采集到患者附近的工作人员或者其他物体的点云，也会导致配准错误，同时，较多的无关点云还会导致ransac算法的运行效率降低，增加配准的时间。


技术实现要素：

4.有鉴于此，本发明提供了一种医学图像的匹配方法及装置，能够减少无关点云数据的影响，提高医学图像匹配的效率和鲁棒性。
5.第一方面，本发明提供一种医学图像的匹配方法，该方法包括：
6.提取第一影像中的源特征数据，并获取第二影像中的目标特征数据；
7.利用所述源特征数据和所述目标特征数据进行对比识别；
8.若识别成功，则对所述源特征数据和所述目标特征数据进行匹配，获得所述第一影像中生物组织的表示和第二影像中生物组织的表示的对应关系。
9.在一种可能的实现方式中，所述方法还包括：
10.利用所述源特征数据和所述目标特征数据进行对比识别；
11.若识别失败，则重新采集并提取所述第一影像中的所述源特征数据。
12.在一种可能的实现方式中，所述源特征数据和所述目标特征数据是点云数据、颜色数据或特征值数据中的任意一种。
13.在一种可能的实现方式中，所述利用所述源特征数据和所述目标特征数据进行对比识别包括：
14.提取初始源特征数据，并删除非感兴趣区域的所述初始源特征数据，将保留的所述初始源特征数据确定为所述源特征数据；
15.获取初始目标特征数据，并删除非感兴趣区域的所述初始目标特征数据，将保留的所述初始目标特征数据确定为所述目标特征数据。
16.在一种可能的实现方式中，所述初始源特征数据通过提取所述第一影像获取。
17.在一种可能的实现方式中，所述初始目标特征数据通过提取所述第二影像获取或第三图像获取，其中，所述第三图像指的是预设的被测者的生物组织的图像。
18.在一种可能的实现方式中，分别提取所述源特征数据和所述目标特征数据；
19.若所述源特征数据包含于所述目标特征数据中，则确定对所述第一影像的识别成功。
20.在一种可能的实现方式中，对数据的提取和/或获取是自动执行的，或，用户执行的。
21.在一种可能的实现方式中，所述对应关系利用ransac算法获得。
22.与现有技术相比，本发明的医学图像的匹配方法，至少实现了如下的有益效果：
23.该方法通过提取第一影像中的源特征数据和第二影像中的目标特征数据，并对源特征数据和目标特征数据进行识别。当识别成功时，才对源特征数据和目标特征数据进行匹配，这样能够剔除大部分无关特征数据，如背景中的无关物体或者误入相机拍摄区的医护人员的面部。当确认识别成功时，说明当前获取的第一影像能够比较清楚地显示感兴趣区域的特征。此时，再确定源特征数据及目标特征数据的匹配关系，能够提高匹配的运行效率，降低配准时间，同时能够提高匹配的鲁棒性。
24.第二方面，本发明提供一种医学图像的匹配装置，包括：
25.提取模块，提取第一影像中的源特征数据，并获取第二影像中的目标特征数据；
26.识别模块，利用所述源特征数据和所述目标特征数据进行对比识别；
27.匹配模块，若识别成功，则对所述源特征数据和所述目标特征数据进行匹配，获得所述第一影像中生物组织的表示和第二影像中生物组织的表示的对应关系。
28.在一种可能的实现方式中，所述识别模块，利用所述源特征数据和所述目标特征数据进行对比识别；
29.若识别失败，所述提取模块，则重新采集并提取所述第一影像中的所述源特征数据。
30.在一种可能的实现方式中，所述源特征数据和所述目标特征数据是点云数据、颜色数据或特征值数据中的任意一种。
31.在一种可能的实现方式中，所述提取模块，提取初始源特征数据，并删除非感兴趣区域的所述初始源特征数据，将保留的所述初始源特征数据确定为所述源特征数据；
32.所述提取模块，获取初始目标特征数据，并删除非感兴趣区域的所述初始目标特征数据，将保留的所述初始目标特征数据确定为所述目标特征数据。
33.在一种可能的实现方式中，所述初始源特征数据通过提取所述第一影像获取。
34.在一种可能的实现方式中，所述初始目标特征数据通过提取所述第二影像获取或第三图像获取，其中，所述第三图像指的是预设的被测者的生物组织的图像。
35.在一种可能的实现方式中，所述提取模块，分别提取所述源特征数据和所述目标特征数据；
36.若所述源特征数据包含于所述目标特征数据中，则所述识别模块，确定对所述第一影像的识别成功。
37.在一种可能的实现方式中，所述提取模块，对数据的提取和/或获取是自动执行的，或，用户执行的。
38.在一种可能的实现方式中，所述匹配模块利用ransac算法获得所述对应关系。
39.本发明中第二方面及其各种实现方式的具体描述，可以参考第一方面中的详细描
述；并且，第二方面及其各种实现方式的有益效果，可以参考第一方面中的有益效果分析，此处不再赘述。
40.当然，实施本发明的任一产品必不特定需要同时达到以上所述的所有技术效果。
41.通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
42.被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
43.图1为本发明实施例所提供的一种医学图像的匹配方法的流程图；
44.图2为本发明实施例所提供的另一种医学图像的匹配方法的流程图；
45.图3为本发明实施例所提供的一种医学图像的匹配装置的组成示意图。
具体实施方式
46.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
47.以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。另外，“基于”或“根据”的使用意味着开放和包容性，因为“基于”或“根据”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。
48.相关技术中，利用ransac算法计算患者医疗影像中的面部点云和实时采集的患者面部点云之间的关系。但由于ransac算法是一种不确定的算法，具有随机性，可能导致配准错误。在导航的过程中，还可能误采集到患者附近的工作人员或者其他物体的点云，也会导致配准错误，同时，较多的无关点云还会导致ransac算法的运行效率降低，增加配准的时间。
49.为解决相关技术中存在的上述问题，本发明实施例提供一种医学图像的匹配方法，该方法通过提取第一影像中的源特征数据和第二影像中的目标特征数据，并对源特征数据和目标特征数据进行识别。当识别成功时，才对源特征数据和目标特征数据进行匹配，这样能够剔除大部分无关特征数据，如背景中的无关物体或者误入相机拍摄区的医护人员的面部。当确认识别成功时，说明当前获取的第一影像能够比较清楚地显示感兴趣区域的特征。此时，再确定源特征数据及目标特征数据的匹配关系，能够提高匹配的运行效率，降低配准时间，同时能够提高匹配的鲁棒性。
50.本发明实施例提供一种医学图像的匹配方法。参照图1所示，图1为本发明实施例所提供的一种医学图像的匹配方法的流程图，可以包括以下s01-s03。
51.s01、提取第一影像中的源特征数据，并获取第二影像中的目标特征数据。
52.可以理解的是，源特征数据是第一影像中生物组织的表示，目标特征数据是第二影像中生物组织的表示。匹配是指的将第一影像中生物组织的表示与第二影像中生物组织的表示进行匹配。
53.在本发明所提供的一种可选实施例中，源特征数据和目标特征数据是点云数据、颜色数据或特征值数据中的任意一种。
54.可以理解的是，源特征数据和目标特征数据分别用于表示第一影像和第二影像。源特征数据和目标特征数据可以是点云数据、颜色数据或特征值数据中的任意一种。示例性的，当特征数据为颜色数据时，特征数据包括影像中每个像素点的红色(red)、绿色(green)、蓝色(blue)和深度(depth)四个数据。其中，红色、绿色和蓝色数据可以通过彩色相机拍摄获得，深度数据可以通过深度相机拍摄获得。
55.进一步地，不同类型的特征数据之间可以进行相互转化，示例性的，颜色数据中的深度数据和点云数据的变换方法为：
56.首先，获取深度相机的相机参数：
57.相机参数为深度相机的固有属性，一般在出厂前由生产厂家标定并存储于深度相机内部，可以直接获取。相机参数可以表示为：
[0058][0059]
其中，f
x
＝f/d
x
，fy＝f/dy；
[0060]
f，用于表示深度相机的等效焦距；
[0061]dx
，用于表示像素点在x方向上的物理长度(物理长度，具体指一个像素在感光板上的长度)；
[0062]dy
，用于表示像素点在y方向上的物理长度；
[0063]cx
，用于表示像素坐标系的原点和点云坐标系的原点在x方向上的平移距离；
[0064]cy
，用于表示像素坐标系的原点和点云坐标系的原点在y方向上的平移距离。
[0065]
然后，获取像素坐标系中的坐标(u，v，zc)；
[0066]
其中，u，用于表示像素坐标系中的沿x方向的距离；
[0067]
v，用于表示像素坐标系中的沿y方向的距离；
[0068]
zc，用于表示像素坐标系中的沿z方向的距离，即深度数据；
[0069]
最后，确定像素坐标系和点云坐标系的变换关系：
[0070][0071]
其中，用于表示(u，v，zc)在点云坐标系中对应的坐标。
[0072]
进一步地，第二影像是预设的，第二影像可以电脑断层扫描(ct,computerized tomography)、核磁共振成像(nmri,nuclear magnetic resonance imaging)等技术手段获
取。因此，目标特征数据是固定的。而第一影像是在患者治疗或诊断的过程中获取的，由于患者不能够完全保持静止，因此，源特征数据是不断变化。
[0073]
s02、利用源特征数据和目标特征数据进行对比识别；
[0074]
具体地，在本发明所提供的一种可选实施例中，参照图2所示，图2为本发明实施例所提供的另一种医学图像的匹配方法的流程图。s02可以通过s21-s23实现。
[0075]
s21、提取初始源特征数据，并删除非感兴趣区域的初始源特征数据，将保留的初始源特征数据确定为源特征数据。
[0076]
可以理解的是，初始源特征数据通过提取第一影像获取。
[0077]
具体地，将第一影像导入python开源库face_recognition中，提取第一影像的初始源特征数据。利用face_recognition定位第一影像中的感兴趣区域的68个特征点，并遍历68个特征点在图像坐标系中的坐标值。将横坐标和纵坐标的最大值和最小值分别标记为x_max、x_min、y_max和y_min。将(x_max，y_max)、(x_max，y_min)、(x_min，y_max)和(x_mix，y_min)组成的矩形确定为为第一影像中的感兴趣区域。
[0078]
进一步地，利用深度卷积神经网络(dynamic convolution neural network)处理感兴趣区域，将感兴趣区域的初始源特征数据确定为源特征数据。
[0079]
s22、获取初始目标特征数据，并删除非感兴趣区域的初始目标特征数据，将保留的初始目标特征数据确定为目标特征数据。
[0080]
可以理解的是，初始目标特征数据通过提取第二影像获取或第三图像获取，其中，第三图像指的是预设的被测者的生物组织的图像。
[0081]
需要说明的是，初始目标特征数据可以通过第二影像或第三图像获取，第二影像和第三图像均是预设的。但是，第二影像指的是通过电脑断层扫描(ct,computerized tomography)、核磁共振成像(nmri,nuclear magnetic resonance imaging)等技术手段获取的医学图像。第三图像指的是通过相机获取的rgb图像。
[0082]
通过提取第二影像或第三图像获得初始目标特征数据，参照上述s21所言，得到目标特征数据。
[0083]
s23、分别提取源特征数据和目标特征数据；
[0084]
若源特征数据包含于目标特征数据中，则确定对第一影像的识别成功。
[0085]
具体地，根据支持向量机(support vector machine,svm)算法确定源特征数据和目标特征数据的匹配率。若匹配率大于或等于预设阈值，则确定源特征数据包含于目标特征数据中，并确定对第一影像的识别成功，继续执行s03。若匹配率小于预设阈值，则确定源特征数据不包含于目标特征数据中，并确定对第一影像的识别失败，需要返回s01重新提取源特征数据，直到对第一影像的识别成功。
[0086]
需要说明的是，预设阈值可以根据实际需要进行设定。具体地，当预设阙值较高时，表明源特征数据和目标特征数据需要具有较高的匹配率才能认定为对第一影像的识别成功。此时，第一影像的无关特征数据较少，精准度高，但是，识别成功的概率低，对患者的配合度有较高要求。当预设阈值较低时，表明源特征数据和目标特征数据具有较低的匹配率即可认定为对第一影像的识别成功。此时，第一影像中的无关点云较多，精准度低，但是，识别成功的概率高，有利于进入下一步骤。由于第一影像是在患者治疗或诊断过程中获取的，并且在随时变化。因此，需要平衡精准度和效率的双重要求。
[0087]
s03、对源特征数据和目标特征数据进行匹配，获得第一影像中生物组织的表示和第二影像中生物组织的表示的对应关系。
[0088]
可以理解的是，对应关系利用ransac算法获得。
[0089]
若识别失败，则重新采集并提取第一影像中的源特征数据。
[0090]
需要说明的是，对数据的提取和/或获取是自动执行的，或，用户执行的。
[0091]
综上，本发明提供的医学图像的匹配方法至少实现了如下的有益效果：
[0092]
该方法通过提取第一影像中的源特征数据和第二影像中的目标特征数据，并对源特征数据和目标特征数据进行识别。当识别成功时，才对源特征数据和目标特征数据进行匹配，这样能够剔除大部分无关特征数据，如背景中的无关物体或者误入相机拍摄区的医护人员的面部。当确认识别成功时，说明当前获取的第一影像能够比较清楚地显示感兴趣区域的特征。此时，再确定源特征数据及目标特征数据的匹配关系，能够提高匹配的运行效率，降低配准时间，同时能够提高匹配的鲁棒性。
[0093]
基于同一发明构思，本发明实施例还提供一种医学图像的匹配装置。参照图3所示，图3为本发明实施例所提供的一种医学图像的匹配装置的组成示意图。医学图像的匹配装置包括：
[0094]
提取模块31，提取第一影像中的源特征数据，并获取第二影像中的目标特征数据；
[0095]
识别模块32，利用源特征数据和目标特征数据进行对比识别；
[0096]
匹配模块33，若识别成功，则对源特征数据和目标特征数据进行匹配，获得第一影像中生物组织的表示和第二影像中生物组织的表示的对应关系。
[0097]
需要说明的是，匹配模块33利用ransac算法获得对应关系。
[0098]
需要说明的是，源特征数据和目标特征数据是点云数据、颜色数据或特征值数据中的任意一种。
[0099]
在本发明所提供的一种可选实施例中，识别模块32，利用源特征数据和目标特征数据进行对比识别；
[0100]
若识别失败，提取模块31，则重新采集并提取第一影像中的源特征数据。
[0101]
在本发明所提供的一种可选实施例中，提取模块31，提取初始源特征数据，并删除非感兴趣区域的初始源特征数据，将保留的初始源特征数据确定为源特征数据；
[0102]
需要说明的是，初始源特征数据通过提取第一影像获取。
[0103]
提取模块31，获取初始目标特征数据，并删除非感兴趣区域的初始目标特征数据，将保留的初始目标特征数据确定为目标特征数据。
[0104]
需要说明的是，初始目标特征数据通过提取第二影像获取或第三图像获取，其中，第三图像指的是预设的被测者的生物组织的图像。
[0105]
在本发明所提供的一种可选实施例中，提取模块31，分别提取源特征数据和目标特征数据；
[0106]
若源特征数据包含于目标特征数据中，则识别模块32，确定对第一影像的识别成功。
[0107]
需要说明的是，提取模块31，对数据的提取和/或获取是自动执行的，或，用户执行的。
[0108]
可以理解的是，为了实现上述功能，装置包含了执行各个功能相应的硬件结构和/
或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的算法步骤，本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0109]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何在本发明揭露的技术范围内的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。