基于知识蒸馏的弱监督骨扫描图像热点分割方法及系统与流程

1.本发明属于骨扫描图像处理技术领域，涉及基于知识蒸馏的弱监督骨扫描图像热点分割方法及系统。


背景技术：

2.作为最常见且严重的癌症并发症之一，骨转移长期以来被视为导致癌症患者痛苦的一大元凶。据统计，骨转移瘤的发生率是骨原发恶性肿瘤的35～40倍，作为癌症疼痛的主要原因之一，它所造成的病理性骨折、脊髓压迫、高钙血症和骨髓衰竭等其他并发症，往往会进一步加速病情的发展，严重影响了癌症患者的生存质量。在得到有效治疗之前，80％-90％的恶性原发型肿瘤骨转移患者会在几年内死亡。因此，对骨转移的有效诊断将会是决定病人病情发展以及后续治疗的决定性因素之一。
3.在骨转移的检测中，医学影像学的检查是一个关键步骤。在现行的一系列成像技术当中，pet、ct、mri和核素骨显像(bs)技术在恶性骨转移中的评估中相对占据主流。值得注意的是，尽管pet和pet/ct是近年来最有效的骨转移筛查技术，但出于效率成本等一系列因素的考虑，核素骨显像(bs)仍然是核医学中最为常用的成像方法。
4.由于传统的核医学医师人工阅片往往需要花费大量的时间用于对比度调节等较为机械的工作。近年来，大批学者尝试通过人工智能的方法以实现自动化的骨扫描检测，并取得了一定成果。然而，这些模型在实际应用中依然存在着以下问题：
5.1)单纯进行分类的模型只能确定部位是否存在热点，不能找到热点的确切位置，无法满足实际需求，应用价值有限；
6.2)对于能够进行热点检测或分割的模型，前期大量的数据标注无法避免，然而，对于骨转移瘤的标注，直到目前为止业界并没有一套统一权威的标准，这导致数据的标注严重依赖于主观判断，监督信息的可靠性、可利用性都相对较低，模型的实用价值往往无法与先前繁重的标注工作形成正比；
7.3)在缺乏与热点有关监督信息的情况下，经典的热点分割方法往往难以处理骨转移热点周围较复杂的环境，其中既包括背景，也包括骨骼；
8.4)骨扫描检测方法通常需要针对每个部位进行细分判断，这导致了输出结果需要消耗更长的时间，更多的计算资源。


技术实现要素：

9.本发明的目的在于：提供了基于知识蒸馏的弱监督骨扫描图像热点分割方法及系统，解决了在监督信息较少的条件下不能有效判断是否存在热点并分割出具体热点位置的问题，本发明能在监督信息较少的条件下能判断是否存在热点，且能分割出具体热点位置，具有高效性以及在弱监督情景下良好的适应性。
10.本发明采用的技术方案如下：
11.基于知识蒸馏的弱监督骨扫描图像热点分割方法，包括以下步骤：
12.步骤1：获取骨扫描图像的图像矩阵，所述骨扫描图像包括前身图像和后身图像；
13.步骤2：对骨扫描图像进行预处理操作后进行分割，获取骨骼的分割部位图像；
14.步骤3：对不同部位分别建立并训练分类网络模型，测试网络效果；
15.步骤4：对每个部位，均构造一个轻量化的分类网络模型，通过知识蒸馏方法将原分类网络模型的知识转移到轻量化的分类网络模型上，并通过轻量化的分类网络模型判断部位是否存在热点；
16.步骤5：若在步骤4中获取到热点存在的部位，将其送入热点分割模块提取热点位置。
17.进一步地，所述步骤2包括：
18.步骤2.1：分别对前身图像和后身图像依次进行对比度调节、自动阈值分割、闭运算、中值滤波、第一次开运算、掩码运算、高斯模糊、均衡化、图片裁剪、简单阈值分割和第二次开运算，提高图像质量；
19.步骤2.2：基于解剖分割算法对预处理后的前身图像和后身图像分别进行关键点定位和图像分割，分割后得到若干个分割部位图像。
20.进一步地，所述步骤3包括：
21.步骤3.1：对于各部位，建立分类网络模型，利用训练集切片图像、labelme的标识和基于深度学习模型训练分类网络模型，其中，对于对称部位，可以将网络进行合并；
22.步骤3.2：利用训练后的分类网络模型检测受测图像的热点存在与否。
23.进一步地，所述步骤4包括：
24.步骤4.1：构建输入输出格式与原网络相同的一个轻量化的分类网络模块；
25.步骤4.2：通过知识蒸馏方法，将从原分类网络模型中得到的软标签与医生所给的标注共同训练轻量化的分类网络模型；
26.步骤4.3：利用训练后的轻量化的分类网络模型检测受测图像的热点存在与否。
27.进一步地，所述步骤5包括：
28.步骤5.1：若获取到热点存在的部位，对于相应切片图像依次进行正则化、均值滤波和高斯滤波模糊化；
29.步骤5.2：利用一次阈值分割将图像的骨骼和背景分离，并且利用分割的阈值进行背景填充；
30.步骤5.3：对5.2中得到的图像再一次使用阈值分割，将热点区域分割出来。
31.基于知识蒸馏的弱监督骨扫描图像热点分割系统，包括图像获取模块、图像处理模块、分类模块、轻量化模块和热点分割模块；
32.所述图像获取模块用于获取骨扫描图像的图像矩阵，所述骨扫描图像包括前身图像和后身图像；
33.所述图像处理模块对骨扫描图像进行预处理操作后进行分割，获取骨骼的分割部位图像；
34.所述分类模块用于不同部位分别建立并训练分类网络模型，测试网络效果；
35.所述轻量化模块用于对每个部位，构造一个更加轻量化的分类网络模型，通过知识蒸馏方法将原分类网络模型的知识转移到轻量化的分类网络模型上，并通过轻量化的分类网络模型判断部位是否存在热点；
36.若获取到热点存在的部位，将其送入所述热点分割模块提取热点位置。
37.进一步地，所述图像处理模块对骨扫描图像进行预处理包括：分别对前身图像和后身图像依次进行对比度调节、自动阈值分割、闭运算、中值滤波、第一次开运算、掩码运算、高斯模糊、均衡化、图片裁剪、简单阈值分割和第二次开运算，提高图像质量；
38.所述图像处理模块对骨扫描图像进行分割包括：基于解剖分割算法对预处理后的前身图像和后身图像分别进行关键点定位和图像分割，分割后得到若干个分割部位图像。
39.进一步地，所述分类模块用于不同部位分别建立并训练分类网络模型，测试网络效果包括：对于各部位，建立分类网络模型，利用训练集切片图像、labelme的标识和基于深度学习模型训练分类网络模型，其中，对于对称部位，可以将网络进行合并；利用训练后的分类网络模型检测受测图像的热点存在与否。
40.进一步地，所述轻量化模块用于对每个部位，构造一个更加轻量化的分类网络模型，通过知识蒸馏方法将原分类网络模型的知识转移到轻量化的分类网络模型上，并通过轻量化的分类网络模型判断部位是否存在热点包括：构建输入输出格式与原网络相同的一个轻量化的分类网络模块；通过知识蒸馏方法，将从原分类网络模型中得到的软标签与医生所给的标注共同训练轻量化的分类网络模型；利用训练后的轻量化的分类网络模型检测受测图像的热点存在与否。
41.进一步地，若获取到热点存在的部位，将其送入所述热点分割模块提取热点位置：若获取到热点存在的部位，对于相应切片图像依次进行正则化、均值滤波和高斯滤波模糊化；利用一次阈值分割将图像的骨骼和背景分离，并且利用分割的阈值进行背景填充；对于图像再一次使用阈值分割，将热点区域分割出来。
42.综上所述，由于采用了上述技术方案，本发明的有益效果是：
43.1.本发明基于知识蒸馏的弱监督骨扫描图像热点分割方法及系统，首先利用图像处理与深度学习技术，对原数据进行预处理和分割后，基于身体的对称性，将左右身体对应部位的数据进行合并，再分别构建深度神经网络模型，并进行训练，训练完成以后，为不同部位建立更加高效简洁的轻量化的分类网络模块，然后，使用知识蒸馏方法，通过软标签和医生所给的标注共同的训练，将复杂网络的知识转移到轻量化的分类网络模块，使模型达到可靠的预测效果，上述系列操作能使模型更简洁且保持可靠的分类能力，具有极强的实际应用价值。
44.2.本发明在热点分割阶段，基于骨扫描图像具有背景-骨骼-热点三层结构的特点，为该任务专门设计一套简洁高效的方法及系统，前期无需热点位置大小等监督信息进行训练，只需要通过两次阈值分割和一次像素填充，便可以取得较好的分割效果，无需额外的外界信息，简单快捷，进一步凸显了本发明的高效性以及在弱监督情景下良好的适应性。
附图说明
45.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图，其中：
46.图1是基于知识蒸馏的弱监督骨扫描图像热点分割方法流程图；
47.图2是利用知识蒸馏训练轻量化网络的原理图；
48.图3是胸部切片图像通过步骤5中各子步骤的输出示意图；
49.图4是腰椎切片图像通过步骤5中各子步骤的输出示意图；
50.图5是骨盆切片图像通过步骤5中各子步骤的输出示意图。
具体实施方式
51.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
52.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
53.需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
54.基于知识蒸馏的弱监督骨扫描图像热点分割方法及系统，解决了在监督信息较少的条件下不能有效判断是否存在热点并分割出具体热点位置的问题。
55.基于知识蒸馏的弱监督骨扫描图像热点分割方法，包括以下步骤：
56.步骤1：获取骨扫描图像的图像矩阵，所述骨扫描图像包括前身图像和后身图像；
57.步骤2：对骨扫描图像进行预处理操作后进行分割，获取骨骼的分割部位图像；
58.步骤3：对不同部位分别建立并训练分类网络模型，测试网络效果；
59.步骤4：对每个部位，均构造一个轻量化的分类网络模型，通过知识蒸馏方法将原分类网络模型的知识转移到轻量化的分类网络模型上，并通过轻量化的分类网络模型判断部位是否存在热点；
60.步骤5：若在步骤4中获取到热点存在的部位，将其送入热点分割模块提取热点位置。
61.基于知识蒸馏的弱监督骨扫描图像热点分割系统，包括图像获取模块、图像处理模块、分类模块、轻量化模块和热点分割模块；
62.所述图像获取模块用于获取骨扫描图像的图像矩阵，所述骨扫描图像包括前身图像和后身图像；
63.所述图像处理模块对骨扫描图像进行预处理操作后进行分割，获取骨骼的分割部位图像；
64.所述分类模块用于不同部位分别建立并训练分类网络模型，测试网络效果；
65.所述轻量化模块用于对每个部位，构造一个更加轻量化的分类网络模型，通过知
识蒸馏方法将原分类网络模型的知识转移到轻量化的分类网络模型上，并通过轻量化的分类网络模型判断部位是否存在热点；
66.若获取到热点存在的部位，将其送入所述热点分割模块提取热点位置。
67.下面结合实施例对本发明的特征和性能做进一步地详细描述。
68.实施例1
69.本发明的较佳实施例，提供了基于知识蒸馏的弱监督骨扫描图像热点分割方法，如图1、图2所示，包括以下步骤：
70.步骤1：获取骨扫描图像的图像矩阵，所述骨扫描图像包括前身图像和后身图像；
71.步骤1.1：用探测放射性的显像仪器检测全身骨骼，获得dicom格式的前身和后身骨扫描图像；
72.步骤1.2：用python的pydicom包中的dcmread方法读取dicom格式的骨扫描图像，获取图像矩阵格式的骨扫描图像；
73.步骤2：对骨扫描图像进行预处理操作后进行分割，获取骨骼的分割部位图像；
74.步骤2.1：分别对前身图像和后身图像依次进行对比度调节、自动阈值分割、闭运算、中值滤波、第一次开运算、掩码运算、高斯模糊、均衡化、图片裁剪、简单阈值分割和第二次开运算，提高图像质量；
75.步骤2.1.1：分别对前身图像和后身图像进行对比度调节，通过调节对比度可以平均像素值，避免部分图像的像素较低的问题；
76.步骤2.1.2：进行自动阈值分割，消除骨骼和软组织以外的、像素值较低的噪声，这些噪声的像素值大约在0-4之间；
77.步骤2.1.3：进行闭运算，填补整个人体骨骼内部空缺的像素点；
78.步骤2.1.4：进行中值滤波，消除孤立的噪声点以平滑图像，降低图像的模糊度；
79.步骤2.1.5：进行第一次开运算，消除人体骨架边缘的毛刺像素点；
80.步骤2.1.6：进行掩码运算，获得骨扫描图像的前景图；
81.步骤2.1.7：对前景图进行高斯模糊，确保像素值分布广泛，为均衡化做准备；
82.步骤2.1.8：进行均衡化处理，获取骨架和软组织；
83.步骤2.1.9：进行图片裁剪，为图像分割中的关键点定位做准备；
84.步骤2.1.10：进行简单阈值分割，抑制软组织，以获取骨架；
85.步骤2.1.11：进行第二次开运算，消除孤立像素点，消除阈值分割后产生的一些毛刺噪声，预处理完成，得到预处理后的前身图像和后身图像；
86.步骤2.2：基于解剖分割算法对预处理后的前身图像和后身图像分别进行关键点定位和图像分割，分割后得到若干个分割部位图；
87.步骤3：对不同部位分别建立并训练分类网络模型，测试网络效果；
88.步骤3.1：对于各部位，建立分类网络模型，利用训练集切片图像、labelme的标识和基于深度学习模型训练分类网络模型，其中，对于对称部位，可以将网络进行合并；
89.步骤3.2：利用训练后的分类网络模型检测受测图像的热点存在与否；
90.步骤4：对每个部位，均构造一个轻量化的分类网络模型，通过知识蒸馏方法将原分类网络模型的知识转移到轻量化的分类网络模型上，并通过轻量化的分类网络模型判断部位是否存在热点；
91.步骤4.1：构建输入输出格式与原网络相同的一个轻量化的分类网络模块(轻量化模型)；
92.步骤4.2：通过知识蒸馏方法，将从原分类网络模型(原模型)中得到的软标签与医生所给的标注共同训练轻量化的分类网络模型；医生所给的标注为硬标签；
93.步骤4.2.1：对于任何训练样本，将其输入步骤3中得到的分类网络模型，在softmax的前一层除以温度参数t，再进行softmax操作，得到软标签；
94.步骤4.2.2：将软标签与硬标签经由参数λ控制，按一定比例混合，作为训练轻量化的分类网络模型的标签。
95.步骤4.2.3：在训练完成后去除轻量化的分类网络模型中的温度参数t。
96.步骤4.3：利用训练后的轻量化的分类网络模型检测受测图像的热点存在与否；
97.步骤5：若在步骤4中获取到热点存在的部位，将其送入热点分割模块提取热点位置。
98.步骤5.1：若获取到热点存在的部位，对于相应切片图像依次进行正则化、均值滤波和高斯滤波模糊化；
99.步骤5.1.1：对分割出的原图进行正则化；
100.步骤5.1.2：进行均值滤波，平滑图像；
101.步骤5.1.3：进行高斯滤波模糊化，使骨骼部分的像素值进一步均匀；
102.步骤5.2：利用一次阈值分割将图像的骨骼和背景分离，并且利用分割的阈值进行背景填充；
103.步骤5.3：对5.2中得到的图像再一次使用阈值分割，将热点区域分割出来。
104.如图3、图4和图5所示，依次展示了胸部、腰椎与骨盆的部位切片图像通过步骤5中各子步骤的输出情况。
105.本实施例如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
106.本实施例利用深度学习技术和图像处理技术，对获取的骨扫描图像进行预处理和分割处理，并针对不同部位建立分类网络模型，在分类网络模型的基础上建立分类网络模型对应的轻量化的网络，通过轻量化的网络判断部位是否存在热点，对于存在热点的部位通过热点分割模块提取热点位置，解决了在监督信息较少的条件下不能有效判断是否存在热点并分割出具体热点位置的问题，本发明能在监督信息较少的条件下能判断是否存在热
点，且能分割出具体热点位置，具有高效性以及在弱监督情景下良好的适应性。
107.实施例2
108.本实施例提供了基于知识蒸馏的弱监督骨扫描图像热点分割终端设备，包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如一个基于异常点分布概率的骨扫描图像热点自动标注的程序，示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述基于知识蒸馏的弱监督骨扫描图像热点分割终端设备中的执行过程。例如，所述计算机程序可以被分割成图像获取模块、图像处理模块、分类模块、轻量化模块和热点分割模块，各模块具体功能如下：
109.所述图像获取模块用于获取骨扫描图像的图像矩阵，所述骨扫描图像包括前身图像和后身图像；
110.所述图像处理模块对骨扫描图像进行预处理操作后进行分割，获取骨骼的分割部位图像；
111.所述分类模块用于不同部位分别建立并训练分类网络模型，测试网络效果；
112.所述轻量化模块用于对每个部位，构造一个更加轻量化的分类网络模型，通过知识蒸馏方法将原分类网络模型的知识转移到轻量化的分类网络模型上，并通过轻量化的分类网络模型判断部位是否存在热点；
113.若获取到热点存在的部位，将其送入所述热点分割模块提取热点位置。
114.进一步地，所述图像处理模块对骨扫描图像进行预处理包括：分别对前身图像和后身图像依次进行对比度调节、自动阈值分割、闭运算、中值滤波、第一次开运算、掩码运算、高斯模糊、均衡化、图片裁剪、简单阈值分割和第二次开运算，提高图像质量；
115.所述图像处理模块对骨扫描图像进行分割包括：基于解剖分割算法对预处理后的前身图像和后身图像分别进行关键点定位和图像分割，分割后得到若干个分割部位图像。
116.进一步地，所述分类模块用于不同部位分别建立并训练分类网络模型，测试网络效果包括：对于各部位，建立分类网络模型，利用训练集切片图像、labelme的标识和基于深度学习模型训练分类网络模型，其中，对于对称部位，可以将网络进行合并；利用训练后的分类网络模型检测受测图像的热点存在与否。
117.进一步地，所述轻量化模块用于对每个部位，构造一个更加轻量化的分类网络模型，通过知识蒸馏方法将原分类网络模型的知识转移到轻量化的分类网络模型上，并通过轻量化的分类网络模型判断部位是否存在热点包括：构建输入输出格式与原网络相同的一个轻量化的分类网络模块；通过知识蒸馏方法，将从原分类网络模型中得到的软标签与医生所给的标注共同训练轻量化的分类网络模型；利用训练后的轻量化的分类网络模型检测受测图像的热点存在与否。
118.进一步地，若获取到热点存在的部位，将其送入所述热点分割模块提取热点位置：若获取到热点存在的部位，对于相应切片图像依次进行正则化、均值滤波和高斯滤波模糊化；利用一次阈值分割将图像的骨骼和背景分离，并且利用分割的阈值进行背景填充；对于图像再一次使用阈值分割，将热点区域分割出来。
119.本实施例的基于知识蒸馏的弱监督骨扫描图像热点分割终端设备可以是桌上型
计算机、笔记本、掌上电脑及云端服务器等计算设备，所述基于知识蒸馏的弱监督骨扫描图像热点分割终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，本实施例只是其中一种示例，并不构成对基于知识蒸馏的弱监督骨扫描图像热点分割终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述基于知识蒸馏的弱监督骨扫描图像热点分割终端设备还可以包括输入输出设备、网络接入设备、总线等。
120.所述处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述基于知识蒸馏的弱监督骨扫描图像热点分割终端设备的控制中心，利用各种接口和线路连接整个骨扫描图像处理终端设备的各个部分。
121.所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述基于知识蒸馏的弱监督骨扫描图像热点分割终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端设备的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
122.需要说明的是，由于说明书附图不得着色和涂改，所以本发明中区别明显的地方比较难以显示，若有必要，可提供彩色图片。
123.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明的保护范围，任何熟悉本领域的技术人员在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。