一种骨扫描图像热点自动标注方法及系统与流程

1.本发明属于骨扫描图像处理技术领域，涉及一种骨扫描图像热点自动标注方法及系统。


背景技术：

2.肿瘤骨转移是最常见的骨恶性病变，它是最常见的癌症并发症之一，大概30％-70％的癌症患者均患存在肿瘤骨转移的情况，这种类型的癌症有很强的骨活动性，容易造成疼痛且难以治愈，在得到有效治疗之前，80％-90％的恶性原发型肿瘤骨转移患者会在几年内死亡，因此，对骨转移的早期诊断是病人做出治疗决定的关键因素，也可能对病情的发展产生重大影响。
3.影像学检查是治疗骨转移的重要步骤，在多种形态学和功能成像技术中，pet、ct、mri和核素骨显像(bs)是最广泛用于检测评估恶性骨转移的，他们在骨转移检测中起着至关重要的作用。尽管pet和pet/ct是近年来最有效的骨转移筛查技术，但核素骨显像(bs)仍然是核医学中最常用的成像方法。
4.目前，主要的全身骨扫描图像分析方法有以下缺陷：
5.1)患者间骨扫描图像差异大、图像对比度不明显，医师在阅片时需不断调整图像对比度，导致医师诊断骨扫描图像以及标注骨扫描图像中的热点需花费大量时间；
6.2)大部分使用传统图像处理算法处理全身骨扫描图像的方法虽然可以分割出热点，但并未对热点进行分类处理，且分割精度难以符合临床应用的要求；
7.3)大部分使用基于深度学习的图像处理算法进行全身骨扫描图像处理的工作仅仅是对全身骨扫描图像进行分类，亦或是针对骨扫描图像的单个部位进行分类，没有对骨扫描图像进行热点检测，难以获取热点精准的位置信息和单个热点的类别信息；
8.4)大部分针对全身骨扫描图像处理的工作都未考虑以及利用热点的整体分布信息进行骨扫描图像的处理。


技术实现要素：

9.本发明的目的在于：提供了一种骨扫描图像热点自动标注方法及系统，解决了骨扫描图像差异大、图像对比度不明显，未对热点进行分类处理，难以获取热点精准的位置信息和单个热点的类别信息的问题，实现骨扫描图像中热点的精确定位和分类，以此实现热点的自动标注，更好地辅助核医学医师诊断骨扫描图像。
10.本发明采用的技术方案如下：
11.一种骨扫描图像热点自动标注方法，包括以下步骤：
12.步骤1：获取骨扫描图像的图像矩阵，所述骨扫描图像包括前身图像和后身图像；
13.步骤2：对骨扫描图像进行预处理操作，获取预处理骨扫描图像；
14.步骤3：建立并训练分类网络模型，将预处理骨扫描图像分类为正常图像和热点图像；
15.步骤4：建立并训练目标检测网络模型，检测热点图像中的热点，获取热点的位置信息、类别信息及置信度。
16.进一步地，所述步骤1包括：
17.步骤1.1：用探测放射性的显像仪器探测全身骨骼后得到dicom格式的骨扫描图像；
18.步骤1.2：用python的pydicom包中的dcmread方法读取dicom格式的骨扫描图像，获取图像矩阵格式的骨扫描图像，即前身图像和后身图像。
19.进一步地，所述步骤2包括：
20.步骤2.1：分别对前身图像和后身图像依次进行对比度调节、自动阈值分割、前后图像拼接和三通道图像合成，获取预处理骨扫描图像；
21.步骤2.2：由专业医师协同标注前后图像拼接的骨扫描图像的热点，获取热点标注信息。
22.进一步地，所述步骤3包括：
23.步骤3.1：建立分类网络模型，利用预处理骨扫描图像及其热点标注信息训练该分类网络模型；
24.步骤3.2：利用训练后的分类网络模型将未参与训练的预处理骨扫描图像分类成正常图像和热点图像。
25.进一步地，所述步骤4包括：
26.步骤4.1：建立基于高斯混合模型的候选框生成模型，所述高斯混合模型的概率分布是以热点图像的脊柱、骨盆、头部和膝盖等关节部位为中心的混合高斯分布；
27.步骤4.2：建立目标检测网络模型，利用热点图像及其热点标注信息和基于高斯混合模型的候选框生成模型训练该目标检测网络模型；
28.步骤4.3：利用训练后的目标检测网络模型检测热点图像中的热点，获取热点的位置信息、类别信息及置信度。
29.一种骨扫描图像热点自动标注系统，包括图像获取模块、图像处理模块、分类模块和目标检测模块；
30.所述图像获取模块用于导入骨扫描图像的图像矩阵，所述骨扫描图像包括前身图像和后身图像；
31.所述图像处理模块用于对骨扫描图像进行预处理操作，获取预处理骨扫描图像；
32.所述分类模块用于建立分类网络模型，将预处理骨扫描图像分类为正常图像和热点图像；
33.所述目标检测模块用于建立目标检测网络模型，检测热点图像中的热点，获取热点的位置信息、类别信息及置信度。
34.进一步地，所述图像获取模块导入骨扫描图像的图像矩阵包括：探测放射性的显像仪器探测全身骨骼后得到dicom格式的骨扫描图像；用python的pydicom包中的dcmread方法读取dicom格式的骨扫描图像，获取图像矩阵格式的骨扫描图像，即前身图像和后身图像。
35.进一步地，所述图像处理模块对骨扫描图像进行预处理包括：分别对前身图像和后身图像依次进行对比度调节、自动阈值分割、前后图像拼接和三通道图像合成，获取预处
理骨扫描图像；由专业医师协同标注前后图像拼接的骨扫描图像的热点，获取热点标注信息。
36.进一步地，所述分类模块中建立分类网络模型，将预处理骨扫描图像分类为正常图像和热点图像包括：建立分类网络模型，利用预处理骨扫描图像及其热点标注信息训练该分类网络模型；利用训练后的分类网络模型将未参与训练的预处理骨扫描图像分类成正常图像和热点图像。
37.进一步地，所述目标检测模块中建立目标检测网络模型，检测热点图像中的热点，获取热点的位置信息、类别信息及置信度包括：建立基于高斯混合模型的候选框生成模型，所述高斯混合模型的概率分布是以热点图像的脊柱、骨盆、头部和膝盖等关节部位为中心的混合高斯分布；建立目标检测网络模型，利用热点图像及其热点标注信息和基于高斯混合模型的候选框生成模型训练该目标检测网络模型；利用训练后的目标检测网络模型检测热点图像中的热点，获取热点的位置信息、类别信息及置信度。
38.综上所述，由于采用了上述技术方案，本发明的有益效果是：
39.本发明一种骨扫描图像热点自动标注方法及系统，对获取的骨扫描图像进行预处理，建立分类网络模型进行将预处理骨扫描图像分类为正常图像和热点图像，并建立目标检测网络模型，检测热点图像中的热点，获取热点的位置信息、类别信息及置信度，通过预处理克服了骨扫描图像差异大、图像对比度不明显的问题，通过目标检测网络模型实现了对热点图像的热点的精确定位和分类，以此实现热点的自动标注，更好地辅助核医学医师诊断骨扫描图像。
附图说明
40.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图，其中：
41.图1是基于异常点分布概率的骨扫描图像热点自动标注方法流程图；
42.图2是骨扫描图像热点自动标注的流程演示图；
43.图3是骨扫描图像预处理流程图；
44.图4是分类网络模型的流程图；
45.图5是目标检测网络模型的结构示意图。
具体实施方式
46.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
47.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
49.一种骨扫描图像热点自动标注方法及系统，解决了骨扫描图像差异大、图像对比度不明显，未对热点进行分类处理，难以获取热点精准的位置信息和单个热点的类别信息的问题。
50.一种骨扫描图像热点自动标注方法，包括以下步骤：
51.步骤1：获取骨扫描图像的图像矩阵，所述骨扫描图像包括前身图像和后身图像；
52.步骤2：对骨扫描图像进行预处理操作，获取预处理骨扫描图像；
53.步骤3：建立并训练分类网络模型，将预处理骨扫描图像分类为正常图像和热点图像；
54.步骤4：建立并训练目标检测网络模型，检测热点图像中的热点，获取热点的位置信息、类别信息及置信度。
55.一种骨扫描图像热点自动标注系统，其特征在于：包括图像获取模块、图像处理模块、分类模块和目标检测模块；
56.所述图像获取模块用于导入骨扫描图像的图像矩阵，所述骨扫描图像包括前身图像和后身图像；
57.所述图像处理模块用于对骨扫描图像进行预处理操作，获取预处理骨扫描图像；
58.所述分类模块用于建立分类网络模型，将预处理骨扫描图像分类为正常图像和热点图像；
59.所述目标检测模块用于建立目标检测网络模型，检测热点图像中的热点，获取热点的位置信息、类别信息及置信度。
60.下面结合实施例对本发明的特征和性能做进一步地详细描述。
61.实施例1
62.本发明的较佳实施例，提供了一种骨扫描图像热点自动标注方法，如图1、图2、图3、图4和图5所示，包括以下步骤：
63.步骤1：获取骨扫描图像的图像矩阵，所述骨扫描图像包括前身图像和后身图像；
64.步骤1.1：用探测放射性的显像仪器探测全身骨骼后得到dicom格式的骨扫描图像；
65.步骤1.2：用python的pydicom包中的dcmread方法读取dicom格式的骨扫描图像，获取图像矩阵格式的骨扫描图像，即前身图像和后身图像；其中，图像分辨率均为256*1024；
66.步骤2：对骨扫描图像进行预处理操作，获取预处理骨扫描图像；
67.步骤2.1：分别对前身图像和后身图像依次进行对比度调节、自动阈值分割、前后图像拼接和三通道图像合成，获取预处理骨扫描图像；
68.步骤2.1.1：所述对比度调节方法为伽马变换方法，伽马因子小于1，用于增强骨扫描图像中灰度值较低的像素点的像素值；
69.步骤2.1.2：所述自动阈值分割方法采用的是取零阈值(cv2.thresh_tozero)和otsu阈值(cv2.thresh_otsu)；
70.步骤2.1.3：所述前后图像拼接方法为将前身图像和后身图像进行水平拼接，最终得到拼接后骨扫描图像；
71.步骤2.1.4：所述三通道图像合成方法为将得到的拼接后骨扫描图像进行三通道合成，其中第一和第三通道的图像矩阵为拼接后骨扫描图像的图像矩阵，第二通道的图像矩阵为拼接后骨扫描图像水平翻转后的图像矩阵，最终得到预处理骨扫描图像；
72.步骤2.2：由专业医师协同标注前后图像拼接的骨扫描图像的热点，获取热点标注信息；
73.步骤2.2.1：所述预处理骨扫描图像中的热点标注为专业医师使用labelme中的矩形框工具框住热点，并标注具体类别，即生理热点、良性热点和恶性热点；
74.步骤2.2.2：标注完骨扫描图像后，医师保存热点标注信息为图像标注文件(*.json)，所述图像标注文件包含图像的像素信息及热点的位置信息、长宽和类别信息；
75.步骤3：建立并训练分类网络模型，将预处理骨扫描图像分类为正常图像和热点图像；
76.步骤3.1：建立分类网络模型，利用预处理骨扫描图像及其热点标注信息训练该分类网络模型；
77.步骤3.1.1：所述分类网络模型包括特征提取和二分类；
78.步骤3.1.2：所述热点标注信息为若骨扫描图像中包含专业医师标注的热点，为热点图像；反之为正常图像；
79.步骤3.2：利用训练后的分类网络模型将未参与训练的预处理骨扫描图像分类成正常图像和热点图像；
80.步骤4：建立并训练目标检测网络模型，检测热点图像中的热点，获取热点的位置信息、类别信息及置信度；
81.步骤4.1：建立基于高斯混合模型的候选框生成模型，所述高斯混合模型的概率分布是以热点图像的脊柱、骨盆、头部和膝盖等关节部位为中心的混合高斯分布；
82.步骤4.1.1：建立以胸椎、骨盆、头部、左膝、右膝等为中心的高斯混合模型，表示为：
[0083][0084]
其中x是一个二维随机变量，表示热点位置的中心坐标，n(x|μk,∑k)为一个普通的高斯分布，也是混合模型中的第k个分量，πk表示混合系数，且满足：
[0085][0086]
0≤πk≤1
[0087]
步骤4.1.2：预选取的中心点为胸椎、骨盆、头部、左膝、右膝等关节上的随机点，所选取的中心点作为高斯混合模型初始化参数的均值μk，并设置初始化参数πk,∑k；
[0088]
步骤4.1.3：设计高斯混合模型的损失函数为：
[0089][0090]
其中θ为πk,μk,σk；
[0091]
步骤4.1.4：在步骤2.2中得到的所有图像的全部热点中随机采样80％的热点中心点位置作为高斯混合模型的样本点，并利用em算法优化参数πk,μk,σk得到基于高斯混合模型的候选框生成模型；
[0092]
步骤4.2：建立目标检测网络模型，利用热点图像及其热点标注信息和基于高斯混合模型的候选框生成模型训练该目标检测网络模型；
[0093]
步骤4.2.1：所述目标检测模型包括特征提取、基于高斯混合模型的候选区域提取、roi对齐、分类和边界回归；roi为感兴趣区域；
[0094]
步骤4.2.2：所述基于高斯混合模型的候选区域提取为利用得到的基于高斯混合模型的候选框生成模型提取特征图上的候选区域得到roi；
[0095]
步骤4.3：利用训练后的目标检测网络模型检测热点图像中的热点，获取热点的位置信息、类别信息及置信度。
[0096]
本实施例如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random accessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0097]
本实施例利用深度学习技术和图像处理技术，对获取的骨扫描图像进行预处理，建立分类网络模型进行将预处理骨扫描图像分类为正常图像和热点图像，并建立目标检测网络模型，检测热点图像中的热点，获取热点的位置信息、类别信息及置信度，通过预处理克服了骨扫描图像差异大、图像对比度不明显的问题，通过目标检测网络模型实现了对热点图像的热点的精确定位和分类，以此实现热点的自动标注，更好地辅助核医学医师诊断骨扫描图像。
[0098]
实施例2
[0099]
本实施例提供了一种骨扫描图像热点自动标注终端设备，包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如一种骨扫描图像热点自动标注的程序，示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述基于异常点分布概率的骨扫描图像热点自动标注终端设备的控制中心，利用各种接口和线路连接整个骨扫描图像处理终端设备的各个部分。
[0110]
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述基于异常点分布概率的骨扫描图像热点自动标注终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端设备的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0111]
需要说明的是，由于说明书附图不得着色和涂改，所以本发明中区别明显的地方比较难以显示，若有必要，可提供彩色图片。
[0112]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明的保护范围，任何熟悉本领域的技术人员在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。