一种基于无监督学习的医学图像异常检测方法及终端与流程

1.本发明涉及图像异常检测技术领域，尤其涉及一种基于无监督学习的医学图像异常检测方法及终端。


背景技术：

2.ct(computed tomography，电子计算机断层扫描)图像是利用精确准直的x线束、γ射线和超声波等，与灵敏度极高的探测器一同围绕人体的某一部位做一个接一个的断面扫描所得到的图像，ct扫描具有扫描时间快、图像清晰等特点；但ct图像不像核磁共振图像那样具有较高的组织分辨率，且ct图像相对容易产生伪影，可能会影响头颈部位的组织检查，另外，在做ct强化扫描时，空腔器官的黏膜变化会与造影剂产生不良反应，影响图像质量，导致出现异常图像，这些异常图像如果没有及时检测并剔除出来，将会影响医生的进一步诊断。
3.因此，如何准确地实现医学图像的异常检测是我们亟待解决的问题。


技术实现要素：

4.本发明所要解决的技术问题是：提供一种基于无监督学习的医学图像异常检测方法及终端，能够准确地实现医学图像的异常检测。
5.为了解决上述技术问题，本发明采用的一种技术方案为：
6.一种基于无监督学习的医学图像异常检测方法，包括：
7.基于训练图像输入自编码器网络中使用隐式场学习方法进行重建，输出得到与所述训练图像对应的重建训练图像；
8.将所述训练图像与所述重建训练图像进行比较计算，得到异常分数；
9.根据所述异常分数对所述自编码器网络进行优化，得到优化后的自编码器网络；
10.使用所述优化后的自编码器网络对待检测图像进行特征提取，并根据提取到的特征进行异常检测。
11.为了解决上述技术问题，本发明采用的另一种技术方案为：
12.一种基于无监督学习的医学图像异常检测终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
13.基于训练图像输入自编码器网络中使用隐式场学习方法进行重建，输出得到与所述训练图像对应的重建训练图像；
14.将所述训练图像与所述重建训练图像进行比较计算，得到异常分数；
15.根据所述异常分数对所述自编码器网络进行优化，得到优化后的自编码器网络；
16.使用所述优化后的自编码器网络对待检测图像进行特征提取，并根据提取到的特征进行异常检测。
17.本发明的有益效果在于：基于训练图像输入自编码器网络中使用隐式场学习方法
进行重建，输出得到重建训练图像，将训练图像与重建训练图像进行比较计算，得到异常分数，根据异常分数对自编码器网络进行优化，使用优化后的自编码器网络对待检测图像进行特征提取，并根据提取到的特征进行异常检测，隐式场学习方法通过学习训练图像的内隐式表面表示来重建三维形状，生成无异常的重建结果，内隐式表面表示能够与特定的输入分辨率分离，可以无缝缩放以处理高分辨率的三维医学图像，最后根据训练图像与重建训练图像计算得到的异常分数对自编码器网络进行优化，使得优化后的自编码器网络能够自动化地剔除和标注异常图像，从而准确地实现医学图像的异常检测。
附图说明
18.图1为本发明实施例的一种基于无监督学习的医学图像异常检测方法的步骤流程图；
19.图2为本发明实施例的一种基于无监督学习的医学图像异常检测终端的结构示意图；
20.图3为本发明实施例基于无监督学习的医学图像异常检测方法中自编码器网络训练流程图；
21.图4为本发明实施例基于无监督学习的医学图像异常检测方法中输入自编码器网络的异常的待检测图像；
22.图5为本发明实施例基于无监督学习的医学图像异常检测方法中输出的与异常的待检测图像对应的正常的重建图像。
具体实施方式
23.为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
24.请参照图1，本发明实施例提供了一种基于无监督学习的医学图像异常检测方法，包括：
25.基于训练图像输入自编码器网络中使用隐式场学习方法进行重建，输出得到与所述训练图像对应的重建训练图像；
26.将所述训练图像与所述重建训练图像进行比较计算，得到异常分数；
27.根据所述异常分数对所述自编码器网络进行优化，得到优化后的自编码器网络；
28.使用所述优化后的自编码器网络对待检测图像进行特征提取，并根据提取到的特征进行异常检测。
29.从上述描述可知，本发明的有益效果在于：基于训练图像输入自编码器网络中使用隐式场学习方法进行重建，输出得到重建训练图像，将训练图像与重建训练图像进行比较计算，得到异常分数，根据异常分数对自编码器网络进行优化，使用优化后的自编码器网络对待检测图像进行特征提取，并根据提取到的特征进行异常检测，隐式场学习方法通过学习训练图像的内隐式表面表示来重建三维形状，生成无异常的重建结果，内隐式表面表示能够与特定的输入分辨率分离，可以无缝缩放以处理高分辨率的三维医学图像，最后根据训练图像与重建训练图像计算得到的异常分数对自编码器网络进行优化，使得优化后的自编码器网络能够自动化地剔除和标注异常图像，从而准确地实现医学图像的异常检测。
30.进一步地，所述基于训练图像输入自编码器网络中使用隐式场学习方法进行重建，输出得到与所述训练图像对应的重建训练图像之前包括：
31.获取训练图像；
32.对所述训练图像进行归一化处理，得到归一化处理后的训练图像；
33.将所述归一化处理后的训练图像进行切块，得到预处理后的训练图像。
34.由上述描述可知，对训练图像进行归一化处理并切块，得到预处理后的训练图像，有利于后续更好地将预处理后的训练图像输入至网络中进行训练，确保网络训练质量。
35.进一步地，所述自编码器网络包括编码器网络和解码器网络；
36.所述基于训练图像输入自编码器网络中使用隐式场学习方法进行重建，输出得到与所述训练图像对应的重建训练图像之前包括：
37.对所述预处理后的训练图像进行强度范围编码，得到编码后的训练图像；
38.所述基于训练图像输入自编码器网络中使用隐式场学习方法进行重建，输出得到与所述训练图像对应的重建训练图像包括：
39.将所述编码后的训练图像输入至所述编码器网络，使用隐式场学习方法对所述编码后的训练图像进行特征提取，并将提取到的与所述编码后的训练图像对应的特征映射至嵌入空间；
40.将所述与所述编码后的训练图像对应的特征输入至所述解码器网络，利用所述解码器网络基于所述特征进行重建，得到与所述训练图像对应的重建训练图像。
41.由上述描述可知，对预处理后的训练图像进行强度范围编码，将编码后的训练图像输入至编码器网络，使用隐式场学习方法对编码后的训练图像进行特征提取，并将提取到的与编码后的训练图像对应的特征映射至嵌入空间，将特征输入至解码器网络，利用解码器网络基于特征进行重建，得到与训练图像对应的重建训练图像，由于ct图像相对复杂，内部包含了很多信息，比如ct值从-1000到3000，越亮的ct值越大，越暗的ct值越小，不同的亮度(ct值)会直接影响到特征值，因此对预处理后的训练图像进行强度范围编码能够便于后续更好地提取出训练图像中的潜在特征，有利于后续根据特征进行图像重建，使用隐式场学习方法进行特征提取能够通过学习其内隐式表面表示能够与特定的输入分辨率分离，可以无缝缩放以处理高分辨率的三维医学图像，以便更好地实现图像重建。
42.进一步地，所述利用所述编码器网络对所述预处理后的训练图像进行强度范围编码，得到编码后的训练图像之后包括：
43.利用解池过滤器去除所述编码后的训练图像中的虚假强度值，得到去除虚假强度值后的训练图像。
44.由上述描述可知，利用解池过滤器去除编码后的训练图像中的虚假强度值，能够保持编码后的训练图像的整体结构，使得训练图像中能够保留尽可能多的信息。
45.进一步地，所述将所述训练图像与所述重建训练图像进行比较计算，得到异常分数包括：
46.使用交叉熵损失函数对所述训练图像与所述重建训练图像进行比较计算，得到异常分数；
47.所述异常分数score为：
48.score＝-logp(t＝t
gt
|k,p)；
49.式中，t
gt
表示所述编码后的训练图像对应的体素强度，k表示所述特征，p表示所述编码后的训练图像对应的后验概率。
50.由上述描述可知，使用交叉熵损失函数对训练图像与重建训练图像进行比较计算，得到异常分数，交叉熵损失函数能够对训练图像与重建训练图像的异常分数进行优化，能够提高后续基于异常分数优化后的自编码器网络的质量，从而准确地实现医学图像的异常检测。
51.请参照图2，一种基于无监督学习的医学图像异常检测终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
52.基于训练图像输入自编码器网络中使用隐式场学习方法进行重建，输出得到与所述训练图像对应的重建训练图像；
53.将所述训练图像与所述重建训练图像进行比较计算，得到异常分数；
54.根据所述异常分数对所述自编码器网络进行优化，得到优化后的自编码器网络；
55.使用所述优化后的自编码器网络对待检测图像进行特征提取，并根据提取到的特征进行异常检测。
56.从上述描述可知，本发明的有益效果在于：基于训练图像输入自编码器网络中使用隐式场学习方法进行重建，输出得到重建训练图像，将训练图像与重建训练图像进行比较计算，得到异常分数，根据异常分数对自编码器网络进行优化，使用优化后的自编码器网络对待检测图像进行特征提取，并根据提取到的特征进行异常检测，隐式场学习方法通过学习训练图像的内隐式表面表示来重建三维形状，生成无异常的重建结果，内隐式表面表示能够与特定的输入分辨率分离，可以无缝缩放以处理高分辨率的三维医学图像，最后根据训练图像与重建训练图像计算得到的异常分数对自编码器网络进行优化，使得优化后的自编码器网络能够自动化地剔除和标注异常图像，从而准确地实现医学图像的异常检测。
57.进一步地，所述基于训练图像输入自编码器网络中使用隐式场学习方法进行重建，输出得到与所述训练图像对应的重建训练图像之前包括：
58.获取训练图像；
59.对所述训练图像进行归一化处理，得到归一化处理后的训练图像；
60.将所述归一化处理后的训练图像进行切块，得到预处理后的训练图像。
61.由上述描述可知，对训练图像进行归一化处理并切块，得到预处理后的训练图像，有利于后续更好地将预处理后的训练图像输入至网络中进行训练，确保网络训练质量。
62.进一步地，所述自编码器网络包括编码器网络和解码器网络；
63.所述基于训练图像输入自编码器网络中使用隐式场学习方法进行重建，输出得到与所述训练图像对应的重建训练图像之前包括：
64.对所述预处理后的训练图像进行强度范围编码，得到编码后的训练图像；
65.所述基于训练图像输入自编码器网络中使用隐式场学习方法进行重建，输出得到与所述训练图像对应的重建训练图像包括：
66.将所述编码后的训练图像输入至所述编码器网络，使用隐式场学习方法对所述编码后的训练图像进行特征提取，并将提取到的与所述编码后的训练图像对应的特征映射至嵌入空间；
67.将所述与所述编码后的训练图像对应的特征输入至所述解码器网络，利用所述解码器网络基于所述特征进行重建，得到与所述训练图像对应的重建训练图像。
68.由上述描述可知，对预处理后的训练图像进行强度范围编码，将编码后的训练图像输入至编码器网络，使用隐式场学习方法对编码后的训练图像进行特征提取，并将提取到的与编码后的训练图像对应的特征映射至嵌入空间，将特征输入至解码器网络，利用解码器网络基于特征进行重建，得到与训练图像对应的重建训练图像，由于ct图像相对复杂，内部包含了很多信息，比如ct值从-1000到3000，越亮的ct值越大，越暗的ct值越小，不同的亮度(ct值)会直接影响到特征值，因此对预处理后的训练图像进行强度范围编码能够便于后续更好地提取出训练图像中的潜在特征，有利于后续根据特征进行图像重建，使用隐式场学习方法进行特征提取能够通过学习其内隐式表面表示能够与特定的输入分辨率分离，可以无缝缩放以处理高分辨率的三维医学图像，以便更好地实现图像重建。
69.进一步地，所述利用所述编码器网络对所述预处理后的训练图像进行强度范围编码，得到编码后的训练图像之后包括：
70.利用解池过滤器去除所述编码后的训练图像中的虚假强度值，得到去除虚假强度值后的训练图像。
71.由上述描述可知，利用解池过滤器去除编码后的训练图像中的虚假强度值，能够保持编码后的训练图像的整体结构，使得训练图像中能够保留尽可能多的信息。
72.进一步地，所述将所述训练图像与所述重建训练图像进行比较计算，得到异常分数包括：
73.使用交叉熵损失函数对所述训练图像与所述重建训练图像进行比较计算，得到异常分数；
74.所述异常分数score为：
75.score＝-logp(t＝t
gt
|k,p)；
76.式中，t
gt
表示所述编码后的训练图像对应的体素强度，k表示所述特征，p表示所述编码后的训练图像对应的后验概率。
77.由上述描述可知，使用交叉熵损失函数对训练图像与重建训练图像进行比较计算，得到异常分数，交叉熵损失函数能够对训练图像与重建训练图像的异常分数进行优化，能够提高后续基于异常分数优化后的自编码器网络的质量，从而准确地实现医学图像的异常检测。
78.本发明上述的基于无监督学习的医学图像异常检测方法及终端能够适用于三维ct图像的异常检测，以剔除异常三维ct图像，以下通过具体实施方式进行说明：
79.实施例一
80.请参照图1、3-5，本实施例的一种基于无监督学习的医学图像异常检测方法，包括：
81.s01、获取训练图像；
82.其中，所述训练图像为无异常的三维ct训练图像；
83.s02、对所述训练图像进行归一化处理，得到归一化处理后的训练图像；
84.具体的，对所述训练图像进行归一化处理，所述归一化处理的归一化范围为[-1,1]，得到归一化处理后的训练图像；
[0085]
s03、将所述归一化处理后的训练图像进行切块，得到预处理后的训练图像；
[0086]
具体的，将所述归一化处理后的训练图像进行切块，并使用坐标编码函数进行坐标编码，得到预处理后的训练图像；
[0087]
所述坐标编码函数为：
[0088]
a(b)＝(sin(20πb),cos(20πb),...,sin(2
h-1
πb),cos(2
h-1
πb))；
[0089]
式中，b表示所述预处理后的训练图像的坐标，a表示所述编码后的训练图像的坐标，h表示待定参数；
[0090]
所述待定参数可根据实际需要进行设置，本实施例中，所述待定参数为10，对归一化处理后的训练图像进行切块并坐标编码，便于后续更好地对图像进行处理，提高图像处理效率；
[0091]
s04、对所述预处理后的训练图像进行强度范围编码，得到编码后的训练图像；
[0092]
强度范围编码背后的基本原理有两方面，即，使隐式场学习方法对图像重建任务得到直接的扩展，同时能够从原始图像和重建图像之间解除图像强度的计算；
[0093]
将所述预处理后的训练图像建模为离散的不同聚类集中的强度值，所述聚类集c包括中每个类代表一个体素强度的范围，神经网络学习在c类强度上的概率分布，定义强度簇，使用k-means将集群的数量作为一个超参数以便编码在原始卷中保留尽可能多的信息；强度范围编码的作用是为了训练样本的潜在向量并将潜在向量与三维训练图像体积采样的坐标连接起来，使得网络能够学习体素强度映射(潜在向量、空间坐标)的多类编码；
[0094]
s05、利用解池过滤器去除所述编码后的训练图像中的虚假强度值，得到去除虚假强度值后的训练图像；
[0095]
具体的，使用大小为2
×2×
2的解池过滤器去除所述编码后的训练图像中的虚假强度值，得到去除虚假强度值后的训练图像，在验证和测试过程中可使用大小为3
×3×
3的解池过滤器，同时设置一个三维模池层(3d mode pooling)，对于一个三维滑动窗口返回最常见的强度簇，以实现训练图像的平滑和去噪，提高了异常检测的精度；
[0096]
s1、基于训练图像输入自编码器网络中使用隐式场学习方法进行重建，输出得到与所述训练图像对应的重建训练图像，其中，所述自编码器网络包括编码器网络和解码器网络，具体为：
[0097]
s11、将所述编码后的训练图像输入至所述编码器网络，使用隐式场学习方法对所述编码后的训练图像进行特征提取，并将提取到的与所述编码后的训练图像对应的特征映射至嵌入空间；
[0098]
具体的，通常用一组离散体素的强度表示三维训练图像，所述自编码器网络使用隐式场学习方法学习一个以空间坐标p＝(x，y，z)∈r3为输入的连续函数f映射到c聚类上的概率分布，其中，每个类代表一个体素强度的范围；除了以上空间坐标之外，将描述特定三维图像的潜在向量k(k∈rd)作为输入；
[0099]
所述连续函数f为：
[0100]
f:r3×
rd→
{1,2,...,c}；
[0101]
式中，连续函数f学习连续空间坐标p和潜在向量k在每个类强度范围内的后验概率，使用softmax激活函数对后验概率p进行建模，如下式：
[0102][0103]
式中，t表示真体素类别，t∈{1,2，...，c}；
[0104]
利用解码器网络得到潜在向量k，与编码器网络来产生潜在表示相反，在解码器网络中每个训练的三维图像都与嵌入空间中的d维向量配对；
[0105]
s12、将所述与所述编码后的训练图像对应的特征输入至所述解码器网络，利用所述解码器网络基于所述特征进行重建，得到与所述训练图像对应的重建训练图像；
[0106]
s2、将所述训练图像与所述重建训练图像进行比较计算，得到异常分数；
[0107]
其中，异常分数即所述重建训练图像的重建误差；
[0108]
在进行异常检测时，目标是从与测试图像一致的模型中检索一个健康(正常)的图像，检索到的图像称为恢复体，保持与测试图像的一致性，亦属于健康(正常)图像的学习分布，最后，通过将恢复体与测试图像进行比较来确定异常值；
[0109]
为了生成一个恢复体，沿着潜在空间(嵌入空间)移动搜索潜在向量k，它在k个随机采样的数据点(训练图像)上最小化以下表达式，如图3所示：
[0110][0111]
式中，l(f
θ
(k，pj)，tj)表示所述重建训练图像和训练图像的体素类别t∈{1,2，...c}之间的交叉熵损失，σ表示超参数；
[0112]
所述最小化使用adam优化器进行搜索到的潜在向量k生成了恢复体就可以计算一个基于体素的异常分数，使用网络估计每个体素的强度簇的概率，并计算训练图像和恢复体(重建训练图像)之间的体素交叉熵损失作为异常分数，具体的，使用交叉熵损失函数对所述训练图像与所述重建训练图像进行比较计算，得到异常分数；
[0113]
所述异常分数score为：
[0114]
score＝-logp(t＝t
gt
|k,p)；
[0115]
式中，t
gt
表示所述编码后的训练图像对应的体素强度，k表示所述特征，p表示所述编码后的训练图像对应的后验概率；
[0116]
式中用交叉熵损失代替绝对残差来解释强度范围编码，以去除使用最小池化层(滤波器大小为3)和平均池化层(滤波器大小为15)的后处理获得异常分数，两者都是三维的，且异常分数是从强度簇上的预测概率中得到的，能更好地表示不同的组织类型；
[0117]
如果算法收敛到坏的局部最小值，可通过最优k近邻的多个修复来计算异常分数以改善最后的结果；
[0118]
s3、根据所述异常分数对所述自编码器网络进行优化，得到优化后的自编码器网络；
[0119]
具体的，使用反向传播根据所述异常分数对所述自编码器网络进行优化，优化自编码器网络的潜在码和参数θ，如下式，得到优化后的自编码器网络：
[0120]
[0121]
式中，n表示所述训练图像的数量，k表示采样的数据点数量，k表示所述潜在向量，t表示真体素类别；
[0122]
反向传播不仅优化了网络的参数，而且还优化了每个三维训练图像的潜在向量表示；
[0123]
如图3所示，图3展示了自编码器网络的训练过程，潜在码分布的先验是一个具有协方差σ2i的球形多元高斯分布，σ超参数允许调制潜在分布中的正则化量，在异常检测过程中，上式仅对潜在向量k进行优化；
[0124]
从图3可以看出，训练时，利用编码器网络对编码后的训练图像(即训练样本n)进行特征提取，将提取到的特征(即潜在向量)映射到嵌入空间，从嵌入空间中重复收集k次潜在向量，将k次的潜在向量输入解码器网络，在解码器网络中连接潜在向量k和空间坐标p，从训练图像(即训练3d图像块)中随机抽样k个数据点，将k个数据点也输入解码器网络中，最终解码器网络输出重建训练图像；
[0125]
所述自编码器网络是一个由8个全连接层组成的前馈网络，潜在的维度为256，所有隐藏层都有512个单位，并使用relu作为激活和权重标准化；在此网络中，使用dropout方法(即隐藏层)来屏蔽一部分无效神经元，使得网络传递更高效；初始化嵌入空间n，先验协方差超参数设置为σ＝0.01，在将三维训练图像切割成二维切片时，为每个轴向切片分配了256个维度，而并非整个体积，预测时也以轴向坐标为条件，在最终异常检测时，得到一个每四个轴向切片的异常分数，每个轴向异常分数被复制4次，以返回到原始的轴向分辨率，并对得到的体积使用3d滤波器进行后处理(即最小池化和平均池化)；
[0126]
s4、使用所述优化后的自编码器网络对待检测图像进行特征提取，并根据提取到的特征进行异常检测；
[0127]
使用所述优化后的自编码器网络对待检测图像进行特征提取，利用提取到的特征重建所述待检测图像，得到重建待检测图像，如图4、5所示，图4展示了输入自编码器网络的异常的待检测图像，图5展示了经过自编码器网络重建后输出的与异常的待检测图像对应的重建图像，将所述重建待检测图像与所述待检测图像进行比较计算，会得到对应的异常得分，根据上述训练网络过程中的所述异常分数设置一个预设值，用于将检测时的异常得分与预设值进行比较，以此判断待检测图像是否异常，由于优化后的自编码器网络对正常的医学图像具有较好的重建效果，当待检测图像是正常图像，经过优化后的自编码器网络重建的重建待检测图像与待检测图像的异常得分应该很小，当待检测图像是异常图像，那么最终的重建待检测图像与待检测图像的异常得分应该很大，即异常得分大于预设值，其中，所述异常得分score’与所述异常分数计算方式一致，为：
[0128]
score
′
＝-logp
′
(t
′
＝t
′
gt
|k
′
，p
′
)；
[0129]
式中，t’gt
表示所述待检测图像对应的体素强度，k’表示所述特征，p’表示所述待检测图像对应的后验概率。
[0130]
实施例二
[0131]
请参照图2，一种基于无监督学习的医学图像异常检测终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例一中的基于无监督学习的医学图像异常检测方法中的各个步骤。
[0132]
综上所述，本发明提供的一种基于无监督学习的医学图像异常检测方法及终端，
对训练图像进行归一化处理，将归一化处理后的训练图像进行切块，得到预处理后的训练图像，有利于后续更好地将预处理后的训练图像输入至网络中进行训练，确保网络训练质量；对所述预处理后的训练图像进行强度范围编码，得到编码后的训练图像；将所述编码后的训练图像输入至所述编码器网络，使用隐式场学习方法对所述编码后的训练图像进行特征提取，并将提取到的与所述编码后的训练图像对应的特征映射至嵌入空间；将所述与所述编码后的训练图像对应的特征输入至所述解码器网络，利用所述解码器网络基于所述特征进行重建，得到与所述训练图像对应的重建训练图像，便于后续更好地提取出训练图像中的潜在特征，有利于后续根据特征进行图像重建；将所述训练图像与所述重建训练图像进行比较计算，得到异常分数；根据所述异常分数对所述自编码器网络进行优化，得到优化后的自编码器网络；使用所述优化后的自编码器网络对待检测图像进行特征提取，并根据提取到的特征进行异常检测，隐式场学习方法通过学习训练图像的内隐式表面表示来重建三维形状，生成无异常的重建结果，内隐式表面表示能够与特定的输入分辨率分离，可以无缝缩放以处理高分辨率的三维医学图像，最后根据训练图像与重建训练图像计算得到的异常分数对自编码器网络进行优化，使得优化后的自编码器网络能够自动化地剔除和标注异常图像，从而准确地实现医学图像的异常检测。
[0133]
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。