基于深度表征网络的医学影像异常检测方法和装置

1.本技术涉及计算机视觉、深度学习和医学影像智能分析交叉技术领域，尤其涉及一种基于深度表征网络的医学影像异常检测方法和装置。


背景技术：

2.在医学影像数据中，腹部、胸部、脑部等医学影像在健康人群中通常具有某些潜在的特征，包括纹理特征、结构特征等。医生在对医学影像(如ct、核磁共振等)进行诊断时，通常第一步需要判断影像中是否存在与正常影像明显不一致的特征，再针对该特征进行深入地分析和判断，进而得出诊断结果。以脑部ct图像为例，医生进行诊断时，往往首先判断图像中出现了异常密度的结构，再进一步根据该异常密度的大小、位置和周围组织的情况判断是否出现了脑梗塞、脑出血以及更进一步的脑实质出血、硬膜下出血或脑室内出血。
3.近年来，受益于人工智能技术的发展，深度学习方法为医学图像智能分析带来了巨大契机，深度学习技术尤其是卷积神经网络在医学影像处理领域得到了广泛应用，在各类器官疾病、各个临床阶段都取得了不同程度的发展。传统的基于卷积神经网络的辅助诊断方法的核心思想大多是寻找能够有效区分某种疾病与正常影像的特征，模型效果很大程度上依赖于由具有准确标注的大量影像数据组成的训练数据集。然而这一前提极大地限制了模型在实际临床转化中的可行性，尤其是对某些医疗资源比较缺乏、医疗水平相对落后的地区，以及某些发病率较低的罕见疾病，几乎难以获取大量的高质量、准确标注的影像数据。此外，现有的大多数诊断模型主要针对某一种或几种特定的疾病进行设计，导致模型在实际临床中的应用非常有限。


技术实现要素：

4.本技术旨在至少在一定程度上解决相关技术中的技术问题之一。
5.为此，本技术的第一个目的在于提出一种基于深度表征网络的医学影像异常检测方法，解决了现有诊断模型很大程度上依赖于大量的高质量、准确标注的影像数据，在实际临床转化中的可行性低的问题，同时解决了现有诊断模型主要针对某一种或几种特定的疾病进行设计，在实际临床中的应用非常有限的问题，通过利用深度异常检测网络挖掘正常医学影像的高层表征，并约束表征满足某种分布，使得网络具有较强的特征提取和分析能力，同时通过对深度异常检测网络进行训练，可以实现多种异常的检测任务，并且本技术提出的基于正常脑部图像的异常检测方法有助于打破医疗资源和水平分布不均的限制，同时实现多类疾病异常检测，为医生提供辅助和支撑，对提高临床诊断准确性具有重要的意义。
6.本技术的第二个目的在于提出一种基于深度表征网络的医学影像异常检测装置。
7.本技术的第三个目的在于提出一种非临时性计算机可读存储介质。
8.为达上述目的，本技术第一方面实施例提出了一种基于深度表征网络的医学影像异常检测方法，包括：采集待检测医学影像；对采集的医学影像进行规范化处理，生成规范化图像；将规范化图像输入训练好的深度异常检测网络中，对输入影像数据进行诊断，判断
输入影像是否异常。
9.可选地，在本技术的一个实施例中，深度异常检测网络包括生成对抗网络和单值分类网络，
10.将规范化图像输入训练好的深度异常检测网络中，对输入影像数据进行诊断，包括：
11.将影像输入生成对抗网络进行特征提取，再将提取的特征输入单值分类网络，得到图像高层表征；
12.使用基于支持向量数据描述的单值分类方法优化图像高层表征在更高层特征空间中的分布，根据数据在高层空间中的分布得到异常检测结果，最后由单值分类网络输出异常检测结果。
13.可选地，在本技术的一个实施例中，训练生成对抗网络，包括以下步骤：
14.步骤s1：采集来自健康人群的指定模态的三维影像，并对采集到的医学影像进行规范化处理，生成训练数据集；
15.步骤s2：对训练数据集进行图像变换，生成增广图像，从特征空间中随机采样，得到随机变量，其中，特征空间为满足高斯分布的随机向量空间；
16.步骤s3：将训练数据集中的原始图像、增广图像和随机变量输入生成对抗网络中进行训练，以更新生成对抗网络；
17.步骤s4：重复进行步骤s2、步骤s3，直到生成对抗网络收敛，完成训练。
18.可选地，在本技术的一个实施例中，生成对抗网络包括生成网络和对抗网络，将训练数据集中的原始图像、增广图像和随机变量输入生成对抗网络中进行训练，以更新生成对抗网络，包括：
19.将随机变量输入生成网络中，输出由随机变量表征生成的伪影像；
20.使用对抗网络对生成的伪影像和原始图像、增广图像进行判别，得到真实图像的概率输出；
21.在使用对抗网络进行判别时产生两个损失函数，将两个损失函数相加得到最终的损失函数，使用最终的损失函数、采用随机梯度下降方法更新生成对抗网络，
22.其中，产生的两个损失函数包括：生成的伪影像和原始图像、增广图像之间的重建损失；判别器输出真实图像概率的计算交叉熵损失。
23.可选地，在本技术的一个实施例中，训练单值分类网络，包括以下步骤：
24.步骤s1：随机选取训练数据集中的一部分进行图像变换，生成小批次增广图像；
25.步骤s2：使用训练好的生成对抗网络对小批次增广图像进行特征提取，得到图像向量表征；
26.步骤s3：将提取的图像向量表征输入单值分类网络中进行特征映射，生成图像高层特征；
27.步骤s4：对图像高层特征计算特征相似度，得到损失函数，之后使用得到的损失函数更新单值分类网络；
28.步骤s5：重复进行步骤s1、步骤s2、步骤s3、步骤s4，直到单值分类网络收敛，完成训练。
29.可选地，在本技术的一个实施例中，对图像高层特征计算特征相似度，得到损失函
数，包括：基于欧氏距离、余弦相似度，分别计算正常样本的特征和增广图像的特征的类内相似度和类间相似度；最小化同类样本的类内相似度，并最大化非同类样本的类间相似度，得到损失函数。
30.为达上述目的，本技术第二方面实施例提出了一种基于深度表征网络的医学影像异常检测装置，包括：采集模块、数据处理模块、判断模块，其中，
31.采集模块，用于采集待检测医学影像；
32.数据处理模块，用于对采集的医学影像进行数据规范化，生成规范化图像；
33.判断模块，用于将规范化图像输入训练好的深度异常检测网络中，对输入影像数据进行诊断，判断输入影像是否异常。
34.为了实现上述目的，本技术第三方面实施例提出了一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器被执行时，能够执行一种基于深度表征网络的医学影像异常检测方法。
35.本技术实施例的基于深度表征网络的医学影像异常检测方法、基于深度表征网络的医学影像异常检测装置和非临时性计算机存储介质，解决了现有诊断模型很大程度上依赖于大量的高质量、准确标注的影像数据，在实际临床转化中的可行性低的问题，同时解决了现有诊断模型主要针对某一种或几种特定的疾病进行设计，在实际临床中的应用非常有限的问题，通过利用深度异常检测网络挖掘正常医学影像的高层表征，并约束表征满足某种分布，使得网络具有较强的特征提取和分析能力，同时通过对深度异常检测网络进行训练，可以实现多种异常的检测任务，并且本技术提出的基于正常脑部图像的异常检测方法有助于打破医疗资源和水平分布不均的限制，同时实现多类疾病异常检测，为医生提供辅助和支撑，对提高临床诊断准确性具有重要的意义。
36.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
37.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
38.图1为本技术实施例一所提供的一种基于深度表征网络的医学影像异常检测方法的流程图；
39.图2为本技术实施例的基于深度表征网络的医学影像异常检测方法的深度异常检测网络训练方法示意图；
40.图3为本技术实施例的基于深度表征网络的医学影像异常检测方法的深度异常检测网络使用方法示意图；
41.图4为本技术实施例二所提供的一种基于深度表征网络的医学影像异常检测装置的结构示意图。
具体实施方式
42.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附
图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
43.下面参考附图描述本技术实施例的基于深度表征网络的医学影像异常检测方法和装置。
44.图1为本技术实施例一所提供的一种基于深度表征网络的医学影像异常检测方法的流程图。
45.如图1所示，该基于深度表征网络的医学影像异常检测方法包括以下步骤：
46.步骤101，采集待检测医学影像；
47.步骤102，对采集的医学影像进行规范化处理，生成规范化图像；
48.步骤103，将规范化图像输入训练好的深度异常检测网络中，对输入影像数据进行诊断，判断输入影像是否异常。
49.本技术实施例的基于深度表征网络的医学影像异常检测方法，通过采集待检测医学影像；对采集的医学影像进行规范化处理，生成规范化图像；将规范化图像输入训练好的深度异常检测网络中，对输入影像数据进行诊断，判断输入影像是否异常。由此，能够解决现有诊断模型很大程度上依赖于大量的高质量、准确标注的影像数据，在实际临床转化中的可行性低的问题，同时可以解决现有诊断模型主要针对某一种或几种特定的疾病进行设计，在实际临床中的应用非常有限的问题，通过利用深度异常检测网络挖掘正常医学影像的高层表征，并约束表征满足某种分布，使得网络具有较强的特征提取和分析能力，同时通过对深度异常检测网络进行训练，可以实现多种异常的检测任务，并且本技术提出的基于正常脑部图像的异常检测方法有助于打破医疗资源和水平分布不均的限制，同时实现多类疾病异常检测，为医生提供辅助和支撑，对提高临床诊断准确性具有重要的意义。
50.本技术提出的基于深度表征网络的医学影像异常检测方法，利用深度卷积神经网络能够自动提取影像特征的优势，挖掘正常影像中潜在的共有高层表征，旨在打破深度学习模型在训练过程需要大量精确标注的异常影像的限制，构建一种同时支持多类医学影像异常检测的方法，提高基于深度神经网络的医学影像辅助诊断模型在实际临床中的可用性。
51.进一步地，在本技术实施例中，深度异常检测网络包括生成对抗网络和单值分类网络，
52.将规范化图像输入训练好的深度异常检测网络中，对输入影像数据进行诊断，具体为：
53.将影像输入生成对抗网络进行特征提取，再将提取的特征输入单值分类网络，得到图像高层表征；
54.使用基于支持向量数据描述的单值分类方法优化图像高层表征在更高层特征空间中的分布，根据数据在高层空间中的分布得到异常检测结果，最后由单值分类网络输出异常检测结果。
55.为了自动挖掘到健康影像中潜在的结构和纹理特征，并且确保模型学到的特征表达是影像的一种合理表征，采用生成对抗网络进行自动特征提取。以脑部ct图像为例，输入一张健康的脑部ct影像x及一个随机变量z，生成网络g经过卷积等操作输出由该随机变量z表征生成的伪ct影像g(z)，再利用对抗网络d对生成的伪ct图像g(z)和真实ct图像x进行分类，得到输入属于真实ct图像的概率输出，计算交叉熵损失(cross entropy loss)。模型对
生成网络和对抗网络进行迭代训练，使用随机梯度下降方法(stochastic gradient descent)实现网络优化，训练目标表示为：
[0056][0057]
其中，pd和pz分别代表真实数据和随机变量的概率分布。
[0058]
经过训练后的深度异常检测网络能够有效提取输入图像的特征并进行特征映射，使用基于支持向量数据描述的单值分类方法可以对网络输出的特征进行分类，进而对输入影像数据进行诊断，判断输入影像是否异常。
[0059]
进一步地，在本技术实施例中，训练生成对抗网络，包括以下步骤：
[0060]
步骤s1：采集来自健康人群的指定模态的三维影像，并对采集到的医学影像进行规范化处理，生成训练数据集；
[0061]
步骤s2：对训练数据集进行图像变换，生成增广图像，从特征空间中随机采样，得到随机变量，其中，特征空间为满足高斯分布的随机向量空间；
[0062]
步骤s3：将训练数据集中的原始图像、增广图像和所述随机变量输入生成对抗网络中进行训练，以更新生成对抗网络；
[0063]
步骤s4：重复进行步骤s2、步骤s3，直到生成对抗网络收敛，完成训练。
[0064]
本技术仅需采集大量来自健康人群的特定模态的医学影像，由于不含疾病影像，不再需要医学专家对其进行额外标注。收集到大量健康医学影像后，为了更准确的提取到健康影像中潜在的结构和纹理特征，需要对影像进行规范化处理，使影像中关注的有效区域位于影像中心并尽量放大，保证模型能够尽可能的关注到更多有效信息，减少其他区域的无效干扰。经过规范化后的影像数据组成训练数据集。
[0065]
进一步地，在本技术实施例中，生成对抗网络包括生成网络和对抗网络，将训练数据集中的原始图像、增广图像和随机变量输入生成对抗网络中进行训练，以更新生成对抗网络，包括：
[0066]
生成网络会基于每一个随机变量生成一张图像，对抗网络将这张生成的图像和输入的图像进行判别，输出真实图像的概率。这个过程中会产生两个损失函数分别为绝对值损失函数和最小平方误差损失函数，一是生成图像和输入图像之间的重建损失，二是判别器输出真实图像概率计算交叉熵损失。这两个损失加起来得到最终的损失函数。使用最终的损失函数、采用随机梯度下降方法更新生成对抗网络，
[0067]
其中，产生的两个损失函数包括：生成的伪影像和原始图像、所述增广图像之间的重建损失；判别器输出真实图像概率的计算交叉熵损失。
[0068]
进一步地，在本技术实施例中，训练单值分类网络，包括以下步骤：
[0069]
步骤s1：随机选取训练数据集中的一部分进行图像变换，生成小批次增广图像；
[0070]
步骤s2：使用训练好的生成对抗网络对小批次增广图像进行特征提取，得到图像向量表征；
[0071]
步骤s3：将提取的图像向量表征输入单值分类网络中进行特征映射，生成图像高层特征；
[0072]
步骤s4：对图像高层特征计算特征相似度，得到损失函数，之后使用得到的损失函数更新单值分类网络；
[0073]
步骤s5：重复进行步骤s1、步骤s2、步骤s3、步骤s4，直到单值分类网络收敛，完成训练。
[0074]
进一步地，在本技术实施例中，对图像高层特征计算特征相似度，得到损失函数，包括：
[0075]
基于欧氏距离、余弦相似度，分别计算原始的正常图像的特征和增广图像的特征的类内相似度和类间相似度；
[0076]
最小化同类样本的类内相似度，并最大化非同类样本的类间相似度，得到损失函数。
[0077]
经过训练后的生成对抗网络能够提取出输入的健康影像的向量表征。对同一输入图像进行不同图像变换后，相应的向量表征也会发生变化。根据图像变换内在的一致性，利用基于支持向量数据描述的单值分类方法(support vector data description,svdd)，优化向量表征在更高层特征空间中的分布，最后由单值分类网络输出图像的异常结果。具体而言，对图像进行随机图像变换后，将生成对抗网络提取的图像表征输入单值分类网络，输出图像的更高层表征。通过对单值分类网络输出的来自相同或不同图像的高层表征间的相似性进行约束，计算损失函数，优化单值分类网络。
[0078]
图2为本技术实施例的基于深度表征网络的医学影像异常检测方法的深度异常检测网络训练方法示意图。
[0079]
如图2所示，基于深度表征网络的医学影像异常检测方法的深度异常检测网络训练过程分为两阶段。第一阶段，收集足量的正常医学影像并进行规范化处理，得到规范化图像，然后对规范化图像进行图像变化，将获得的增广图像和在特征空间随机采样得到的随机特征向量输入生成对抗网络进行训练，直到生成对抗网络收敛。第二阶段，将增广图像和原始图像输入生成网络，提取图像的高维特征表示后，将高维特征输入单值分类网络，通过约束两类图像的特征表示在更高层空间中的分布情况，对单值分类网络进行训练，直到单值分类网络收敛，完成训练。
[0080]
图3为本技术实施例的基于深度表征网络的医学影像异常检测方法的深度异常检测网络使用方法示意图。
[0081]
如图3所示，采集待检测医学影像；对采集的医学影像进行规范化处理，生成规范化图像，将规范化图像输入生成对抗网络模型进行特征提取，得到图像特征的向量表示，再将提取的特征输入单值分类网络，最后由单值分类网络输出异常检测结果。
[0082]
图4为本技术实施例二所提供的一种基于深度表征网络的医学影像异常检测装置的结构示意图。
[0083]
如图4所示，该基于深度表征网络的医学影像异常检测装置，包括：采集模块、数据处理模块、判断模块，其中，
[0084]
采集模块10，用于采集待检测医学影像；
[0085]
数据处理模块20，用于对采集的医学影像进行数据规范化，生成规范化图像；
[0086]
判断模块30，用于将规范化图像输入训练好的深度异常检测网络中，对输入影像数据进行诊断，判断输入影像是否异常。
[0087]
本技术实施例的基于深度表征网络的医学影像异常检测装置，包括采集模块、数据处理模块、判断模块，其中，采集模块，用于采集待检测医学影像；数据处理模块，用于对
采集的医学影像进行数据规范化，生成规范化图像；判断模块，用于将规范化图像输入训练好的深度异常检测网络中，对输入影像数据进行诊断，判断输入影像是否异常。由此，能够解决现有诊断模型很大程度上依赖于大量的高质量、准确标注的影像数据，在实际临床转化中的可行性低的问题，同时可以解决现有诊断模型主要针对某一种或几种特定的疾病进行设计，在实际临床中的应用非常有限的问题，通过利用深度异常检测网络挖掘正常医学影像的高层表征，并约束表征满足某种分布，使得网络具有较强的特征提取和分析能力，同时通过对深度异常检测网络进行训练，可以实现多种异常的检测任务，并且本技术提出的基于正常脑部图像的异常检测方法有助于打破医疗资源和水平分布不均的限制，同时实现多类疾病异常检测，为医生提供辅助和支撑，对提高临床诊断准确性具有重要的意义。
[0088]
为了实现上述实施例，本技术还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例的基于深度表征网络的医学影像异常检测方法。
[0089]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0090]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0091]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
[0092]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其
他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0093]
应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0094]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0095]
此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0096]
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。