动态对比增强磁共振影像分类方法、系统、设备及介质

1.本发明涉及医学图像数据处理技术领域，特别是涉及一种动态对比增强磁共振影像分类方法、系统、设备及介质。


背景技术：

2.随着医疗技术的不断发展，通过个体化的精准治疗手段，乳腺癌已成为目前治愈效果最好的肿瘤。乳腺动态强化磁共振影像(dce-mri)具有很高的敏感性，且乳腺磁共振影像基因组学的研究已成为精准医疗一个有力的工具，成为临床治疗方案确立及预后的一个关键工作，能够有效提高患者5年生存率和降低死亡率。
3.然而，不同性质的乳腺肿瘤在动态磁共振影像中呈多维异质性，导致空间、时间及语义关联难以精确对应，并且由于肿瘤的浸润，相邻子区域之间、相距较远的异常子区域之间，以及时间信号和空间结构关联的子区域之间也存在语义关联和相互作用，难以有效挖掘利用；同时，不同磁共振影像维度间数据的不平衡、样本或标注缺失，不仅会给表征模型的训练带来困难，还会影响模型的鲁棒性，进而影响影像分类的精准性。


技术实现要素：

4.本发明的目的是提供一种动态对比增强磁共振影像分类方法，解决现有动态对比增强磁共振影像组学数据处理技术的应用缺陷，能充分且精准地挖掘乳腺对比增强磁共振影像数据中所具有的丰富的多维多尺度异构空间、时间、语义关联表示，且能对缺失的不同空间维度信息进行补充，实现精准有效地表征，进而保证影像分类预测结果的可靠性和精准性。
5.为了实现上述目的，有必要针对上述技术问题，提供了一种动态对比增强磁共振影像分类方法、系统、计算机设备和存储介质。
6.第一方面，本发明实施例提供了一种动态对比增强磁共振影像分类方法，所述方法包括以下步骤：
7.获取不同病龄期的乳腺动态对比增强磁共振影像并进行预处理，生成乳腺动态强化磁共振影像数据集；所述乳腺动态对比增强磁共振影像包括全部乳腺及双侧腋下的对比增强磁共振影像；
8.根据所述乳腺动态强化磁共振影像数据集，构建影像分类预测模型；所述影像分类预测模型包括依次连接的多任务分类网络和感知判别网络；
9.将获取的待分类乳腺动态对比增强磁共振影像输入所述影像分类预测模型进行多任务分类，得到影像分类结果；所述影像分类结果包括肿瘤的位置、空间结构和空间信号。
10.进一步地，所述多任务分类网络包括依次连接的肿瘤位置提取模块、空间结构提取模块、空间信号提取模块、塔式多尺度密集残差网络、特征蒸馏模块和多任务分类器。
11.进一步地，所述多任务分类网络的损失函数包括空间内容损失函数和总变量损失
函数；
12.所述空间内容损失函数表示为：
13.lossc＝||g(u
′
)-u||114.其中，lossc表示空间内容损失；u'表示待增强图像；u表示目标图像，g(u')表示基于待增强图像的多任务分类网络输出；
15.所述总变量损失函数表示为：
[0016][0017]
其中，loss
tv
表示总变量损失；u表示目标图像；g(
·
)表示多任务分类网络的输出；和分别表示多任务分类网络的输出基于变量x和y的变化梯度；c、h和w表示增强图像的空间维度。
[0018]
进一步地，所述塔式多尺度密集残差网络包括若干个多尺度密集残差块；所述多尺度密集残差块由三种不同尺寸大小的塔式卷积核组成；所述多尺度密集残差块的输出表示为：
[0019][0020]
式中，
[0021][0022][0023][0024][0025]
其中，ln和l
n-1
分别表示第n个和第n-1个多尺度密集残差块的输出；表示第i层的5
×
5卷积层；表示第i层的3
×
3卷积层；表示第i层的1
×
1卷积层；[*,
…
,*]表示concat连接操作。
[0026]
进一步地，所述感知判别网络包括自编码模块和感知判别模块；所述感知判别模块为改进的vgg网络；所述感知判别网络的损失函数包括对抗语义损失函数和对抗损失函数；所述对抗语义损失函数表示为：
[0027][0028]
其中，loss
as
表示对抗语义损失；fj(
·
)表示感知判别模块的第j个卷积层；u'表示待增强图像；u表示目标图像，g(u')表示基于待增强图像的多任务分类网络输出；c'、h'和w'表示待增强图像的空间维度；
[0029]
所述对抗损失函数表示为：
[0030][0031]
其中，lossa表示对抗损失；d(
·
)表示感知判别网络的输出。
[0032]
进一步地，所述根据所述乳腺动态强化磁共振影像数据集，构建影像分类预测模型的步骤包括：
[0033]
各个乳腺动态强化磁共振影像以张量形式存储，并通过代数超曲面神经元的空间几何分析，得到不同维度的几何对象；所述几何对象包括三维空间矢量、二维空间矢量、二维时空矢量和一维时间信号矢量；
[0034]
将所述不同维度的几何对象输入所述肿瘤位置提取模块进行高维影像缩放和边缘像素检测，得到肿瘤位置特征；
[0035]
将所述不同维度的几何对象输入所述空间结构提取模块进行同维度空间影像弱监督聚类，得到多维空间影像超像素特征和多维空间影像超体素特征；
[0036]
将所述不同维度的几何对象输入所述空间信号提取模块进行跨维度空间信号弱监督聚类，得到影像信号超像素特征和影像信号超体素特征；
[0037]
根据所述肿瘤位置特征、多维空间影像超像素特征、多维空间影像超体素特征、影像信号超像素特征和影像信号超体素特征，确定所述塔式多尺度密集残差网络的隐藏层层数和隐藏层神经元数目数，并通过所述塔式多尺度密集残差网络进行关联特征提取，得到多任务关联特征；
[0038]
将所述多任务关联特征输入至特征蒸馏模块进行特征融合和冗余去除，得到肿瘤异质子区域特征；
[0039]
将所述肿瘤异质子区域特征和预设目标图像输入至所述自编码模块进行图像特征编码，得到肿瘤异质子区域编码特征；
[0040]
将肿瘤异质子区域编码特征输入所述感知判别模块，并根据所述感知判别网络的损失函数进行对抗学习，得到增强图像特征；
[0041]
将所述增强图像特征和所述肿瘤异质子区域特征输入所述多任务分类器，并根据所述多任务分类网络的损失函数进行联合训练，得到所述影像分类预测模型。
[0042]
进一步地，所述确定所述塔式多尺度密集残差网络的隐藏层层数和隐藏层神经元数目的步骤包括：
[0043]
对所述肿瘤位置特征、多维空间影像超像素特征、多维空间影像超体素特征、影像信号超像素特征和影像信号超体素特征进行主成分分析，得到主成分特征，并根据主成分特征的数目，确定所述塔式多尺度密集残差网络的隐藏层层数；
[0044]
通对所述主成分特征进行聚类分析或主成分奇异值计算，确定所述塔式多尺度密集残差网络的隐藏层神经元数目。
[0045]
第二方面，本发明实施例提供了一种动态对比增强磁共振影像分类系统，所述系统包括：
[0046]
数据集构建模块，用于获取不同病龄期的乳腺动态对比增强磁共振影像并进行预处理，生成乳腺动态强化磁共振影像数据集；所述乳腺动态对比增强磁共振影像包括全部乳腺及双侧腋下的对比增强磁共振影像；
[0047]
模型构建模块，用于根据所述乳腺动态强化磁共振影像数据集，构建影像分类预测模型；所述影像分类预测模型包括依次连接的多任务分类网络和感知判别网络；
[0048]
影像分类模块，用于将获取的待分类乳腺动态对比增强磁共振影像输入所述影像分类预测模型进行多任务分类，得到影像分类结果；所述影像分类结果包括肿瘤的位置、空间结构和空间信号。
[0049]
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在
存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
[0050]
第四方面，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
[0051]
上述本技术提供了一种动态对比增强磁共振影像分类方法、系统、计算机设备及存储介质，通过所述方法，实现了获取不同病龄期的乳腺动态对比增强磁共振影像并进行预处理，生成乳腺动态强化磁共振影像数据集；根据乳腺动态强化磁共振影像数据集，构建包括依次连接的多任务分类网络和感知判别网络的影像分类预测模型；将获取的待分类乳腺动态对比增强磁共振影像输入所述影像分类预测模型进行多任务分类，得到包括肿瘤的位置、空间结构和空间信号的影像分类结果的技术方案。与现有技术相比，该动态对比增强磁共振影像分类方法，不仅给出了一种基于几何代数的矢量节点嵌入方式，以多维一致的表征形式实现了不同维度影像及其信号在输入节点上的语义关联和对应，能够获得了更全面且扩展性更好的特征表征，而且设计并建立了一种能够自动决定隐藏层和对应的节点数量的多层感知神经网络，有效提升联合表征模型的学习效果和泛化能力，还建立了基于空间域影像及时空信号影像分析的全新塔式多尺度密集残差深度卷积神经网络模型，为多维度医学影像领域提供了具有更好推广和泛化能力的表征模型，即实现了充分、精准地挖掘乳腺对比增强磁共振影像数据中所具有的丰富的多维多尺度异构空间、时间、语义关联表示的同时，实现了对缺失的不同空间维度信息进行补充，有效提升影像分类预测结果的可靠性和精准性，进而能够为知识经验不同的各级医生提供更科学更具参考价值的辅助诊断分析结果。
附图说明
[0052]
图1是本发明实施例中动态对比增强磁共振影像分类方法的应用场景示意图；
[0053]
图2是本发明实施例中动态对比增强磁共振影像分类方法的流程示意图；
[0054]
图3是本发明实施例中多任务分类网络的结构示意图；
[0055]
图4是图3中塔式多尺度密集残差网络(提升的u-net网络)的结构示意图；
[0056]
图5是本发明实施例中感知判别网络的结构示意图；
[0057]
图6是本发明实施例中确定塔式多尺度密集残差网络的隐藏层数目的主成分分析流程示意图；
[0058]
图7是本发明实施例中动态对比增强磁共振影像分类系统的结构示意图；
[0059]
图8是本发明实施例中计算机设备的内部结构图。
具体实施方式
[0060]
为了使本技术的目的、技术方案和有益效果更加清楚明白，下面结合附图及实施例，对本发明作进一步详细说明，显然，以下所描述的实施例是本发明实施例的一部分，仅用于说明本发明，但不用来限制本发明的范围。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0061]
本发明提供的动态对比增强磁共振影像分类方法可应用于图1所示的终端和服务器上。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携
式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。服务器可采用本发明的动态对比增强磁共振影像分类方法根据获取的不同病龄期的乳腺动态对比增强磁共振影像基于多任务对抗训练框架，构建影像分类预测模型，并用于对待分类乳腺动态对比增强磁共振影像进行多任务分类，以及将得到的影像分类结果用于服务器后续的研究使用或发送至终端，供终端的使用者查看分析；下述实施例将对本发明的动态对比增强磁共振影像分类方法进行详细说明。
[0062]
在一个实施例中，如图2所示，提供了一种动态对比增强磁共振影像分类方法，包括以下步骤：
[0063]
s11、获取不同病龄期的乳腺动态对比增强磁共振影像并进行预处理，生成乳腺动态强化磁共振影像数据集；所述乳腺动态对比增强磁共振影像包括全部乳腺及双侧腋下的对比增强磁共振影像；其中，乳腺动态对比增强磁共振影像可理解为从相关影像数据库中获取的通过mri机器对不同病龄期的患有乳腺肿瘤病人按照俯卧位动态增强扫描得到的包括全部乳腺及双侧腋下在内的乳腺行轴位、矢状位快速自旋回波(fast spiral echo，fse)序列；需要说明的是，本实施例对各个乳腺动态强化磁共振影像进行的预处理包括采用空间插值和偏置场校正的方法对mri信号强度进行归一化处理，可有效解决影像强度分布因不同mri扫描设备的内在设置以及预处理参数不同而不统一的问题；同时还包括由医学影像专家采用mimics v20医学影像分析软件，根据临床诊断结果，对于手术且经病理证实的乳腺癌病人的磁共振影像实施病灶区域进行标注，便于后续通过机器学习进行预测分类。
[0064]
s12、根据所述乳腺动态强化磁共振影像数据集，构建影像分类预测模型；其中，影像分类预测模型可理解为基于多任务对抗训练框架得到多任务分类预测模型，包括依次连接的多任务分类网络和感知判别网络；
[0065]
如图3所示，所述多任务分类网络包括依次连接的肿瘤位置提取模块、空间结构提取模块、空间信号提取模块、塔式多尺度密集残差网络、特征蒸馏模块和多任务分类器；其中，肿瘤位置提取模块可理解通过高维影像低维重建技术，以有效抑制影像测量噪音带来的假阳性的影响，实现跨维度肿瘤关联区域的检测，且通过对边缘像素点检测，增强对肿瘤影像边界点的识别能力和拟合能力，进而补全缺失的像素点；空间结构提取模块可理解为通过多示例弱监督聚类方法对高维影像数据中的同维空间影像数据进行聚类分析，以挖掘影像数据中潜在的多层次语义信息；空间信号提取模块可理解为通过多示例弱监督聚类方法对高维影像数据中的跨维空间信号数据进行聚类分析，以挖掘影像数据中潜在的时间序列特征信息；塔式多尺度密集残差网络(提升的u-net网络)可理解为一种改进版的u-net网络，采用残差神经网络结合u-net加强层与层的链接得到的多维度多尺度的密集残差神经网络，可自动提取丰富的多维度和多尺度图像特征，使其能够更加稳定、高效的完成肿瘤影像分类任务；特征蒸馏模块可理解为用于自动融合所有图像特征并去除冗余特征，以在保证网络模型性能的基础上尽可能减少网络模型参数，提供模型计算效率；多任务分类器可理解为同时包括用于分别完成结构分类任务、信号分类任务和肿瘤位置分类的分类器，其中主任务和辅任务可根据实际应用需求具体设置，此处不作具体限定；
[0066]
需要说明的是，本实施例采用的塔式多尺度密集残差网络是考虑到动态磁共振影像由结构各异的多维几何对象组成可增加表征模型的宽度，若获取多维一致性深度学习，则需要将卷积层根据不同维的数据结构经多种核(kernel)进行多尺度降维，以增加表征模
型的深度，提升模型的表征能力，而将残差网络思想和密集型卷积网络结合所提出的类似u-net的全新塔式多尺度密集残差网络作为主体结构的网络，且将塔式卷积核融入到多尺度密集残差块，随着卷积核的提升而逐渐降低卷积核的深度；每一组输入为全部尺度特征输入，每组输出不同尺度的特征，其特殊的结构设计能够自动提取图像在各个尺度上的特征，并利用1*1卷积有效降维，从而更好满足分析乳腺肿瘤影像尺度各异的多维几何图像的需求。具体地，塔式多尺度密集残差网络如图4所示，包括若干个多尺度密集残差块；所述多尺度密集残差块由三种不同尺寸大小的塔式卷积核组成；所述多尺度密集残差块的输出表示为：
[0067][0068]
式中，
[0069][0070][0071][0072][0073]
其中，ln和l
n-1
分别表示第n个和第n-1个多尺度密集残差块的输出；表示第i层的5
×
5卷积层；表示第i层的3
×
3卷积层；表示第i层的1
×
1卷积层；[*,
…
,*]表示concat连接操作。
[0074]
为了保证分类预测的精准有效，且考虑到磁共振图像的内容、纹理和颜色(强度)等特征，本实施例优选地为上述多任务分类网络设计一系列新的损失函数以更好地完成网络参数的学习训练，包括空间内容损失函数(content loss，记为lossc)和总变量损失函数(total variation loss，记为loss
tv
)，且分别表示为：
[0075]
空间内容损失函数表示为：
[0076]
lossc＝||g(u
′
)-u||1[0077]
其中，lossc表示空间内容损失；u'表示待增强图像；u表示目标图像，g(u')表示基于待增强图像的多任务分类网络输出；
[0078]
总变量损失函数表示为：
[0079][0080]
其中，loss
tv
表示总变量损失；u表示目标图像；g(
·
)表示多任务分类网络的输出；和分别表示多任务分类网络的输出基于变量x和y的变化梯度；c、h和w表示增强图像的空间维度；
[0081]
考虑到不同磁共振影像维度间数据的不平衡和标注的缺失，不仅会给表征模型训练带来困难，还会影响模型的鲁棒性。本实施例优选地引入生成对抗网络对缺失的不同空间维度信息进行补充，从而完善已建立的时空表征模型(时空特征提取模型)，帮助模型在标签缺失等条件下进行有效的训练。
[0082]
感知判别网络可理解为对抗生成网络，如图5所示，包括自编码模块和感知判别模块；其中，自编码模块主要用于对输入的图像进行特征编码使其只保留最重要特征成分，减
少计算复杂性，可采用现有自编码器实现，此处不作具体限制；对应的，感知判别模块主要用于提取图像的高级语义特征，从高级语义特征层面进一步判断生成图像的真实性，采用改进的vgg网络实现，如现有改进的vgg16和vgg19网络，此处不作具体限制；
[0083]
为了保证经过感知判别网络生成的增强图像的可靠性和有效性，本实施例优选地设计一系列新的损失函数对增强图像做进一步判别，具体地，所述感知判别网络的损失函数包括对抗语义损失函数和对抗损失函数；所述对抗语义损失函数表示为：
[0084][0085]
其中，loss
as
表示对抗语义损失；fj(
·
)表示感知判别模块的第j个卷积层；u'表示待增强图像；u表示目标图像，g(u')表示基于待增强图像的多任务分类网络输出；c'、h'和w'表示待增强图像的空间维度。
[0086]
所述对抗损失函数表示为：
[0087][0088]
其中，lossa表示对抗损失；d(
·
)表示感知判别网络的输出。
[0089]
影像分类预测模型的构建过程，即可理解为对满足上述要求的多任务分类网络和感知判别网络进行联合训练，得到的满足分类需求的参数稳定的模型的迭代训练过程：首先，考虑到原始影像数据特征实例化时可能造成的维度损失，根据几何代数理论提取乳腺动态强化磁共振影像的中的几何对象，将多维影像中具有关联性的感兴趣子区域嵌入节点表示，形成矢量节点表示形式；再对空间及时空影像进行超像素及超体素的聚类，以及根据纹理等将空间及时空影像聚类成若干超像素和超体素神经元，进而得到肿瘤异质子区域特征；最后，通过生成对抗网络进行知识迁移；
[0090]
具体地，所述根据所述乳腺动态强化磁共振影像数据集，构建影像分类预测模型的步骤包括：
[0091]
各个乳腺动态强化磁共振影像以张量形式存储，并通过代数超曲面神经元的空间几何分析，得到不同维度的几何对象；所述几何对象可理解为多维度影像的点、线、面、体四个不同层面，以及矢状面、冠状面、水平面不同方向的矢量，包括三维空间矢量、二维空间矢量、二维时空矢量和一维时间信号矢量；具体地，通过代数超曲面神经元的空间几何分析，得到不同维度的几何对象的步骤包括：
[0092]
对以张量形式存储的乳腺动态强化磁共振影像进行聚类处理，生成具有多个块状区域块关联的三维空间矢量；其中，三维空间影像数据中的区域块都可看作是一系列沿着矢状面、冠状面和水平面三个不同方向排列的两维空间影像数据堆栈；
[0093]
提取各个块状区域块的每个方向上的二维空间影像数据，得到二维空间矢量；
[0094]
将各个二维空间矢量添加时间帧序列，得到三维时空矢量；
[0095]
将时间帧序列添加至三维空间矢量中二维空间矢量的每一行或每一列，得到二维时空矢量；
[0096]
将时间帧序列添加至二维空间影像数据中的各个像素点，得到对应的一些列时间维度信号矢量；
[0097]
本实施例通过将高维影像分解几何对象，并根据几何代数理论，将多维影像中具
有关联性的感兴趣子区域嵌入节点表示，形成矢量节点表示形式，给出了一种基于几何代数的矢量节点嵌入方式，不仅实现了不同维度影像及其信号在输入节点上的语义关联和对应，从而避免原始数据特征实例化时可能造成的维度损失，而且在此基础上，通过充分挖掘跨维度影像中肿瘤形态以及不同组织影像信号强度变化等多尺度的语义特征表征，能够形成更加全面的、具有不同表征方式和能力的输入节点集群，进而为构建更深、更宽的适合高维医学影像的分类模型提供了可靠依据。
[0098]
将所述不同维度的几何对象输入所述肿瘤位置提取模块进行高维影像缩放和边缘像素检测，得到肿瘤位置特征；其中，肿瘤位置特征的提取可理解为通过张量分析实现多维一致性时间、空间、语义关联区域的分析与重建，挖掘多维度医学影像空间、时间序列和语义特征间的潜在关联的过程。
[0099]
肿瘤的生长往往会累及周围正常组织，同维度图像内常表现为肿瘤区域与周边邻域的粘连，即维度内的关联区域多考虑其邻接区域及影像边缘处的相关区域，而对于跨维度医学动态增强影像则需要搜索各维度空间、时间序列语义关联区域，挖掘维度间各异常区域关联关系为表征模型的建立提供基础；针对医学影像的特点，为更好地对维度间语义关联区域进行搜索，本实施例优选地采用高维影像低维重建的方法来有效抑制影像测量噪音带来的假阳性的影响，实现跨维度肿瘤关联区域的检测；此外，为了准确重构肿瘤影像，可对比分析多种不同的张量分解的方法，如hosvd、hooi、2dpca和2dsvd等，确定影像数据结构信息的保留程度较高的张量分解方法作为本实施例进行张量分析所使用的方法。
[0100]
根据张量分解定义，有其中，为重构前τ时刻的高维影像数据分解式，c
τ
为核心张量；为了发现最大强化的影像区域，对于每个方向上低维嵌入的动态二维图像采用主成分分析的策略，通过计算协方差矩阵δ及其对应的特征向量e，重新产生新的低维矩阵：最终张量重构的剪影影像根据生成的低维矩阵可以重新定义为：最终张量重构的剪影影像根据生成的低维矩阵可以重新定义为：是平均核心张量，γ是与时间帧τ对应的多个信道。通过高维影像缩放技术降低时间维和空间维的差异性的同时，还通过对边缘像素点的检测，增强对肿瘤影像边界点的识别能力和拟合能力，从而补全缺失的像素点，得到有效的肿瘤位置特征。
[0101]
将所述不同维度的几何对象输入所述空间结构提取模块进行同维度空间影像弱监督聚类，得到多维空间影像超像素特征和多维空间影像超体素特征；其中，同维度空间影像弱监督聚类可理解为根据影像数据的语义标注和方向对二维空间矢量和三维空间矢量进行多示例弱监督聚类，具体采用的聚类方法可通过将模糊c均值聚类方法与超像素分割方法结合，再综合向量机等机器学习的算法按需调整得到，此处不再赘述；
[0102]
将所述不同维度的几何对象输入所述空间信号提取模块进行跨维度空间信号弱监督聚类，得到影像信号超像素特征和影像信号超体素特征；其中，跨维度空间信号弱监督聚类可理解为对二维时空矢量、三维时空矢量和一维时间信号矢量进行多示例弱监督聚类，具体采用的聚类方法同样也可通过将模糊c均值聚类方法与超像素分割方法结合，再综合向量机等机器学习的算法按需调整得到，此处不再赘述。
[0103]
根据所述肿瘤位置特征、多维空间影像超像素特征、多维空间影像超体素特征、影像信号超像素特征和影像信号超体素特征，确定所述塔式多尺度密集残差网络的隐藏层层数和隐藏层神经元数目数，并通过所述塔式多尺度密集残差网络进行关联特征提取，得到
多任务关联特征；其中，肿瘤位置特征、多维空间影像超像素特征、多维空间影像超体素特征、影像信号超像素特征和影像信号超体素特征可理解为基于几何代数的跨尺度多维度影像特征，实现同维度和跨维度关联关系的初步表征；考虑到乳腺影像内各局部区域之间存在着丰富且紧密的联系，且在使用多层感知卷积网络完成分类任务时，对网络中各节点及多个隐藏层之间联系的挖掘对于特征提取以及后续的分类预测有着重要的作用，选择合适的层数以及隐藏层节点数在很大程度上会影响神经网络分类的精准性，本实施例优选地采用主成分分析方法将原始相关变量转换为一些新的不相关的较小尺寸的变量，基于累积方差确定神经网络中的隐藏层层数，再通过聚类的方法确定隐藏层神经元的数量；此处采用塔式多尺度密集残差网络进行聚合的核心在于以邻接矩阵为节点的邻居节点特征聚合与挖掘，动态采样邻接矩阵可以得到不同大小的神经元，表示不同规模的数据块，为分类预测提供更多潜在信息，为多任务分类的精准预测提供可靠保障；
[0104]
具体地，所述确定所述塔式多尺度密集残差网络的隐藏层层数和隐藏层神经元数目的步骤包括：
[0105]
对所述肿瘤位置特征、多维空间影像超像素特征、多维空间影像超体素特征、影像信号超像素特征和影像信号超体素特征进行主成分分析，得到主成分特征，并根据主成分特征的数目，确定所述塔式多尺度密集残差网络的隐藏层层数；
[0106]
通对所述主成分特征进行聚类分析或主成分奇异值计算，确定所述塔式多尺度密集残差网络的隐藏层神经元数目；
[0107]
具体地，主成分分析中的主成分(pci)是原来特征变量的线性组合，其中i值从1到p，即有p个随机变量，便有p个主成分，分析结果保留多少个主成分取决于保留部分的累积方差在方差总和中所占百分比(即累计贡献率)，它标志着前几个主成分概括特征信息之多寡，如图6所示，横线上方展示了保留的2个主成分占据了大部分的综合变量的方差，将输入转换成若干个主成分，其数值保持在一定范围内(最大值-最小值)，并通过聚类输入节点的方法，例如k-means方法，可以聚合与挖掘卷积神经网络中节点信息以及各个节点之间的关联关系。
[0108]
如图6所示的多层感知前馈神经网络，上一层每一个节点都同下层的每一个节点连接；如果是神经网络每一层k包含p1，...，pn神经元，则其输出可表示为向量(列)h1，...，hk，每个列向量由p1...pn组成(在图中n＝5)，可通过聚类的方法或者计算主成分奇异值的方法(如图中横线上方描述的所示)得到隐藏层h1，...，hk的节点；隐藏层的加深意味着更复杂的深层抽象特征，隐藏层特征的复杂度与较高方差的主成分是对应的，即，神经网络中隐藏层的数量由通过pca转换形成的重要的主成分个数决定，满足公式：∑variance(pci)＝∑complexity(hi)。
[0109]
本实施例考虑到维度数据会增加隐藏层的数量，从而降低神经网络的性能及肿瘤分类的准确性，结合医生诊断过程中对于肿瘤影像形态的认知经验，设计并建立了能够自动决定隐藏层和对应的节点数量的多层感知神经网络，得到影像基因组学中多维度影像潜在语义关联的多维一致时空表征模型，且通过人工智能数据分析策略的加持，有效提升联合表征模型的学习效果和泛化能力，能够为知识经验不同的各级医生提供更科学更具参考价值的辅助诊断分析结果。
[0110]
将所述多任务关联特征输入至特征蒸馏模块进行特征融合和冗余去除，得到肿瘤
异质子区域特征；
[0111]
将所述肿瘤异质子区域特征和预设目标图像输入至所述自编码模块进行图像特征编码，得到肿瘤异质子区域编码特征；
[0112]
将肿瘤异质子区域编码特征输入所述感知判别模块，并根据所述感知判别网络的损失函数进行对抗学习，得到增强图像特征；
[0113]
将所述增强图像特征和所述肿瘤异质子区域特征输入所述多任务分类器，并根据所述多任务分类网络的损失函数进行联合训练，得到所述影像分类预测模型。
[0114]
需要说明的是，影像分类预测模型构建的过程可理解为是基于乳腺动态强化磁共振影像数据集对多任务分类网络和感知判别网络进行联合迭代训练的过程，实际应用中采用现有多任务学习与对抗训练的方法，结合本发明优选设计的多任务分类网络的损失函数和感知判别网络的损失函数，按照预设的迭代收敛条件进行训练，即可得到满足多任务分类需求的影像分类预测模型。本实施例通过采用基于抗生成网络的迁移机制有效缓解了乳腺多维度影像数据中维度、标注等不平衡问题。
[0115]
s13、将获取的待分类乳腺动态对比增强磁共振影像输入所述影像分类预测模型进行多任务分类，得到影像分类结果；所述影像分类结果包括肿瘤的位置、空间结构和空间信号；其中，影像分类预测模型对待分类乳腺动态对比增强磁共振影像进行分类预测得到影像分类结果的获取过程可参加上述步骤s12给出的各个模块处理过程，此处不再赘述。
[0116]
本技术实施例通过根据获取不同病龄期的乳腺动态对比增强磁共振影像并进行预处理，生成乳腺动态强化磁共振影像数据集后，根据乳腺动态强化磁共振影像数据集构建包括依次连接的多任务分类网络和感知判别网络的影像分类预测模型，对待分类乳腺动态对比增强磁共振影像进行多任务分类预测，得到包括肿瘤的位置、空间结构和空间信号的影像分类结果的技术方案，不仅给出了一种基于几何代数的矢量节点嵌入方式，以多维一致的表征形式实现了不同维度影像及其信号在输入节点上的语义关联和对应，能够获得了更全面且扩展性更好的特征表征，而且设计并建立了一种能够自动决定隐藏层和对应的节点数量的多层感知神经网络，有效提升联合表征模型的学习效果和泛化能力，还建立了基于空间域影像及时空信号影像分析的全新塔式多尺度密集残差深度卷积神经网络模型，为多维度医学影像领域提供了具有更好推广和泛化能力的表征模型，即实现了充分、精准地挖掘乳腺对比增强磁共振影像数据中所具有的丰富的多维多尺度异构空间、时间、语义关联表示的同时，实现了对缺失的不同空间维度信息进行补充，有效提升影像分类预测结果的可靠性和精准性，进而能够为知识经验不同的各级医生提供更科学更具参考价值的辅助诊断分析结果。
[0117]
在一个实施例中，如图7所示，提供了一种动态对比增强磁共振影像分类系统，所述系统包括：
[0118]
数据集构建模块1，用于获取不同病龄期的乳腺动态对比增强磁共振影像并进行预处理，生成乳腺动态强化磁共振影像数据集；所述乳腺动态对比增强磁共振影像包括全部乳腺及双侧腋下的对比增强磁共振影像；
[0119]
模型构建模块2，用于根据所述乳腺动态强化磁共振影像数据集，构建影像分类预测模型；所述影像分类预测模型包括依次连接的多任务分类网络和感知判别网络；
[0120]
影像分类模块3，用于将获取的待分类乳腺动态对比增强磁共振影像输入所述影
像分类预测模型进行多任务分类，得到影像分类结果；所述影像分类结果包括肿瘤的位置、空间结构和空间信号。
[0121]
关于动态对比增强磁共振影像分类系统的具体限定可以参见上文中对于动态对比增强磁共振影像分类方法的限定，在此不再赘述。上述动态对比增强磁共振影像分类系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0122]
图8示出一个实施例中计算机设备的内部结构图，该计算机设备具体可以是终端或服务器。如图8所示，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示器和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现动态对比增强磁共振影像分类方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0123]
本领域普通技术人员可以理解，图8中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有同的部件布置。
[0124]
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法的步骤。
[0125]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的步骤。
[0126]
综上，本发明实施例提供的一种动态对比增强磁共振影像分类方法、系统、计算机设备及存储介质，其动态对比增强磁共振影像分类方法实现了获取不同病龄期的乳腺动态对比增强磁共振影像并进行预处理，生成乳腺动态强化磁共振影像数据集；根据乳腺动态强化磁共振影像数据集，构建包括依次连接的多任务分类网络和感知判别网络的影像分类预测模型；将获取的待分类乳腺动态对比增强磁共振影像输入所述影像分类预测模型进行多任务分类，得到包括肿瘤的位置、空间结构和空间信号的影像分类结果的技术方案，该方法不仅给出了一种基于几何代数的矢量节点嵌入方式，以多维一致的表征形式实现了不同维度影像及其信号在输入节点上的语义关联和对应，能够获得了更全面且扩展性更好的特征表征，而且设计并建立了一种能够自动决定隐藏层和对应的节点数量的多层感知神经网络，有效提升联合表征模型的学习效果和泛化能力，还建立了基于空间域影像及时空信号影像分析的全新塔式多尺度密集残差深度卷积神经网络模型，为多维度医学影像领域提供了具有更好推广和泛化能力的表征模型，即实现了充分、精准地挖掘乳腺对比增强磁共振影像数据中所具有的丰富的多维多尺度异构空间、时间、语义关联表示的同时，实现了对缺失的不同空间维度信息进行补充，有效提升影像分类预测结果的可靠性和精准性，进而能够为知识经验不同的各级医生提供更科学更具参考价值的辅助诊断分析结果。
[0127]
本说明书中的各个实施例均采用递进的方式描述，各个实施例直接相同或相似的
部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。需要说明的是，上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0128]
以上所述实施例仅表达了本技术的几种优选实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本技术的保护范围。因此，本技术专利的保护范围应以所述权利要求的保护范围为准。