基于混合模型网络的多模态影像分类方法

1.本发明属于图像处理与分析技术领域，具体涉及一种基于混合模型网络的多模态影像分类方法、装置和计算机可读存储介质。


背景技术：

2.伴随高新技术的迅速发展和医学影像技术数字化的逐步实现，各种影像学检查为疾病的研究提供了宝贵的多模态医学影像数据。由于医学诊断的应用场景较为复杂，单模态影像数据往往难以解释疾病引起的所有可能的微妙变化或异常。因此有效的融合来自多种成像模态的病灶信息，发挥各个单模态数据的互补性优势，对医学临床诊断有着重要的指导意义。
3.脑胶质瘤作为一种复发率高、死亡率高的中枢神经系统肿瘤严重威胁着患者的健康和生命。近年来临床研究发现，其分子病理学信息不但能提高诊断准确性，还能对脑胶质瘤临床治疗和预后评估起到重要的指导作用。因此在第四版who中枢神经系统肿瘤分类中，整合了基因分子表型，如何利用多模态影像实现脑胶质瘤的分子表型分类成为了当前的热点问题。
4.目前通用的多模态影像融合分为：数据层融合、特征层融合、决策层融合。特征层融合是指特征提取后，对这些不同模态的特征采取特定组合规则得到融合后的特征，再进行分类。该方案相比其他两种方案，原始信息不易丢失，同时又具有良好的实时性，相对而言更具灵活性。然而传统的特征层融合方案往往多采用串行拼接等线性融合策略，忽略了特征间的互补性，且可能导致冗余向量的输入。


技术实现要素：

5.传统的多模态特征层融合方案往往采用特征拼接或加权相加的策略，然后经分类器得出最后的分类结果，忽视了特征间的潜在联系和互补性信息。针对这一问题，本发明提出了一种基于混合模型网络的多模态影像分类方法，将特征视作节点并构建特征图，利用graclus算法完成特征图的多级粗糙化，以实现特征选择；然后利用图结构上的卷积操作和高斯核权重函数，对节点的边权值自适应更新，完成对特征潜在关系的提取和更新；最后利用全连接网络映射到样本标记空间中以完成疾病的预测分类。
6.本发明采用的技术方案如下：
7.一种基于混合模型网络的多模态影像分类方法，将所有模态所提特征进行特征图的构建，借助graclus算法进行粗糙化，最后基于混合模型网络完成预测分类，具体步骤包括：
8.(一)数据预处理：对每个分类对象进行标签的标记；
9.(二)特征提取：首先对图像数据进行感兴趣区域提取，然后以感兴趣区域为掩膜，对各模态影像进行特征提取，分别得到纹理特征、强度直方图特征和形状特征，并对其进行特征归一化处理；
10.(三)构建特征图：将上述单样本所提的每个特征看作为离散节点，并以节点间的欧氏距离为基础，利用k最近邻算法构建初始的特征图结构g0＝(v0,e0)，其中v0为特征图的节点集合，而e0为特征图中所有边的集合；
11.(四)特征图粗糙化：将上述所构建的特征图作为输入，基于graclus多尺度聚类算法进行多级粗糙化，首先将划分目标设置为归一化切割，即节点的初始权重被设置为节点的度数；然后对特征图中所有节点进行随机访问，若访问的节点x未被标记，且其邻域中所有节点均已标记，则对节点x进行标记，并继续访问下一个节点；若该节点邻域中有尚未被标记的节点，则寻找邻域中未标记顶点y，使得下式最大化：
[0012][0013]
其中e(x,y)是指节点间的边权重，而w(x)和w(y)分别指节点x和y的自身权重，找到最大化的节点y之后，将匹配的两个节点合并为一个新的节点，新节点的权重为原始节点权重之和，当所有节点遍历完成后，特征图的规模可缩小近一倍，即完成了一级粗糙化过程；
[0014]
(五)边权重更新：利用基于混合模型网络的图卷积核，对已粗糙化的特征图进行节点的边权重更新，首先将节点x放入极坐标中进行表示，并通过其邻域中的节点x
′
创建一个d维向量的伪坐标u(x,x
′
)，以确定节点x与其邻居x
′
之间的相对位置：
[0015]
u(x)＝(ρ(x,x
′
),θ(x,x
′
))
[0016]
其中在极坐标中，ρ表示极径，θ表示极角，将上述节点间的相对位置关系映射到节点之间的相对权重，并通过一组具有可学习参数的高斯核函数w1(u),
…
,wj(u)不断进行图结构上的卷积操作，并自适应学习权重，最终完成节点的边权重更新，该高斯核函数的表示如下所示：
[0017][0018]
其中和μj分别表示可学习的d
×
d和d
×
1协方差矩阵和高斯核的均值向量，j表示卷积操作时空间卷积核的维数，exp()代表e为底的指数函数；
[0019]
(六)全连接网络：将边权重更新后的特征图借助全局最大池化展成一维向量，并利用全连接网络将其映射到样本标记空间，完成分类的显式表达。
[0020]
特别地，在模型的训练中，需要对多模态数据进行顺序的打乱，将所有数据平均分成k份，取其中的一份作为验证集，剩下的k-1份作为训练集进行k折交叉验证，获得最终结果。
[0021]
特别地，进行步骤(二)的特征提取时，针对多模态磁共振影像，可将其肿瘤标志部分作为感兴趣区域。
[0022]
本发明还提供一种图像处理装置，该装置包括数据采集部件、存储器和处理器，其中数据预处理部件能够实现上述步骤(一)至步骤(二)；处理器可用于执行上述的步骤(三)至步骤(六)；存储器部分用于存储所有步骤中用到的计算机程序、处理后的数据、并且可以存储最终的训练模型。
[0023]
本发明还包括一种计算机可读存储介质，其上存储有计算机程序，其特征在于该
程序被执行时可实现上述方法的步骤。
附图说明
[0024]
图1是本发明基于混合模型网络的多模态影像分类方法示意框图。
[0025]
图2是本发明的图像处理装置示意框图。
具体实施方式
[0026]
下面通过附图对本发明技术方案进行详细说明。
[0027]
如图1所示，本发明基于混合模型网络的多模态影像分类方法示意框图如下文所述：
[0028]
(一)数据预处理：对样本数据进行标签的标记。例如若为分子表型分类，有以下标记：将脑胶质瘤idh突变且1p/19q联合缺失标记为0，其idh突变且1p/19q非联合缺失标记为1，其idh野生型标记为3。
[0029]
(二)特征提取：首先对图像数据进行感兴趣区域提取，针对多模态磁共振影像，可将其肿瘤标志部分作为感兴趣区域。然后以感兴趣区域为掩膜，利用pyradiomics工具包分别对各模态影像进行特征提取，分别得到纹理特征、强度直方图特征和形状特征，并对其进行特征归一化处理。
[0030]
(三)构建特征图：将上述单样本所提的每个特征看作为离散节点，并以节点间的欧氏距离为基础，利用k最近邻算法构建初始的特征图结构g0＝(v0,e0)，其中v0为原始图的节点集合，而e0为特征图中所有边的集合。
[0031]
(四)特征图粗糙化：将上述所构建的特征图作为输入，基于graclus多尺度聚类算法进行多级粗糙化。首先将划分目标设置为归一化切割，即节点的初始权重被设置为节点的度数；然后对特征图中所有节点进行随机访问，若访问的节点x未被标记，且其邻域中所有节点均已标记，则对节点x进行标记，并继续访问下一个节点；若该节点邻域中有尚未被标记的节点，则寻找邻域中未标记顶点y，使得下式最大化：
[0032][0033]
其中e(x,y)是指节点与节点的边权重，而w(x)和w(y)分别指节点x和y的自身权重。找到最大化的节点y之后，将匹配的两个节点合并为一个新的节点，新节点的权重为原始节点权重之和，当所有节点遍历完成后，特征图的规模可缩小近一倍，即完成了一级粗糙化过程。根据数据集的应用场景不同，可选择不同层次的粗糙化级别。
[0034]
(五)边权重更新：利用基于混合模型网络的图卷积核，对已粗糙化的特征图进行节点的边权重更新。首先将节点x放入极坐标中进行表示，并通过其邻域中的节点x
′
创建一个d维向量的伪坐标u(x,x
′
)，以确定节点x与其邻居x
′
之间的相对位置：
[0035]
u(x)＝(ρ(x,x
′
),θ(x,x
′
))
[0036]
其中在极坐标中，ρ表示极径，θ表示极角。将上述节点间的相对位置关系映射到节点之间的相对权重，并通过一组具有可学习参数的高斯核函数w1(u),
…
,wj(u)不断进行特征图结构的卷积操作，并自适应地学习权重，最终完成节点的边权重更新。该高斯核函数的表示如下所示：
[0037][0038]
其中和μj分别表示可学习的d
×
d维的协方差矩阵和和d
×
1维的高斯核的均值向量，j表示卷积操作时空间卷积核的维数，exp()代表e为底的指数函数。
[0039]
(六)全连接网络：将边权重更新后的特征图借助全局最大池化展成一维向量，并利用全连接网络将其映射到样本标记空间，完成分类的显式表达。
[0040]
图2给出了本发明的图像处理装置示意框图，主要包括三个部件：数据预处理部件、处理器及存储器，其中数据预处理部件能够实现上述步骤(一)至步骤(二)；处理器可用于执行上述的步骤(三)至步骤(六)；存储器部分用于存储所有步骤中用到的计算机程序、处理后的数据、并且可以存储最终的训练模型。
[0041]
本发明与传统的方法相对比，不仅完成了特征选择，也关注了特征间图结构的隐层关系，分类精度更高，具有更好的泛化能力。
[0042]
本发明的效果可以通过分类结果进一步说明：
[0043]
实验用的数据集为brats2017及tcga数据集，共有167个对象的多模态数据，在模型训练的数据预处理过程中，将数据随机打乱顺序，将数据集分为5份，选取其中4份作为训练集，选取剩余的1份作为验证集，对数据感兴趣区域进行特征提取，并利用所提出的基于混合模型网络的多模态融合方法进行分类。表1、表2分别与利用var和extratreesclassifier特征选择方法进行特征降维后，在knn、rf、svm分类器上的分类准确率、auc值及其总体标准差的对比。综上所述，本发明比经典方法的分类效果更好。
[0044]
表1 var方案下的实验结果对比
[0045]
实验方法准确率accaucvar-knn65.45％
±
9.725％0.8533
±
0.054113var-rf76.36％
±
7.545％0.9051
±
0.048985var-svm80.00％
±
9.959％0.9250
±
0.038269ours81.82％
±
4.285％0.9409
±
0.038539
[0046]
表2 extratreesclassifier方案下的实验结果对比
[0047]
实验方法准确率accaucextratreesclassifier-knn71.52％
±
7.902％0.8854
±
0.040820extratreesclassifier-rf78.18％
±
9.191％0.9150
±
0.052226extratreesclassifier-svm80.61％
±
9.958％0.9325
±
0.044927ours81.82％
±
4.285％0.9409
±
0.038539