一种基于缺失数据的分类模型生成方法与流程

1.本发明涉及神经网络技术领域，尤其涉及一种基于缺失数据的分类模型生成方法。


背景技术：

2.在深度学习领域中，难以获取某些应用场景的完整数据，例如社交网络个人隐私信息、工业传感器的丢失数据等。所以在难以获取完整数据的情况下，对于模型的训练过程，如何对缺失数据进行补全是十分重要的问题。目前缺失数据的补全方法有以下三大类：
3.第一类是使用传统方法补齐缺失的数据。插补方法广泛用于数据补全，例如均值插补、矩阵分解和奇异值分解(svd)的矩阵补全，以及多重插补。第二类是使用机器学习来估计缺失值，例如k
‑
nn模型、随机森林、自动编码器、生成性对抗网络(gan)。在利用概率密度表示缺失值的基础上，有logistic回归、核方法和多层感知器。第三类是使用深度学习将缺失数据用于训练的方法。如结合高斯混合模型的图卷积网络方法。
4.然而，以上现有的传统方法及机器学习方法在虽然在一定程度上对缺失特征进行了补全，但无法对模型实现端到端的训练；而高斯混合模型表示缺失特征的图卷积网络方法忽略了特征之间的高阶关系及标签信息的利用，所以在训练模型的过程中，采用上述三大类的缺失数据补全方法后生成的模型精度不高。


技术实现要素：

5.本发明实施例提供一种基于缺失数据的分类模型生成方法，能够提高模型精度。
6.本技术实施例的第一方面提供了一种基于缺失数据的分类模型生成方法，包括：
7.获取缺失数据特征矩阵；
8.将所述缺失数据特征矩阵用高斯混合模型的概率密度函数表示，得到第一特征矩阵；
9.获取数据缺失类型对应的标签，并根据所述标签得到独热向量矩阵；
10.将所述第一特征矩阵和所述独热向量矩阵输入超图卷积网络模型中，以使所述超图卷积网络模型进行训练后生成基于缺失数据的预测模型；具体为，所述超图卷积网络模型根据所述第一特征矩阵计算relu神经元的期望响应得到第一隐藏特征后，根据所述第一隐藏特征得到第一预测标签；同时所述超图卷积网络模型根据所述独热向量矩阵进行标签传播，得到第二预测标签；最后将所述第一预测标签和所述第二预测标签进行联合学习后生成基于缺失数据的分类模型。
11.在第一方面的一种可能的实现方式中，所述获取缺失数据特征矩阵，具体为：
12.获取非欧式结构的训练数据集和数据缺失类型，根据所述数据缺失类型对所述训练数据集进行预处理，得到所述缺失数据特征矩阵；其中，所述数据缺失类型包括：均匀随机缺失、有偏随机缺失和结构随机缺失。
13.在第一方面的一种可能的实现方式中，所述根据所述第一隐藏特征得到第一预测
标签，具体为：
14.将所述第一隐藏特征进行卷积处理后生成第二隐藏特征；
15.将所述第二隐藏特征进行归一化处理，生成第一预测标签。
16.在第一方面的一种可能的实现方式中，所述将所述第一预测标签和所述第二预测标签进行联合学习后生成基于缺失数据的分类模型，具体为：
17.将所述第一预测标签和所述第二预测标签进行联合学习后，计算组合损失函数；
18.根据所述组合损失函数对所述超图卷积网络模型进行端对端的迭代训练，当训练次数等于预设数值时，结束训练并生成所述基于缺失数据的分类模型。
19.在第一方面的一种可能的实现方式中，所述将所述缺失数据特征矩阵用高斯混合模型的概率密度函数表示，得到第一特征矩阵，具体为：
20.所述缺失数据特征矩阵包括空值；
21.获取所述空值的列元素，根据所述列元素的平均值对空值进行插补，得到完整数据特征矩阵；
22.将所述完整数据特征矩阵用所述高斯混合模型的概率密度函数表示，得到所述第一特征矩阵；其中，所述第一特征矩阵包括：均值矩阵、协方差矩阵和高斯混合参数。
23.在第一方面的一种可能的实现方式中，所述超图卷积网络模型根据所述第一特征矩阵计算relu神经元的期望响应得到第一隐藏特征，具体为：
24.获取超图拉普拉斯算子和卷积层参数；
25.将所述第一特征矩阵、所述超图拉普拉斯算子和所述卷积层参数输入所述超图卷积网络模型的第一超图卷积层中，以使所述第一超图卷积层对所述第一特征矩阵进行卷积，得到卷积结果；
26.根据所述卷积结果计算relu神经元的期望响应，并得到所述第一隐藏特征。
27.在第一方面的一种可能的实现方式中，所述将所述第一隐藏特征进行卷积处理后生成第二隐藏特征，具体为：
28.将所述第一隐藏特征、所述超图拉普拉斯算子和所述卷积层参数输入所述超图卷积网络模型的第二超图卷积层中，以使所述第二超图卷积层对所述第一隐藏矩阵进行卷积，得到所述第二隐藏特征。
29.在第一方面的一种可能的实现方式中，所述超图卷积网络模型根据所述独热向量矩阵进行标签传播，得到第二预测标签，具体为：
30.将所述独热向量矩阵和所述超图拉普拉斯算子输入至所述超图卷积网络模型中的标签传播层中，以使所述标签传播层根据所述独热向量矩阵进行标签传播，得到所述第二预测标签。
31.在第一方面的一种可能的实现方式中，所述在所述生成基于缺失数据的分类模型后，还包括：
32.对所述基于缺失数据的分类模型进行验证，具体为：
33.获取cora和citeseer数据集；
34.根据所述数据缺失类型对所述cora和citeseer数据集进行预处理后，设置数据缺失率和数据选取条件，生成验证数据集；
35.将所述验证数据集输入至所述基于缺失数据的分类模型中进行验证。
36.相比于现有技术，本发明实施例提供的一种基于缺失数据的分类模型生成方法，先获取缺失数据特征矩阵；再将缺失数据特征矩阵用高斯混合模型的概率密度函数表示，得到第一特征矩阵；接着获取数据缺失类型对应的标签，并根据标签得到独热向量矩阵；最后将第一特征矩阵和独热向量矩阵输入超图卷积网络模型中，以使超图卷积网络模型进行训练后生成基于缺失数据的预测模型；具体为，超图卷积网络模型根据第一特征矩阵计算relu神经元的期望响应得到第一隐藏特征后，根据第一隐藏特征得到第一预测标签；同时超图卷积网络模型根据独热向量矩阵进行标签传播，得到第二预测标签；最后将第一预测标签和第二预测标签进行联合学习后生成基于缺失数据的分类模型。
37.其有益效果在于：本发明实施例能够用高斯混合模型的概率密度函数表示缺失数据，得到第一特征矩阵，并将所述第一特征矩阵输入至超图卷积网络模型中，以使超图卷积网络模型计算relu神经元的期望响应，便能够实现对所述超图卷积网络模型的端对端训练，最后生成的基于缺失数据的分类模型能够提高在缺失数据的情况下对数据分类的准确性，即提高了在缺失数据的情况下的分类模型的精度。同时，本发明实施例通过超图卷积网络模型进行标签传播，能够使超图卷积网络模型上的节点进一步学习到相同标签的节点特征，能够进一步地提高在高数据缺失率的情况下的分类模型的精度。换言之，本发明实施例所生成基于缺失数据的分类模型，既通过计算relu神经元的期望响应实现了对所述超图卷积网络模型的端对端训练、又通过进行标签传播考虑了对标签信息的应用，能够解决现有技术中采用传统缺失数据补全方法后生成的模型精度不高的问题。
附图说明
38.图1是本发明一实施例提供的一种基于缺失数据的分类模型生成方法的流程示意图；
39.图2是本发明一实施例提供的基于cora数据集的验证结果示意图；
40.图3是本发明一实施例提供的基于citeseer数据集的验证结果示意图。
具体实施方式
41.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
42.参照图1，是本发明一实施例提供的一种基于缺失数据的分类模型生成方法的流程示意图，包括s101
‑
s104：
43.s101：获取缺失数据特征矩阵。
44.s102：将缺失数据特征矩阵用高斯混合模型的概率密度函数表示，得到第一特征矩阵。
45.s103：获取数据缺失类型对应的标签，并根据标签得到独热向量矩阵；
46.s104：将第一特征矩阵和独热向量矩阵输入神经网络模型超图卷积网络模型中，以使神经网络模型超图卷积网络模型进行训练后生成基于缺失数据的预测模型。
47.具体为，所述超图卷积网络模型根据所述第一特征矩阵计算relu神经元的期望响
应得到第一隐藏特征后，根据所述第一隐藏特征得到第一预测标签；同时所述超图卷积网络模型根据所述独热向量矩阵进行标签传播，得到第二预测标签；最后将所述第一预测标签和所述第二预测标签进行联合学习后生成基于缺失数据的分类模型。
48.在本实施例中，所述获取缺失数据特征矩阵，具体为：
49.获取非欧式结构的训练数据集和数据缺失类型，根据所述数据缺失类型对所述训练数据集进行预处理，得到所述缺失数据特征矩阵；其中，所述数据缺失类型包括：均匀随机缺失、有偏随机缺失和结构随机缺失。
50.在本实施例中，所述根据所述第一隐藏特征得到第一预测标签，具体为：
51.将所述第一隐藏特征进行卷积处理后生成第二隐藏特征；
52.将所述第二隐藏特征进行归一化处理，生成第一预测标签。
53.在本实施例中，所述将所述第一预测标签和所述第二预测标签进行联合学习后生成基于缺失数据的分类模型，具体为：
54.将所述第一预测标签和所述第二预测标签进行联合学习后，计算组合损失函数；
55.根据所述组合损失函数对所述超图卷积网络模型进行端对端的迭代训练，当训练次数等于预设数值时，结束训练并生成所述基于缺失数据的分类模型。
56.在本实施例中，所述将所述缺失数据特征矩阵用高斯混合模型的概率密度函数表示，得到第一特征矩阵，具体为：
57.所述缺失数据特征矩阵包括空值；
58.获取所述空值的列元素，根据所述列元素的平均值对空值进行插补，得到完整数据特征矩阵；
59.将所述完整数据特征矩阵用所述高斯混合模型的概率密度函数表示，得到所述第一特征矩阵；其中，所述第一特征矩阵包括：均值矩阵、协方差矩阵和高斯混合参数。
60.在一具体实施例中，所述缺失数据特征矩阵包括空值，即所述缺失数据特征矩阵为为包含空值nan的特征向量矩阵xnan∈r
ns
×
d
，其中，ns为数据的数量，d为数据的维度。利用空值nan所在列的列元素的平均值对空值nan进行插补，得到完整数据特征矩阵x∈r
(ns
×
d)
，ns为数据的数量，d为数据的维度。然后将完整数据特征矩阵x∈r
(ns
×
d)
用所述高斯混合模型的概率密度函数表示，即将完整数据特征矩阵x∈r
(ns
×
d)
用均值矩阵m、协方差矩阵v和高斯混合参数π
k
表示，得到第一特征矩阵：
[0061][0062][0063][0064]
其中，x
ij
为第一特征矩阵，n指单个概率密度函数，μ
[k]
表示第k个高斯混合分量的均值，σ
[k]
表示第k个高斯混合分量的协方差。
[0065]
在本实施例中，所述超图卷积网络模型根据所述第一特征矩阵计算relu神经元的
期望响应得到第一隐藏特征，具体为：
[0066]
获取超图拉普拉斯算子和卷积层参数；
[0067]
将所述第一特征矩阵、所述超图拉普拉斯算子和所述卷积层参数输入所述超图卷积网络模型的第一超图卷积层中，以使所述第一超图卷积层对所述第一特征矩阵进行卷积，得到卷积结果；
[0068]
根据所述卷积结果计算relu神经元的期望响应，并得到所述第一隐藏特征。
[0069]
在一具体实施例中，一个高斯概率密度函数n(m,σ2)，m表示均值，σ表示协方差，其relu神经元响应计算公式如下：
[0070][0071][0072][0073]
则所述将所述第一特征矩阵、所述超图拉普拉斯算子和所述卷积层参数输入所述超图卷积网络模型的第一超图卷积层(第一超图卷积层为超图卷积层hgc
‑
gm)中，以使所述第一超图卷积层对所述第一特征矩阵进行卷积，得到卷积结果，根据所述卷积结果计算relu神经元的期望响应，并得到所述第一隐藏特征，可由以下公式表示：
[0074][0075][0076][0077][0078]
其中，(gxθ)
ij
表示第一特征矩阵x
ij
在第一超图卷积层上的卷积结果(g为超图拉普拉斯算子、θ为卷积层参数)，relu[(gxθ)
ij
]表示根据卷积结果计算relu神经元的期望响应，则为第一隐藏特征。表示特征缺失时概率密度函数中的均值在超图上的卷积，表示特征缺失时概率密度函数中的协方差在超图上的卷积。g表示对称归一化的超图拉普拉斯，d
v
表示顶点度矩阵，h表示超图的关联矩阵，w表示超边权重的对角矩阵，d
e
表示超边度矩阵。
[0079]
其中，在计算relu神经元的期望响应，并得到所述第一隐藏特征后，便能给够实现对超图卷积网络模型的端对端训练，以使训练完成后生成的基于缺失数据的分类模型的精
度能够有所提高。
[0080]
在本实施例中，所述根据所述第一隐藏特征进行卷积处理后生成第二隐藏特征，具体为：
[0081]
将所述第一隐藏特征、所述超图拉普拉斯算子和所述卷积层参数输入所述超图卷积网络模型的第二超图卷积层中，以使所述第二超图卷积层对所述第一隐藏矩阵进行卷积，得到所述第二隐藏特征。
[0082]
在一具体实施例中，所述第二超图卷积层为超图卷积层hgc，其定义如下：
[0083][0084]
其中，σ(
·
)表示激活函数。
[0085]
具体地，第一超图卷积层和第二超图卷积层构成第一分支网络，则第一分支网络包括两层网络结构(即第一超图卷积层和第二超图卷积层)，则该两层网络结构的定义如下：
[0086][0087]
其中，为第一分支网络的输出特征矩阵，即第二隐藏特征；n表示输入数据的数量，c表示输入数据的种类。
[0088]
对第二隐藏特征进行归一化处理，生成第一预测标签
[0089]
由于超图卷积网络模型只对特征进行传播，分类结果的准确率随着特征的缺失率越高而降低。为了提高超图卷积网络模型在特征高缺失率情况的分类准确率，利用超图卷积网络模型上的标签传播层增强模型的学习能力。
[0090]
在本实施例中，所述超图卷积网络模型根据所述独热向量矩阵进行标签传播，得到第二预测标签，具体为：
[0091]
将所述独热向量矩阵和所述超图拉普拉斯算子输入至所述超图卷积网络模型中的标签传播层中，以使所述标签传播层根据所述独热向量矩阵进行标签传播，得到所述第二预测标签。
[0092]
具体地，标签传播层作为第二分支网络，包括两层结构。则将所述独热向量矩阵y∈r
(ns
×
c)
和所述超图拉普拉斯算子g∈r
(ns
×
ns)
输入至所述超图卷积网络模型中的标签传播层中，以使所述标签传播层根据所述独热向量矩阵进行标签传播，如下所示：
[0093]
y
(l 1)
＝gy
(l)
，
[0094][0095]
其中y
(l)
表示独热向量矩阵，g表示对称归一化的超图拉普拉斯。所述标签传播层的输出为向量根据所述向量生成第二预测标签
[0096]
在本实施例中，第一分支网络与第二分支网络同时进行信息传播。其中，第一分支
网络的预测标签分布为第一预测标签第二分支网络的预测标签分布为第二预测标签将转为十进制标签分布，且将所述第一预测标签和所述第二预测标签进行联合学习后，计算组合损失函数，如下所示：
[0097][0098]
其中，l
lp
为第二分支网络的损失函数。
[0099]
为了利用标签传播动态优化超图结构(即所使用的超图卷积网络模型的网络结构)，以最小化与的预测分布差异为优化条件，对超图结构h进行反向传播优化，可由以下公式表示：
[0100][0101]
其中，为对超图结构h进行反向传播优化后的结果。
[0102]
对于第一分支网络的预测标签分布计算其与真实标签分布(也即第二分支网络的预测标签分布)的差异并将交叉熵损失进行反向传播以优化网络参数，如下所示：
[0103][0104]
其中，l
hgc
为第一分支网络的损失函数。
[0105]
则所述组合损失函数的定义如下：
[0106][0107]
其中，λ为控制标签传播影响的超参数。
[0108]
接着根据所述组合损失函数对所述超图卷积网络模型进行端对端的迭代训练，当训练次数等于预设数值时，结束训练并生成所述基于缺失数据的分类模型。将所述组合损失函数进行反向传播，能够优化网络权重及超图结构。
[0109]
在本实施例中，在所述生成基于缺失数据的分类模型后，还包括：
[0110]
对所述基于缺失数据的分类模型进行验证，具体为：
[0111]
获取cora和citeseer数据集；
[0112]
根据数据缺失类型对所述cora和citeseer数据集进行预处理后，设置数据缺失率和数据选取条件，生成验证数据集；
[0113]
将所述验证数据集输入至所述基于缺失数据的分类模型中进行验证。
[0114]
具体地，数据缺失率包括：10％、20％、30％、40％、50％、60％、70％、80％、90％九种。数据缺失类型包括：均匀随机缺失、有偏随机缺失和结构随机缺失，其中，均匀随机缺失的定义为：对于一个完全特征矩阵x∈r
(n
×
d)
，按均匀概率随机抽取x中m％的元素；有偏随机
缺失的定义：为对于一个完全特征矩阵x∈r
(n
×
d)
，每列随机删除10％或90％的特征，并将条件设置为(m
‑
10％)/(90％
‑
10％)来随机选择特征；结构随机缺失的定义为：按m％的缺失率以行为索引随机删除节点特征。
[0115]
对于cora和citeseer数据集，从初始的图结构开始构造超图结构。具体地说，将每个节点视为质心，并将质心和与质心相关联的节点分别添加到超边。将超边权重设置为1，从而得到表示超图的关联矩阵h。对于节点分类，在cora和citeseer上训练部分分别为数据集的5.2％和4.1％，隐藏神经元的数量为16，dropout为0.5。
[0116]
为了进一步说明基于缺失数据的分类模型的验证结果，请参照图2和图3，图2、图3分别是本发明实施例提供的基于cora数据集的验证结果示意图和基于citeseer数据集的验证结果示意图。
[0117]
其中，missing type列表示三种数据缺失类型，分别为均匀随机缺失uniform randomly missing、有偏随机缺失biased randomly missing和结构随机缺失structurally missing；missing rate表示从10％到90％的缺失率。
[0118]
mean、knn、mft、softimp、vae、gain、ginn、gcnmf分别为实验中用于比对的补齐缺失的数据的方法：
[0119]
mean:利用已有数据的均值对缺失数据进行插补的方法；
[0120]
knn:通过最近邻对相似特征进行采样，利用这些特征的均值插补缺失值的方法；
[0121]
mft:将缺失数据的特征矩阵分解为两个低秩矩阵的插补方法；
[0122]
softimp：利用软阈值奇异值分解(svd)估计的值迭代插补缺失值的方法；
[0123]
vae：基于变分自动编码器vae的重建缺失值的方法；
[0124]
gain：基于对抗生成网络gan的插补缺失数据的方法；
[0125]
ginn：基于图去噪自编码器的插补方法；
[0126]
gcnmf：基于高斯混合模型的图卷积网络对缺失数据进行训练的方法。
[0127]
hgcn
lpgmm
为本发明实施例提出的用高斯混合模型的概率密度函数表示缺失数据特征矩阵、且同时通过第一网络分支和第二网络分支进行信息传播的方法，hgcn
gmm
为hgcn
lpgmm
移除第二网络分支的变体。
[0128]
相应地，图2、图3的中的数字代表着，应用于分类模型的不同补齐缺失的数据的方法在不同的数据缺失类型以及不同的缺失率下，分类结果的准确率。
[0129]
而图2、图3均表明，相比于mean、knn、mft、softimp、vae、gain、ginn、gcnmf，hgcn
lpgmm
能够有效提高分类模型的精度，即提高分类模型输出的分类结果的准确率。而根据hgcn
lpgmm
和hgcn
gmm
之间的准确率数据可得，通过第二网络分支进行标签传播能够进一步提高模型的分类准确率。
[0130]
本发明实施例提出了一种基于缺失数据的分类模型生成方法，所述生成方法包括：先获取缺失数据特征矩阵；再将缺失数据特征矩阵用高斯混合模型的概率密度函数表示，得到第一特征矩阵；接着获取数据缺失类型对应的标签，并根据标签得到独热向量矩阵；最后将第一特征矩阵和独热向量矩阵输入超图卷积网络模型中，以使超图卷积网络模型进行训练后生成基于缺失数据的预测模型；具体为，超图卷积网络模型根据第一特征矩阵计算relu神经元的期望响应得到第一隐藏特征后，根据第一隐藏特征得到第一预测标签；同时超图卷积网络模型根据独热向量矩阵进行标签传播，得到第二预测标签；最后将第
一预测标签和第二预测标签进行联合学习后生成基于缺失数据的分类模型。
[0131]
本发明实施例能够用高斯混合模型的概率密度函数表示缺失数据，得到第一特征矩阵，并将所述第一特征矩阵输入至超图卷积网络模型中，以使超图卷积网络模型计算relu神经元的期望响应，便能够实现对所述超图卷积网络模型的端对端训练，最后生成的基于缺失数据的分类模型能够提高在缺失数据的情况下对数据分类的准确性，即提高了在缺失数据的情况下的分类模型的精度。同时，本发明实施例通过超图卷积网络模型进行标签传播，能够使超图卷积网络模型上的节点进一步学习到相同标签的节点特征，能够进一步地提高在高数据缺失率的情况下的分类模型的精度。换言之，本发明实施例所生成基于缺失数据的分类模型，既通过计算relu神经元的期望响应实现了对所述超图卷积网络模型的端对端训练、又通过进行标签传播考虑了对标签信息的应用，能够解决现有技术中采用传统缺失数据补全方法后生成的模型精度不高的问题。
[0132]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。