基于正则化的变分深度聚类模型的制作方法

技术特征：
1.正则化的变分深度聚类模型，其特征在于能够对数据的隐空间进行聚类，而且可以按聚类标签生成指定的数据，包括：模型建模模块、构建优化目标模块、及优化问题求解模块。模型建模模块是在变分自编码模型的数据隐空间中使用高斯混合模型，让模型能够对数据进行聚类，从而可以按聚类标签生成指定类别的数据；构建优化目标模块通过引入了正则化项的变分近似方法构建优化目标；优化问题求解模块对隐向量采用重参化技巧，再用随机梯度下降方法对参数进行更新。2.权利要求1所述的建模模块，特点是随机向量y可以利用两个条件概率分布p
β
(z|y)、p
θ
(x|z)依次生成隐向量z和观测向量x；本模型中假设隐向量z由随机向量y生成，观测向量x由隐向量z生成，从p(y)中随机采样y，y利用后验概率分布p
β
(z|y)生成隐向量z，z利用条件概率分布p
θ
(x|z)生成观测数据x；模型向量如下，x表示观测向量，z表示连续型隐向量，p(y)＝mult(y；π)表示多项式分布，p
β
(z|y)、p
θ
(x|z)相应的条件概率分布；模型的联合概率分布为：p(x，y，z)＝p(y)p
β
(z|y)p
θ
(x|z)3.构建优化目标模块数据集是x＝{x
(1)
，x
(2)
…
，x
(n)
}，其中n表示数据集的大小。数据集x似然为对其中一个数据点x求边缘似然：log p(x)＝elbo d
kl
(q(z，y|x)||p(z，y|x))由于d
kl
(q(z，y|x)||p(z，y|x))≥0，所以log p(x)≥elbo，elbo是数据点x的证据似然下界：对每个隐向量z和y都引入一个推理模型分别为多元高斯分布和多项式分布。在上式中，等式右边分别为：重构项、先验项和条件项。为了提升模型的稳定性，加入了样本熵与批量样本熵作为模型的正则化项。样本熵为：其中，k为高斯混合模型组件的个数。批量样本熵为：其中b为批量样本集的大小，z
(i)
为第i个隐向量样本。此时在批量大小为b的样本集x
b
上，损失函数表达式为：
其中，η和γ为调节正则化强度的超参数。4.优化问题求解模块，特点是对于上述损失函数进行优化，采用蒙特卡洛采样及重参策略采样z，再用随机梯度下降方法进行参数更新；对隐向量z采用重参数化技巧来采样，数据x通过近似后验概率采样z
(l)
，即：ε
(l)
：n(0，i)，e表示点乘运算，z
(l)
为蒙特卡洛第l次采样的隐向量样本；根据上述采样过程，对于在批量大小为b的样本集x
b
上，损失函数表达式为：最小化上述损失函数，求解出模型参数{θ，φ，β}。采用重参化技巧采样z，再用随机梯度下降方法进行参数更新。

技术总结
对于深度生成模型，它们都没有对数据进行聚类的能力。所以本发明在变分自编码模型的基础上提出对数据聚类的学习，并加入正则项，提高模型的稳定性。这个模型不仅可以生成高质量的数据，而且可以在数据隐空间中完成高精度的聚类任务。本发明从模型建模模块、构建优化目标模块、及优化问题求解模块三方面进行介绍。推理模型不仅获得了数据隐空间分布，而且利用分类器计算了聚类分配的概率，隐向量利用高斯混合模型完成聚类任务，通过生成网络生成观测数据；采用的变分方法将推理问题转化为优化问题；采用随机梯度下降法对模型参数进行更新。采用随机梯度下降法对模型参数进行更新。采用随机梯度下降法对模型参数进行更新。


技术研发人员：陈亚瑞 张志远 王浩楠 丁文强 史艳翠 杨巨成
受保护的技术使用者：天津科技大学
技术研发日：2020.08.11
技术公布日：2022/2/28