基于类中心对齐的锚点结构隐式块对角化方法及设备

摘要: 本发明涉及数据处理与机器学习交叉,具体地说涉及一种基于类中心对齐的锚点结构隐式块对角化方法及设备。背景技术:1、多视图聚类(multi-viewclusteri...
基于类中心对齐的锚点结构隐式块对角化方法及设备

本发明涉及数据处理与机器学习交叉,具体地说涉及一种基于类中心对齐的锚点结构隐式块对角化方法及设备。

背景技术:

1、多视图聚类(multi-view clustering,mvc)是机器学习领域的重要研究方向,旨在综合利用同一对象的不同特征表示(视图)进行无监督分类。随着物联网和大数据技术的发展,数据往往呈现多源异构特性,例如图像可同时用局部二值模式(lbp)、尺度不变特征变换(sift)和方向梯度直方图(hog)等多种特征描述。如何有效融合这些视图的互补信息与一致性信息,提升聚类性能,已成为学术界和工业界关注的热点问题。

2、现有图基多视图聚类方法通过构建样本间的相似度图来挖掘数据结构信息,取得了良好的聚类效果。然而,此类方法需构建并存储规模为n×n的全样本相似度矩阵,其计算复杂度为o(n2),难以适应大规模数据处理需求。为突破这一瓶颈,研究者提出了基于锚点的多视图聚类方法。该类方法首先从原始数据中选择或学习m个代表性锚点(mn),然后构建样本与锚点之间的二部图(锚图),将计算复杂度降低至o(nm),显著提升了算法的大规模数据处理能力。

3、近年来,锚点学习机制不断演进。早期方法采用随机采样或k-means聚类中心作为预定义锚点,但这种方式将锚点选择与后续聚类过程割裂,难以达到全局最优。为克服这一局限,研究者提出联合优化锚点与锚图的策略。尽管该种策略方法的研究取得了显著进展,现有锚点基多视图聚类方法仍存在以下技术问题:其一,为增强锚点的判别性,多数方法对锚点矩阵施加正交约束(),强制所有锚点彼此正交。然而,这一约束在物理意义上缺乏合理性——属于同一类别的样本在特征空间中本应具有相似性,而正交约束却要求其对应的锚点互不相关,这与数据的底层流形结构相悖。其二,为弥补正交约束的缺陷,部分研究尝试对锚点施加块对角约束,但此类约束通常作用于样本的自表示矩阵,直接作用于锚点缺乏理论依据,且锚点数量m通常较小,直接约束其构成的相似度矩阵难以有效捕捉数据的全局块对角结构。其三,现有方法中锚点的学习过程与聚类结果的生成往往存在逻辑断层——锚点仅作为数据重构的中间表示,其本身的结构属性与最终的样本聚类指示矩阵缺乏直接的语义关联,导致优化的目标函数未能形成完整的逻辑闭环。

4、因此,为克服现有技术中锚点约束物理意义不明、锚点结构化与聚类过程脱节等问题,亟需提供一种基于类中心对齐的锚点结构隐式块对角化方法。

技术实现思路

1、本发明提供的一种锚点结构合理、聚类精度高、理论可解释性强且具备线性时间复杂度的基于类中心对齐的锚点结构隐式块对角化方法及设备,可至少解决上述技术问题之一。

2、为了解决上述技术问题,本发明采用如下技术方案:

3、一种基于类中心对齐的锚点结构隐式块对角化方法,包括以下步骤:

4、s1、获取多视图数据的数据集,该数据集包含v个视图的样本矩阵,其中第i个视图的样本矩阵记为,为实数矩阵空间,为第i个视图的特征维度,n为样本总数;

5、s2、初始化聚类相关参数,包括:初始化锚点矩阵、初始化样本聚类指示矩阵以及初始化锚点聚类指示矩,其中,m为锚点数量,k为类别总数;

6、s3、初始化并固定类中心基矩阵,并使其满足正交约束,其中为阶单位矩阵;

7、s4、基于当前参数,构建用于联合优化的目标函数,所述目标函数包含结构对齐项,该项用于约束所述锚点矩阵逼近由所述锚点聚类指示矩阵加权组合的所述类中心基矩阵;

8、s5、在所述正交约束和所述目标函数的约束下,通过交替迭代优化,对所述锚点矩阵、所述样本聚类指示矩阵和所述锚点聚类指示矩阵进行协同更新,直至各聚类参数达到预设的收敛条件;

9、s6、在迭代优化收敛后,根据最终优化得到的所述样本聚类指示矩阵,确定每个样本所属的类别标签,输出聚类结果。

10、进一步地,所述s1中获取多视图数据的数据集过程包括:

11、s11、获取原始多视图数据,所述原始多视图数据包含v个视图的数据源,其中第i个视图的数据源包含n个样本;

12、s12、对第i个视图的数据源进行特征提取,得到该视图对应的样本矩阵,所述样本矩阵的每一列对应一个样本的特征向量;

13、s13、合并所有视图的样本矩阵,构成多视图数据集。

14、进一步地,所述s2中初始化聚类相关参数过程包括:

15、s21、初始化锚点数量m和类别总数k,其中,m和k均为正整数,且m小于样本总数n;

16、s22、对多视图数据集进行锚点采样,初始化第i个视图的锚点矩阵,其中,的每一列对应一个锚点的特征向量;

17、s23、初始化样本聚类指示矩阵,其中,的每一行对应第j个样本的聚类指示向量,且满足非负约束以及行和为1约束,其中,表示维全1向量,表示维全1向量;

18、s24、初始化锚点聚类指示矩阵,其中,的每一行对应第s个锚点的聚类指示向量,且满足非负约束以及行和为1约束,其中,表示维全1向量。

19、进一步地,所述s3中初始化并固定类中心基矩阵过程包括:

20、s31、为每一个视图i生成类中心基矩阵,其中,的每一列对应一个类别的类中心基向量;

21、s32、对所述类中心基矩阵施加正交约束,使其满足;

22、s33、在后续交替迭代优化过程中,保持所述类中心基矩阵始终满足正交约束。

23、进一步地,所述s4中构建用于联合优化的目标函数过程包括:

24、s41、引入视图权重参数,其中,且满足,该视图权重参数用于自适应调节各视图在目标函数中的贡献程度;

25、s42、构建样本重构项,其中,表示矩阵的frobenius范数,该样本重构项用于度量第i个视图的样本矩阵由其对应视图的锚点矩阵经锚点聚类指示矩阵和样本聚类指示矩阵重构的误差;

26、s43、构建结构对齐项,该结构对齐项用于约束所述锚点矩阵逼近由所述锚点聚类指示矩阵的转置加权组合的所述类中心基矩阵;

27、s44、基于所述视图权重参数、所述样本重构项和所述结构对齐项,构建联合优化的目标函数,其中,为预设的平衡参数,用于调节所述结构对齐项在目标函数中的权重。

28、进一步地,所述步骤s5中通过交替迭代优化,对所述锚点矩阵、所述样本聚类指示矩阵和所述锚点聚类指示矩阵进行协同更新过程包括:

29、s51、固定当前迭代步的锚点矩阵、样本聚类指示矩阵、锚点聚类指示矩阵和视图权重参数,对类中心基矩阵进行更新:

30、令矩阵,对进行奇异值分解,得到更新后的类中心基矩阵,其中,为矩阵m进行奇异值分解(svd)后得到的左奇异矩阵(其列向量为左奇异向量),为右奇异矩阵的转置(其行向量为右奇异向量的转置),二者均为正交矩阵,用于构造满足正交约束的更新后类中心基矩阵;

31、s52、固定当前迭代步的样本聚类指示矩阵、锚点聚类指示矩阵、视图权重参数和更新后的类中心基矩阵,对锚点矩阵进行更新:

32、令矩阵、矩阵,按照闭式解公式计算更新后的锚点矩阵,其中,为阶单位矩阵;

33、s53、固定当前迭代步的锚点聚类指示矩阵、视图权重参数、更新后的类中心基矩阵以及更新后的锚点矩阵,对样本聚类指示矩阵进行更新:

34、令矩阵,对于第j个样本,求解下式单纯形约束二次规划问题,得到更新后的样本聚类指示向量,即样本聚类指示矩阵的第j行:

35、

36、其中,表示单纯形约束空间,即,为样本矩阵第j列的指示向量;

37、s54、固定当前迭代步的视图权重参数、更新后的类中心基矩阵、更新后的锚点矩阵以及更新后的样本聚类指示矩阵,对锚点聚类指示矩阵进行更新:

38、预计算中间矩阵:

39、令矩阵、矩阵、矩阵、矩阵;

40、对于第个锚点,令为锚点聚类指示矩阵第行的指示向量,其对应的优化子问题为:

41、

42、

43、

44、其中,为锚点聚类指示向量优化子问题中二次项的系数矩阵,该矩阵为对称正定矩阵,用于描述当前锚点聚类指示向量自身的二次项贡献(包含锚点间同类样本的重构一致性约束和结构对齐项的正则化约束),为优化子问题中线性项的系数向量,用于描述当前锚点聚类指示向量与其他锚点聚类指示向量之间的交叉耦合贡献以及锚点与样本之间的重构约束的梯度信息,表示单纯形约束空间,为矩阵的第行第列元素,为矩阵的第行第列元素,为矩阵第行的指示向量,为锚点聚类指示矩阵的第行的指示向量;

45、通过单纯形投影求解上述优化子问题,得到更新后的锚点聚类指示向量,组合所有得到更新后的锚点聚类指示矩阵;

46、s55、固定当前迭代步更新后的类中心基矩阵、更新后的锚点矩阵、更新后的样本聚类指示矩阵以及更新后的锚点聚类指示矩阵,对视图权重参数进行更新:

47、令,按照闭式解公式计算更新后的视图权重参数,其中,为第i个视图在当前迭代步的联合重构损失值(即该视图的样本重构误差与结构对齐误差之和),表示矩阵的frobenius范数(即矩阵所有元素平方和的平方根),为第j个视图在当前迭代步的联合重构损失值;

48、s56、基于上述更新后的聚类相关参数,判断各自是否达到预设的收敛条件,若未达到,则返回所述s51进行下一轮迭代,若达到,则停止迭代,输出更新优化后的锚点矩阵、样本聚类指示矩阵和锚点聚类指示矩阵。

49、进一步地,所述s6中根据最终优化得到的所述样本聚类指示矩阵,确定每个样本所属的类别标签过程包括:

50、s61、获取迭代优化收敛后最终得到的样本聚类指示矩阵,其中,的每一行对应第j个样本属于k个类别的隶属度向量;

51、s62、对于第j个样本,从其对应的隶属度向量中确定最大值所在的列索引:

52、

53、其中,为第j个样本的类别标签,表示样本聚类指示矩阵第j行第c列的元素值;

54、s63、重复所述s62,直至为全部n个样本确定类别标签,得到聚类结果标签向量,并输出所述聚类结果标签向量。

55、一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行上述基于类中心对齐的锚点结构隐式块对角化方法的步骤。

56、本发明的有益效果体现在:

57、1、本发明通过构建包含结构对齐项的目标函数,将锚点矩阵向具有正交约束的类中心基矩阵进行回归对齐,利用锚点聚类指示矩阵的块对角特性,诱导锚点自相似度矩阵隐式地逼近理想块对角结构,有效避免了现有技术中对锚点直接施加正交约束或显式块对角约束所导致的物理意义不明、计算复杂且效果不佳的缺陷,显著提升了锚点空间结构学习的理论合理性和聚类精度的数学可解释性。

58、2、本发明通过采用交替迭代优化算法对锚点矩阵、样本聚类指示矩阵和锚点聚类指示矩阵进行协同更新,并在迭代过程中根据重构损失值自适应更新视图权重参数,实现了锚点结构化学习与样本聚类过程的端到端统一,使聚类结果直接参与并引导锚点优化,克服了传统两步式方法中锚点学习与聚类过程相割裂的逻辑断层问题,增强了多视图信息融合的自适应性和聚类结果的鲁棒性。

59、3、本发明在算法复杂度方面,通过采用锚点机制将计算复杂度降低至与样本数n呈线性关系的,同时各视图的锚点更新和样本聚类指示矩阵的行向量更新均可并行计算,显著提升了大规模多视图数据的处理效率,能够在图像分类、用户画像、文档聚类等实际应用场景中实现快速高效的聚类分析,突破了现有谱聚类方法因需构建全样本相似度矩阵而难以处理海量数据的技术瓶颈。