一种基于半监督子空间表征模型的数据在线分类方法与流程

本发明属于机器学习与数据挖掘，具体涉及一种基于半监督子空间表征模型的数据在线分类方法。

背景技术：

1、在数据挖掘与人工智能领域，特别是大语言模型与深度学习的发展中，学术界和工业界正经历从 “以模型为中心”向“以数据为中心” 的范式转移。数据集质量评估的必要性主要体现在三个方面。第一，数据质量决定模型泛化的上下界，经典的计算机科学定律“垃圾进，垃圾出”在深度学习时代依然适用。研究表明，数据集中的标签噪声、分布偏置和信息冗余会直接导致模型产生过拟合、决策偏见以及鲁棒性下降。第二，高昂的训练与算力成本制约。随着多模态大模型与大规模图像数据集的涌现，全量数据训练的算力成本极高。通过数据集质量评估方法筛选出高质量、高信息密度的核心数据集(core-sets)，能在削减50%以上数据量的情况下，保持甚至提升模型的性能。最后，安全与合规性的刚性要求。在医疗、自动驾驶、军事装备等高可靠性领域，数据缺陷(如离群点、伪影、错误标注)可能引发灾难性后果。同时，数据隐私、毒性(toxicity)及合规性评估也是数据质量评估方法中不可或缺的一部分。

2、在数据集质量评估中，数据集的完整性、准确性与一致性是重要的评价指标。特别的，对于数据集的准确性来说，数据样本需要真实地反应其所代表的现实世界实体或事件，而无噪声或错误的影响。数据集的准确性主要体现在特征准确性，即传感器读数或物理度量无失真，以及标签准确性，即分类任务重的真实标签没有被错误标注。

3、在数据集中，准确性的判定是质量评估方法中最具技术挑战的方向之一，其按照不同的学习方法主要可分为四类，包括判定性置信学习方法、基于深度学习的方法、基于训练动力学变异度检测法以及表征学习方法。对于判定性置信学习方法，其联合分析嘈杂标签与模型的预测概率分布，通过估计噪声标签与真实标签之间的联合分布转置矩阵来找出不一致的样本。常见的用于样本准确性判别的深度学习方法有co-teaching和dividemix，其通过在训练过程中，计算所有样本的损失值并进行排序，将损失值小于给定阈值的样本判定为潜在的标签噪声或不准确样本，进行剔除或转入半监督学习进行伪标签修正。基于训练动力学变异度检测法通过在模型训练过程中，记录模型对某一样本真实标签预测概率的平均置信度和标准差(变异度)(variability)，从而绘制出数据地图。对于高变异度的样本被判定为模糊/不准确样本。表征学习方法则利用自监督或对比学习模型将数据映射到高维特征嵌入空间(embedding space)，利用样本在特征空间中的几何分布和密度特征来判定其准确性。

4、在表征学习方法中，子空间表征方法由于具备着高维空间的学习特性，子空间表征方法常用于高维数据处理中，其通常结合谱分析问题来处理高维数据聚类问题。该方法假设来自高维空间的数据是相应分布在多个低维子空间上的，因此其主要工作原理是学习高维数据中同一类样本的低维子空间。子空间表征方法主要是通过字典表示学习模型中对所学习的系数矩阵进行正则约束来实现的。对于最优系数矩阵的学习有两种方法，分别为稀疏学习，如稀疏子空间学习方法，和低秩表示，如基于低秩表示的鲁棒子空间分割算法。在基于这两类典型方法下，近年来也发展出了很多不同的变体，如可扩展式稀疏子空间学习算法以及隐式低秩表示方法。由于子空间表征方法具备的高维空间学习能力，其能够很好地处理高维数据集，特别对于图像和视频等数据。

5、因此，结合子空间表征学习模型来处理数据集的样本准确性判定问题是一个很好的机器学习方法应用方向。然而，基于字典表示的子空间表示学习模型常使用原始数据作为字典来进行自表示学习，这导致在处理大规模图像数据集时，由于字典尺度太大而使得所学习的系数矩阵过于庞大且信息冗余，从而极大增加计算时间与存储成本，更无法直接应用于数据的在线处理上。此外，现有的子空间表征方法大多为无监督学习方法，直接用于数据样本的准确性判定会导致误判率较高，严重影响数据集质量评估。因此，对于传统子空间表征模型来说，如何处理大规模图像数据集样本准确性的在线高效评估是当前亟待解决的重要问题。

技术实现思路

1、本发明的目的是提供一种基于半监督子空间表征模型的数据在线分类方法，用以解决大规模高维数据集在传统分类方法中面临的存储成本大、计算时间过高以及标签信息缺失等问题，可以有效应用于大规模图像数据集分类、质量评估等场景中。

2、为了实现上述任务，本发明采用以下技术方案：

3、一种基于半监督子空间表征模型的数据在线分类方法，包括：

4、步骤1，对给定的图像数据集进行预处理；其中图像数据集中存在部分已知标签的样本，记为有标记样本；

5、步骤2，针对预处理后的图像数据集，从每个类别的有标记样本中挑选出部分样本作为该类别的子字典；将各类别对应的子字典合并，即构成小尺度字典；除了构造小尺度字典以外的其余样本作为待分类样本；

6、步骤3，对于待分类样本，构建基于半监督信息的稀疏字典表示模型；

7、步骤4，采用基于增广拉格朗日乘子法的交替迭代优化算法以求解所述稀疏字典表示模型，得到最优系数表示向量；

8、步骤5，对于待分类样本所学习到的最优系数表示向量，通过结合与小尺度字典中有标记样本的对应关系来进行关联度分析，并根据小尺度字典中有标记样本的标签得到该待分类样本的预测标签，以实现在线分类。

9、进一步地，对给定的图像数据集进行预处理，包括：

10、首先通过特征提取方法将每个样本转化成向量形式；随后使用主成分分析技术对噪音信息进行初步剔除；最后采用归一化方法处理样本。

11、进一步地，基于半监督信息的稀疏字典表示模型表示如下：

12、；

13、其中，为第个待分类样本；表示第个待优化的系数表示向量；为小尺度字典；表示元素全为1的列向量；表示范数；表示范数；上标t表示转置。

14、进一步地，对基于半监督信息的稀疏字典表示模型的目标函数进行公式变换，可得到如下等价问题：

15、；

16、引入了一个列向量来与系数表示向量进行等价替换，即；由此上述问题可等价转化为如下问题：

17、；

18、构建增广拉格朗日函数，将约束优化问题转化为关于列向量的无约束优化问题：

19、；

20、其中，表示拉格朗日乘子；为惩罚参数。

21、进一步地，基于增广拉格朗日乘子法的交替迭代优化算法：

22、当系数表示向量固定后，更新中间变量，则无约束优化问题可进一步简化为如下问题：

23、；

24、关于求导并置为零，则的最优解可由如下公式得到：

25、。

26、进一步地，所述基于增广拉格朗日乘子法的交替迭代优化算法，还包括：

27、当中间变量固定后，更新系数表示向量，则无约束优化问题可进一步简化为：

28、；

29、引入向量，其定义为：

30、；

31、则的解析解可由如下公式计算得到：

32、；

33、其中，表示最终求解出的系数表示向量在最优支持集上的取值；表示一个向量，其除了集合最优支持集中的元素作为序号所对应向量的元素有值外，的其它序号中的元素均为0；为系数表示向量在最优支持补集上的取值，此处直接置为0；为带阈值的软阈值投影算子，定义，的上标+表示该算子执行正部投影操作；最优支持集；表示先用硬阈值截断算子保留向量前个最大值，并令剩余元素值为0，然后再取结果向量的非零元素下标，即为最优支持集；

34、由此，可得到系数表示向量在当前迭代步骤下的最优解，即由给出非零部分、由给出零值部分的完整向量。

35、进一步地，对于向量的每个元素，其计算公式如下：

36、；

37、其中，表示经算子处理后的结果向量中的第个元素值；为向量的个元素值；为软阈值，用于对进行收缩操作；为正投影算符；表示“被定义为”；表示最大索引值定义如下：

38、；

39、其中，表示向量的个元素值。

40、进一步地，根据优系数表示向量的非零元素在小尺度字典中所对应的原子位置，提取这些原子对应的标签信息；通过统计这些非零元素对应的类别，将关联度最强的类别判定为待分类样本的预测标签。

41、一种终端设备，包括处理器、存储器以及存储在所述存储器中的计算机程序；处理器执行计算机程序时，实现所述基于半监督子空间表征模型的数据在线分类方法。

42、一种计算机可读存储介质，所述介质中存储有计算机程序；计算机程序被处理器执行时，实现所述基于半监督子空间表征模型的数据在线分类方法。

43、与现有技术相比，本发明具有以下技术特点：

44、本发明通过对评估的数据集进行特征提取预处理，再通过主成分分析方法对数据样本进行降维处理；将预处理后的数据集应用于基于半监督子空间表征模型的数据在线分类方法中，通过字典表示学习与关联度分析来学习判定每个数据样本的标签信息，实现数据的实时在线分类。为了有效解决数据集质量评估过程中现有的无监督学习方法对于数据样本准确性判定误差率大的问题，提出了一种基于半监督子空间表征模型的数据在线分类方法；通过引入子空间表征模型，不仅提升对于高维数据的处理能力，并具备了对于数据的在线表征能力。此外，本发明通过设计了一种小尺度字典构造方法，降低字典表示过程中的计算复杂度以及冗余信息，并且结合半监督信息能够有效提升对于数据样本的分类精度。