基于高阶结构信息的多主题文本数据特征选择方法及系统

本发明涉及数据处理，具体涉及基于高阶结构信息的多主题文本数据特征选择方法及系统。

背景技术：

1、在传统的分类方法中，每个实例通常对应一个标记。随着信息技术的飞速发展，实例关联多个类别标记的情况日益普遍，这种数据被称为多标记数据。在文本识别中，一篇新闻报道可能与多个主题相关联。为了描述文本的大量类别主题标签，需要生成相应的文本特征。然而，原始特征容易包含冗余特征和噪声特征，并不适用于多主题标记分类。为了提高可解释性和效率，多标记特征选择被用于选择具有代表性的特征子集。

2、目前，现有的多标记特征选择方法主要依赖于三种策略：过滤策略、包装策略和嵌入策略。过滤策略采用统计技术来评估每个特征与标签组之间的关系。然而，过滤策略难以充分考虑特征之间的关系。包装策略使用启发式优化迭代地选择特征子集，但对于大规模数据集而言，其计算成本非常高。嵌入策略通常将多个正则化项组合成训练模型，并在训练过程中对所有特征进行排序。嵌入策略通常既高效又有效，即能够在合理的计算时间内提供高质量的特征。

技术实现思路

1、为了解决上述问题，本发明提出了基于高阶结构信息的多主题文本数据特征选择方法及系统，通过行稀疏约束的最小二乘回归联合自适应图与基于张量积图的扩散图进行交替优化，挖掘多主题文本数据的高阶结构信息，从而提升特征选择性能。

2、一方面，基于高阶结构信息的多主题文本数据特征选择方法，包括：

3、s1，获取多主题文本数据的原始特征，并基于原始特征定义多主题文本数据的文本特征空间、主题标记空间和待求解特征选择矩阵；

4、s2，构建基于行稀疏约束的最小二乘回归模型；所述最小二乘回归模型以文本特征空间为输入、以主题标记空间为回归目标，对待求解的特征选择矩阵施加行稀疏约束，使待求解特征选择矩阵中部分行为零，得到约束后的待求解特征选择矩阵；

5、s3，将约束后的待求解特征选择矩阵的转置与文本特征空间相乘，得到伪主题标记空间，基于伪主题标记空间构建自适应图；基于文本特征空间构建相似度图，通过相似度图的张量积图构建扩散图；

6、s4，将最小二乘回归模型、自适应图和扩散图进行集成，构建用于多标记特征选择的目标函数，对目标函数进行求解，得到约束后的待求解特征选择矩阵的最终解；

7、s5，基于约束后的待求解特征选择矩阵的最终解对原始特征进行排序，按照排序结果选取排序在前预设比例的原始特征，得到最终选择的特征子集。

8、进一步的，s2中，所述最小二乘回归模型为：

9、；

10、所述行稀疏约束：

11、；

12、其中，表示n维全1列向量，表示实数空间，表示文本数据的特征空间，表示文本数据的标记空间，表示frobenius范数的平方；表示特征数量；b表示偏置向量；表示特征权重矩阵；表示所选特征的数量；表示 范数。

13、进一步的，s3中，基于伪主题标记空间构建自适应图，计算公式如下：

14、；

15、其中，表示特征权重矩阵的转置；表示第i个文本向量；表示n 维全1列向量的转置；表示第j个文本向量；表示自适应扩散图；表示自适应扩散图的第（i，j）个元素；表示偏置向量。

16、进一步的，s3中，所述扩散图用于学习文本的高阶结构信息，表达式如下：

17、；

18、其中，表示基于数据的图拉普拉斯矩阵；表示第i个文本与第j个文本之间的相似度；表示特征权重矩阵；表示自适应扩散图；表示h的第（u，v）个元素；表示自适应扩散图的第（i，u）个元素；e表示对角矩阵，，表示对角矩阵e的第（i，i）个元素；表示对角矩阵e的第（u，u）个元素；表示自适应扩散图的第（j，v）个元素；表示对角矩阵e的第（j，j）个元素；表示对角矩阵e的第（v，v）个元素；表示文本数量；表示第u个文本；表示第v个文本。

19、进一步的，s4中，所述目标函数包括回归误差项、自适应图项和扩散图项；

20、所述回归误差项用于使文本特征空间经待求解特征选择矩阵映射后得到的映射结果与主题标记空间之间的误差最小化；

21、所述自适应图项用于在伪主题标记空间中学习文本之间的结构信息；

22、所述扩散图项用于通过相似度图的张量积图学习文本之间的高阶结构信息。

23、进一步的，s4中，对目标函数进行求解，具体包括：

24、固定自适应图，更新待求解特征选择矩阵；

25、固定待求解特征选择矩阵，更新自适应图；

26、重复迭代直至目标函数收敛，得到约束后的待求解特征选择矩阵的最终解。

27、进一步的，固定自适应图，更新待求解特征选择矩阵，具体包括：

28、将待求解特征选择矩阵分解为选择矩阵和系数矩阵，固定选择矩阵以更新系数矩阵，固定系数矩阵逐列更新选择矩阵，将更新后的选择矩阵与更新后的系数矩阵相乘，得到更新后的待求解特征选择矩阵。

29、进一步的，固定待求解特征选择矩阵，更新自适应图，具体包括：

30、引入辅助变量和拉格朗日乘子，约束辅助变量等于自适应图，构造增广拉格朗日函数；

31、固定当前自适应图和当前拉格朗日乘子，更新辅助变量，得到更新后的辅助变量；

32、固定更新后的辅助变量和当前拉格朗日乘子，更新自适应图，得到候选自适应图；对候选自适应图进行非负化和对角线置零处理，得到更新后的自适应图；

33、固定更新后的辅助变量和更新后的自适应图，更新拉格朗日乘子，得到更新后的拉格朗日乘子；

34、重复更新过程直至收敛，得到最终更新后的自适应图。

35、另一方面，基于高阶结构信息的多主题文本数据特征选择系统，包括：

36、特征获取模块，用于获取多主题文本数据的原始特征，并基于原始特征定义多主题文本数据的文本特征空间、主题标记空间和待求解特征选择矩阵；

37、回归模型构建模块，用于构建基于行稀疏约束的最小二乘回归模型；所述最小二乘回归模型以文本特征空间为输入、以主题标记空间为回归目标，对待求解的特征选择矩阵施加行稀疏约束，使待求解特征选择矩阵中部分行为零，得到约束后的待求解特征选择矩阵；

38、扩散图构建模块，用于将约束后的待求解特征选择矩阵的转置与文本特征空间相乘，得到伪主题标记空间，基于伪主题标记空间构建自适应图；基于文本特征空间构建相似度图，通过相似度图的张量积图构建扩散图；

39、求解模块，用于将最小二乘回归模型、自适应图和扩散图进行集成，构建用于多标记特征选择的目标函数，对目标函数进行求解，得到约束后的待求解特征选择矩阵的最终解；

40、选择模块，用于基于约束后的待求解特征选择矩阵的最终解对原始特征进行排序，按照排序结果选取排序在前预设比例的原始特征，得到最终选择的特征子集。

41、本发明采用如上技术方案，并具有有益效果：

42、（1）本发明通过对待求解特征选择矩阵施加行稀疏约束，使非零行数量直接等于所选特征数量，无需引入稀疏性权衡参数，从而使特征选择数量明确可控，并简化模型参数调节；

43、（2）本发明通过基于伪主题标记空间构建自适应图，并基于文本特征空间相似度图的张量积图构建扩散图，分别学习文本对结构信息与高阶结构信息，从而充分挖掘全局多标记数据中的结构关系；

44、（3）本发明通过将最小二乘回归模型、自适应图和扩散图集成构建统一目标函数，并采用交替优化求解得到特征选择矩阵最终解，据此对原始特征排序并选取排序靠前的特征子集，从而提升多主题文本数据特征选择的判别能力。