一种基于深度学习的新闻文本智能分类方法及系统

本发明涉及自然语言处理，具体为一种基于深度学习的新闻文本智能分类方法及系统。

背景技术：

1、新闻文本智能分类通常用于门户资讯分发、舆情监测、媒体内容归档和行业专题检索等场景，现有方法多通过词级语义表示、子词表示、循环网络、注意力网络或感知网络对新闻文本进行类别判别，在处理常规篇幅、常规词汇和类别边界清晰的新闻内容时能够形成基本分类结果；

2、然而，新闻文本具有标题短促、正文信息密集、实体名称更新频繁、同义表达交错出现等特征，单纯依赖词级上下文表示时，容易削弱低频实体、缩写词、组合词和新出现专有名词的表达强度，单纯依赖字符或子词表示时，又容易使常见词的稳定语义被字符片段干扰，导致词级语义与字符子词语义之间缺乏随词频和片段分布变化而变化的协调机制；

3、同时，新闻类别名称通常较短，类别之间又可能存在相近主题边界，例如财经与产业、体育与娱乐、科技与互联网等类别在局部词元上具有较高重叠度，现有分类结构在提取文本特征后，往往难以将类别名称本身转化为可参与空间匹配的类别原型，导致类别侧语义信息利用不足；

4、此外，新闻文本中的关键信息并非均匀分布，事件主体、动作词、时间地点和结论性片段可能分布在不同位置，普通位置编码与文本语义能量之间缺少幅值匹配，局部特征交互和顺序状态传递之间也容易出现表示尺度不一致的问题，进而影响多头注意力聚合和最终类别证据计算的稳定性；

5、因此，亟需一种基于深度学习的新闻文本智能分类方法及系统，以解决上述现有技术中存在的词级语义与字符子词语义协调不足、类别原型利用不足、局部交互与顺序状态尺度不一致以及分类证据稳定性不足的问题。

技术实现思路

1、本发明提供了一种基于深度学习的新闻文本智能分类方法及系统，促进解决了上述背景技术中所提到的问题。

2、本发明提供如下技术方案：一种基于深度学习的新闻文本智能分类方法，包括：

3、建立文本输入端、类别输入端、规范化单元、切分单元、字符拆分单元、计算单元和输出端，采集新闻文本和类别名称；

4、对新闻文本和类别名称执行编码统一、字符规范、词元切分和字符片段拆分，形成统一语料和词表；

5、统计词元次数和无向相邻共现次数，构建上下文共现强度矩阵和稳定化语义矩阵，生成word2vec上下文语义向量；

6、依据字符片段和词元次数，对相同字符片段的word2vec上下文语义向量加权聚合，生成fasttext字符子词向量；

7、根据词频稀缺度和字符片段新颖度生成混合门控量，融合word2vec上下文语义向量和fasttext字符子词向量，获得混合词向量；

8、对混合词向量叠加位置基函数，形成新闻文本混合表示矩阵，拆分维度并构建局部上下文均值和二阶能量矩阵；

9、依据二阶能量矩阵生成cinn局部可逆交互网络的缩放支路和平移支路，获得局部可逆交互特征，经rnin顺序归一化交互网络生成隐藏状态；

10、根据类别名称词元的混合词向量生成类别原型，构建类别原型多头注意力特征，输入mlp多层感知网络并结合几何能量输出新闻类别。

11、可选的，所述建立文本输入端、类别输入端、规范化单元、切分单元、字符拆分单元、计算单元和输出端，采集新闻文本和类别名称，具体包括：

12、通过文本输入端接收待分类新闻文本，通过类别输入端接收预设类别名称；

13、通过规范化单元对新闻文本和类别名称执行统一编码、大小写归一、全角半角归一和标点边界保留；

14、通过切分单元分别生成新闻文本词元序列和类别名称词元集合；

15、通过字符拆分单元对每个词元生成连续字符片段集合，并使所述连续字符片段集合至少包含对应词元自身；

16、通过计算单元将新闻文本和类别名称合并形成统一语料，并根据统一语料内出现的词元形成统一词表；

17、通过输出端接收计算单元输出的新闻类别。

18、可选的，所述统计词元次数和无向相邻共现次数，构建上下文共现强度矩阵和稳定化语义矩阵，生成word2vec上下文语义向量的步骤，具体包括：

19、遍历统一语料中的新闻文本词元序列和类别名称词元集合，统计每个词元的出现次数；

20、按照一阶相邻位置关系统计任意两个词元的无向相邻共现次数；

21、将词元出现次数、词元共现次数、共现总量和词表规模进行平滑归一处理，生成上下文共现强度矩阵；

22、对上下文共现强度矩阵加入由共现总量和词表规模确定的稳定化项，获得稳定化语义矩阵；

23、对稳定化语义矩阵执行奇异值分解，根据不低于奇异值均值的奇异值方向确定保留维度；

24、对保留方向按奇异值降序排列，当存在相等奇异值时，按统一词表索引顺序对标准基向量执行子空间投影，跳过零投影，对非零投影执行正交化，并固定向量方向；

25、提取每个词元的word2vec上下文语义向量。

26、可选的，所述依据字符片段和词元次数，对相同字符片段的word2vec上下文语义向量加权聚合，生成fasttext字符子词向量的步骤，具体包括：

27、读取字符拆分单元生成的连续字符片段集合；

28、在统一词表中检索包含同一字符片段的词元；

29、将所述包含同一字符片段的词元作为聚合对象；

30、以各聚合对象在统一语料中的出现次数作为加权依据，对各聚合对象的word2vec上下文语义向量执行加权平均，生成对应字符片段的fasttext字符片段向量；

31、对目标词元所包含的全部fasttext字符片段向量执行平均处理，生成目标词元的fasttext字符子词向量；

32、将所述fasttext字符子词向量与目标词元的word2vec上下文语义向量保持相同维度。

33、可选的，所述根据词频稀缺度和字符片段新颖度生成混合门控量，融合word2vec上下文语义向量和fasttext字符子词向量，获得混合词向量的步骤，具体包括：

34、根据统一词表中各词元的出现次数提取最高词频和词频中位数；

35、将出现次数不低于词频中位数的词元所包含的字符片段合并为常见字符片段集合；

36、根据目标词元出现次数与最高词频之间的比例生成词频稀缺度；

37、根据目标词元字符片段集合与常见字符片段集合之间的重合比例，生成字符片段新颖度；

38、将词频稀缺度和字符片段新颖度求和得到门控基础量；

39、将门控基础量作为占用比例分子，将门控基础量与固定无量纲归一基准量之和作为占用比例分母，提取fasttext字符子词向量占用比例，获得混合门控量；

40、以混合门控量控制fasttext字符子词向量的占用比例，并以word2vec上下文语义向量的剩余占用比例进行互补融合，生成目标词元的混合词向量。

41、可选的，所述对混合词向量叠加位置基函数，形成新闻文本混合表示矩阵，拆分维度并构建局部上下文均值和二阶能量矩阵，具体包括：

42、按照新闻文本词元序列读取每个词元的混合词向量；

43、根据词元位置、新闻文本长度和向量维度生成正弦型位置基函数；

44、根据当前新闻文本内混合词向量的整体能量和位置基函数的整体能量，计算位置幅值匹配量；

45、将位置幅值匹配后的位置基函数叠加至对应词元的混合词向量，生成新闻文本混合表示矩阵；

46、将新闻文本混合表示矩阵按照维度顺序，拆分为第一子空间矩阵和第二子空间矩阵；

47、依据每个词元的一阶相邻位置集合，对第一子空间矩阵执行局部平均，生成局部上下文均值；

48、对新闻文本混合表示矩阵执行转置乘积和长度归一处理，生成二阶能量矩阵。

49、可选的，所述依据二阶能量矩阵生成cinn局部可逆交互网络的缩放支路和平移支路，获得局部可逆交互特征，经rnin顺序归一化交互网络生成隐藏状态的步骤，具体包括：

50、从二阶能量矩阵中，提取第一子空间自相关分块和第一子空间至第二子空间的互相关分块；

51、根据第一子空间自相关分块、由共现总量和词表规模确定的防零平滑量、互相关分块生成cinn局部可逆交互网络的缩放支路矩阵；

52、根据第一子空间自相关分块的主值对称逆平方根和互相关分块，生成cinn局部可逆交互网络的平移支路矩阵；

53、通过局部上下文均值、缩放支路矩阵和平移支路矩阵对第二子空间特征执行仿射耦合，并与第一子空间特征拼接得到cinn局部可逆交互特征；

54、根据cinn局部可逆交互特征，构建交互特征二阶能量矩阵和白化投影矩阵；

55、根据相邻位置cinn局部可逆交互特征的余弦一致性，生成rnin顺序记忆门控量；

56、将当前cinn局部可逆交互特征、上一隐藏状态和rnin顺序记忆门控量输入由均值和方差确定的层归一化运算，生成当前位置的rnin隐藏状态。

57、可选的，所述根据类别名称词元的混合词向量生成类别原型，构建类别原型多头注意力特征，具体包括：

58、对每个类别名称采用与新闻文本相同的词元切分方式；

59、读取类别名称所含词元的混合词向量，并对所述混合词向量执行平均处理，生成类别原型；

60、读取rnin顺序归一化交互网络生成的白化投影矩阵；

61、将类别原型输入所述白化投影矩阵和层归一化运算，生成顺序空间类别原型；

62、根据全部新闻文本和全部类别对应的顺序空间类别原型，构建类别原型协方差矩阵；

63、根据类别原型协方差矩阵的代数秩确定注意力头数；

64、根据非零特征方向生成对应注意力头的投影矩阵，当类别原型协方差矩阵退化时采用维度归一化单位投影矩阵；

65、根据rnin隐藏状态、投影矩阵和顺序空间类别原型计算类别相关打分；

66、对类别相关打分执行中心化指数归一处理，获得注意力权重；

67、根据注意力权重对rnin隐藏状态进行加权聚合，得到类别原型多头注意力特征。

68、可选的，所述输入mlp多层感知网络并结合几何能量输出新闻类别的步骤，具体包括：

69、对cinn局部可逆交互特征沿词元位置执行平均处理，得到局部交互均值；

70、对rnin隐藏状态沿词元位置执行平均处理，得到顺序状态均值；

71、将局部交互均值、顺序状态均值、类别原型多头注意力特征和顺序空间类别原型拼接为新闻组合特征；

72、将顺序空间类别原型按新闻组合特征的组成结构进行同维度扩展，形成类别锚定特征；

73、根据全部新闻组合特征生成均值向量、协方差矩阵和白化权值矩阵；

74、将新闻组合特征和类别锚定特征映射至同一白化空间，经mlp多层感知网络的误差函数型非线性激活运算生成类别证据量；

75、对同一新闻文本下各类别证据量执行标准化处理；

76、根据类别原型多头注意力特征与顺序空间类别原型之间的平方范数距离，生成归一化几何能量；

77、将标准化类别证据量与归一化几何能量进行差额计算，得到最终分类分数；

78、输出最终分类分数最大的类别作为新闻类别，当多个类别的最终分类分数相同时，输出索引最小的类别。

79、一种用于实现所述基于深度学习的新闻文本智能分类方法的系统，包括：

80、输入预处理模块：用于采集新闻文本和类别名称，并生成统一语料及词表；

81、语义表示模块：用于统计词元共现关系，并生成上下文语义向量；

82、子词表示模块：用于聚合字符片段信息，并生成字符子词向量；

83、混合表示模块：用于根据上下文语义向量和字符子词向量生成混合词向量；

84、序列矩阵模块：用于对混合词向量进行位置编码，并生成二阶能量矩阵；

85、cinn交互模块：用于对二阶能量矩阵进行可逆交互变换，并输出局部可逆交互特征；

86、rnin交互模块：用于根据局部可逆交互特征生成隐藏状态；

87、注意力聚合模块：用于根据隐藏状态生成类别原型，并基于类别原型聚合多头注意力特征；

88、分类输出模块：用于根据多头注意力特征生成类别证据量，并输出新闻类别。

89、本发明具备以下有益效果：

90、1.通过设置文本输入端、类别输入端、规范化单元、切分单元、字符拆分单元、计算单元和输出端，并对新闻文本与类别名称执行统一编码、大小写归一、全角半角归一、标点边界保留、词元切分和字符片段拆分，使来自正文标题、类别标签和实体词的文本对象能够进入同一处理尺度，减少编码差异、字符形态差异和分词边界差异对后续语义表示的扰动，同时通过统一语料和统一词表建立后续矩阵行列定位基础，使新闻文本侧信息与类别名称侧信息能够在同一索引体系内参与计算；

91、2.通过统计统一语料中的词元出现次数和一阶相邻无向共现次数，并据此构建上下文共现强度矩阵和稳定化语义矩阵，使新闻文本中相邻词元之间的局部共现关系能够被转化为可分解的语义空间结构，非负截断处理降低弱相关或噪声共现对词向量方向的干扰，稳定化项缓解零共现和矩阵退化造成的计算不稳定，奇异值均值筛选与重根确定性处理使word2vec上下文语义向量能够保持稳定的方向选择和维度边界，从而增强词级上下文表达的一致性；

92、3.通过读取连续字符片段集合，并在统一词表中检索包含同一字符片段的词元，以词元出现次数作为加权依据聚合对应的word2vec上下文语义向量，使低频词、新组合词、缩写词和专有实体中的字符片段能够获得来自相关词元的语义补偿，避免仅依赖整词出现频率时低频新闻实体表达偏弱的问题，同时通过对目标词元全部字符片段向量执行平均处理，使fasttext字符子词向量与词级语义向量保持同维度关系，为后续混合表示提供可直接融合的子词侧表达；

93、4.通过根据最高词频、词频中位数、常见字符片段集合、词频稀缺度和字符片段新颖度生成混合门控量，并以该门控量调节fasttext字符子词向量和word2vec上下文语义向量的占用比例，使高频常见词更偏向稳定的上下文语义表达，使低频词和新颖字符片段更充分引入子词形态信息，由此缓解单一词向量难以处理新词和单一子词向量容易干扰常见词语义的问题，混合词向量因此能够在新闻实体变化和主题词复用场景下保持更合理的语义分配；

94、5.通过依据词元位置、新闻文本长度和向量维度生成正弦型位置基函数，并根据混合词向量整体能量与位置基函数稳定能量计算位置幅值匹配量，使位置信息在叠加至混合词向量时能够与文本语义能量保持尺度协调，减少位置项过强或过弱造成的表示偏移，同时通过维度拆分形成第一子空间矩阵和第二子空间矩阵，并基于一阶相邻位置集合生成局部上下文均值，使新闻文本中的局部短语结构能够进入后续交互计算，二阶能量矩阵则为局部可逆交互提供稳定统计基础；

95、6.通过从二阶能量矩阵中提取第一子空间自相关分块和第一子空间至第二子空间的互相关分块，并生成cinn缩放支路矩阵和平移支路矩阵，使第二子空间特征能够在局部上下文均值约束下完成仿射耦合，保留第一子空间特征的同时增强局部结构表达，随后根据cinn局部可逆交互特征生成rnin白化投影矩阵和顺序记忆门控量，使相邻位置的一致性能够调节历史状态与候选状态的融合程度，降低局部突变对顺序隐藏状态造成的尺度扰动；

96、7.通过将类别名称词元的混合词向量平均生成类别原型，并经rnin白化投影矩阵和层归一化形成顺序空间类别原型，使短类别名称能够转化为可与新闻隐藏状态比较的类别侧语义对象，再通过类别原型协方差矩阵的代数秩确定注意力头数，并依据非零特征方向生成投影矩阵，使不同类别之间的差异方向参与多头注意力聚合，中心化指数归一处理进一步减少大值打分对权重分布的主导，从而使类别名称语义能够参与新闻文本关键位置筛选；

97、8.通过对cinn局部可逆交互特征和rnin隐藏状态分别执行位置均值处理，并将其与类别原型多头注意力特征及顺序空间类别原型拼接为新闻组合特征，使局部结构、顺序状态、类别关注信息和类别原型信息共同进入mlp证据压缩过程，白化权值矩阵和误差函数型非线性激活使类别证据量在同一白化空间内形成可比表达，进一步结合类别原型多头注意力特征与顺序空间类别原型之间的几何偏离量生成最终分类分数，使分类输出同时受证据强度和类别空间一致性约束；

98、9.本方案面向新闻资讯分发、舆情监测和内容归档中的细粒度文本分类场景，针对短标题、低频实体、类别边界相近和语义位置分布不均所造成的分类判别不稳问题，构建以word2vec上下文语义向量和fasttext字符子词向量为基础的混合表示链路，并将cinn局部可逆交互、rnin顺序归一化交互、类别原型多头注意力和mlp证据压缩进行协同组合；其中，word2vec通道提供词元上下文语义骨架，fasttext通道补充字符片段对低频词和新词的表达，混合门控使二者随词频稀缺度和字符片段新颖度形成动态互补；cinn在子空间拆分后将局部上下文均值转化为可逆仿射交互，使文本局部结构不被单向压缩，rnin再利用相邻交互特征的一致性生成顺序隐藏状态，缓解局部突变对全局状态的干扰；类别原型多头注意力将类别名称语义引入文本聚合过程，使短类别标签参与特征选择，mlp证据量与几何能量的差额判别进一步约束类别证据和类别原型之间的空间偏离，由此形成词级语义、子词形态、局部交互、顺序状态、类别原型和分类证据之间的协同判别机制，使单独词向量、单独子词模型、单独注意力或单独感知网络难以同时处理的低频实体识别、近邻类别区分和证据稳定输出问题获得统一处理。