一种基于层次Trans-CNN的多标签文本分类算法的制作方法

技术特征：
1.一种基于层次trans
‑
cnn的多标签文本分类算法，其特征在于，包括如下步骤：s1、数据预处理；s2、对单词进行特征提取；s3、对句子进行特征提取；s4、将词特征和句子特征融合；s5、将融合后的特征通过卷积层，提取特征；s6、将得到的卷积特征通过全连接网络，对文本进行分类。2.根据权利要求1所述的一种基于层次trans
‑
cnn的多标签文本分类算法，其特征在于，s1包括如下步骤：s11、使用rcv1和aapd数据集，将文本中的特殊字符去除；s12、将每个标签种类下的文本中，每个句子的单词少于10的句子去除，句子数目少于40条的文本去除。3.根据权利要求1所述的一种基于层次trans
‑
cnn的多标签文本分类算法，其特征在于，s2包括如下步骤：s21、根据transformer中的encoder构建word
‑
encoder神经网络；s22、将每个标签下的文本中的单词通过word
‑
encoder网络，得到词向量特征。4.根据权利要求1所述的一种基于层次trans
‑
cnn的多标签文本分类算法，其特征在于，s3包括如下步骤：s31、根据transformer中的encoder构建sentence
‑
encoder神经网络；s32、将每个标签下的文本中的句子通过sentence
‑
encoder网络，得到句子向量特征。5.根据权利要求1所述的一种基于层次trans
‑
cnn的多标签文本分类算法，其特征在于，s5包括如下步骤：s51、将s4得到的融合特征，通过卷积核为1
×
ds的卷积神经网络，卷积核数量为n，卷积后得到m
×
n的向量特征；其中ds为句子的嵌入维度，m为句子的个数。6.根据权利要求1所述的一种基于层次trans
‑
cnn的多标签文本分类算法，其特征在于，s6包括如下步骤：s61、构建全连接神经网络；s62、将s5得到的特征通过该全连接神经网络后，再使用sigmoid激活函数转换为类别概率。

技术总结
本发明涉及自然语言处理技术领域，具体涉及一种基于层次Trans


技术研发人员：宫继兵 王成龙 房小涵
受保护的技术使用者：燕山大学
技术研发日：2021.08.10
技术公布日：2021/10/29