少样本下的文本分类方法、装置、电子设备及存储介质与流程

1.本发明涉及人工智能领域，尤其涉及一种少样本下的文本分类方法、装置、电子设备及存储介质。


背景技术：

2.自然语言处理(natural language processing，nlp)是人工智能中重要的一部分，文本分类作为自然语言处理领域的一个重要课题也受到了广泛的关注。
3.当前通常通过样本训练一个文本分类模型以进行文本分类，因部分领域的已标注的样本量较少，例如，医疗领域，样本量少容易造成模型过拟合，从而训练得到的模型分类准确性不高。因此，亟需一种少样本下的文本分类方法，以提高文本分类准确度。


技术实现要素：

4.鉴于以上内容，有必要提供一种少样本下的文本分类方法，旨在提高文本分类准确度。
5.本发明提供的少样本下的文本分类方法，包括：
6.从预设数据库中获取文本分类模型对应的样本集，判断所述样本集中样本的数量是否小于预设阈值；
7.当判断所述样本集中样本的数量小于预设阈值时，计算所述样本集中每个样本的语义丰富度值，基于所述语义丰富度值确定所述样本集中每个样本对应的特征丢弃比例值；
8.基于所述样本集及所述特征丢弃比例值对所述文本分类模型进行训练，得到训练好的文本分类模型；
9.解析用户基于客户端发出的文本分类请求，获取所述文本分类请求携带的待分类文本，将所述待分类文本输入所述训练好的文本分类模型，得到文本分类结果。
10.可选的，所述计算所述样本集中每个样本的语义丰富度值，包括：
11.对所述样本集中每个样本执行分词处理，得到所述样本集中每个样本对应的词语集合；
12.剔除所述词语集合中预设类型的词语，得到所述样本集中每个样本对应的关键词集合；
13.根据所述关键词集合中关键词的数量及长度计算所述样本集中每个样本的语义丰富度值。
14.可选的，所述基于所述样本集及所述特征丢弃比例值对所述文本分类模型进行训练，得到训练好的文本分类模型，包括：
15.将所述样本集中每个样本输入所述文本分类模型，基于所述特征丢弃比例值对对应的样本执行特征丢弃处理及文本分类预测，得到所述样本集中每个样本对应的预测文本类别；
16.基于所述样本集中每个样本的标注信息确定所述样本集中每个样本对应的真实文本类别；
17.通过最小化预测文本类别与真实文本类别之间的损失值确定所述文本分类模型的结构参数，得到训练好的文本分类模型。
18.可选的，所述文本分类模型包括向量转换模块、特征提取模块及类别输出模块，所述将所述样本集中每个样本输入所述文本分类模型，基于所述特征丢弃比例值对对应的样本执行特征丢弃处理及文本分类预测，得到所述样本集中每个样本对应的预测文本类别，包括：
19.随机生成和为预设数值的三个随机数，基于所述随机数及所述特征丢弃比例值确定所述向量转换模块对应的第一特征丢弃率、特征提取模块对应的第二特征丢弃率及类别输出模块对应的第三特征丢弃率；
20.基于所述第一特征丢弃率将所述样本集中每个样本输入所述向量转换模块执行向量转换处理及维度特征丢弃处理，得到所述样本集中每个样本对应的第一特征矩阵；
21.基于所述第二特征丢弃率将所述第一特征矩阵输入所述特征提取模块执行特征提取处理及层特征丢弃处理，得到所述样本集中每个样本对应的第二特征矩阵；
22.基于所述第三特征丢弃率将所述第二特征矩阵输入所述类别输出模块执行神经元特征丢弃处理、特征融合处理及文本类别预测，得到所述样本集中每个样本对应的预测文本类别。
23.可选的，所述基于所述第一特征丢弃率将所述样本集中每个样本输入所述向量转换模块执行向量转换处理及维度特征丢弃处理，得到所述样本集中每个样本对应的第一特征矩阵，包括：
24.将所述样本集中每个样本输入所述向量转换模块的嵌入层执行向量转换处理，得到所述样本集中每个样本对应的初始特征矩阵；
25.基于所述第一丢弃率及所述初始特征矩阵的维度总数确定待丢弃维度数量，从所述初始特征矩阵中随机抽取所述待丢弃维度数量的维度特征进行丢弃，得到所述样本集中每个样本对应的第一特征矩阵。
26.可选的，所述基于所述第二特征丢弃率将所述第一特征矩阵输入所述特征提取模块执行特征提取处理及层特征丢弃处理，得到所述样本集中每个样本对应的第二特征矩阵，包括：
27.基于所述特征提取模块中编码层的总层数及所述第二特征丢弃率确定待丢弃编码层数量；
28.将所述第一特征矩阵输入所述特征提取模块的编码层执行特征提取处理，随机将所述特征提取模块中待丢弃编码层数量的编码层特征丢弃，得到所述样本集中每个样本对应的第二特征矩阵。
29.可选的，所述基于所述第三特征丢弃率将所述第二特征矩阵输入所述类别输出模块执行神经元特征丢弃处理、特征融合处理及文本类别预测，得到所述样本集中每个样本对应的预测文本类别，包括：
30.根据所述第二特征矩阵中神经元总数量及所述第三特征丢弃率确定待丢弃神经元数量；
31.从所述第二特征矩阵中随机抽取所述待丢弃神经元数量的神经元特征丢弃，得到所述样本集中每个样本对应的第三特征矩阵；
32.将所述第三特征矩阵输入所述类别输出模块的全连接层执行特征融合处理，得到所述样本集中每个样本对应的特征向量；
33.将所述特征向量输入所述类别输出模块的激活层，得到所述样本集中每个样本对应的预测文本类别。
34.为了解决上述问题，本发明还提供一种少样本下的文本分类装置，所述装置包括：
35.判断模块，用于从预设数据库中获取文本分类模型对应的样本集，判断所述样本集中样本的数量是否小于预设阈值；
36.计算模块，用于当判断所述样本集中样本的数量小于预设阈值时，计算所述样本集中每个样本的语义丰富度值，基于所述语义丰富度值确定所述样本集中每个样本对应的特征丢弃比例值；
37.训练模块，用于基于所述样本集及所述特征丢弃比例值对所述文本分类模型进行训练，得到训练好的文本分类模型；
38.分类模块，用于解析用户基于客户端发出的文本分类请求，获取所述文本分类请求携带的待分类文本，将所述待分类文本输入所述训练好的文本分类模型，得到文本分类结果。
39.为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
40.至少一个处理器；以及，
41.与所述至少一个处理器通信连接的存储器；其中，
42.所述存储器存储有可被所述至少一个处理器执行的文本分类程序，所述文本分类程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述少样本下的文本分类方法。
43.为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有文本分类程序，所述文本分类程序可被一个或者多个处理器执行，以实现上述少样本下的文本分类方法。
44.相较现有技术，本发明首先判断文本分类模型对应的样本集中样本的数量是否小于预设阈值；当判断是时，计算样本集中每个样本的语义丰富度值，基于语义丰富度值确定样本集中每个样本对应的特征丢弃比例值；接着，基于样本集及特征丢弃比例值对文本分类模型进行训练，得到训练好的文本分类模型；最后，将待分类文本输入训练好的文本分类模型，得到文本分类结果。本发明根据语义丰富度值确定每个样本对应的特征丢弃比例值，基于特征丢弃比例值随机丢弃特征，提高了模型的泛化能力，提高了模型分类准确度。因此，本发明提高了文本分类准确度。
附图说明
45.图1为本发明一实施例提供的少样本下的文本分类方法的流程示意图；
46.图2为本发明一实施例提供的少样本下的文本分类装置的模块示意图；
47.图3为本发明一实施例提供的实现少样本下的文本分类方法的电子设备的结构示意图；
48.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
49.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
50.需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
51.本发明提供一种少样本下的文本分类方法。参照图1所示，为本发明一实施例提供的少样本下的文本分类方法的流程示意图。该方法可以由一个电子设备执行，该电子设备可以由软件和/或硬件实现。本实施例中，少样本下的文本分类方法包括：
52.s1、从预设数据库中获取文本分类模型对应的样本集，判断所述样本集中样本的数量是否小于预设阈值。
53.本实施例中，预设数据库中存储有文本分类模型对应的携带标注信息的样本集，所述标注信息为人工标注的样本的类别信息，例如，若样本集中的样本为医疗相关的文章，则标注信息包括临床医学文章、法医学文章、检验医学文章、保健医学文章及康复医学文章等。
54.本实施例中，所述文本分类模型可以是bert模型，在其他实施例中，所述文本分类模型也可以是深度神经网络模型。
55.判断样本集中样本的数量是否小于预设阈值的目的是确定样本的规模，本实施例适用于小规模的样本的情况，所述预设阈值可以是100条。
56.s2、当判断所述样本集中样本的数量小于预设阈值时，计算所述样本集中每个样本的语义丰富度值，基于所述语义丰富度值确定所述样本集中每个样本对应的特征丢弃比例值。
57.当样本集中样本的数量小于预设阈值时，说明文本分类模型对应的样本量较少，若按照通用的训练方法进行模型训练，容易出现过拟合，训练得到的模型文本分类准确度不高的问题。
58.本方案根据样本集中每个样本的语义丰富度值确定每个样本对应的特征丢弃比例值，在模型训练过程中，依照特征丢弃比例值对样本进行特征丢弃处理后再进行文本类别预测，可提高模型的泛化能力，提升模型分类准确性。
59.所述计算所述样本集中每个样本的语义丰富度值，包括：
60.a11、对所述样本集中每个样本执行分词处理，得到所述样本集中每个样本对应的词语集合；
61.本实施例中，可根据预先确定的词语词典对样本集中的每个样本执行分词处理。
62.a12、剔除所述词语集合中预设类型的词语，得到所述样本集中每个样本对应的关键词集合；
63.本实施例中，所述预设类型的词语是不对样本的语义产生影响的词语，所述预设类型的词语包括停用词(例如，你好、再见、谢谢、哦、喂、嗯)、语气词(例如，啊、呀、哇)及其它预先设置的词语。
64.a13、根据所述关键词集合中关键词的数量及长度计算所述样本集中每个样本的语义丰富度值。
65.本实施例中，所述语义丰富度值的计算公式是：y
i
＝a*m
i
b*n
i
，其中，y
i
表示样本集中第i个样本的语义丰富度值，m
i
表示样本集中第i个样本的关键词的数量，n
i
表示样本集中第i个样本的关键词的总长度，a、b分别为预先确定的关键词的数量及长度对应的权重。
66.例如，若样本集中样本1的关键词共有3个，3个关键词的长度(即字长)分别为2、3、3，a为0.6，b为0.4，则样本1对应的语义丰富度值y1＝0.6*3 0.4*(2 3 3)＝5。
67.本实施例中，预先设置了语义丰富度值与特征丢弃比例值之间的映射关系，例如，语义丰富度值与特征丢弃比例值之间的映射关系可以是：
68.语义丰富度值小于5：丢弃10％的特征数据；
69.语义丰富度值大于等于5且小于等于10：丢弃20％的特征数据；
70.……
71.s3、基于所述样本集及所述特征丢弃比例值对所述文本分类模型进行训练，得到训练好的文本分类模型。
72.本实施例中，在对文本分类模型进行训练的过程中，将输入模型的样本的特征依照其对应的特征丢弃比例值进行特征丢弃处理，将特征丢弃处理后得到的特征矩阵进行样本类别预测，基于预测结果确定文本分类模型的模型参数，得到训练好的文本分类模型。
73.所述基于所述样本集及所述特征丢弃比例值对所述文本分类模型进行训练，得到训练好的文本分类模型，包括：
74.b11、将所述样本集中每个样本输入所述文本分类模型，基于所述特征丢弃比例值对对应的样本执行特征丢弃处理及文本分类预测，得到所述样本集中每个样本对应的预测文本类别；
75.本实施例中，所述文本分类模型包括向量转换模块、特征提取模块及类别输出模块，其中，向量转换模块包括嵌入层，特征提取模块包括串联连接的多个编码层(transformer encoder层)，类别输出模块包括全连接层及激活层。
76.嵌入层用于将文字转换为特征向量，编码层用于提取特征，全连接层用于融合特征，激活层用于对特征分类。
77.b12、基于所述样本集中每个样本的标注信息确定所述样本集中每个样本对应的真实文本类别；
78.样本集中各个样本的标注信息中标注了各个样本的真实文本类别。
79.b13、通过最小化预测文本类别与真实文本类别之间的损失值确定所述文本分类模型的结构参数，得到训练好的文本分类模型。
80.所述损失值的计算公式为：
[0081][0082]
其中，q
i
为样本集中第i个样本的预测文本类别，p
i
为样本集中第i个样本的真实文本类别，c为样本集中样本的总数量，loss(q
i
,p
i
)为样本集的预测文本类别与真实文本类别之间的损失值。
[0083]
所述将所述样本集中每个样本输入所述文本分类模型，基于所述特征丢弃比例值对对应的样本执行特征丢弃处理及文本分类预测，得到所述样本集中每个样本对应的预测文本类别，包括：
[0084]
c11、随机生成和为预设数值的三个随机数，基于所述随机数及所述特征丢弃比例值确定所述向量转换模块对应的第一特征丢弃率、特征提取模块对应的第二特征丢弃率及类别输出模块对应的第三特征丢弃率；
[0085]
本实施例中，所述预设数值可以是1，即随机生成的三个随机数的和需要为1，例如，若三个随机数分别为0.1、0.6、0.3，假设样本1对应的特征丢弃比例值为丢弃10％的特征数据，则对于样本1，在文本分类模型的向量转换模块需丢弃10％*0.1＝1％的特征数据、在特征提取模块需丢弃10％*0.6＝6％的特征数据、在类别输出模块需丢弃10％*0.3＝3％的特征数据，即样本1对应的第一特征丢弃率为1％、第二特征丢弃率为6％、第三特征丢弃率为3％。
[0086]
本方案通过随机生成的随机数确定向量转换模块、特征提取模块及类别输出模块对应的特征丢弃率，随机性较强，提高了模型的泛化能力。
[0087]
c12、基于所述第一特征丢弃率将所述样本集中每个样本输入所述向量转换模块执行向量转换处理及维度特征丢弃处理，得到所述样本集中每个样本对应的第一特征矩阵；
[0088]
向量转换模块中的嵌入层用于将每个字符转换为特征向量，汇总一个样本中各个字符的特征向量得到该样本对应的初始特征矩阵，维度特征丢弃处理用于将初始特征矩阵中的维度特征随机丢弃，得到样本集中各个样本对应的第一特征矩阵。
[0089]
c13、基于所述第二特征丢弃率将所述第一特征矩阵输入所述特征提取模块执行特征提取处理及层特征丢弃处理，得到所述样本集中每个样本对应的第二特征矩阵；
[0090]
本实施例中，特征提取模块包括串联连接的12层编码层，编码层用于提取特征，层特征丢弃处理用于随机将部分编码层的特征丢弃，得到样本集中各个样本对应的第二特征矩阵。
[0091]
c14、基于所述第三特征丢弃率将所述第二特征矩阵输入所述类别输出模块执行神经元特征丢弃处理、特征融合处理及文本类别预测，得到所述样本集中每个样本对应的预测文本类别。
[0092]
神经元特征丢弃处理用于随机将第二特征矩阵中的神经元特征丢弃，类别输出模块中的全连接层用于对特征进行融合，激活层用于对特征进行分类预测。
[0093]
所述基于所述第一特征丢弃率将所述样本集中每个样本输入所述向量转换模块执行向量转换处理及维度特征丢弃处理，得到所述样本集中每个样本对应的第一特征矩阵，包括：
[0094]
d11、将所述样本集中每个样本输入所述向量转换模块的嵌入层执行向量转换处
理，得到所述样本集中每个样本对应的初始特征矩阵；
[0095]
本实施例中，以字符为单位执行向量转换处理，例如，若转换后的向量为200维(向量维度数量可预先设置)，样本1中有10个字符，则样本1对应的初始特征矩阵为10*200的矩阵(10行，200列，其中，矩阵中一行数据对应一个字符的特征向量)。
[0096]
d12、基于所述第一丢弃率及所述初始特征矩阵的维度总数确定待丢弃维度数量，从所述初始特征矩阵中随机抽取所述待丢弃维度数量的维度特征进行丢弃，得到所述样本集中每个样本对应的第一特征矩阵。
[0097]
例如，若初始特征矩阵的维度数量是200维，则样本1对应的待丢弃维度数量为200*1％＝2，可从200维特征中随机抽取2个维度的特征进行丢弃，例如，可将样本1的初始特征矩阵中第3维及第7维的特征丢弃(即将这2维特征的数值转换为0)。
[0098]
所述基于所述第二特征丢弃率将所述第一特征矩阵输入所述特征提取模块执行特征提取处理及层特征丢弃处理，得到所述样本集中每个样本对应的第二特征矩阵，包括：
[0099]
e11、基于所述特征提取模块中编码层的总层数及所述第二特征丢弃率确定待丢弃编码层数量；
[0100]
例如，若样本2对应的第二特征丢弃率为20％，特征提取模块中的编码层的总数量为12层，则样本2对应的待丢弃编码层数量为12*20％＝2.4，四舍五入后，得到的待丢弃编码层数量为2。
[0101]
e12、将所述第一特征矩阵输入所述特征提取模块的编码层执行特征提取处理，随机将所述特征提取模块中待丢弃编码层数量的编码层特征丢弃，得到所述样本集中每个样本对应的第二特征矩阵。
[0102]
可随机从特征提取模块的12层编码层中抽取2层特征丢弃，若待丢弃的编码层为第3层及第9层，则将第2层的输出作为第四层的输入，将第8层的输出作为第10层的输入。
[0103]
所述基于所述第三特征丢弃率将所述第二特征矩阵输入所述类别输出模块执行神经元特征丢弃处理、特征融合处理及文本类别预测，得到所述样本集中每个样本对应的预测文本类别，包括：
[0104]
f11、根据所述第二特征矩阵中神经元总数量及所述第三特征丢弃率确定待丢弃神经元数量；
[0105]
神经元总数量即为特征总数量，例如，样本1对应的第二特征矩阵为10*200的矩阵，则神经元总数量为10*200＝2000，若样本1对应的第三特征丢弃率为3％，则待丢弃神经元数量为2000*3％＝60。
[0106]
f12、从所述第二特征矩阵中随机抽取所述待丢弃神经元数量的神经元特征丢弃，得到所述样本集中每个样本对应的第三特征矩阵；
[0107]
从第二特征矩阵中随机抽取60个神经元特征丢弃(这60个神经元特征的数值变为0)，得到每个样本对应的第三特征矩阵。
[0108]
f13、将所述第三特征矩阵输入所述类别输出模块的全连接层执行特征融合处理，得到所述样本集中每个样本对应的特征向量；
[0109]
本实施例中，样本1对应的第三特征矩阵为10*200的矩阵(10行200列)，每一列对应一个维度，每一行对应样本1中的一个字符，求每个维度的平均值(将第一列的20个数值的平均值作为特征向量的第一个特征值，第2列的20个数值的平均值作为特征向量的第二
个特征值，
……
)，得到样本1对应的特征向量(该特征向量为1*200的向量)。
[0110]
f14、将所述特征向量输入所述类别输出模块的激活层，得到所述样本集中每个样本对应的预测文本类别。
[0111]
将特征向量输入类别输出模块的激活层，得到各个样本在每个文本类别的预测概率，将预测概率最大的文本类别作为各个样本的预测文本类别。
[0112]
s4、解析用户基于客户端发出的文本分类请求，获取所述文本分类请求携带的待分类文本，将所述待分类文本输入所述训练好的文本分类模型，得到文本分类结果。
[0113]
得到训练好的文本分类模型后，可使用其对待分类文本进行文本分类，将待分类文本输入所述训练好的文本分类模型进行分类的过程中，不需要进行特征丢弃处理(仅在模型训练过程中执行特征丢弃处理)。
[0114]
由上述实施例可知，本发明提出的少样本下的文本分类方法，首先，判断文本分类模型对应的样本集中样本的数量是否小于预设阈值；当判断是时，计算样本集中每个样本的语义丰富度值，基于语义丰富度值确定样本集中每个样本对应的特征丢弃比例值；接着，基于样本集及特征丢弃比例值对文本分类模型进行训练，得到训练好的文本分类模型；最后，将待分类文本输入训练好的文本分类模型，得到文本分类结果。本发明根据语义丰富度值确定每个样本对应的特征丢弃比例值，基于特征丢弃比例值随机丢弃特征，提高了模型的泛化能力，提高了模型分类准确度。因此，本发明提高了文本分类准确度。
[0115]
如图2所示，为本发明一实施例提供的少样本下的文本分类装置的模块示意图。
[0116]
本发明所述少样本下的文本分类装置100可以安装于电子设备中。根据实现的功能，所述少样本下的文本分类装置100可以包括判断模块110、计算模块120、训练模块130及分类模块140。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
[0117]
在本实施例中，关于各模块/单元的功能如下：
[0118]
判断模块110，用于从预设数据库中获取文本分类模型对应的样本集，判断所述样本集中样本的数量是否小于预设阈值。
[0119]
计算模块120，用于当判断所述样本集中样本的数量小于预设阈值时，计算所述样本集中每个样本的语义丰富度值，基于所述语义丰富度值确定所述样本集中每个样本对应的特征丢弃比例值。
[0120]
所述计算所述样本集中每个样本的语义丰富度值，包括：
[0121]
a21、对所述样本集中每个样本执行分词处理，得到所述样本集中每个样本对应的词语集合；
[0122]
a22、剔除所述词语集合中预设类型的词语，得到所述样本集中每个样本对应的关键词集合；
[0123]
a23、根据所述关键词集合中关键词的数量及长度计算所述样本集中每个样本的语义丰富度值。
[0124]
训练模块130，用于基于所述样本集及所述特征丢弃比例值对所述文本分类模型进行训练，得到训练好的文本分类模型。
[0125]
所述基于所述样本集及所述特征丢弃比例值对所述文本分类模型进行训练，得到训练好的文本分类模型，包括：
[0126]
b21、将所述样本集中每个样本输入所述文本分类模型，基于所述特征丢弃比例值对对应的样本执行特征丢弃处理及文本分类预测，得到所述样本集中每个样本对应的预测文本类别；
[0127]
b22、基于所述样本集中每个样本的标注信息确定所述样本集中每个样本对应的真实文本类别；
[0128]
b23、通过最小化预测文本类别与真实文本类别之间的损失值确定所述文本分类模型的结构参数，得到训练好的文本分类模型。
[0129]
所述文本分类模型包括向量转换模块、特征提取模块及类别输出模块，所述将所述样本集中每个样本输入所述文本分类模型，基于所述特征丢弃比例值对对应的样本执行特征丢弃处理及文本分类预测，得到所述样本集中每个样本对应的预测文本类别，包括：
[0130]
c21、随机生成和为预设数值的三个随机数，基于所述随机数及所述特征丢弃比例值确定所述向量转换模块对应的第一特征丢弃率、特征提取模块对应的第二特征丢弃率及类别输出模块对应的第三特征丢弃率；
[0131]
c22、基于所述第一特征丢弃率将所述样本集中每个样本输入所述向量转换模块执行向量转换处理及维度特征丢弃处理，得到所述样本集中每个样本对应的第一特征矩阵；
[0132]
c23、基于所述第二特征丢弃率将所述第一特征矩阵输入所述特征提取模块执行特征提取处理及层特征丢弃处理，得到所述样本集中每个样本对应的第二特征矩阵；
[0133]
c24、基于所述第三特征丢弃率将所述第二特征矩阵输入所述类别输出模块执行神经元特征丢弃处理、特征融合处理及文本类别预测，得到所述样本集中每个样本对应的预测文本类别。
[0134]
所述基于所述第一特征丢弃率将所述样本集中每个样本输入所述向量转换模块执行向量转换处理及维度特征丢弃处理，得到所述样本集中每个样本对应的第一特征矩阵，包括：
[0135]
d21、将所述样本集中每个样本输入所述向量转换模块的嵌入层执行向量转换处理，得到所述样本集中每个样本对应的初始特征矩阵；
[0136]
d22、基于所述第一丢弃率及所述初始特征矩阵的维度总数确定待丢弃维度数量，从所述初始特征矩阵中随机抽取所述待丢弃维度数量的维度特征进行丢弃，得到所述样本集中每个样本对应的第一特征矩阵。
[0137]
所述基于所述第二特征丢弃率将所述第一特征矩阵输入所述特征提取模块执行特征提取处理及层特征丢弃处理，得到所述样本集中每个样本对应的第二特征矩阵，包括：
[0138]
e21、基于所述特征提取模块中编码层的总层数及所述第二特征丢弃率确定待丢弃编码层数量；
[0139]
e22、将所述第一特征矩阵输入所述特征提取模块的编码层执行特征提取处理，随机将所述特征提取模块中待丢弃编码层数量的编码层特征丢弃，得到所述样本集中每个样本对应的第二特征矩阵。
[0140]
所述基于所述第三特征丢弃率将所述第二特征矩阵输入所述类别输出模块执行神经元特征丢弃处理、特征融合处理及文本类别预测，得到所述样本集中每个样本对应的预测文本类别，包括：
[0141]
f21、根据所述第二特征矩阵中神经元总数量及所述第三特征丢弃率确定待丢弃神经元数量；
[0142]
f22、从所述第二特征矩阵中随机抽取所述待丢弃神经元数量的神经元特征丢弃，得到所述样本集中每个样本对应的第三特征矩阵；
[0143]
f23、将所述第三特征矩阵输入所述类别输出模块的全连接层执行特征融合处理，得到所述样本集中每个样本对应的特征向量；
[0144]
f24、将所述特征向量输入所述类别输出模块的激活层，得到所述样本集中每个样本对应的预测文本类别。
[0145]
分类模块140，用于解析用户基于客户端发出的文本分类请求，获取所述文本分类请求携带的待分类文本，将所述待分类文本输入所述训练好的文本分类模型，得到文本分类结果。
[0146]
如图3所示，为本发明一实施例提供的实现少样本下的文本分类方法的电子设备的结构示意图。
[0147]
所述电子设备1是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。所述电子设备1可以是计算机、也可以是单个网络服务器、多个网络服务器组成的服务器组或者基于云计算的由大量主机或者网络服务器构成的云，其中云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。
[0148]
在本实施例中，电子设备1包括，但不仅限于，可通过系统总线相互通信连接的存储器11、处理器12、网络接口13，该存储器11中存储有文本分类程序10，所述文本分类程序10可被所述处理器12执行。图3仅示出了具有组件11
‑
13以及文本分类程序10的电子设备1，本领域技术人员可以理解的是，图3示出的结构并不构成对电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
[0149]
其中，存储器11包括内存及至少一种类型的可读存储介质。内存为电子设备1的运行提供缓存；可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等的非易失性存储介质。在一些实施例中，可读存储介质可以是电子设备1的内部存储单元，例如该电子设备1的硬盘；在另一些实施例中，该非易失性存储介质也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。本实施例中，存储器11的可读存储介质通常用于存储安装于电子设备1的操作系统和各类应用软件，例如存储本发明一实施例中的文本分类程序10的代码等。此外，存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
[0150]
处理器12在一些实施例中可以是中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述电子设备1的总体操作，例如执行与其他设备进行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行文本分类程序10等。
[0151]
网络接口13可包括无线网络接口或有线网络接口，该网络接口13用于在所述电子
设备1与客户端(图中未画出)之间建立通信连接。
[0152]
可选的，所述电子设备1还可以包括用户接口，用户接口可以包括显示器(display)、输入单元比如键盘(keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选的，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light
‑
emitting diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
[0153]
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
[0154]
所述电子设备1中的所述存储器11存储的文本分类程序10是多个指令的组合，在所述处理器12中运行时，可以实现上述少样本下的文本分类方法。
[0155]
具体地，所述处理器12对上述文本分类程序10的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
[0156]
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以是非易失性的，也可以是非易失性的。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read
‑
only memory)。
[0157]
所述计算机可读存储介质上存储有文本分类程序10，所述文本分类程序10可被一个或者多个处理器执行，以实现上述少样本下的文本分类方法。
[0158]
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0159]
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0160]
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
[0161]
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
[0162]
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
[0163]
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中
陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
[0164]
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。