一种长文本分类预处理模型及其构建方法、装置及应用与流程

1.本技术涉及自然语言处理领域，特别是涉及一种长文本分类预处理模型及其构建方法、装置及应用。


背景技术：

2.自然语言处理是计算机科学领域与人工智能领域中的一个重要方向，当前对文本进行分类的方法通常是视同bert模型或者rnn模型来对文本进行处理，但是一般来说，bert模型只能处理长度小于512的文本序列，算上文本序列上的一些分隔符[cls]，[sep]等，其实际能处理的文本长度要小于512，因此，对于长文本来说，一般是截取文字前面或者文字后面的部分，从而将文本进行截断处理，这样会导致bert模型判断分类输出的效果较差，尤其是那些依赖于被截断部分内容的文本分类。
[0003]
而在现实应用中，一些如新闻类稿件之类的文本长度一般都是超过512的，为了来解决长文本分类的上述问题，目前在深度学习上一般采用滑窗处理（每次截取一定长度的文本）来对文本进行切分，将切分后的结果依次通过模型得到每个窗口的分类结果，最后每个窗口进行投票来确定最终的分类结果，但是，上述处理方法当各窗口之间文本前后连贯性不是很大的话，会使得分类结果不准确。
[0004]
对长文本进行分类的另一种方法如cn113553848a cn114281996a的方法，对n个序列的文本表示进行特征融合，得到所述目标长文本的篇章表示，再接着对融合后的信息进行分类；这种方法相当于前期特征融合，增加了计算量，且会造成信息丢失。
[0005]
综上所述，现有技术存在模型分类输出效果较差，分类结果不准确，增加计算量且容易造成信息丢失的问题。


技术实现要素：

[0006]
本技术方案提供一种本技术实施例提供了一种长文本分类预处理模型及其构建方法、装置及应用，对目前对长文本进行分类容易导致分类结果差，计算量大的问题进行解决，从而更好的对长文本进行分类处理。
[0007]
第一方面，本技术实施例提供了一种长文本分类预处理模型的构建方法，所述方法包括：获取至少一长文本作为训练样本，其中每一所述长文本中标记有标记词汇，所述标记词汇中包含关键词的标记，将所述训练样本输入到长文本分类预处理模型中进行训练；所述长文本分类预处理模型采用lstm框架，所述lstm框架中包括多个lstm模块串联组成，每一所述lstm模块对应一标记词汇，每一所述lstm模块包括决策网络和多层感知机制层，且每一所述lstm模块有两个输入和一个输出，两个输入分别为第一输入向量和第二输入向量，第二输入向量为所述lstm模块对应的标记词汇；首个lstm模块的第一输入向量为0向量，使用所述决策网络来判断所述第二输入向量是否为关键词，再使用所述多层感
知机制层对第二输入向量进行跳过或保留操作，若对所述第二输入向量进行跳过，则该lstm模块的输出向量依旧为0向量，若对所述第二输入向量进行保留，则将所述第一输入向量和所述第二输入向量进行合并，将合并后的向量作为该lstm模块的输出向量，将该lstm模块的输出向量作为下一lstm模块的第一输入向量进行输入，遍历所有的lstm模块。
[0008]
第二方面，本技术实施例提供了一种长文本分类预处理模型，所述长文本分类预处理模型使用第一方面提到的构建方法进行构建。
[0009]
第三方面，本技术实施例提供了一种长文本分类预处理方法，包括：获取至少一待处理长文本，将所述待处理长文本分词后顺序送入所述长文本分类预处理模型中的每一lstm模块中，所述lstm模块中的决策网络对每一对应词汇进行关键词的判断后，送入所述多层感知基质层进行跳过或保留，得到仅包含保留词汇的处理后文本。
[0010]
第四方面，本技术实施例提供了一种长文本分类预处理模型的构建装置，包括：获取模块：获取至少一长文本作为训练样本，其中每一所述长文本中标记有标记词汇，所述标记词汇中包含关键词的标记，将所述训练样本输入到长文本分类预处理模型中进行训练；构建模块：所述长文本分类预处理模型采用lstm框架，所述lstm框架中包括多个lstm模块串联组成，每一所述lstm模块对应一标记词汇，每一所述lstm模块包括决策网络和多层感知机制层，且每一所述lstm模块有两个输入和一个输出，两个输入分别为第一输入向量和第二输入向量，第二输入向量为所述lstm模块对应的标记词汇；首个lstm模块的第一输入向量为0向量，使用所述决策网络来判断所述第二输入向量是否为关键词，再使用所述多层感知机制层对第二输入向量进行跳过或保留操作，若对所述第二输入向量进行跳过，则该lstm模块的输出向量依旧为0向量，若对所述第二输入向量进行保留，则将所述第一输入向量和所述第二输入向量进行合并，将合并后的向量作为该lstm模块的输出向量，将该lstm模块的输出向量作为下一lstm模块的第一输入向量进行输入，遍历所有的lstm模块。
[0011]
第五方面，本技术实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行一种长文本分类预处理模型的构建方法或一种长文本分类预处理方法。
[0012]
第六方面，本技术实施例提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括一种长文本分类预处理模型的构建方法或一种长文本分类预处理方法。
[0013]
本发明的主要贡献和创新点如下：本技术实施例提供了一种长文本分类预处理模型的构建方法，所述长文本分类预处理模型使用长短期记忆（lstm）作为框架，用来解决梯度爆炸或消失的问题，并引入门控机制来控制信息的累计速度，有选择地加入新的信息，并有选择地遗忘之前积累的信息。
[0014]
本方案提供的长文本分类预处理模型的构建方法通过跳过不相关、不重要的冗余词的方式来加快对长文本的识别速度：具体的，长文本分类预处理模型中含有预测词是否应该被跳过的决策网络，所述长文本分类预处理模型通过包含当前词和后续语境的信息来实现对词汇进行跳过，并且可以利用关键词来监督决策网络的训练，通过关键词来判断跳过过程，以提高跳过冗余词的精准度。
[0015]
为了提高所述长文本分类预处理模型的精度，本技术实施例设计了因子型和门控型两种整合策略，所述因子型将关键词向量整合为词汇嵌入的因素，所述门控型使用门控机制来强制模型保留关键词；本技术实施例还以关键词为基础构建损失函数，以更好的优化决策网络中的参数，以用来决定对词汇进行跳过还是保留。
[0016]
本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。
附图说明
[0017]
此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：图1是根据本技术实施例的一种长文本分类模型的构建方法的流程图；图2是根据本技术实施例的因子层的算法流程图；图3是根据本技术实施例的门控层的内部结构图；图4是根据本技术实施例的门控层的算法流程图；图5是根据本技术实施例的一种长文本分类模型的构建装置的结构框图；图6是根据本技术实施例的电子装置的硬件结构示意图。
具体实施方式
[0018]
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
[0019]
需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
[0020]
实施例一在介绍本方案之前首先对本方案可能涉及的专业名词进行解释说明：循环神经网络（rnn）：是一类具有短期记忆能力的神经网络，在循环神经网络中，神经元不但可以接受其它神经元的信息，也可以接受自身的信息，形成具有环路的网络结构。
[0021]
长短时记忆网络（lstm）：lstm是一种时间循环神经网络，是为了解决一般的rnn（循环神经网络）存在的长期依赖、梯度爆炸或消失等问题而专门设计出来的，所有的rnn都具有一种重复神经网络模块的链式形式，在标准rnn中，这个重复的结构模块只有一个非常简单的结构。
[0022]
本技术实施例提供了一种长文本分类预处理模型的构建方法，可以对长文本基于关键词进行预处理，以便于后续分类，具体地，参考图1，所述方法包括：
获取至少一长文本作为训练样本，其中每一所述长文本中标记有标记词汇，所述标记词汇中包含关键词的标记，将所述训练样本输入到长文本分类预处理模型中进行训练；所述长文本分类预处理模型采用lstm框架，所述lstm框架中包括多个lstm模块串联组成，每一所述lstm模块对应一标记词汇，每一所述lstm模块包括决策网络和多层感知机制层，且每一所述lstm模块有两个输入和一个输出，两个输入分别为第一输入向量和第二输入向量，第二输入向量为所述lstm模块对应的标记词汇；首个lstm模块的第一输入向量为0向量，使用所述决策网络来判断所述第二输入向量是否为关键词，再使用所述多层感知机制层对第二输入向量进行跳过或保留操作，若对所述第二输入向量进行跳过，则该lstm模块的输出向量依旧为0向量，若对所述第二输入向量进行保留，则将所述第一输入向量和所述第二输入向量进行合并，将合并后的向量作为该lstm模块的输出向量，将该lstm模块的输出向量作为下一lstm模块的第一输入向量进行输入，遍历所有的lstm模块。
[0023]
在一些实施例中，具体的，在每一所述lstm模块的多层感知机制层中使用激活函数对所述第二输入向量进行隐层状态的计算，得到每一所述第二输入向量的隐层状态，所述隐层状态结合分类函数得到每一所述第二输入向量的跳过-保留概率分布，再使用采样函数对每一所述第二输入向量的跳过-保留概率分布进行采样操作，得到每一所述第二输入向量的二元决策。
[0024]
示例性的，所述lstm模块中的多层感知机制为两层，使用relu激活函数对结合了上下文信息的第二输入向量x
t
进行计算，得到每一所述第二输入向量的隐层状态s
t
，使用softmax分类函数对所述隐层状态s
t
进行分类操作，得到每一所述第二输入向量的跳过-保留概率分布π
t
，再使用gumbel-softmax采样函数对所述跳过-保留概率分布π
t
进行采样操作，得到二元决策d
t
，使用所述二元决策判断是否对所述第二输入向量进行跳过或保留。
[0025]
在多层感知机制层对所述第二输入向量进行隐层状态的计算步骤中，多层感知机制层结合当前lstm模块之前的前置上下文特征和当前lstm模块之后的后置上下文特征和所述第二输入向量共同计算隐层状态。
[0026]
具体的，使用relu激活函数对结合了上下文特征的第二输入向量x
t
进行计算，得到每一所述第二输入向量的隐层状态s
t
的计算公式如下：其中t为所述lstm模块的时间编号，w1、b1为可训练参数，f
precede
(t)表示编号为t的lstm模块之前的前置上下文特征，f
follow
(t)表示编号为t的lstm模块之后的后置上下文特征，所述时间编号表征每一所述lstm模块在第二输入向量x
t
进行输入时的时间特征。
[0027]
进一步的，f
precede
(t)由编号为t-1的lstm模块的输出向量h
t-1
形成，用来编码所有处理过的词的信息，f
follow
(t)由局部语境信息和全局语境信息组成，所述局部语境信息通过一个卷积神经网络对编号t 1至t m的lstm模块的对应标记词汇处理后获取，其中m表示语境的窗口大小；所述全局语境信息通过一个lstm网络对编号为t 1至t的lstm模块的对应标记词汇进行反向读取文本来获取，其中t为当前序列的长度，反向读取即从序列的末端开始对每一标记词汇进行读取文本，具体计算公式如下：
其中，t为所述长文本的序列长度， lstmr（t 1）为使用lstm网络对编号为t 1的lstm模块开始反向读取，cnn（t 1）为使用卷积神经网络对编号为t 1的lstm模块进行卷积，h
end
为可学习参数，用来判断长文本的序列长度，当编号t的值小于序列长度t，则下文特征为lstmr（t 1）和cnn（t 1）的融合，当t的值大于序列长度t时，结束上下文特征的识别。
[0028]
具体的，使用softmax分类函数对所述隐层状态s
t
进行分类操作，得到每一所述第二输入向量的跳过-保留概率分布π
t
的计算公式如下：其中，t为所述lstm模块的编号，s
t
为编号为t的lstm模块中第二输入向量的隐层特征，w2、b2为可训练参数。
[0029]
具体的，使用所述二元决策判断是否对所述第二输入向量进行跳过或保留的计算公式表示如下：公式一a其中，h
t
为编号为t的lstm模块的输出向量，h
t-1
为编号为t-1的lstm模块的输出向量，当所述二元决策d
t
=0时，表示保留所述第二输入向量x
t
，在编号为t的lstm模块中将编号为t-1的lstm模块和所述第二输入向量x
t
进行融合作为编号为t的lstm模块的输出向量h
t
；当所述二元决策d
t
=1时，则表示跳过所述第二输入向量x
t
，则将编号为t-1的lstm模块的输出h
t-1
作为编号为t的lstm模块的输出向量h
t
。
[0030]
具体的，使用gumbel-softmax采样函数对所述跳过-保留概率分布π
t
进行采样操作的计算公式如下：其中，i={1，
…
，k}，k是决策项的数量，τ为温度参数，使用yi将公式一a变为：在一些实施例中，所述决策网络可以为因子型决策网络，因子型决策网络将关键词作为词嵌入的因素，可从先前的关键词中获得更多的好处，因子型决策网络将关键词信息加入到第二输入向量中。
[0031]
具体的，所述因子型决策网络对每一所述第二输入向量定义一个关键词向量，将每一所述第二输入向量的关键词向量连接所述第二输入向量，送入所述多层感知机制层进行跳过或保留操作。
[0032]
且本方案的关键词向量采用多维one-hot向量以捕捉丰富的关键词信息。具体的，定义一个one-hot向量f
t
，f
t
=[d0、d1、d2、d3]用来表示所述标记词汇是否为关键词，其中当d0=0时表示对应词汇为单词关键词，当d0=1时表示对应词汇为多词关键词的一部分，此时d1、d2、d3分别表示对应词汇是多词关键词的开始、中间和结束，所述单词关键词表征关键词由单个标记词汇组成，所述多词关键词表征关键词由多个标记词汇组成。
[0033]
示例性的，当f
t
=[1、0、1、0]时，表示对应词汇w
t
是一个多词关键词，且在多词关键词的中间部分。
[0034]
具体的，可以通过将f
t
设置为不同的正整数来确定每个关键词的重要程度，例如，
当f
t
》1表示对应关键词更为重要，当f
t
《1时表示对应关键词不是很重要。
[0035]
在一具体示例中，关键词向量采用具有相同权重的多维one-hot向量。
[0036]
具体的，所述因子型决策网络的算法流程图如图2所示，对所述第二输入向量添加关键词向量后结合所述多层感知机制层进行跳过或保留处理，为所述长文本分类预处理模型的跳过预测提供了一个判断依据，保证所述长文本分类预处理模型执行跳过步骤时保证重要关键词被保留，将关键词向量作为跳过预测的一个因素，为跳过预测提供了一个软信号，虽然使用所述因子型决策网络的决策结果作为跳过依据不能保证会保留每个关键词，但是本方案提出的以关键词感知的通过权重优化驱动模型通过认识更多的关键词可以部分解决这个问题。
[0037]
在一些实施例中，所述决策网络可以为门控型决策网络，可让模型强制保留所有的关键词的同时保持算法网络的可区分性。门控型决策网络将关键词信息整合到跳过预测中。
[0038]
所述门控型决策网络包括关键词门和决策门，所述关键词门对所述第二输入向量定义一个关键词权重，并使用所述关键词权重判断所述第二输入向量所代表的标记词汇为关键词的概率，所述决策门将所述关键词的概率结合所述多层感知机制层进行跳过或保留操作。所述门控型决策网络的内部结构如图3所示。
[0039]
具体的，对每一所述第二输入向量设置一个关键词权重，当所述第二输入向量为关键词时，将对应的关键词权重设置为大于1的正整数，当所述第二输入向量为非关键词时，将对应的关键词权重设置为小于-1的负整数，使用分类函数对所述关键词权重进行判断，得到每一所述第二输入向量是关键词的概率，计算公式表示为：其中，hf（t）为所述第二输入向量为关键词的概率，f
t
为所述第二输入向量的关键词权重，w
t
为第二输入向量，c是所述长文本中每一第二输入向量的关键词权重的最小值。
[0040]
示例性的，可以对每一所述第二输入向量设置不同的关键词权重，以表示每一第二输入向量不同的重要程度。
[0041]
在一些实施例中，对关键词设定了关键词权重为6，非关键词设定的权重为-6。
[0042]
具体的，所述决策门将所述关键词概率与公式一a结合，得到公式一b来对所述第二输入向量进行跳过或保留，公式一b为：公式一b其中，θ为所述关键词门定义的阈值，在本技术实施例中，可以为0.5。当所述二元决策为0或者所述关键词的概率大于设定阈值时，表示保留所述第二输入向量
，
在编号为t的lstm模块中将编号为t-1的lstm模块和所述第二输入向量进行融合作为编号为t的lstm模块的第一输入向量；当所述二元决策为1时或者所述关键词的概率小于设定阈值时，则跳过所述第二输入向量，则将编号为t-1的lstm模块的输出作为编号为t的lstm模块的输出向量。
[0043]
示例性的，如图4所示，当所述二元决策d
t
=0或关键词概率大于等于θ时，表示保留
所述第二输入向量x
t
，在编号为t的lstm模块中将编号为t-1的lstm模块和所述第二输入向量x
t
进行融合作为编号为t的lstm模块的输出向量h
t
；当所述二元决策d
t
=1或关键词概率小于0时，则表示跳过所述第二输入向量x
t
，则将编号为t-1的lstm模块的输出h
t-1
作为编号为t的lstm模块的输出向量h
t
。
[0044]
具体的，为了对所述长文本分类预处理模型进行训练，要使公式一b具有可导性，将公式一b改写为：示例性的，当所述关键词门表明第二输入向量x
t
是一个非关键词时，所述关键词概率hf（t）≈0，则二元决策d
t
=1，对第二输入向量w
t
进行跳过处理，则，也就是说将h
t-1
复制到h
t
来跳过x
t
；当所述关键词门表明第二输入向量x
t
是一个关键词时，所述关键词概率hf（t）≈1，则二元决策d
t
=0，对第二输入向量x
t
进行保留处理，则，也就是说将h
t-1
与x
t
进行融合来对x
t
进行保留。
[0045]
在一些实施例中，通过在训练过程中优化长文本分类预处理模型的损失函数以提高长文本分类预处理模型的精度。在所述长文本分类预处理模型的损失函数中添加惩罚项，当所述第二输入向量的跳过率过高时，提高损失函数的损失值进行惩罚。
[0046]
具体的，对所述损失函数添加惩罚项来控制模型的跳过率，损失函数的计算公式为：其中，表示所述长文本分类预处理模型的损失，表示所述长文本分类预处理模型的分类损失，r
t
是预先定义的跳过率，r是实际的跳过率，λ为惩罚项的权重，λ》0。
[0047]
示例性的，给定一组关键词k，使用k
wt
表示编号为t的lstm模块对应的w词汇为关键词，根据所述损失函数的计算公式结合改组关键词k得到新的损失函数计算公式如下：其中，表示预先设定的跳过率和实际跳过率之间的差额，表示关键词损失并以β》0进行加权处理。
[0048]
具体的，当所述训练样本中的一个词汇被标记为一个关键词，所述多层感知机制层应该保留该词汇，若所述多层感知机制决定跳过该词汇，则所述长文本分类预处理模型应该接受惩罚，所以，将定义为：其中，p为根据所述概率分布计算得出d
t
=0的概率。
[0049]
具体的，为了保持所述长文本分类预处理模型的灵活性，以学习和发现对预处理有用的词，在所述多层感知机制层预测到所述训练样本中的词汇保留的概率接近1，或者所述多层感知机制层发现所述训练样本中的词汇为非关键词汇，但仍然决定保留该词汇的情况，则不对其进行惩罚。
[0050]
示例性的，获取编号为t的lstm模块中的关键词标记k
wt
，如果所述长文本分类预处
理模型保留该词汇，即d
t
=0，则不会发生惩罚；如果所述长文本分类预处理模型跳过该词汇，即d
t
=1，则进行惩罚，值得一提的是，为了保持模型的灵活性，以学习和发现对预处理任务有用的词，当所述决策网络判断该词汇为非关键词，但是对该词汇进行保留时，不进行惩罚。
[0051]
在其中一些实施例中，使用本方案改进的lstm模块与标准lstm模块使用公共数据集进行了准确率的比对实验，实验结果表明：本方案改进的lstm模块与标准lstm模块在准确性上明显优于标准lstm，同时也能保持快速的处理速度；本方案改进的lstm模块与xlnet模型和distilbert模型相比，不仅仅速度更快，而且在资源优先的情况下，与xlnet和distilbert相比，也能达到相当的性能。
[0052]
实施例二本技术提出一种长文本分类预处理模型，所述长文本分类预处理模型使用实施例一所提到的方法进行构建。
[0053]
关于该实施例二中同于实施例一的技术特征内容详见实施例一的技术介绍，在此不在进行赘述。
[0054]
实施例三本技术实施例提出一种长文本分类预处理方法，包括：获取至少一待处理长文本，将所述待处理长文本分词后顺序送入所述长文本分类预处理模型中的每一lstm模块中，所述lstm模块中的决策网络对每一对应词汇进行关键词的判断后，送入所述多层感知基质层进行跳过或保留，得到仅包含保留词汇的处理后文本。
[0055]
实施例四基于相同的构思，参考图5，本技术还提出了一种长文本分类预处理模型的构建装置，包括：获取模块：获取至少一长文本作为训练样本，其中每一所述长文本中标记有标记词汇，所述标记词汇中包含关键词的标记，将所述训练样本输入到长文本分类预处理模型中进行训练；构建模块：所述长文本分类预处理模型采用lstm框架，所述lstm框架中包括多个lstm模块串联组成，每一所述lstm模块对应一标记词汇，每一所述lstm模块包括决策网络和多层感知机制层，且每一所述lstm模块有两个输入和一个输出，两个输入分别为第一输入向量和第二输入向量，第二输入向量为所述lstm模块对应的标记词汇；首个lstm模块的第一输入向量为0向量，使用所述决策网络来判断所述第二输入向量是否为关键词，再使用所述多层感知机制层对第二输入向量进行跳过或保留操作，若对所述第二输入向量进行跳过，则该lstm模块的输出向量依旧为0向量，若对所述第二输入向量进行保留，则将所述第一输入向量和所述第二输入向量进行合并，将合并后的向量作为该lstm模块的输出向量，将该lstm模块的输出向量作为下一lstm模块的第一输入向量进行输入，遍历所有的lstm模块。
[0056]
实施例五本实施例还提供了一种电子装置，参考图6，包括存储器404和处理器402，该存储器404中存储有计算机程序，该处理器402被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
[0057]
具体地，上述处理器402可以包括中央处理器（cpu），或者特定集成电路（applicationspecificintegratedcircuit，简称为asic），或者可以被配置成实施本技术实施例的一个或多个集成电路。
[0058]
其中，存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制，存储器404可包括硬盘驱动器（harddiskdrive，简称为hdd）、软盘驱动器、固态驱动器（solidstatedrive，简称为ssd）、闪存、光盘、磁光盘、磁带或通用串行总线（universalserialbus，简称为usb）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器404可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器404可在数据处理装置的内部或外部。在特定实施例中，存储器404是非易失性（non-volatile）存储器。在特定实施例中，存储器404包括只读存储器（read-onlymemory，简称为rom）和随机存取存储器（randomaccessmemory，简称为ram）。在合适的情况下，该rom可以是掩模编程的rom、可编程rom（programmableread-onlymemory，简称为prom）、可擦除prom（erasableprogrammableread-onlymemory，简称为eprom）、电可擦除prom（electricallyerasableprogrammableread-onlymemory，简称为eeprom）、电可改写rom（electricallyalterableread-onlymemory，简称为earom）或闪存（flash）或者两个或更多个以上这些的组合。在合适的情况下，该ram可以是静态随机存取存储器（staticrandom-accessmemory，简称为sram）或动态随机存取存储器（dynamicrandomaccessmemory，简称为dram），其中，dram可以是快速页模式动态随机存取存储器404（fastpagemodedynamicrandomaccessmemory，简称为fpmdram）、扩展数据输出动态随机存取存储器（extendeddateoutdynamicrandomaccessmemory，简称为edodram）、同步动态随机存取内存（synchronousdynamicrandom-accessmemory，简称sdram）等。
[0059]
存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的计算机程序指令。
[0060]
处理器402通过读取并执行存储器404中存储的计算机程序指令，以实现上述实施例中的任意一种长文本分类预处理模型的构建方法或任意一种长文本分类预处理方法。
[0061]
可选地，上述电子装置还可以包括传输设备406以及输入输出设备408，其中，该传输设备406和上述处理器402连接，该输入输出设备408和上述处理器402连接。
[0062]
传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器（network interface controller，简称为nic），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备406可以为射频（radio frequency，简称为rf）模块，其用于通过无线方式与互联网进行通讯。
[0063]
输入输出设备408用于输入或输出信息。在本实施例中，输入的信息可以是训练样本，关键词信息等，输出的信息可以进行预处理后的长文本。
[0064]
可选地，在本实施例中，上述处理器402可以被设置为通过计算机程序执行以下步骤：s101、获取至少一长文本作为训练样本，其中每一所述长文本中标记有标记词汇，所述标记词汇中包含关键词的标记，将所述训练样本输入到长文本分类预处理模型中进行训练；
s102、所述长文本分类预处理模型采用lstm框架，所述lstm框架中包括多个lstm模块串联组成，每一所述lstm模块对应一标记词汇，每一所述lstm模块包括决策网络和多层感知机制层，且每一所述lstm模块有两个输入和一个输出，两个输入分别为第一输入向量和第二输入向量，第二输入向量为所述lstm模块对应的标记词汇；首个lstm模块的第一输入向量为0向量，使用所述决策网络来判断所述第二输入向量是否为关键词，再使用所述多层感知机制层对第二输入向量进行跳过或保留操作，若对所述第二输入向量进行跳过，则该lstm模块的输出向量依旧为0向量，若对所述第二输入向量进行保留，则将所述第一输入向量和所述第二输入向量进行合并，将合并后的向量作为该lstm模块的输出向量，将该lstm模块的输出向量作为下一lstm模块的第一输入向量进行输入，遍历所有的lstm模块。
[0065]
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
[0066]
通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。
[0067]
本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如图6中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如dvd及其数据变体、cd等光学介质上。物理介质是非瞬态介质。
[0068]
本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0069]
以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。