一种基于政策文件数据的分类方法与流程

技术特征：
1.一种基于政策文件数据的分类方法，其特征在于，包括：a、构建不同分类下政策文件的样本数据，并存储到数据库中；b、选取在标签库中找到某个标签分类体系的数据，按照模型训练的数据需求将样本数据构建成训练数据集和测试数据集；c、将分类完成的训练样本语料数据加载到程序中，使用textrnn attention算法对政策文件分类的数据进行训练，根据训练过程中的准确率调整模型参数，最终生成政策文件数据的分类模型；d、抽取政策文件相关数据，使用分类模型对政策数据进行标注分类操作，获取标注结果，分析模型的准确性和性能，对识别结果进行审核、筛选与修正；e、对校验后的分类结果，按照模型训练集预料的需求格式进行存储，以进行迭代训练，提升不同分类体系下的分类准确性。2.如权利要求1所述的基于政策文件数据的分类方法，其特征在于，对所述a中获取的政策文件按照估计格式对文本进行标注分类，将标注好的结果存储构建训练语料集。3.如权利要求1所述的基于政策文件数据的分类方法，其特征在于，所述使用textrnn attention算法对政策文件分类的数据进行训练具体包括：输入预处理，使用word2vec、cbow、skip-gram或者glove模型将输入的文本先转换为词向量，然后将词向量拼接构建文本矩阵；将处理结构的文本矩阵作为双向lstm神经网络隐藏层的输入，通过学习上下文的信息经过多层神经元的处理，输出每个文本对应于每个标注分类的得分情况，并将该结果作为神经网络的输入流转到下一流程进行处理；取反向lstm在最后一个时间步长上隐藏状态，然后拼接，进入注意力层，衡量每个单词对分类任务的贡献程度，再经过一个fc全连接层进行一个多分类，得到最终的预测结果；对模型进行测试，通过分析模型分类结果对模型参数、结构调整，进行模型的迭代训练，优化模型性能，获取政策文件的分类模型。4.如权利要求1或3所述的基于政策文件数据的分类方法，其特征在于，所述c中把构建好的样本数据集加载到程序中，使用神经网络模型进行训练，生成政策文件的分类模型具体包括：遗忘门：f
(t)
＝σ(w
f
h
(t-1)
u
f
x
(t)
b
f
)f
(t)
代表了遗忘上一层隐藏细胞状态的概率，h
(t-1)
为上一序列的隐藏状态，x
(t)
表示本序列数据，w
f
，u
f
，b
f
是线性关系的系数和偏倚；输入门：i
(t)
＝σ(w
i
h
(t-1)
u
i
x
(t)
b
i
)a
(t)
＝tanh(w
a
h
(t-1)
u
a
x
(t)
b
a
)在输入门由两部分计算组成，用两种计算结果的乘积更新细胞状态；式子涉及到的变量与遗忘门中的相同；细胞状态：再次计算中，c
(t-1)
是上一细胞状态，其他几个变量是上文的计算结果；输出门：o
(t)
＝σ(w
o
h
(t-1)
u
o
x
(t)
b
o
)
隐藏状态更新会把当前的隐藏状态的计算结果作为输入传输给下一时刻，bilstm会有正向和反向的隐藏状态，将正向和反向两者进行拼接操作，最初生成完整的隐藏状态h＝[h1,h2,h3,
…
,h
t
]是上一个操作的输出向量，t是句子长度，其中d
ω
是lstm层的输出维度；计算如下：m＝tanh(h)α＝softmax(ω
t
m)γ＝hα
t
然后用于最后分类的特征为h
*
＝tanh(γ)。5.如权利要求1所述的基于政策文件数据的分类方法，其特征在于，所述d中采用人工校验的方式进行对分分析，分析模型的准确性和性能。6.如权利要求1所述的基于政策文件数据的分类方法，其特征在于，所述e中，将错误的分类结果筛出，进行修改，将修改后的正确的分类结果存储到数据库中。

技术总结
本发明公开了一种基于政策文件数据的分类方法，构建不同分类下政策文件的样本数据，并存储到数据库中；选取在标签库中找到某个标签分类体系的数据，按照模型训练的数据需求将样本数据构建成训练数据集和测试数据集；将分类完成的训练样本语料数据加载到程序中，使用TextRNN Attention算法对政策文件分类的数据进行训练，根据训练过程中的准确率调整模型参数，最终生成政策文件数据的分类模型；抽取政策文件相关数据，使用分类模型对政策数据进行标注分类操作，获取标注结果，分析模型的准确性和性能，对识别结果进行审核、筛选与修正；对校验后的分类结果，按照模型训练集预料的需求格式进行存储，以进行迭代训练，提升不同分类体系下的分类准确性。体系下的分类准确性。体系下的分类准确性。


技术研发人员：宿鹏 段飞虎 印东敏 吕强 贾亚飞 尹青云 顾君 张宏伟
受保护的技术使用者：同方知网（北京）技术有限公司
技术研发日：2022.04.22
技术公布日：2022/7/29