政务问题生成方法及装置与流程

技术特征：
1.一种政务问题生成方法，其特征在于，包括：获得政务数据，开源问答数据和自建政务问答文本数据；将所述政务数据输入预先建立的unilm网络模型进行训练，得到预训练模型，其中所述unilm网络模型根据bert中文模型参数预先建立；将所述开源问答数据和自建政务问答文本数据输入预训练模型进行微调，得到问题生成模型；利用问题生成模型，进行政务问题生成。2.如权利要求1所述的政务问题生成方法，其特征在于，将所述政务数据输入预先建立的unilm网络模型进行训练，得到预训练模型，包括：对所述政务数据进行分词处理，得到输入序列，所述输入序列包含多个单词；确定输入序列的表征联合词向量，位置向量和文本段信息；将所述输入序列的表征联合词向量，位置向量和文本段信息输入预先建立的unilm网络模型，输出文本向量表征，其中，所述unilm网络模型中包含多层transformer网络，在所述多层transformer网络中，每一层transformer网络包括：单向语言网络模型，双向语言网络模型和端到端语言网络模型。3.如权利要求2所述的政务问题生成方法，其特征在于，将所述政务数据输入预先建立的unilm网络模型进行训练，得到预训练模型，还包括：得到输入序列后，利用自注意力掩码矩阵对所述输入序列进行掩盖；确定输入序列的表征联合词向量，位置向量和文本段信息，包括：确定掩盖后输入序列的表征联合词向量，位置向量和文本段信息。4.如权利要求1所述的政务问题生成方法，其特征在于，将所述开源问答数据和自建政务问答文本数据输入预训练模型进行微调，包括：根据所述开源问答数据和自建政务问答文本数据，确定源序列和目标序列；利用自注意力掩码矩阵对所述目标序列进行掩盖；将源序列和掩盖后的目标序列输入预训练模型进行微调。5.一种政务问题生成装置，其特征在于，包括：数据获得模块，用于获得政务数据，开源问答数据和自建政务问答文本数据；模型训练模块，用于将所述政务数据输入预先建立的unilm网络模型进行训练，得到预训练模型，其中所述unilm网络模型根据bert中文模型参数预先建立；模型微调模块，用于将所述开源问答数据和自建政务问答文本数据输入预训练模型进行微调，得到问题生成模型；问题生成模块，用于利用问题生成模型，进行政务问题生成。6.如权利要求5所述的政务问题生成装置，其特征在于，所述模型训练模块进一步用于：对所述政务数据进行分词处理，得到输入序列，所述输入序列包含多个单词；确定输入序列的表征联合词向量，位置向量和文本段信息；将所述输入序列的表征联合词向量，位置向量和文本段信息输入预先建立的unilm网络模型，输出文本向量表征，其中，所述unilm网络模型中包含多层transformer网络，在所述多层transformer网络中，每一层transformer网络包括：单向语言网络模型，双向语言网
络模型和端到端语言网络模型。7.如权利要求6所述的政务问题生成装置，其特征在于，所述模型训练模块进一步用于：得到输入序列后，利用自注意力掩码矩阵对所述输入序列进行掩盖；确定输入序列的表征联合词向量，位置向量和文本段信息，包括：确定掩盖后输入序列的表征联合词向量，位置向量和文本段信息。8.如权利要求5所述的政务问题生成装置，其特征在于，所述模型微调模块进一步用于：根据所述开源问答数据和自建政务问答文本数据，确定源序列和目标序列；利用自注意力掩码矩阵对所述目标序列进行掩盖；将源序列和掩盖后的目标序列输入预训练模型进行微调。9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一所述方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至4任一所述方法的计算机程序。

技术总结
本发明公开了一种政务问题生成方法及装置，可用于人工智能技术领域，方法包括：获得政务数据，开源问答数据和自建政务问答文本数据；将所述政务数据输入预先建立的UNILM网络模型进行训练，得到预训练模型，其中所述UNILM网络模型根据Bert中文模型参数预先建立；将所述开源问答数据和自建政务问答文本数据输入预训练模型进行微调，得到问题生成模型；利用问题生成模型，进行政务问题生成。本发明可以提高中文数据问题生成效果。提高中文数据问题生成效果。提高中文数据问题生成效果。


技术研发人员：李羊
受保护的技术使用者：中国工商银行股份有限公司
技术研发日：2021.08.04
技术公布日：2021/10/28