主题集成服务重复材料发现方法、系统、设备和存储介质

1.本发明涉及信息处理领域，尤其涉及一种主题集成服务重复材料发现方法、系统、设备和存储介质。


背景技术：

2.目前政务服务都是集中办理，并采用政务服务线上线下集成融合的方式，进而达到不断提升政府服务效能的效果。主要方法是将多个部门处理的事务集中到一起搜集材料并进行处理，进而简化处理流程，这加快了数字政府主题集成服务系统的建设与完善。
3.然而，目前主题集成服务系统的材料合并阶段普遍使用政务一体化平台的材料合并，合并的方法是如果发现材料名称相同则去重，同时提供了人工去重的方式进行材料合并。但是，现行去重方法效果并不好：无法自动发现名称不同但实质相同的材料，如“房地产权属证明”和“经营场地房屋产权合法证明”；人工去重则面临工作量巨大，长时间重复性检查容易出现遗漏。且每一个单事项都有自己的归属部门与办理材料。其中包含多种类似申请人身份证明材料、身份证或护照不同材料名称命名的同一种材料。材料名称的重复比较并不可靠，且主题服务涉及政务服务多个层次，事项众多，平均每个事项接近百种材料，费时费力且容易遗漏重复材料。
4.因此，急需一种简化事件材料的方法提高工作人员办公效率，简化公众办事流程。


技术实现要素：

5.本发明解决了急需一种简化事件材料的方法提高工作人员办公效率，简化公众办事流程的问题。
6.本发明提供一种主题集成服务重复材料发现方法，所述方法包括：获取主题集成服务的文件材料的材料名称和文本信息；基于特征提取器进行提取材料名称和文本信息的全局语义信息特征；根据逻辑回归算法进行处理所述全局语义信息特征，判断是否为重复材料。
7.进一步的，所述基于特征提取器进行提取材料名称和文本信息的全局语义信息特征，具体为：去除文件材料的材料名称和文本信息的地域名称与特殊符号，获取处理后的文本信息；添加标志位cls至bert模型的分字模块，将两个文件材料的处理后的文本信息拼接为拼接文本信息，并利用bert模型的分字模块进行分字处理所述拼接文本信息，获取全局语义信息特征，其中，所述拼接文本信息包括第i个材料xi和第j个材料xj的处理后的文本信息，所述全局语义信息特征包括所述拼接文本信息的一维特征向量，i≥1，j≥1，且i≠j ：
,其中，代表12层结构一致transfromer编码嵌入向量，[0]代表第一个维度向量。
[0008]
进一步的，所述根据逻辑回归算法进行分类处理所述的全局语义信息特征，判断是否为重复材料，包括文本信息相似度概率的计算，并根据文本信息相似度概率判断是否为重复材料，其中文本信息相似度概率的计算具体为：，其中，exp是以自然常数e为底的指数函数，为算法权重向量，p为文本信息相似度概率。
[0009]
进一步的，所述根据逻辑回归算法进行分类处理所述全局语义信息特征，判断是否为重复材料，还包括主动学习方法，具体为：设置文本信息相似度概率阈值，所述文本信息相似度概率阈值包括0.8和0.2；所述文本信息相似度概率大于或等于0.8为重复材料；所述文本信息相似度概率小于或等于0.2为非重复材料；文本信息相似度概率阈值小于0.8大于0.2的材料为错误分类，所述错误分类的材料进行重新训练。
[0010]
进一步的，所述重新训练包括：通过机器学习的方法获取错误分类的材料；人工标注所述错误分类的材料数据的是否重复标签，并将所述错误分类的数据进行重新微调学习，具体为：调整预训练权重和逻辑回归算法，使用交叉熵作为损失函数l，权重更新使用adam梯度下降法：。
[0011]
其中，y为人工标注的两个材料的是否重复标签，为分类模型预测值，l衡量模型预测值与实际值的差距程度。
[0012]
进一步的，所述方法还包括：将构成主题集成服务文件材料做并集，以表示主题集成服务文件材料的并集，n为材料的总数；在所述n个材料中任意选取两个材料，合成一组，判断两个材料是否重复：；其中，0表示两个材料不重复，1表示材料重复；提取f()=1的所有材料组合进行输出，删除所述组合中的任意一份材料xi或xj，xi代表第i个材料，xj代表第j个材料。
[0013]
本发明还提供一种主题集成服务重复材料发现系统，所述系统包括：材料名称和文本信息获取单元，用于获取主题集成服务的文件材料的材料名称和文本信息；全局语义信息特征获取单元，用于基于特征提取器进行提取材料名称和文本信息的全局语义信息特征；重复材料判断单元，用于根据逻辑回归算法进行分类处理所述全局语义信息特征，判断是否为重复材料。
[0014]
进一步，所述全局语义信息特征获取单元包括：处理后的文本信息获取模块，用于去除文件材料的材料名称和文本信息的地域名称与特殊符号，获取处理后的文本信息；全局语义信息特征获取模块，用于添加标志位cls至bert模型的分字模块，将两个文件材料的处理后的文本信息拼接为拼接文本信息，并利用bert模型的分字模块进行分字处理所述拼接文本信息，获取全局语义信息特征，其中，所述拼接文本信息包括第i个材料xi和第j个材料xj的处理后的文本信息，所述全局语义信息特征包括所述拼接文本信息的一维特征向量，i≥1，j≥1，且i≠j：,其中，代表12层结构一致transfromer编码嵌入向量，[0]代表第一个维度向量。
[0015]
本发明还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行根据上述任一项中所述的主题集成服务重复材料发现方法。
[0016]
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质用于储存计算机程序，所述计算机程序执行上述所述的主题集成服务重复材料发现方法。
[0017]
本发明的有益之处在于：本发明解决了急需一种简化事件材料的方法提高工作人员办公效率，简化公众办事流程的问题。
[0018]
1、本发明所述的主题集成服务重复材料发现方法，减少人工匹配和核查时间，减轻人力资源的同时提高工作效率，根据阈值，降低重复材料评估的错误率，进一步的可通过本发明所述的主题集成服务重复材料发现方法，形成联办事项材料清单，简化公众办事流程。
[0019]
2、使用bert模型提取材料的特征向量，通过逻辑回归模型计算重复概率进行分类。引入基于tone的主动学习机制，降低了人工标注数据的需求量。使用此方法能够智能检测所有主题集成服务材料，发现重复材料，提升服务质量。
[0020]
3、针对主题集成服务的材料，提取材料名称与文本内容通过特征提取器提取语义特征向量，送入分类器中判断是否为重复材料，通过决策阈值θ对分类得分进行判定是否正确分类，如正确分类输出结果，如果分类错误，则需要请求专业人员对材料对进行评定加以
标注输出标注数据，同时通过训练器使用tone机制重新学习该材料组的数据，调整模型提高分类准确率。
[0021]
4、采用特征提取器bert模型能够准确表达文本信息，使用逻辑回归能够接受特征提取器的输入，使两者作为一个整体配合tone与主动学习机制进行微调学习，训练时间少，抗噪能力强，在少量样本的前提下能快速提高模型准确率并应用到实际任务中，减少人工成本。
附图说明
[0022]
图1为实施方式十一所述的主题集成服务重复材料发现系统的工作原理图。
具体实施方式
[0023]
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。
[0024]
实施方式一、本实施方式所述的主题集成服务重复材料发现方法，所述方法包括：获取主题集成服务的文件材料的材料名称和文本信息；基于特征提取器进行提取材料名称和文本信息的全局语义信息特征；根据逻辑回归算法进行处理所述全局语义信息特征，判断是否为重复材料。
[0025]
具体的，本实施方式针对主题集成服务的材料，提取所述材料的材料名称和对应的文本信息。通过特征提取器提取材料的特征向量，通过逻辑回归算法计算重复概率进行分类，所述逻辑回归算法用于处理所述全局语义信息特征，获取文本信息相似度概率，根据文本信息相似度概率判断是否为重复材料。
[0026]
本实施方式所述特征提取器采用bert模型，可通过调整预训练bert模型权重，计算self-attention（自注意力）来获取句子级别的信息表示，并采用fine-tune（迁移学习）捕捉特定环境下的上下文语义信息。
[0027]
实施方式二、本实施方式是对实施方式一所述的主题集成服务重复材料发现方法的进一步限定，所述基于特征提取器进行提取材料名称和文本信息的全局语义信息特征，具体为：去除文件材料的材料名称和文本信息的地域名称与特殊符号，获取处理后的文本信息；添加标志位cls至bert模型的分字模块，将两个文件材料的处理后的文本信息拼接为拼接文本信息，并利用bert模型的分字模块进行分字处理所述拼接文本信息，获取全局语义信息特征，其中，所述拼接文本信息包括第i个材料xi和第j个材料xj的处理后的文本信息，所述全局语义信息特征包括所述拼接文本信息的一维特征向量，i≥1，j≥1，且i≠j：,
其中，代表12层结构一致transfromer编码嵌入向量，[0]代表第一个维度向量。
[0028]
在实际应用中，文本特征是影响分类效果的主要因素，特别是在材料名称不一致但为同一种材料的情况判断上，因此需要对其文本语义进行分析并提取特征。
[0029]
具体的，将两个文件材料的材料名称与原始文本信息进行预处理（去除地域名称与特殊符号），将两个文件材料的处理后的文本信息拼接为拼接文本信息，通过bert字典进行分字（切分token）处理处理所述拼接文本信息，利用bert模型的嵌入层将文本信息转化为固定768维的嵌入向量e，在转化前需在所有token前加入标志位cls用来计算全局信息，其中，标志位cls为第一个维度向量，用来计算全局信息的语义表示。通过12层结构一致transformer编码嵌入向量叠加获得bert模型输出，所述单层transformer编码嵌入向量计算公式为：其中，multihead代表多头注意力机制，concat代表拼接，attention代表自注意力矩阵，q、k、v代表计算自注意力的三种矩阵，headi代表就是第i个自注意力矩阵，均代表第i个输入向量的映射，代表k的维度，w0代表线性映射中的参数矩阵，w为参数矩阵，d代表矩阵维度。对输入矩阵进行三种线性映射得到计算自注意力的三种状态矩阵，并通过计算自注意力来获得全文的语义信息，通过残差连接与层归一化加快收敛，输出作为下一层transformer的输入编码向量。多层编码叠加深度挖掘信息提高准确率。提前加入的标志位因为不属于输入文本的token，在计算注意力时与所有token都进行计算，本实施方式中，取最后一层编码器的cls向量，cls向量用于作为输出向量的第一维度向量，输出最终的全局语义信息特征：。
[0030]
取最后一层编码器的cls向量(输出向量的第一维度)作为最终的全局语义信息特征，是由于编码器在编码12层后注意力更加集中。
[0031]
实施方式三、本实施方式是对实施方式二所述的主题集成服务重复材料发现方法进一步限定，所述根据逻辑回归算法进行分类处理所述的全局语义信息特征，判断是否为重复材料，包括文本信息相似度概率的计算，并根据文本信息相似度概率判断是否为重复材料，其中文本信息相似度概率的计算具体为：
，其中，exp是以自然常数e为底的指数函数，为算法权重向量，p为文本信息相似度概率。
[0032]
在实际应用中，可以采用逻辑回归算法、向量机、pca、lda和神经网络等进行材料分类。
[0033]
基于监督学习的分类模型有贝叶斯模型、逻辑回归、决策树、支持向量机、神经网络等多种算法。神经网络是较常用的分类算法，当前任务使用基于自注意力的预训练模型，通过self-attention机制来获取句子级别的信息表示，在fine-tune 之后，bert模型能够准确表达文本信息。因此仅需要一层简单的神经网络就可以很好的进行分类，其结构等价于逻辑回归，且相对神经网络，逻辑回归也更加节约处理时间。由于逻辑回归模型简单，因此训练所需时间很少、高效，可以处理大量的特征，输出0~1之间的数值拥有概率的性质，能够方便根据两类分类损失确定阈值自定义分类，抗噪能力强。与贝叶斯模型、决策树、支持向量机等相比，逻辑回归模型还具有能够与预训练、fine-tune框架结合的能力。综上，本实施方式选择逻辑回归算法进行材料分类。
[0034]
实施方式四、本实施方式是对实施方式三所述的主题集成服务重复材料发现方法进一步限定，所述根据逻辑回归算法进行分类处理所述全局语义信息特征，判断是否为重复材料，还包括主动学习方法，具体为：设置文本信息相似度概率阈值，所述文本信息相似度概率阈值包括0.8和0.2；所述文本信息相似度概率大于或等于0.8为重复材料；所述文本信息相似度概率小于或等于0.2为非重复材料；文本信息相似度概率小于0.8大于0.2的材料为错误分类，所述错误分类的材料进行重新训练。
[0035]
本实施方式中，按照系统判定标准正常过程应设置阈值为0.5，当相似度得分大于0.5默认为重复材料，小于0.5为非重复材料。但是由于系统训练不充分特征提取不完善等问题，在前期人工核验准备工作中发现实际上的相似度数值大于0.8才会存在材料名称重复不出问题，因此在0.5的基础上加上0.3的绝对值，阈值变为0.8和0.2。
[0036]
实施方式五、本实施方式是对实施方式一所述的主题集成服务重复材料发现方法进一步限定，所述重新训练包括：通过机器学习的方法获取错误分类的材料；人工标注所述错误分类的材料数据的是否重复标签，并将所述错误分类的材料数据进行重新微调学习，具体为：调整预训练权重和逻辑回归算法，使用交叉熵作为损失函数l，权重更新使用adam梯度下降法：。
[0037]
其中，y为人工标注的两个材料的是否重复标签，为分类模型预测值，l衡量模型预测值与实际值的差距程度。
[0038]
在实际应用中，前期人工标注数据集数量相对深度网络模型训练仍然较少，为减少后续人工成本与尽早应用，参考tone与主动学习方法，在实际中检验并提高方法性能。tone全称train on or near error，首先预设一个分数界限，当材料得分在分数界限以内的时候，即使判断正确，也需要重新微调学习。主动学习( active learning)的大致思路就是人工标注所述错误分类的材料数据，具体为：通过机器学习的方法获取到那些比较“难”分类的样本数据,让人工再次确认和审核,然后将人工标注得到的数据再次使用有监督学习模型或者半监督学习模型进行训练,逐步提升模型的效果,将人工经验融入机器学习的模型中。在方法预测得分的同时，预设一个界限θ，使在界限外的能够得到准确预测，得到较为准确的重复材料判断，在界限内为不确定情况，此时需要以专业人员对其进行是否为重复材料进行标注，对两个材料文本内容与标签进行学习，学习的同时使用tone方法，在界限内时候即使方法判定正确，仍然进行训练，提高正确率。
[0039]
实施方式六、本实施方式是对实施方式一所述的主题集成服务重复材料发现方法进一步限定，所述方法还包括：将构成主题集成服务文件材料做并集，以表示主题集成服务文件材料的并集，n为材料的总数；在所述n个材料中任意选取两个材料，合成一组，判断两个材料是否重复： ;其中，0表示两个材料不重复，1表示材料重复；提取f()=1的所有材料组合进行输出，删除所述组合中的任意一份材料xi或xj，xi代表第i个材料，xj代表第j个材料。
[0040]
具体的，提取所有材料组合中的重复材料输出，删除所述组合中的任意一份材料xi或xj，确保主题集成服务无重复材料。
[0041]
实施方式七、本实施方式所述的主题集成服务重复材料发现系统，所述系统包括：材料名称和文本信息获取单元，用于获取主题集成服务的文件材料的材料名称和文本信息；全局语义信息特征获取单元，用于基于特征提取器进行提取材料名称和文本信息全局语义信息特征；重复材料判断单元，用于根据逻辑回归算法进行分类处理所述全局语义信息特征，判断是否为重复材料。
[0042]
实施方式八、本实施方式是对实施方式六所述的基于相识度的简化一件事重复材料发现系统的进一步限定，所述全局语义信息特征获取单元包括：处理后的文本信息获取模块，用于去除文件材料的材料名称和文本信息的地域名称与特殊符号，获取处理后的文本信息；全局语义信息特征获取模块，用于添加标志位cls至bert模型的分字模块，将两个文件材料的处理后的文本信息拼接为拼接文本信息，并利用bert模型的分字模块进行分字处理所述拼接文本信息，获取全局语义信息特征，其中，所述拼接文本信息包括第i个材料xi和第j个材料xj的处理后的文本信息，所述全局语义信息特征包括所述拼接文本信息的一
维特征向量，i≥1，j≥1，且i≠j：,其中，代表12层结构一致transfromer编码嵌入向量，[0]代表第一个维度向量。
[0043]
实施方式九、本实施方式所述的一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行根据实施方式一至实施方式六任一项中所述的主题集成服务重复材料发现方法。
[0044]
实施方式十、本实施方式所述的一种计算机可读存储介质，所述计算机可读存储介质用于储存计算机程序，所述计算机程序执行实施方式一至实施方式六任一项所述的主题集成服务重复材料发现方法。
[0045]
实施方式十一、参见图1说明本实施方式，本实施方式是对实施方式一所述的主题集成服务重复材料发现方法提供一个具体的实施方式，并用于解释实施方式一至实施方式六，具体的：获取主题集成服务的文件材料的材料名称和文本信息；基于特征提取器进行提取材料名称和文本信息的全局语义信息特征；根据逻辑回归算法进行处理所述全局语义信息特征，判断是否为重复材料。
[0046]
将材料名称与原始文本信息进行预处理（去除地域名称与特殊符号），通过bert字典进行分字（切分token）处理，利用bert模型的嵌入层将文本信息转化为固定768维的嵌入向量e，在转化前需在所有token前加入标志位cls用来计算全局信息，通过12层结构一致transformer编码嵌入向量叠加获得bert模型输出，所述单层transformer编码嵌入向量计算公式为：其中，multihead代表多头注意力机制，concat代表拼接，attention代表自注意力
矩阵，q、k、v代表计算自注意力的三种矩阵，headi代表就是第i个自注意力矩阵，均代表第i个输入向量的映射，代表k的维度，w0代表线性映射中的参数矩阵，w为参数矩阵，d代表矩阵维度。对输入矩阵进行三种线性映射得到计算自注意力的三种状态矩阵，并通过计算自注意力来获得全文的语义信息，通过残差连接与层归一化加快收敛，输出作为下一层transformer的输入编码向量。多层编码叠加深度挖掘信息提高准确率。提前加入的标志位因为不属于输入文本的token，在计算注意力时与所有token都进行计算，取最后一层编码器的cls向量(输出向量的第一维度)作为最终的全局语义信息特征：。
[0047]
本实施方式采用逻辑分类算法进行文本信息相似度概率计算：其中，exp是以自然常数e为底的指数函数，为算法权重向量，p为文本信息相似度概率。
[0048]
采用逻辑分类算法的好处是因为其结构简单，可解释性强，从特征的权重可以看到不同特征对最后结果的影响；训练速度快，分类时，计算量只和特征数目相关，计算准确率只和特征效果相关，占用计算资源少；输出结果方便调整，结果为概率，方便调整阈值。
[0049]
前期人工标注数据集数量相对深度网络模型训练仍然较少，为减少后续人工成本与尽早应用，采用tone与主动学习方法，在实际中检验并提高方法性能。tone全称train on or near error，首先预设一个分数界限，当材料得分在分数界限以内的时候，即使判断正确，也需要重新微调学习。主动学习( active learning)的大致思路就是:通过机器学习的方法获取到不容易分类的样本数据并进行标注，通过人工再次确认和审核，将人工标注得到的数据再次使用有监督学习模型或者半监督学习模型进行训练，逐步提升模型的效果，将人工经验融入机器学习的模型中。在方法预测得分的同时，预设一个阈值θ，使在界限外的能够得到准确预测，得到较为准确的重复材料判断，在界限内为不确定情况时，人工对其进行是否为重复材料进行标注，对两个材料文本内容与标签进行学习，学习的同时使用tone方法，在界限内时候即使方法判定正确，仍然进行训练，提高正确率。
[0050]
在本实施方式中，阈值为0.8和0.2。所述文本信息相似度概率阈值大于或等于0.8为重复材料；所述文本信息相似度概率阈值小于或等于0.2为非重复材料；文本信息相似度概率小于0.8大于0.2的材料为错误分类，所述错误分类的材料进行重新训练。
[0051]
在实践中，由于数据集不够大，重新开始训练神经网络得到期望的高层特征表示耗费较多且效果一般，因此使用公开发表的预训练pretrain（使用大量的无标注语料做文本重建mlm和句间关系nsp两个任务，使模型具有强大的表征能力）模型，与分类器组合，所述分类器采用逻辑回归算法实现，在材料数据集上重新训练来进行fine-tune（在已经训练
好的特征提取器的基础上，根据特定任下游务进行微调）。
[0052]
所述重新训练包括：通过机器学习的方法获取错误分类的材料；人工标注所述错误分类的材料数据的是否重复标签，并将所述错误分类的材料数据进行重新微调学习，具体为：分类器加载特征提取器权重后，调整预训练权重和逻辑回归算法，使用交叉熵作为损失函数l：。
[0053]
权重更新使用adam梯度下降法。
[0054]
在训练学习过程中，设置更新次数epoch为3，学习率为2e-5（为科学计数法数值，通过abs可计算绝对值），一阶矩估计的指数衰减率0.9，二阶矩估计的指数衰减率0.999，adam优化可以保证参数更新的大小不随着梯度大小的缩放而变化，更加平稳地找到最优解。
[0055]
所述方法还包括将构成主题集成服务所有事项的所需要提供的材料做并集，表示主题集成服务文件材料的并集，n为材料的总数，为：{x1，x2，x3，...，xn}；主题集成重复材料发现方法的目的是检查所有材料中重复的材料，即遍历所有材料，每次从n个材料中选取两个不同的材料合成一组，判断两个材料是否重复：，其中，0表示两个材料不重复，1表示材料重复，获取f=1的所有材料组合，将组合材料中任意一份材料（xi或xj）摒弃，确保主题集成服务无重复材料。
[0056]
训练过程动态规划真实学习速率，具体算法f如下：待判定材料集d={()}(1≤i≤n，1≤j≤n，i≠j);其中，学习率为η，学习批次为t，一阶矩估计的指数衰减率为，二阶矩估计的指数衰减率为；//初始化分类器权重//权重矩阵：特征提取器权重与分类器权重特征提取器权重与分类器权重//计算材料特征
//基于tone的训练器
ꢀꢀꢀꢀꢀ
//获取当前材料组标签，没有则请求人工标注
ꢀꢀꢀ
else//以下为分类部分endfor
ꢀꢀꢀꢀꢀꢀꢀ
train(t,epoch)://输入待学习的材料集与更新次数
ꢀꢀꢀꢀꢀꢀ
//预测材料组合计算损失更新权重//预测材料组合计算损失更新权重
ꢀ
whiletrue:
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
pre_ms(d)//预测待判定材料集
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
iflen(t)==0://分类准确，结束任务，输出结果
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
break
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
train(t,epoch)//存在分类不准确结果，更新权重其中，的初始值为0。具体的，上述程序第一个判断用于判断文本相似度概率是否在阈值范围内，所述文本信息相似度概率小于0.8大于0.2时需要重新训练，不在该范围内进入第二个判断；第二个判断用于根据第一个判断结果进行处理，即当文本信息相似度概率不属于小于0.8大于0.2这个范围内，进行文件判断结果的输出：文本信息相似度概率大于0.5为重复材料（即文本相似度在0.8时，属于重复材料），文本信息相似度概率小于0.5为不重复（即文本相似度在0.2时，不属于重复材料）。
[0057]
以上结合附图对本发明提供的技术方案进行进一步详细地描述，是为了突出优点和有益之处，并不用于作为对本发明的限制，任何基于本发明的精神原则范围内的，对本发明的修改、实施方式的组合、改进和等同替换等，均应当包含在本发明的保护范围之内。