一种面向科研立项查重的句向量生成方法及查重方法

1.本发明涉及自然语言处理文本表示技术领域，是一种面向科研立项查重的由词向量生成句向量的改进方法及查重方法。


背景技术：

2.近年来，我国对科研经费的投入越来越大，逐年增加的科研经费和海量的申报课题给科研项目立项决策带来了极大的困难，科技项目“重复立项”、“多头申报”问题日益凸显。科研项目的重复研究将造成科研资源的浪费，阻碍国家的科技发展规划，因此建立有效的科研项目立项查重机制已成为科技计划管理部门的当务之急。
3.对科技项目申报文本进行查重首先需要将文本表示为计算机可以处理的形式。目前文本表示的常用方式是把字或词处理成向量，在包含语义信息的同时，以便计算机能进行处理。当前文本表示的常用方法有word2vec，doc2vec，glove，fasttext，bert等。
4.通常情况下，句子由若干字、词组成，一段文本由若干个句子组成。在使用文本表示技术将字或词表示为向量后，若要获得句子或段落的向量表示，需要通过某种方式将词向量转化为句向量，句向量再转化为段落向量。使句向量能够更为准确地表征文本语义，是进行语义理解、计算语义相似度的关键。
5.目前常用的句向量生成方式有以下两种：有监督的句向量生成方法和无监督的句向量生成方法。有监督的句向量生成方法对标注数据有较强的依赖，在一些特定领域，标注数据获取成本较高。无监督的句向量生成方法目前常见的有词向量直接相加平均、词向量通过tf-idf、usif等方式进行加权等。词向量直接相加平均没有考虑到训练样本中词频带来的影响和句子长度带来的影响。tf-idf虽考虑到词频带来的影响，但是提升效果不大。usif在考虑词频的基础上，通过删除句矩阵前m个主成分来消除词向量加权平均造成的无意义分量，但仍无法解决词序问题，且没有考虑到语法、位置等信息，无法准确表征句子语义。


技术实现要素：

6.本发明旨在实现一种面向科研立项查重的句向量生成方法及查重方法，通过改进usif加权方式并融合词序，提升句向量的语义表征能力，提高科研立项查重结果的准确率。
7.本发明面向科研立项查重的句向量生成方法，包括以下步骤：
8.在usif计算词频权重的基础上，加入词词性权重、位置权重，并使用上述三种权重作为词的最终权重进行计算。在使用usif方法去除了句向量矩阵前m个主成分后，将得到的句向量与doc2vec生成的句向量进行加权平均，得到融入词序特征后的句向量。
9.为实现上述目的，本发明采用以下技术方案：
10.一种面向科研立项查重的句向量生成方法，其步骤包括：
11.1)对于一科研项目申报书的文本进行分词，计算所述文本中每一分词w的词频p(w)及词频权重tf(w)；
12.2)根据汉语的语法规则以及六类实词词性在科研项目文本中的分布，设置每一分词w的词性权重tag(w)；其中六类实词词性包括名词、动词、形容词、代词、量词和数词；
13.3)根据分词w所在句子在所述文本中的位置，确定该句子中分词w的位置权重pos(w)；
14.4)根据各句子中分词的分词w的词频权重tf(w)、词性权重tag(w)和位置权重pos(w)计算对应句子中分词w的词权重wgh(w)；
15.5)根据分词w的词权重wgh(w)生成所述文本的句向量矩阵a；
16.6)去除所述句向量矩阵a的前m个主成分，对所述句向量矩阵a中的每一句向量进行更新；
17.7)将科研项目申报书的文本输入doc2vec模型，生成所述文本的句向量并将其与步骤6)更新后的对应句向量加权平均，得到所述文本中每一句子对应的句向量。
18.进一步的，确定分词w的位置权重的方法为：如果分词w所在句子为所述文本的段落首句或末句，则分词w的位置权重较高，否则分词w的位置权重较低。
19.进一步的，词权重wgh(w)＝tf(w)*(1 tag(w) pos(w))。
20.进一步的，所述句向量矩阵其中，所述文本中句子s的句向量vw为分词w的词向量，n为所述文本中句子总数。
21.进一步的，步骤6)中，句向量cs更新后的向量其中，σi为句向量矩阵a的第i个奇异值，ci为句向量矩阵a的第i个奇异向量，为句向量矩阵a中前m个奇异值中的第j个奇异值的平方，λi为ci的权重。
22.进一步的，句子s的句向量其中，φ为加权系数，为doc2vec训练生成的句子s的句向量。
23.进一步的，词频权重其中，|v|是词典大小。
24.一种科研立项查重方法，其步骤包括：
25.1)采用上述方法生成待查重科研项目申报书中文本的句向量，并对所生成的句向量进行加和取平均得到该待查重科研项目申报书的语义表征向量；
26.2)计算该待查重科研项目申报书的语义表征向量与数据库中每一科研项目申报书对应的语义表征向量之间的相似度，如果相似度大于设定阈值，则判定该待查重科研项目申报书为重复申报项目。
27.一种服务器，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行上述方法中各步骤的指令。
28.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述方法的步骤。
29.与现有技术相比，本发明的优点如下：
30.(1)可以更准确地反映每个词对句子语义的贡献；
31.(2)可以为句向量保留句子的词序关系；
32.即使用本文提出的句向量生成方法可以更准确地提取句子语义特征，提升句向量对句子语义的表征能力。
33.为验证本文提出的句向量生成方法在语义表征能力方面具有一定的优势，我们选取了若干科研项目文本进行了多组实验。实验对比了基于usif加权的句向量生成方法(uw)、基于tf-idf加权的句向量生成方法(tw)，部分实验数据如表1所示。
34.表1基于不同句向量生成方法的科研项目相似度
[0035][0036]
从表1中可以看出，该句向量生成方法总体上使不相似文本间的相似度更低，而相似文本间的相似度更高，相比tf-idf加权的句向量生成方法提升约16％，相比于usif加权的句向量生成方法提升约9.5％，可以更准确地计算项目文本间的相似度。
[0037]
对科研项目申报书中的文本使用该句向量生成方法，并对生成的句向量进行加和取平均即可获得科研项目申报书的语义表征向量。科研项目申报书间的相似度通过计算语义表征向量间的相似度得到。
附图说明
[0038]
图1为本发明的方法流程图。
具体实施方式
[0039]
下面对本发明进行进一步详细描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
[0040]
本发明方法的流程如图1所示，其步骤包括：
[0041]
1.对于一科研项目申报书的文本进行分词，得到多个分词及对应的词性；根据usif算法计算该文本中每一分词的词频权重
[0042][0043][0044][0045][0046]
其中，|v|是词典大小，n为随机游走的步数，α为需调优的超参数，a是词w偶然产生的概率，p(w)是词w在文本中的词频，tf(w)是词w的词频权重。
[0047]
2.计算词性权重
[0048]
根据汉语的语法规则以及六类实词词性在科研项目文本中的分布，设置了词性权
重，如表2所示。
[0049]
表2词性权重分配表
[0050][0051]
3.计算位置权重
[0052]
将出现在段落首句、末句的词语w设置位置权重为pos(w)＝0.2，其余位置的词语w位置权重设置为pos(w)＝0.1。
[0053]
4.计算词权重
[0054]
wgh(w)＝tf(w)*(1 tag(w) pos(w))
ꢀꢀꢀ
(5)
[0055]
其中，tf(w)是词w的词频权重，tag(w)为词w的词性权重，pos(w)为词w的位置权重。
[0056]
5.生成句向量矩阵
[0057][0058][0059]
其中，w为句子s中的分词，wgh(w)为分词w的词权重，vw为分词w的词向量，a为n个加权句向量cs组成的句向量矩阵。
[0060]
6.去除句向量矩阵前m个主成分
[0061][0062][0063]
其中，σi为句向量矩阵a的第i个奇异值，ci为句向量矩阵a的第i个奇异向量，λi为ci的权重，m为去除的主成分数，为处理后的句向量，为前m个奇异值的平方和，为句向量矩阵a中前m个奇异值中的第j个奇异值的平方；m为一设定值，其取值需要视实际情况而定。
[0064]
7.融入词序特征
[0065]
使用分词后的科研项目申报书文本作为语料集训练doc2vec模型，将doc2vec生成的句向量与改进的usif加权的句向量加权平均，为改进的usif加权生成的句向量融入词序特征。
[0066][0067]
其中，φ为加权系数，为doc2vec训练出的句子s的句向量，为句子s的最终的句向量。
[0068]
8.计算科研项目的相似度
[0069]
一段文本是由若干句子组成的，因此文本表征向量由文本中句子的句向量加和平均得到，如公式11所示。
[0070][0071]
其中，s为文本t中的句子，n为文本t中句子的数量，为句子s的句向量。
[0072]
科研项目间的相似度使用文本表征向量间的余弦相似度计算得到，如公示12所示。
[0073][0074]
其中，ui和vi分别是项目u和v的表征向量的第i个分量，n为表征向量的维数。
[0075]
尽管为说明目的公开了本发明的具体实施例，其目的在于帮助理解本发明的内容并据以实施，本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化和修改都是可能的。因此，本发明不应局限于最佳实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。