缺陷查重模型构建方法、装置、终端设备及存储介质与流程

1.本发明涉及测试技术领域，尤其涉及一种缺陷查重模型构建方法、装置、终端设备及存储介质。


背景技术：

2.随着软件复杂度、规模和迭代速度持续上升，不断增大软件测试工作的投入，而激增的软件测试案例，也增大了缺陷管理工作。对于每个测试任务，都会产生众多的测试缺陷，为了避免重复缺陷，首要任务是对这些缺陷进行查重。以往的缺陷查重都面临以下几个问题：
3.(一)需要人工进行查重：
4.缺陷查重常见的方式是由人工进行识别，但是对于大型测试任务，缺陷数量庞大，人工进行缺陷识别时，对于多个缺陷容易遗忘或者错漏，并且需要反复查看和具备一定的经验，耗费较多的人力物力；
5.(二)无法语义识别：
6.对于常见的文本匹配方式，主要是直接对文本进行分词，然后将文本在数据库中进行检索，这种方式需要匹配的文本字词上相同或相近，对于文字不同而意思相同的文本则无法识别。因为缺陷一般都是不同测试人员编写，文法表达和字词使用可能会有很大的差异，所以这种文本匹配方式很难对缺陷进行查重；
7.(三)缺陷文本短，信息少：
8.一般对缺陷的描述分为缺陷摘要和缺陷描述，缺陷摘要简短而缺陷描述详实，如果待缺陷描述写完再进行查重，则会浪费测试人员时间，所以对于缺陷查重任务一般要求在完成缺陷摘要编写时就能给予提示。这就使得缺陷查重会在文本短、信息少的情况下进行，传统的文本匹配在短文本中效果差，无法从短文本中提炼信息进行查重。


技术实现要素：

9.本发明实施例的主要目的在于提供一种缺陷查重模型构建方法、装置、终端设备及存储介质，旨在提升缺陷查重效率和查重的有效性。
10.为实现上述目的，本发明实施例提供一种缺陷查重模型构建方法，所述方法包括如下步骤：
11.获取缺陷文本数据训练集，所述训练集包括原始缺陷摘要文本数据；
12.对所述训练集中的原始缺陷摘要文本数据进行关键专有名词筛选，根据筛选结果构建所述训练集的专有关键词表；
13.基于所述训练集的专有关键词表，以及预先训练的文本向量化模型，对所述训练集的缺陷摘要文本数据进行加权向量化，得到缺陷文本数据词向量；
14.基于所述缺陷文本数据词向量以及所述原始缺陷摘要文本数据进行模型训练和融合，构建得到所述缺陷查重模型。
15.可选地，所述对所述训练集中的原始缺陷摘要文本数据进行关键专有名词筛选，根据筛选结果构建所述训练集的专有关键词表的步骤包括：
16.采用左右信息熵新词发现算法对所述训练集中的原始缺陷摘要文本数据进行新词发现计算，筛选出所述原始缺陷摘要文本数据中的专有名词；
17.使用tfidf算法计算所述原始缺陷摘要文本数据中的关键词；
18.基于所述原始缺陷摘要文本数据中的专有名词和关键词，构建所述训练集的专有关键词表。
19.可选地，所述基于所述缺陷文本数据词向量以及所述原始缺陷摘要文本数据进行模型训练和融合，构建得到所述缺陷查重模型的步骤包括：
20.将所述缺陷文本数据词向量输入预先创建的基于注意力机制的双向lstm模型中进行训练，得到第一训练结果；
21.将所述原始缺陷摘要文本数据输入预选创建的albert预训练模型进行训练，得到第二训练结果；
22.通过xgboost算法对所述第一训练结果和第二训练结果进行融合并迭代训练，得到所述缺陷查重模型。
23.可选地，所述对所述训练集中的原始缺陷摘要文本数据进行关键专有名词筛选的步骤之前还包括：
24.对所述缺陷文本数据训练集进行数据预处理。
25.可选地，所述对所述缺陷文本数据训练集进行数据预处理的步骤包括：
26.对所述缺陷文本数据训练集进行数据增强，得到数据增强后的训练集；
27.采用常见停用词对所述训练集中的原始缺陷摘要文本数据进行数据清洗，去掉无用和干扰信息，得到数据清洗后的训练集。
28.可选地，所述对所述缺陷文本数据训练集进行数据增强，得到数据增强后的训练集的步骤包括：
29.对所述缺陷文本数据训练集中不重复的缺陷数据进行欠采样；
30.对所述缺陷文本数据训练集中重复的缺陷数据进行过采样；
31.通过同义替换方式对所述缺陷文本数据训练集中数量低于预设阈值的缺陷数据进行增量。
32.可选地，所述对所述缺陷文本数据训练集中重复的缺陷数据进行过采样的步骤包括：
33.利用句子对的特性，对所述缺陷文本数据训练集中重复的缺陷数据的句子对进行翻转和传递生成。
34.此外，本发明实施例还提出一种缺陷查重模型构建装置，包括：
35.获取模块，用于获取缺陷文本数据训练集，所述训练集包括原始缺陷摘要文本数据；
36.筛选构建模块，用于对所述训练集中的原始缺陷摘要文本数据进行关键专有名词筛选，根据筛选结果构建所述训练集的专有关键词表；
37.向量化模块，用于基于所述训练集的专有关键词表，以及预先训练的文本向量化模型，对所述训练集的缺陷摘要文本数据进行加权向量化，得到缺陷文本数据词向量；
38.构建模块，用于基于所述缺陷文本数据词向量以及所述原始缺陷摘要文本数据进行模型训练和融合，构建得到所述缺陷查重模型。
39.本发明还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的缺陷查重模型构建程序，所述缺陷查重模型构建程序被所述处理器执行时实现如上所述的缺陷查重模型构建方法的步骤。
40.本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有缺陷查重模型构建程序，所述缺陷查重模型构建程序被处理器执行时实现如上所述的缺陷查重模型构建方法的步骤。
41.本发明实施例提出的缺陷查重模型构建方法、装置、终端设备及存储介质，通过获取缺陷文本数据训练集，所述训练集包括原始缺陷摘要文本数据；对所述训练集中的原始缺陷摘要文本数据进行关键专有名词筛选，根据筛选结果构建所述训练集的专有关键词表；基于所述训练集的专有关键词表，以及预先训练的文本向量化模型，对所述训练集的缺陷摘要文本数据进行加权向量化，得到缺陷文本数据词向量；基于所述缺陷文本数据词向量以及所述原始缺陷摘要文本数据进行模型训练和融合，构建得到所述缺陷查重模型。由此通过构建缺陷查重模型进行缺陷查重，可以节省人工手动查重的时间；且本方案对缺陷文本进行信息提取和模型训练，可以对短文本提炼语义信息并进行有效查重，提升了缺陷查重的效率和查重的有效性。
附图说明
42.图1为本发明缺陷查重模型构建装置所属终端设备的功能模块示意图；
43.图2为本发明缺陷查重模型构建方法第一实施例的流程示意图；
44.图3为本发明实施例中构建查重模型时对文本数据进行处理的原理示意图；
45.图4为本发明实施例中构建查重模型的全流程示意图。
46.图5为本发明实施例进行缺陷查重的全流程示意图。
47.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
48.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
49.本发明实施例的主要解决方案是：通过获取缺陷文本数据训练集，所述训练集包括原始缺陷摘要文本数据；对所述训练集中的原始缺陷摘要文本数据进行关键专有名词筛选，根据筛选结果构建所述训练集的专有关键词表；基于所述训练集的专有关键词表，以及预先训练的文本向量化模型，对所述训练集的缺陷摘要文本数据进行加权向量化，得到缺陷文本数据词向量；基于所述缺陷文本数据词向量以及所述原始缺陷摘要文本数据进行模型训练和融合，构建得到所述缺陷查重模型。由此通过构建缺陷查重模型进行缺陷查重，可以节省人工手动查重的时间；且本方案对缺陷文本进行信息提取和模型训练，可以对短文本提炼语义信息并进行有效查重，提升了缺陷查重的效率和查重的有效性。
50.本发明实施例涉及的技术术语：
51.左右信息熵新词发现算法；
52.tfidf算法；
53.word2vec；
54.注意力机制，attention mechanism；
55.lstm模型，长短期记忆网络，long short-term memory；
56.albert模型，深度语言模型；
57.xgboost，一个优化的分布式梯度增强库。
58.具体解释如下：
59.左右信息熵新词发现算法：新词发现算法的目的是发现新词。如果采用现在的分词技术，有时候生僻词或者专有词汇经常会被分错，而改进措施就是可以用新词算法发现预料中的新词，之后将发现的新词放到分词算法的用户自定义字典中，会增加分词的准确率。以下两个概念需要说明一下：
60.点间互信息(pointwise mutual information)——凝固程度：例如，点间互信息的公式为，$$\operatorname{pmi}(x,y)＝\log_{2}\frac{p(x,y)}{p(x)p(y)}$$
61.其中$p(x,y)$表示两个词一起出现的概率，而$p(x)$和$p(y)$表示各词出现的概率。举个例子，比如一份语料中，“深度学习”出现了10词，“深度”出现了15次，学习出现了“20”次。由于语料库总词数是个定值，那么深度学习这个词在“深度”，“学习”上的的点间互信息就为$\log_{2}\frac{10n}{1520}$。其中n指总词数。
62.从上述公式可知：点间互信息越大，说明这两个词经常出现在一起，意味着两个词的凝固程度越大，其组成一个新词的可能性也就越大。
63.左右熵(information entropy)——自由程度：左(右)熵的公式如下，即信息熵的公式：$$e_{left}(prew)＝-\sum_{\forall pre\subseteq a}p(prew)\log_{2}p(prew)$$。
64.综上，左右熵值越大，说明该词的周边词越丰富，意味着词的自由程度越大，其成为一个独立的词的可能性也就越大。
65.tfidf算法：tf-idf是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。tf-idf加权的各种形式常被搜索引擎应用，作为文件与用户查询之间相关程度的度量或评级。
66.tf-idf的主要思想是：如果某个词或短语在一篇文章中出现的频率tf高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。
67.tfidf实际上是：tf*idf，tf词频(term frequency)，idf逆向文件频率(inverse document frequency)。tf表示词条在文档d中出现的频率。
68.idf的主要思想是：如果包含词条t的文档越少，也就是n越小，idf越大，则说明词条t具有很好的类别区分能力。如果某一类文档c中包含词条t的文档数为m，而其它类包含t的文档总数为k，显然所有包含t的文档数n＝m k，当m大的时候，n也大，按照idf公式得到的idf的值会小，就说明该词条t类别区分能力不强。但是实际上，如果一个词条在一个类的文档中频繁出现，则说明该词条能够很好代表这个类的文本的特征，这样的词条应该给它们赋予较高的权重，并选来作为该类文本的特征词以区别于其它类文档。
69.在一份给定的文件里，词频(term frequency，tf)指的是某一个给定的词语在该文件中出现的频率。这个数字是对词数(term count)的归一化，以防止它偏向长的文件。
(同一个词语在长文件里可能会比短文件有更高的词数，而不管该词语重要与否。)
70.word2vec：源于nlp(自然语言处理)，nlp里面，最细粒度的是词语，词语组成句子，句子再组成段落、篇章、文档。所以处理nlp的问题，首先考虑词语。举个例子，判断一个词的词性，是动词还是名词，用机器学习的思路，有一系列样本(x,y)，这里x是词语，y是它们的词性，我们要构建f(x)-》y的映射，但这里的数学模型f(比如神经网络、svm)只接受数值型输入，而nlp里的词语，是人类的抽象总结，是符号形式的(比如中文、英文、拉丁文等等)，所以需要把他们转换成数值形式，或者说——嵌入到一个数学空间里，这种嵌入方式，就叫词嵌入(word embedding)，而word2vec，就是词嵌入(word embedding)的一种，f(x)-》y在nlp中，把x看做一个句子里的一个词语，y是这个词语的上下文词语，那么这里的f，便是nlp中经常出现的『语言模型』(language model)，这个模型的目的，就是判断(x,y)这个样本，是否符合自然语言的法则。
71.word2vec正是来源于这个思想，但它的最终目的，不是要把f训练得多么完美，只关心模型训练完后的副产物——模型参数(这里特指神经网络的权重)，并将这些参数，作为输入x的某种向量化的表示，这个向量便叫做词向量。
72.注意力机制：对输入权重分配的关注，最开始使用到注意力机制是在编码器-解码器(encoder-decoder)中，注意力机制通过对编码器所有时间步的隐藏状态做加权平均来得到下一层的输入变量。
73.lstm模型：长短期记忆网络(long-short term memory,lstm)，由于独特的设计结构，lstm适合于处理和预测时间序列中间隔和延迟非常长的重要事件。
74.lstm的表现通常比时间递归神经网络及隐马尔科夫模型(hmm)更好，比如用在不分段连续手写识别上。lstm还普遍用于自主语音识别。作为非线性模型，lstm可作为复杂的非线性单元用于构造更大型深度神经网络。
75.为了最小化训练误差，梯度下降法(gradient descent)如应用时序性倒传递算法，可用来依据错误修改每次的权重。梯度下降法在递回神经网络(rnn)中主要的问题初次在1991年发现，就是误差梯度随着事件间的时间长度成指数般的消失。当设置了lstm区块时，误差也随着倒回计算，从output影响回input阶段的每一个gate，直到这个数值被过滤掉。因此正常的倒传递类神经是一个有效训练lstm区块记住长时间数值的方法。
76.albert模型，深度语言模型，albert基于bert。随着transfomer结构的普及，大语料、大参数量的预训练模型成为主流。当在实际部署bert等模型时，往往需要使用蒸馏、压缩或其他优化技术对模型进行处理。albert模型就是用更少的参数，取得了更好的效果。它在主要基准上实现了最先进的性能，参数减少了30％。不同版本的albert中文预训练模型，包括tensorflow、pytorch和keras。
77.xgboost：xgboost的全称是extreme gradient boosting，xgboost是一个优化的分布式梯度增强库，旨在实现高效，灵活和便携。它在gradient boosting框架下实现机器学习算法。xgboost提供并行树提升(也称为gbdt，gbm)，可以快速准确地解决许多数据科学问题。相同的代码在主要的分布式环境(hadoop，sge，mpi)上运行，并且可以解决数十亿个示例之外的问题。
78.它是经过优化的分布式梯度提升库，旨在高效、灵活且可移植。xgboost是大规模并行boosting tree的工具，它是目前最快最好的开源boosting tree工具包。在工业界大
规模数据方面，xgboost的分布式版本有广泛的可移植性，支持在kubernetes、hadoop、sge、mpi、dask等各个分布式环境上运行，使得它可以很好地解决工业界大规模数据的问题。
79.本发明考虑到，目前缺陷查重需要人工查重，其查重效率低，费时费力；而且目前文本匹配方式查重中，无法进行语义匹配，针对短文本匹配无法进行信息提炼，查重效果差。
80.本发明提供一种解决方案，可以提升缺陷查重效率和查重的有效性。
81.具体地，参照图1，图1是本发明缺陷查重模型构建装置所属终端设备的功能模块示意图。该缺陷查重模型构建装置可以为独立于终端设备的、能够进行数据处理的装置，其可以通过硬件或软件的形式承载于终端设备上。该终端设备可以为手机、平板电脑等具有数据处理功能的智能移动终端，还可以为具有数据处理功能的固定终端设备或服务器等。
82.在本实施例中，该缺陷查重模型构建装置所属终端设备至少包括输出模块110、处理器120、存储器130以及通信模块140。
83.存储器130中存储有操作系统以及缺陷查重模型构建程序；输出模块110可为显示屏等。通信模块140可以包括wifi模块、移动通信模块以及蓝牙模块等，通过通信模块140与外部设备或服务器进行通信。
84.其中，存储器130中的缺陷查重模型构建程序被处理器执行时实现以下步骤：
85.获取缺陷文本数据训练集，所述训练集包括原始缺陷摘要文本数据；
86.对所述训练集中的原始缺陷摘要文本数据进行关键专有名词筛选，根据筛选结果构建所述训练集的专有关键词表；
87.基于所述训练集的专有关键词表，以及预先训练的文本向量化模型，对所述训练集的缺陷摘要文本数据进行加权向量化，得到缺陷文本数据词向量；
88.基于所述缺陷文本数据词向量以及所述原始缺陷摘要文本数据进行模型训练和融合，构建得到所述缺陷查重模型。
89.进一步地，存储器130中的缺陷查重模型构建程序被处理器执行时实现以下步骤：
90.采用左右信息熵新词发现算法对所述训练集中的原始缺陷摘要文本数据进行新词发现计算，筛选出所述原始缺陷摘要文本数据中的专有名词；
91.使用tfidf算法计算所述原始缺陷摘要文本数据中的关键词；
92.基于所述原始缺陷摘要文本数据中的专有名词和关键词，构建所述训练集的专有关键词表。
93.进一步地，存储器130中的缺陷查重模型构建程序被处理器执行时实现以下步骤：
94.将所述缺陷文本数据词向量输入预先创建的基于注意力机制的双向lstm模型中进行训练，得到第一训练结果；
95.将所述原始缺陷摘要文本数据输入预选创建的albert预训练模型进行训练，得到第二训练结果；
96.通过xgboost算法对所述第一训练结果和第二训练结果进行融合并迭代训练，得到所述缺陷查重模型。
97.进一步地，存储器130中的缺陷查重模型构建程序被处理器执行时实现以下步骤：
98.对所述缺陷文本数据训练集进行数据预处理。
99.进一步地，存储器130中的缺陷查重模型构建程序被处理器执行时实现以下步骤：
100.对所述缺陷文本数据训练集进行数据增强，得到数据增强后的训练集；
101.采用常见停用词对所述训练集中的原始缺陷摘要文本数据进行数据清洗，去掉无用和干扰信息，得到数据清洗后的训练集。
102.进一步地，存储器130中的缺陷查重模型构建程序被处理器执行时实现以下步骤：
103.对所述缺陷文本数据训练集中不重复的缺陷数据进行欠采样；
104.对所述缺陷文本数据训练集中重复的缺陷数据进行过采样；
105.通过同义替换方式对所述缺陷文本数据训练集中数量低于预设阈值的缺陷数据进行增量。
106.进一步地，存储器130中的缺陷查重模型构建程序被处理器执行时实现以下步骤：
107.利用句子对的特性，对所述缺陷文本数据训练集中重复的缺陷数据的句子对进行翻转和传递生成。
108.本实施例通过上述方案，获取缺陷文本数据训练集，所述训练集包括原始缺陷摘要文本数据；对所述训练集中的原始缺陷摘要文本数据进行关键专有名词筛选，根据筛选结果构建所述训练集的专有关键词表；基于所述训练集的专有关键词表，以及预先训练的文本向量化模型，对所述训练集的缺陷摘要文本数据进行加权向量化，得到缺陷文本数据词向量；基于所述缺陷文本数据词向量以及所述原始缺陷摘要文本数据进行模型训练和融合，构建得到所述缺陷查重模型。由此通过构建缺陷查重模型进行缺陷查重，可以节省人工手动查重的时间；且本方案对缺陷文本进行信息提取和模型训练，可以对短文本提炼语义信息并进行有效查重，提升了缺陷查重的效率和查重的有效性。
109.基于上述终端设备架构但不限于上述架构，提出本发明方法实施例。
110.参照图2，图2为本发明缺陷查重模型构建方法第一实施例的流程示意图。所述缺陷查重模型构建方法包括：
111.步骤s1001，获取缺陷文本数据训练集，所述训练集包括原始缺陷摘要文本数据；
112.其中，原始缺陷摘要文本数据为日常测试中已知的缺陷摘要文本，作为样本数据构成缺陷文本数据训练集。
113.本实施例考虑到：
114.基于机器学习相关的方案，首要条件是拥有一定量的原始数据供学习训练模型使用，原有的积累的缺陷文本数据特征为：一次测试任务中，相同的缺陷占极小数，供训练的数据不平衡；文本短、文法较口语化，信息不够明确。
115.对于以上问题，本方案提出数据处理方式为：
116.数据增强：对训练数据集进行欠采样、过采样和数据转换，构建为平衡数据集以供训练；
117.去停用词和筛选关键专有名词：去掉文本中无用重复的词汇，通过算法筛选关键专有名词以备后续加权使用；
118.word2vec词向量化：使用现有文本数据训练词向量模型，并加上专有名词进行加权词向量化。
119.其中，作为一种实施方式，可以在获取原始缺陷摘要文本数据后，对原始缺陷摘要文本数据进行预处理；或者在获取到缺陷文本数据训练集后，对所述缺陷文本数据训练集进行数据预处理。具体的处理过程可以如图3所示，包括：
120.对所述缺陷文本数据训练集进行数据增强，得到数据增强后的训练集；
121.采用常见停用词对所述训练集中的原始缺陷摘要文本数据进行数据清洗，去掉无用和干扰信息，得到数据清洗后的训练集。
122.具体地，缺陷文本数据训练集中作为样本数据的原始缺陷摘要文本数据，是经过测试管理手工查重统计出来的数据，分为不重复的缺陷数据和重复的缺陷数据两类。
123.在实际测试任务中，不重复的缺陷数据量比重复的缺陷数据大很多，不平衡的数据会导致基于平衡阈值分类任务训练出现偏差。
124.因此，在本实施例中，首先对不重复的缺陷数据进行欠采样。欠采样是指随机丢弃数量过大的那一类数据，降低两类数据间的数量差距。
125.然后，对重复的缺陷数据进行过采样，过采样是指对量少那一类数据进行重复获取，以降低两类数据建的数量差距。但是直接重复获取，容易导致训练的过拟合，所以本方案使用的过采样，是借助句子对的特性，对句子对进行翻转和传递生成，比如句子对“aa@bb”，翻转后“bb@aa”认为是新增数据(翻转)；其次，假设句子对“aa@bb”和“bb@cc”，则认为“aa@cc”也为新增数据(传递生成)。
126.除了采样法以外，还可以通过同义替换来对量少(比如低于预设阈值)的数据集进行增量。将文本中的部分词汇进行同义替换，替换为相同意思的其他文本来进行数据增量。或者采用翻译软件将它翻译成中间语言再翻译回来，得到相同意思的不同文本表达数据来进行数据增量。
127.此外，若本方案处理的缺陷文本数据中有较多的口语化表达和无用信息，则可以在进行数据增强后，采用常见停用词对本文数据进行清洗，去掉无用和干扰信息，由此提升后续缺陷查重的准确性。
128.步骤s1002，对所述训练集中的原始缺陷摘要文本数据进行关键专有名词筛选，根据筛选结果构建所述训练集的专有关键词表；
129.之后，可以采用左右信息熵新词发现算法对文本进行新词发现计算，筛选出文本数据中的专有名词，比如一些产品名称，专业名词等，再使用tfidf算法计算文本数据中的关键词，构建专有关键词表供后续加权计算使用。
130.具体地，作为一种实施方式，所述对所述训练集中的原始缺陷摘要文本数据进行关键专有名词筛选，根据筛选结果构建所述训练集的专有关键词表的步骤可以包括：
131.采用左右信息熵新词发现算法对所述训练集中的原始缺陷摘要文本数据进行新词发现计算，筛选出所述原始缺陷摘要文本数据中的专有名词；
132.使用tfidf算法计算所述原始缺陷摘要文本数据中的关键词；
133.基于所述原始缺陷摘要文本数据中的专有名词和关键词，构建所述训练集的专有关键词表。
134.步骤s1003，基于所述训练集的专有关键词表，以及预先训练的文本向量化模型，对所述训练集的缺陷摘要文本数据进行加权向量化，得到缺陷文本数据词向量；
135.为了进行文本模型训练，需要将文本向量化后导入深度学习网络进行计算，本方案采用的word2vec方法，对数据增强后的文本数据进行训练，得到文本向量化模型，再根据上述步骤构建的专有关键词表对文本数据进行加权向量化，得到缺陷文本数据词向量。
136.步骤s1004，基于所述缺陷文本数据词向量以及所述原始缺陷摘要文本数据进行
模型训练和融合，构建得到所述缺陷查重模型。
137.具体地，首先，将所述缺陷文本数据词向量输入预先创建的基于注意力机制的双向lstm模型中进行训练，得到第一训练结果；
138.然后，将所述原始缺陷摘要文本数据输入预选创建的albert预训练模型进行训练，得到第二训练结果；
139.最后，通过xgboost算法对所述第一训练结果和第二训练结果进行融合并迭代训练，得到所述缺陷查重模型。
140.具体地，本方案采用的模型训练方式是使用两种机器学习模型分别训练，再使用模型融合结合两个模型的结果综合获得实际判定结果进行训练，该方案中模型训练的具体流程可以参照图4所示。
141.其中，在模型训练中，本方案采用的第一个模型结构为基于注意力机制的双向lstm模型结构即bi-lstm，其优点在于通过注意力机制，自动关注并加权文本的重要信息，bi-lstm结构可以在训练中逐步学习到文本中的主要信息，其中的“门”机制可以学习到文本中的主要信息并遗忘无用信息，而双向结构让模型训练通过上下文学习增强文本理解。模型训练中将数据处理操作中得到的加权文本数据向量导入bi-lstm模型进行训练，得到对缺陷判定是否相同的结果。
142.本方案采用的另外一个模型是轻量预训练模型albert，本方案采用的albert预训练模型已经通过海量中文数据进行学习，得到一个泛用性较强的预训练模型，再通过使用本方案预先收集的部分缺陷文本进行微调(finetune)，更新预训练模型参数使其适用于本方案任务场景。
143.在模型训练中，将数据增强后的缺陷文本数据直接导入微调后的albert模型进行训练，得到对缺陷判定是否相同的结果。
144.其中，本方案在进行两个不同类型的模型训练中，可以通过xgboost算法将多个模型融合在一起提高性能。
145.模型融合本质上是对训练中上一次分类错误的样例给予更大的权重，在后续训练迭代中以提高原来分错样本分对的概率，并根据不同模型赋予不同权值，最后得到一个加权的强分类器。
146.通过上述步骤，进行不断迭代，训练得到一个完备的分类模型，供后续使用。
147.本实施例通过上述方案，获取缺陷文本数据训练集，所述训练集包括原始缺陷摘要文本数据；对所述训练集中的原始缺陷摘要文本数据进行关键专有名词筛选，根据筛选结果构建所述训练集的专有关键词表；基于所述训练集的专有关键词表，以及预先训练的文本向量化模型，对所述训练集的缺陷摘要文本数据进行加权向量化，得到缺陷文本数据词向量；基于所述缺陷文本数据词向量以及所述原始缺陷摘要文本数据进行模型训练和融合，构建得到所述缺陷查重模型。由此通过构建缺陷查重模型进行缺陷查重，可以节省人工手动查重的时间；且本方案对缺陷文本进行信息提取和模型训练，可以对短文本提炼语义信息并进行有效查重，提升了缺陷查重的效率和查重的有效性。
148.相比现有技术，本发明实施例采用算法对缺陷进行去重，解决人工查重繁琐过程，自动高效；针对缺陷数据进行定制化数据增强，解决训练数据不平衡和数据量不足问题；采用机器学习语义理解方式进行训练，解决常规方法无法语义级别匹配问题；采用关键专有
名词发现方法对文本向量化进行加权，同时根据关键专有名词进行主题分类，以减少比对数量；此为，本方案采用bi-lstm和albert两种不同的模型，并通过xgboost进行模型融合，提升了缺陷查重的有效性。
149.在构建缺陷查重模型后，即可通过缺陷查重模型进行缺陷查重。
150.如图5所示，图5为本发明实施例进行缺陷查重的全流程示意图。本发明实施例进行缺陷查重的全流程包括：
151.步骤s101，获取缺陷查重任务，所述缺陷查重任务包括：待查重的缺陷文本摘要；
152.本方案将缺陷查重任务抽象为文本分类任务，即将提交的缺陷文本摘要两两配对为句子对，约定句子对为相同缺陷为1，句子对为不同缺陷为0，缺陷查重任务即转变为，对全量句子对采用模型进行判定，相同缺陷输出1，不同缺陷输出0的二分文本分类任务。
153.具体地，首先，获取缺陷查重任务，所述缺陷查重任务包括：当前待查重的缺陷文本摘要。
154.其中，作为一种实施方式，待查重的缺陷文本摘要可以由用户在系统缺陷登记平台输入，用户在系统缺陷登记平台输入缺陷文本摘要后启动缺陷查重。
155.其中，作为另一种实施方式，也可以由系统根据配置规则自动从外部设备或其他网络设备中获取待查重的缺陷文本摘要，由此启动缺陷查重。
156.进一步地，作为一种实施方式，在获得缺陷文本摘要后，可以对所述缺陷文本摘要进行预处理，所述预处理的方式包括：数据增强、数据清洗中的一种或多种。
157.其中，数据增强可以采用如下方案：
158.将文本中的部分词汇进行同义替换，替换为相同意思的其他文本来进行数据增量；或者采用翻译软件将它翻译成中间语言再翻译回来，得到相同意思的不同文本表达数据来进行数据增量。
159.数据清洗可以采用常见停用词对本文数据进行清洗，去掉无用和干扰信息。
160.步骤s102，对所述缺陷文本摘要进行关键专有词发现计算，得到关键专有词计算结果；
161.其中，常规流程需要将输入文本与数据库中全量缺陷文本进行比对，为了提高性能与减少比对数据量，在本实施例中，在平台全量缺陷文本存储中已预先进行关键专有词发现计算，并按照计算结果分主题进行存储。
162.本实施例在获取待查重的缺陷文本摘要后，对所述缺陷文本摘要进行关键专有词发现计算，得到关键专有词计算结果，以匹配的主题进行句子对组合和数据清洗。
163.具体地，作为一种实施方式，上述对所述缺陷文本摘要进行关键专有词发现计算，得到关键专有词计算结果的步骤可以包括：
164.采用左右信息熵新词发现算法对所述缺陷文本摘要进行新词发现计算，筛选出所述缺陷文本摘要中的专有名词；
165.使用tfidf算法计算所述缺陷文本摘要中的关键词；
166.基于所述专有名词和关键词，构建专有关键词表，得到关键专有词计算结果。
167.步骤s103，基于所述关键专有词计算结果进行主题匹配，以匹配的主题进行句子对组合，得到组合后的句子对；
168.具体地，作为一种实施方式，首先确定所述关键专有词计算结果中关键专有词的
主题；
169.然后，将所述关键专有词计算结果中关键专有词的主题与预先存储的平台全量缺陷文本的关键专有词分类主题进行匹配；
170.最后，以匹配的主题进行句子对组合，得到组合后的句子对。
171.其中，在以匹配的主题进行句子对组合的步骤之后，进一步还可以对所述句子对进行数据清洗，得到清洗后的句子对，通过数据清洗可以提高数据处理的准确性。
172.步骤s104，基于所述缺陷查重模型，对所述句子对进行查重评判，得到缺陷查重评判结果。
173.具体地，作为一种实施方式，所述基于上述构建的缺陷查重模型，对所述句子对进行查重评判，得到缺陷查重评判结果的步骤可以包括：
174.首先，对所述句子对进行复制，得到两份句子对；
175.将其中一份句子对采用预先训练好的加权词向量模型进行向量化，得到加权向量化结果；
176.将另一份句子对输入到预先训练好的缺陷查重模型，通过所述缺陷查重模型并结合所述加权向量化结果，对所述句子对进行查重评判，得到缺陷查重评判结果。
177.具体地，在得到将比对的句子对之后，复制为两份数据。一份用预先训练好的加权词向量模型进行向量化，一份按原始格式输入到之前训练好的缺陷查重模型中进行计算评判。其中，在评判时，通过所述缺陷查重模型并结合加权向量化结果，对所述句子对进行查重评判，得到缺陷查重评判结果。
178.通过模型评估计算结果得到判定为相同的缺陷文本，并将所需信息返回到界面展示，供测试人员选择是否继续提交该缺陷，至此完成整个方案流程。
179.本实施例通过上述方案，具体通过获取缺陷查重任务，所述缺陷查重任务包括：待查重的缺陷文本摘要；对所述缺陷文本摘要进行关键专有词发现计算，得到关键专有词计算结果；基于所述关键专有词计算结果进行主题匹配，以匹配的主题进行句子对组合，得到组合后的句子对；基于预先构建的缺陷查重模型，对所述句子对进行查重评判，得到缺陷查重评判结果。由此通过模型和算法进行缺陷查重，可以节省人工手动查重的时间；而且本方案对缺陷文本进行信息提取和模型训练，可以对短文本提炼语义信息并进行有效查重，从而提升了缺陷查重的效率和查重的有效性。
180.此外，本发明实施例还提出一种缺陷查重模型构建装置，包括：
181.获取模块，用于获取缺陷文本数据训练集，所述训练集包括原始缺陷摘要文本数据；
182.筛选构建模块，用于对所述训练集中的原始缺陷摘要文本数据进行关键专有名词筛选，根据筛选结果构建所述训练集的专有关键词表；
183.向量化模块，用于基于所述训练集的专有关键词表，以及预先训练的文本向量化模型，对所述训练集的缺陷摘要文本数据进行加权向量化，得到缺陷文本数据词向量；
184.构建模块，用于基于所述缺陷文本数据词向量以及所述原始缺陷摘要文本数据进行模型训练和融合，构建得到所述缺陷查重模型。
185.本发明缺陷查重模型构建原理请参照上述各实施例，在此不再赘述。
186.此外，本发明实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存
储在所述存储器上并可在所述处理器上运行的缺陷查重模型构建程序，所述缺陷查重模型构建程序被所述处理器执行时实现如上所述的缺陷查重模型构建方法的步骤。
187.由于本缺陷查重模型构建程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
188.此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有缺陷查重模型构建程序，所述缺陷查重模型构建程序被处理器执行时实现如上所述的缺陷查重模型构建方法的步骤。
189.由于本缺陷查重模型构建程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
190.相比现有技术，本发明提供的一种缺陷查重模型构建方法、系统、终端设备及存储介质，通过采用模型和算法对缺陷进行去重，解决人工查重繁琐过程，自动高效；针对缺陷数据进行定制化数据增强，解决训练数据不平衡和数据量不足问题；采用机器学习语义理解方式进行训练，解决常规方法无法语义级别匹配问题；采用关键专有名词发现方法对文本向量化进行加权，同时根据关键专有名词进行主题分类，以减少比对数量；此为，本方案采用bi-lstm和albert两种不同的模型，并通过xgboost进行模型融合，提升了缺陷查重的有效性。
191.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者方法中还存在另外的相同要素。
192.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
193.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本发明每个实施例的方法。
194.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。