关联性预测模型训练方法和装置、摘要生成方法和装置与流程

1.本公开涉及信息处理领域，特别涉及一种关联性预测模型训练方法和装置、摘要生成方法和装置。


背景技术：

2.目前的摘要生成方法主要是从文本中抽取中重要的句子以作为该文本的摘要。


技术实现要素：

3.发明人通过研究发现，现有的摘要生成方法并不会考虑抽取出的句子的语义是否完整。例如，一个文本包括“某公司年收入超百亿，超过业界水平。但是利润只有几百万。”，如果摘要只抽取了第二句“但是利润只有几百万。”，则第一句“某公司年收入超百亿，超过业界水平。”的语义丢失会造成摘要的语义不完整，从而降低了摘要的质量。
4.据此，本公开提供一种摘要生成方案，能够有效保证摘要的语义完整性。
5.根据本公开实施例的第一方面，提供一种关联性预测模型训练方法，包括：提取第一语句样本的第一语义特征向量，以及第二语句样本的第二语义特征向量；生成训练样本，其中所述训练样本包括所述第一语义特征向量和所述第二语义特征向量，以及预设的所述第一语句样本和所述第二语句样本的语义关联性标注；将所述训练样本输入机器学习模型，以得到所述第一语句样本和所述第二语句样本的语义关联性预测结果；根据所述语义关联性标注和所述语义关联性预测结果确定损失函数；利用所述损失函数对所述机器学习模型进行训练，以得到所述关联性预测模型。
6.在一些实施例中，所述训练样本还包括分隔符，所述分隔符设置在所述第一语义特征向量和所述第二语义特征向量之间。
7.在一些实施例中，所述机器学习模型为基于转换器的双向编码表征bert模型。
8.根据本公开实施例的第二方面，提供一种关联性预测模型训练装置，包括：第一处理模块，被配置为提取第一语句样本的第一语义特征向量，以及第二语句样本的第二语义特征向量，生成训练样本，其中所述训练样本包括所述第一语义特征向量和所述第二语义特征向量，以及预设的所述第一语句样本和所述第二语句样本的语义关联性标注；第二处理模块，被配置为将所述训练样本输入机器学习模型，以得到所述第一语句样本和所述第二语句样本的语义关联性预测结果，根据所述语义关联性标注和所述语义关联性预测结果确定损失函数，利用所述损失函数对所述机器学习模型进行训练，以得到关联性预测模型。
9.在一些实施例中，所述训练样本还包括分隔符，所述分隔符设置在所述第一语义特征向量和所述第二语义特征向量之间。
10.在一些实施例中，所述机器学习模型为基于转换器的双向编码表征bert模型。
11.根据本公开实施例的第三方面，提供一种关联性预测模型训练装置，包括：存储器，被配置为存储指令；处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如上述任一实施例所述的方法。
12.根据本公开实施例的第四方面，提供一种摘要生成方法，包括：提取目标文本中的全部语句；按照各语句在所述目标文本中的先后顺序，将所有相邻两个语句的语义特征向量输入关联性预测模型，以获得所有相邻两个语句的语义关联性预测结果，其中所述关联性预测模型通过上述任一实施例所述的训练方法得到；将所有语义关联性预测结果大于预设门限的相邻两个语句作为候选摘要；计算所有候选摘要中的每个语句在所述目标文本中的权重值；根据每个候选摘要中包括的全部语句的权重值确定所述每个候选摘要的权重值；将具有最大权重值的候选摘要作为所述目标文本的摘要。
13.在一些实施例中，在计算所有候选摘要中的每个语句在所述目标文本中的权重值之前，还包括：判断是否存在具有相同语句的两个候选摘要；若存在具有相同语句的两个候选摘要，则将所述两个候选摘要合并。
14.在一些实施例中，所述每个候选摘要的权重值为所述每个候选摘要中包括的全部语句的权重值的平均值。
15.在一些实施例中，计算所有候选摘要中的每个语句在所述目标文本中的权重值包括：利用文本排序textrank算法计算所有候选摘要中的每个语句在所述目标文本中的权重值。
16.根据本公开实施例的第五方面，提供一种摘要生成装置，包括：提取模块，被配置为提取目标文本中的全部语句；预测模块，被配置为按照各语句在所述目标文本中的先后顺序，将所有相邻两个语句的语义特征向量输入关联性预测模型，以获得所有相邻两个语句的语义关联性预测结果，其中所述关联性预测模型通过上述任一实施例所述的训练方法得到；生成模块，被配置为将所有语义关联性预测结果大于预设门限的相邻两个语句作为候选摘要，计算所有候选摘要中的每个语句在所述目标文本中的权重值，根据每个候选摘要中包括的全部语句的权重值确定所述每个候选摘要的权重值，将具有最大权重值的候选摘要作为所述目标文本的摘要。
17.在一些实施例中，所述生成模块被配置为判断是否存在具有相同语句的两个候选摘要，若存在具有相同语句的两个候选摘要，则将所述两个候选摘要合并。
18.在一些实施例中，所述每个候选摘要的权重值为所述每个候选摘要中包括的全部语句的权重值的平均值。
19.在一些实施例中，所述生成模块被配置为利用文本排序textrank算法计算所有候选摘要中的每个语句在所述目标文本中的权重值。
20.根据本公开实施例的第六方面，提供一种摘要生成装置，包括：存储器，被配置为存储指令；处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如上述任一实施例所述的方法。
21.根据本公开实施例的第七方面，提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如上述任一实施例涉及的方法。
22.通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
23.为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现
有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
24.图1为本公开一个实施例的关联性预测模型训练方法的流程示意图；
25.图2为本公开一个实施例的关联性预测模型训练装置的结构示意图；
26.图3为本公开另一个实施例的关联性预测模型训练装置的结构示意图；
27.图4为本公开一个实施例的摘要生成方法的流程示意图；
28.图5为本公开一个实施例的摘要生成装置的结构示意图；
29.图6为本公开另一个实施例的摘要生成装置的结构示意图。
具体实施方式
30.下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
31.除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
32.同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
33.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
34.在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
35.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
36.图1为本公开一个实施例的关联性预测模型训练方法的流程示意图。在一些实施例中，下列的关联性预测模型训练方法由关联性预测模型训练装置执行。
37.在步骤101，提取第一语句样本的第一语义特征向量，以及第二语句样本的第二语义特征向量。
38.在步骤102，生成训练样本，其中训练样本包括第一语义特征向量和第二语义特征向量，以及预设的第一语句样本和第二语句样本的语义关联性标注。
39.在一些实施例中，训练样本包括语义关联性标注、第一语义特征向量、第二语义特征向量和分隔符，分隔符设置在第一语义特征向量和第二语义特征向量之间。
40.例如，训练样本为([cls]，x
11
，x
12
，
…
，x
1n
，[sep]，x
21
，x
22
，
…
，x
1m
)，其中[cls]为语义关联性标注，(x
11
，x
12
，
…
，x
1n
)为第一语义特征向量，[sep]为分隔符，(x
21
，x
22
，
…
，x
1m
)为第二语义特征向量。
[0041]
在步骤103，将训练样本输入机器学习模型，以得到第一语句样本和第二语句样本的语义关联性预测结果。
[0042]
在一些实施例中，机器学习模型为bert(bidirectional encoder representations from transformers，基于转换器的双向编码表征)模型。
[0043]
在步骤104，根据语义关联性标注和语义关联性预测结果确定损失函数。
[0044]
在步骤105，利用损失函数对机器学习模型进行训练，以得到关联性预测模型。
[0045]
在本公开上述实施例提供的关联性预测模型训练方法中，通过利用两个语句样本对机器学习模型进行训练，以便得到能够对两个语句进行语义关联性预测的预测模型。
[0046]
图2为本公开一个实施例的关联性预测模型训练装置的结构示意图。如图2所示，关联性预测模型训练装置包括第一处理模块21和第二处理模块22。
[0047]
第一处理模块21被配置为提取第一语句样本的第一语义特征向量，以及第二语句样本的第二语义特征向量，生成训练样本，其中训练样本包括第一语义特征向量和第二语义特征向量，以及预设的第一语句样本和第二语句样本的语义关联性标注。
[0048]
在一些实施例中，训练样本包括语义关联性标注、第一语义特征向量、第二语义特征向量和分隔符，分隔符设置在第一语义特征向量和第二语义特征向量之间。
[0049]
第二处理模块22被配置为将训练样本输入机器学习模型，以得到第一语句样本和第二语句样本的语义关联性预测结果，根据语义关联性标注和语义关联性预测结果确定损失函数，利用损失函数对机器学习模型进行训练，以得到关联性预测模型。
[0050]
在一些实施例中，机器学习模型为bert模型。
[0051]
图3为本公开另一个实施例的关联性预测模型训练装置的结构示意图。如图3所示，关联性预测模型训练装置包括存储器31和处理器32。
[0052]
存储器31用于存储指令，处理器32耦合到存储器31，处理器32被配置为基于存储器存储的指令执行实现如图1中任一实施例涉及的方法。
[0053]
如图3所示，该关联性预测模型训练装置还包括通信接口33，用于与其它设备进行信息交互。同时，该关联性预测模型训练装置还包括总线34，处理器32、通信接口33、以及存储器31通过总线34完成相互间的通信。
[0054]
存储器31可以包含高速ram存储器，也可还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器31也可以是存储器阵列。存储器31还可能被分块，并且块可按一定的规则组合成虚拟卷。
[0055]
此外，处理器32可以是一个中央处理器cpu，或者可以是专用集成电路asic，或是被配置成实施本公开实施例的一个或多个集成电路。
[0056]
本公开同时还涉及一种计算机可读存储介质，其中计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如图1中任一实施例涉及的方法。
[0057]
图4为本公开一个实施例的摘要生成方法的流程示意图。在一些实施例中，下列的摘要生成方法由摘要生成装置执行。
[0058]
在步骤401，提取目标文本中的全部语句。
[0059]
例如，根据目标文件中的句号进行语句提取。
[0060]
在步骤402，按照各语句在目标文本中的先后顺序，将所有相邻两个语句的语义特征向量输入关联性预测模型，以获得所有相邻两个语句的语义关联性预测结果。
[0061]
这里需要说明的是，关联性预测模型通过图1中任一实施例的训练方法得到。
[0062]
在步骤403，将所有语义关联性预测结果大于预设门限的相邻两个语句作为候选
摘要。
[0063]
在步骤404，计算所有候选摘要中的每个语句在目标文本中的权重值。
[0064]
在一些实施例中，利用文本排序textrank算法计算所有候选摘要中的每个语句在目标文本中的权重值。
[0065]
由于textrank算法本身并不是本公开的发明点所在，因此这里不展开描述。
[0066]
在步骤405，根据每个候选摘要中包括的全部语句的权重值确定每个候选摘要的权重值。
[0067]
在一些实施例中，每个候选摘要的权重值为每个候选摘要中包括的全部语句的权重值的平均值。
[0068]
在步骤406，将具有最大权重值的候选摘要作为目标文本的摘要。
[0069]
例如，一个目标文本中包括10个句子，若按句子出现的顺序排列，则为a1-a10。利用关联性预测模型依次对a1和a2、a2和a3、a3和a4、a4和a5、a5和a6、a6和a7、a7和a8、a8和a9、a9和a10的语义关联性进行预测。根据预测结果，发现a1和a2、a4和a5的语义关联性预测结果大于预设门限，则将a1和a2作为第一候选摘要、a4和a5作为第二候选摘要。接下来分别计算a1、a2、a4和a5在目标文本中的权重值，并将a1和a2的权重值平均值作为第一候选摘要的权重值，将a4和a5的权重值平均值作为第二候选摘要的权重值。若第一候选摘要的权重值大于第二候选摘要的权重值，则将第一候选摘要(包括a1和a2)作为目标文本的摘要。反之，则将第二候选摘要(包括a4和a5)作为目标文本的摘要。
[0070]
在一些实施例中，在计算所有候选摘要中的每个语句在目标文本中的权重值之前，还进一步判断是否存在具有相同语句的两个候选摘要，若存在具有相同语句的两个候选摘要，则将两个候选摘要合并。
[0071]
例如，一个目标文本中包括10个句子，若按句子出现的顺序排列，则为a1-a10。利用关联性预测模型依次对a1和a2、a2和a3、a3和a4、a4和a5、a5和a6、a6和a7、a7和a8、a8和a9、a9和a10的语义关联性进行预测。根据预测结果，发现a1和a2、a4和a5、a5和a6的语义关联性预测结果大于预设门限，则将a1和a2作为第一候选摘要、a4和a5作为第二候选摘要、a5和a6作为第三候选摘要。由于第二候选摘要和第三候选摘要中均包括a5，则表明a4-a6在语义上是关联的，在这种情况下将a4、a5和a6作为第四候选摘要。接下来分别计算a1、a2、a4、a5和a6在目标文本中的权重值，并将a1和a2的权重值平均值作为第一候选摘要的权重值，将a4、a5和a6的权重值平均值作为第四候选摘要的权重值。若第一候选摘要的权重值大于第四候选摘要的权重值，则将第一候选摘要(包括a1和a2)作为目标文本的摘要。反之，则将第四候选摘要(包括a4、a5和a6)作为目标文本的摘要。
[0072]
图5为本公开一个实施例的摘要生成装置的结构示意图。如图5所示，摘要生成装置包括提取模块51、预测模块52和生成模块53。
[0073]
提取模块51被配置为提取目标文本中的全部语句。
[0074]
预测模块52被配置为按照各语句在目标文本中的先后顺序，将所有相邻两个语句的语义特征向量输入关联性预测模型，以获得所有相邻两个语句的语义关联性预测结果，其中关联性预测模型通过图1中任一实施例的训练方法得到。
[0075]
生成模块53被配置为将所有语义关联性预测结果大于预设门限的相邻两个语句作为候选摘要，计算所有候选摘要中的每个语句在目标文本中的权重值，根据每个候选摘
要中包括的全部语句的权重值确定每个候选摘要的权重值，将具有最大权重值的候选摘要作为目标文本的摘要。
[0076]
在一些实施例中，生成模块53利用文本排序textrank算法计算所有候选摘要中的每个语句在目标文本中的权重值。
[0077]
在一些实施例中，每个候选摘要的权重值为每个候选摘要中包括的全部语句的权重值的平均值。
[0078]
在一些实施例中，生成模块53在计算所有候选摘要中的每个语句在目标文本中的权重值之前，还进一步判断是否存在具有相同语句的两个候选摘要，若存在具有相同语句的两个候选摘要，则将两个候选摘要合并。
[0079]
图6为本公开另一个实施例的摘要生成装置的结构示意图。如图6所示，摘要生成装置包括存储器61、处理器62、通信接口63和总线64。图6与图3的不同之处在于，在图6所示实施例中，处理器62被配置为基于存储器存储的指令执行实现如图4中任一实施例涉及的方法。
[0080]
本公开同时还涉及一种计算机可读存储介质，其中计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如图4中任一实施例涉及的方法。
[0081]
在一些实施例中，在上面所描述的功能单元模块可以实现为用于执行本公开所描述功能的通用处理器、可编程逻辑控制器(programmable logic controller，简称：plc)、数字信号处理器(digital signal processor，简称：dsp)、专用集成电路(application specific integrated circuit，简称：asic)、现场可编程门阵列(field-programmable gate array，简称：fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。
[0082]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0083]
本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。