文本摘要生成方法、装置、电子设备及存储介质与流程

1.本公开涉及计算机技术领域，尤其涉及自然语言处理技术领域。


背景技术：

2.文本摘要生成是自然语言处理中一个重要的研究领域，能够实现将较长的文本转换为包含关键信息的较短文本，在智能问答机器人、新闻摘要、落地页摘要等领域起着重要的作用。


技术实现要素：

3.本公开提供了一种文本摘要生成方法、装置、设备以及存储介质。
4.根据本公开的一方面，提供了一种文本摘要生成方法，包括：将目标文本输入文本摘要生成模型；
5.针对所述文本摘要生成模型在每一轮单词预测输出的候选单词集合，按照每一候选单词的预测概率的降序顺序，从所述候选单词集合中选取累计概率超过预设阈值的目标单词集合，并从所述目标单词集合中选取当前轮次的预测单词；
6.响应于选取的预测单词为结束标识符，依次将每一轮次的预测单词拼接，得到所述目标文本的摘要文本。
7.根据本公开的另一方面，提供了一种文本摘要生成模型训练方法包括：
8.获取初始模型；
9.获取多组样本文本集；其中，每一样本文本集包含一个样本目标文本和与该样本目标文本对应的多个不同文本风格的样本摘要文本；
10.依次将每个样本目标文本和与该样本目标文本对应的一个样本摘要文本作为所述初始模型的训练样本，迭代训练所述初始模型；
11.判断是否满足模型训练的终止条件，若满足，将当前模型确定为文本摘要生成模型。
12.根据本公开的另一方面，提供了一种文本摘要生成装置，包括：
13.输入模块，用于将目标文本输入文本摘要生成模型；
14.预测模块，用于针对所述文本摘要生成模型在每一轮单词预测输出的候选单词集合，按照每一候选单词的预测概率的降序顺序，从所述候选单词集合中选取累计概率超过预设阈值的目标单词集合，并从所述目标单词集合中选取当前轮次的预测单词；
15.拼接模块，用于响应于选取的预测单词为结束标识符，依次将每一轮次的预测单词拼接，得到所述目标文本的摘要文本。
16.根据本公开的另一方面，提供了一种文本摘要生成模型训练装置，包括：
17.第一获取模块，用于获取初始模型；
18.第二获取模块，用于获取多组样本文本集；其中，每一样本文本集包含一个样本目标文本和与该样本目标文本对应的多个不同文本风格的样本摘要文本；
search(贪婪搜索)、beam search(束搜索)和topk sampling(最大概率采样)。
38.其中，greedy search解码算法，每次选取条件概率最高的单词作为当前输出。beam search解码算法，解码时会同时保留概率最高的几条路径，选取概率最高的一条路径作为当前输出。topk sampling解码算法，取条件概率最高的前k个单词，重整为新的概率分布，再从中采样作为当前输出。
39.以上解码技术中，基于前两种解码算法生成的文本摘要多样性不足。topk sampling解码算法，方法较为固定，难以找出针对任意场景均合适的k值，k值过大容易引入小概率的单词，造成文本不通顺，k值过小则会丢失可用单词。而解码端概率分布会随着输入文本的变化而变化，因此很难确定通用的k值。
40.对于文本摘要生成领域，其中一个典型的应用场景为落地页的摘要生成。其中，落地页可以是广告落地页、企业推广落地页等多种形式的。
41.通常对落地页中的文本进行摘要提取，得到摘要文本，作为落地页的点击链接的标题，以吸引用户点击。
42.然而，相关技术中，模型训练完成后，输出的落地页的摘要文本生成候选数较少，且话术组织风格单一，不利于优选出多样性的落地页。
43.为了提高摘要文本的多样性，本公开提高了一种文本摘要生成方法、装置、电子设备及存储介质。
44.本公开的一个实施例中，提高了一种文本摘要生成方法，方法包括：
45.将目标文本输入文本摘要生成模型；
46.针对所述文本摘要生成模型在每一轮单词预测输出的候选单词集合，按照每一候选单词的预测概率的降序顺序，从所述候选单词集合中选取累计概率超过预设阈值的目标单词集合，并从所述目标单词集合中选取当前轮次的预测单词；
47.当选取的预测单词为结束标识符，依次将每一轮次的预测单词拼接，得到所述目标文本的摘要文本。
48.可见，预先设置累计概率的阈值，在每一轮单词预测过程中，按照预测概率的降序顺序，从候选单词集合中选取累计概率超过预设阈值的目标单词集合，从而目标单词集合包含的单词数目会随着候选单词的概率分布进行动态调整，每一轮单词预测过程中，从目标单词集合包含的多个单词中选取一个预测单词，能够保证摘要文本的多样性。
49.并且，目标单词集合是由较高概率单词形成的一个核心小子集，从中选取预测单词，不会选取到小概率的单词，进而不会造成摘要文本不通顺。此外，由于是按照预测概率的降序顺序选取单词的，因此不会丢失概率较高的可用单词。
50.下面对本公开实施例提供的文本摘要生成方法、装置、电子设备及存储介质分别进行详细介绍。
51.参见图1，图1为本公开实施例提供的文本摘要生成方法的一种流程示意图，如图1所示，方法可以包括以下步骤：
52.s101：将目标文本输入文本摘要生成模型。
53.本公开实施例中，目标文本是需要进行摘要生成的文本，例如落地页中的文本。
54.文本摘要生成模型可以是自回归语言模型，能够根据上文内容预测下一个可能跟随的单词。文本摘要生成模型包含预测模块和解码模块，预测模块，用于在每一轮单词预测
中，输出候选单词集合；解码模块，用于基于解码算法，从候选单词集合中选取一个单词，作为当前轮次的预测单词。
55.s102：针对文本摘要生成模型在每一轮单词预测输出的候选单词集合，按照每一候选单词的预测概率的降序顺序，从候选单词集合中选取累计概率超过预设阈值的目标单词集合，并从目标单词集合中选取当前轮次的预测单词。
56.其中，单词可以是词，也可以是字。
57.本公开实施例中，针对文本摘要生成模型在每一轮单词预测输出的候选单词集合，按照每一候选单词的预测概率的降序顺序，从候选单词集合中选取累计概率超过预设阈值的目标单词集合。
58.作为一个示例，预设的阈值为0.9，在某一轮单词预测过程中，候选单词集合包括{a,b,c,d,e
…
}，预测概率分别为{0.5,0.3,0.12,0.03,0.012
…
}，由于0.5 0.3<0.9，0.5 0.3 0.12>0.9，因此按照预测概率的降序顺序，选取累计概率超过0.9的目标单词集合为{a,b,c}，则在本轮中目标单词集合包含的单词数目为3。
59.作为另一个示例，预设的阈值为0.9，在某一轮单词预测过程中，候选单词集合包括{a,b,c,d,e
…
}，预测概率分别为{0.4,0.3,0.12,0.09,0.05
…
}，由于0.4 0.3 0.12<0.9，0.4 0.3 0.12 0.09>0.9，因此按照预测概率的降序顺序，选取累计概率超过0.9的目标单词集合为{a,b,c,d}，则在本轮中目标单词集合包含的单词数目为4。
60.可见，目标单词集合中单词数目会随着候选单词的概率分布动态调整，每一轮单词预测过程中，从目标单词集合包含的多个单词中选取一个预测单词，能够保证摘要文本的多样性。
61.从目标单词集合中选取当前轮次的预测单词时，可以随机选取，也可以基于预测概率进行采样。
62.s103：响应于选取的预测单词为结束标识符，依次将每一轮次的预测单词拼接，得到目标文本的摘要文本。
63.本公开实施例中，文本摘要生成模型在每一轮单词预测输出的候选单词集合，是基于目标文本，和先前轮次选取的预测单词确定的。
64.也就是说，在每一轮单词预测过程中，将已预测的单词作为上文，结合目标文本，预测下一个单词。
65.当某一轮单词预测过程中，选取的预测单词为结束标识符，表示摘要文本已结束，则每一轮次的预测单词的拼接结果，即为目标文本的摘要文本。
66.可见，预先设置累计概率的阈值，在每一轮单词预测过程中，按照预测概率的降序顺序，从候选单词集合中选取累计概率超过预设阈值的目标单词集合，从而目标单词集合包含的单词数目会随着候选单词的概率分布进行动态调整，每一轮单词预测过程中，从目标单词集合包含的多个单词中选取一个预测单词，能够保证摘要文本的多样性。
67.并且，目标单词集合是由较高概率单词形成的一个核心小子集，从中选取预测单词，不会选取到小概率的单词，进而不会造成摘要文本不通顺。此外，由于是按照预测概率的降序顺序选取单词的，因此不会丢失概率较高的可用单词。
68.本公开提高的文本摘要生成方法，克服了传统解码策略多样性差的问题，不需要重新训练模型，基于现有模型即可使用，并且适合所有摘要文本生成类任务。
69.若将本公开实施例提供的文本摘要生成方法应用于落地页的摘要生成，目标文本是落地页中的文本，根据目标文本生成的摘要文本多样性较好，可以作为落地页的点击链接的标题，更好的吸引用户点击。
70.本公开的一个实施例中，为了进一步提高生成文本摘要的多样性，文本摘要生成模型可以基于多组样本文本集训练，每一样本文本集包含一个样本目标文本和多个不同文本风格的样本摘要文本。
71.具体的，参见图2，图2为本公开实施例提供的文本摘要生成模型训练方法的一种流程示意图，可以采用如下步骤训练文本摘要生成模型：
72.s201：获取初始模型。
73.本公开实施例中，可以选取rnn(recurrent neural networks，循环神经网络)模型、encoder
‑
decoder(编码
‑
解码)模型等作为初始模型。
74.s202：获取多组样本样本文本集；其中，每一样本文本集包含一个样本目标文本和与该样本目标文本对应的多个不同文本风格的样本摘要文本。
75.本公开实施例中，可以采用如下方式获取与所述样本目标文本对应的多个不同文本风格的样本摘要文本：获取样本目标文本和该样本目标文本对应的初始摘要文本。对初始摘要文本进行文本风格改写，得到多个改写摘要文本。将初始摘要文本和改写摘要文本确定为与样本目标文本对应的多个不同文本风格的样本摘要文本。
76.其中，样本目标文本可以是落地页中的文本，初始摘要文本可以是落地页的标题。
77.文本风格也可以理解为语言组织风格，或话术风格。例如，简洁风格、丰富风格、口语风格等。
78.为了得到不同文本风格的摘要文本，作为模型的训练样本，可以基于文本改写的相关算法或模型，对初始摘要文本进行文本风格改写；也可以采用人工改写的方式，在改写过程中注意文本语义的去重。
79.作为一个示例，样本目标文本是落地页中针对商品“xx”的介绍，初始摘要文本是落地页的链接标题，具体为“专业生产各类xx”。为了丰富落地页的链接标题的话术组织风格，可以对上述初始摘要文本进行文本风格改写，得到不同话术组织风格的摘要文本，例如“专业的xx解决方案”、“专业生产xx，厂家直销，欢迎来电咨询”或者“高品质xx，这里的价格更实惠”。可见，改写后的摘要文本包含多种文本风格。
80.本公开实施例中，将初始摘要文本和改写摘要文本均作为样本目标文本的样本摘要文本，也就是说，一个样本目标文本对应多个不同文本风格的样本摘要文本。
81.s203：依次将每个样本目标文本和与该样本目标文本对应的一个样本摘要文本作为初始模型的训练样本，迭代训练初始模型。
82.本公开实施例中，在每轮迭代训练中，将一个样本目标文本和该样本目标文本对应的一个样本摘要文本作为输入，训练初始模型。
83.具体的，在每轮迭代训练中，将样本目标文本输入初始模型，基于输出的摘要文本与样本摘要文本的差异，调整模型参数。
84.其中，基于单个样本目标文本和单个样本摘要文本训练模型的过程也可以参见相关技术。
85.s204：判断是否满足模型训练的终止条件，若满足，将当前模型确定为文本摘要生
成模型。
86.模型训练的终止条件可以是迭代次数达到预设次数，或者模型的损失函数值小于预设阈值。
87.由于一个样本目标文本对应多个不同文本风格的样本摘要文本，因此经过多次迭代训练，能够使训练完成的文本摘要生成模型学习到不同的文本风格，进一步提高输出的文本摘要的多样性。
88.也就是说，在训练完成后，将目标文本输入文本摘要生成模型，在每一轮单词预测过程中，文本摘要生成模型中的预测模块能够输出概率较为平坦的多个候选单词，
89.此外，值得说明的是，本公开中，一方面优化解码算法，另一方面优化模型的训练数据，这两方面是有机结合的，二者相辅相成。
90.具体的，对初始摘要文本进行文本风格改写，得到多个不同文本风格的样本摘要文本，用于训练模型。训练后的模型能够学习到不同的文本风格，从而模型中的预测模块，在每一轮单词预测过程中，能够输出平坦分布的多个候选单词，这多个候选单词可以属于不同的文本风格。
91.从而，在每一轮解码过程中，确定累计概率超过预设阈值的目标单词集合，目标单词集合是由概率较高、且文本风格不同的单词构成的核心小子集，再从中选取预测单词。可见，如果将目标文本多次输入摘要生成模型，能够生成多个不同文本风格的摘要文本。
92.作为一个示例，如果没有优化模型的训练数据，即采用单种文本风格的样本数据训练模型，由于模型仅学习到单种文本风格，会导致输出较为单一，即模型中预测模块输出的候选单词很可能是峰值分布的，例如，概率为{0.7,0.1,0.08
…
}等，这种情况下，只有选取概率0.7对应的单词，生成的摘要文本才是连贯的。
93.而本公开中，用多种文本风格的样本摘要文本训练文本摘要生成模型，能够使文本摘要生成模型学习到不同的文本风格，从而，模型中预测模块输出的候选单词较为丰富，即输出的候选单词是平坦分布的，例如，概率为{0.35,0.3,0.28
…
}等，进而结合本公开提供的解码算法从中选取预测单词。例如，预设概率阈值为0.9，由于0.35 0.3<0.9，0.35 0.3 0.28>0.9，因此前三个候选单词构成目标单词集合，从中选取一个单词作为预测单词，能够保证生成文本的多样性，且无论选取哪个预测单词，生成的摘要文本都是连贯的。
94.可见，本公开中，上述两个方面的优化相结合，起到了一加一大于二的效果，能够显著提高生成的摘要文本的多样性。
95.根据实验测算，在相同的目标文本下，采用beam search解码算法，生成的摘要文本候选数量为1，通顺度为95％；采用topk sampling解码算法，生成的摘要文本候选数量为6，通顺度为85％；采用本公开提供的方法，生成的摘要文本候选数量为8，通顺度为93％。可见，本公开提供的文本摘要生成方法，在保证通顺度较高的前提下，提高了摘要文本的多样性。
96.将本公开提供的文本摘要生成方法应用于广告落地页领域，能够生成不同话术风格的广告落地页的链接标题，提高对用户的吸引力，提高广告落地页的转化率。
97.参见图3，图3是用来实现本公开实施例的文本摘要生成方法的装置的框图，如图3所示，装置可以包括：
98.输入模块301，用于将目标文本输入文本摘要生成模型；
99.预测模块302，用于针对所述文本摘要生成模型在每一轮单词预测输出的候选单词集合，按照每一候选单词的预测概率的降序顺序，从所述候选单词集合中选取累计概率超过预设阈值的目标单词集合，并从所述目标单词集合中选取当前轮次的预测单词；
100.拼接模块303，用于响应于选取的预测单词为结束标识符，依次将每一轮次的预测单词拼接，得到所述目标文本的摘要文本。
101.本公开的一个实施例中，文本摘要生成模型在每一轮单词预测输出的候选单词集合，是基于目标文本，和先前轮次选取的预测单词确定的。
102.本公开的一个实施例中，在图3所示装置基础上，还包括：训练模块，用于采用如下方式预先训练文本摘要生成模型：
103.获取初始模型；
104.获取多组样本文本集；其中，每一样本文本集包含一个样本目标文本和与该样本目标文本对应的多个不同文本风格的样本摘要文本；
105.依次将每个样本目标文本和与该样本目标文本对应的一个样本摘要文本作为所述初始模型的训练样本，迭代训练所述初始模型；
106.判断是否满足模型训练的终止条件，若满足，将当前模型确定为文本摘要生成模型。
107.参见图4，图4是用来实现本公开实施例的文本摘要生成模型训练方法的装置的框图，如图4所示，装置可以包括：
108.第一获取模块401，用于获取初始模型；
109.第二获取模块402，用于获取多组样本文本集；其中，每一样本文本集包含一个样本目标文本和与该样本目标文本对应的多个不同文本风格的样本摘要文本；
110.迭代训练模块403，用于依次将每个样本目标文本和与该样本目标文本对应的一个样本摘要文本作为所述初始模型的训练样本，迭代训练所述初始模型；
111.判断模块404，用于判断是否满足模型训练的终止条件，若满足，将当前模型确定为文本摘要生成模型。
112.本公开的一个实施例中，还包括：改写模块，用于：
113.采用如下方式获取与所述样本目标文本对应的多个不同文本风格的样本摘要文本：
114.获取所述样本目标文本和该样本目标文本对应的初始摘要文本；
115.对所述初始摘要文本进行文本风格改写，得到多个改写摘要文本；
116.将所述初始摘要文本和所述改写摘要文本确定为与所述样本目标文本对应的多个不同文本风格的样本摘要文本。
117.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
118.本公开提供了一种电子设备，包括：
119.至少一个处理器；以及
120.与所述至少一个处理器通信连接的存储器；其中，
121.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行文本摘要生成方法和/或文本摘要生成
模型训练方法。
122.本公开提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行文本摘要生成方法和/或文本摘要生成模型训练方法。
123.本公开提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现文本摘要生成方法和/或文本摘要生成模型训练方法。
124.图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
125.如图5所示，设备500包括计算单元501，其可以根据存储在只读存储器(rom)502中的计算机程序或者从存储单元508加载到随机访问存储器(ram)503中的计算机程序，来执行各种适当的动作和处理。在ram 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、rom 502以及ram 503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。
126.设备500中的多个部件连接至i/o接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
127.计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如文本摘要生成方法。例如，在一些实施例中，文本摘要生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由rom 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到ram 503并由计算单元501执行时，可以执行上文描述的文本摘要生成方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行文本摘要生成方法。
128.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
129.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来
编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
130.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd
‑
rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
131.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
132.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
133.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端
‑
服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
134.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
135.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。