文档生成方法及装置、存储介质与流程

1.本技术涉及计算机技术领域，具体涉及一种文档生成方法及装置、存储介质。


背景技术：

2.自然语言处理技术是计算机科学计算领域与人工智能计算领域中的一个重要方向，随着自然语言处理技术的不断成熟，其开始广泛应用于文档自动生成。现有的文档自动生成技术包括文档自动摘要技术或文档自动补全技术，例如，文档自动摘要可以从冗余的长文档中迅速归纳关键信息，文档自动补全可以基于用户给定的文本作为开头，补全文本内容，甚至生成一部完整小说和影视剧本。然而，不管是自动摘要还是自动补全，都无法提供高质量的详细文档。


技术实现要素：

3.有鉴于此，本技术提供一种文档生成方法及装置、存储介质，能够生成质量更高的详细文档。
4.第一方面，提供一种文档生成方法，包括：根据简略文档和与之对应的音频文件，通过编码器，得到融合特征向量，其中，所述融合特征向量融合有所述简略文档对应的第一特征向量和所述音频文件对应的第二特征向量，所述第一特征向量包括所述简略文档的局部关键信息，所述第二特征向量包括所述音频文件的全局细节信息；根据所述融合特征向量，通过解码器，得到第一详细文档。
5.第二方面，提供一种文档生成装置，包括：获取模块，配置为根据简略文档和与之对应的音频文件，通过编码器，得到融合特征向量，其中，所述融合特征向量融合有所述简略文档对应的第一特征向量和所述音频文件对应的第二特征向量，所述第一特征向量包括所述简略文档的局部关键信息，所述第二特征向量包括所述音频文件的全局细节信息；生成模块，配置为根据所述融合特征向量，通过解码器，得到第一详细文档。
6.第三方面，提供一种文档生成装置，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器被配置为执行所述可执行代码，以实现如第一方面所述的方法。
7.第四方面，提供一种存储介质，其上存储有可执行代码，当所述执行所述可执行代码被执行时，能够实现如第一方面所述的方法。
8.第五方面，提供一种计算机程序产品，包括可执行代码，当所述可执行代码被执行时，能够实现如第一方面所述的方法。
9.本技术实施例提出的文档生成方法，通过将简略文档和与之对应的音频文件输入编码器中，能够得到融合有简略文档对应的第一特征向量和音频文件对应的第二特征向量的融合特征向量，再根据融合特征向量，通过解码器，能够得到第一详细文档。由于第一特征向量包括简略文档的局部关键信息，第二特征向量包括音频文件的全局细节信息，因此，本技术实施例提出的文档生成方法能够同时兼顾文档的局部关键信息和全局细节信息，从而得到了质量更高的详细文档。
附图说明
10.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
11.图1所示为本技术实施例提供的系统框架示例图。
12.图2所示为本技术一实施例提供的文档生成方法的流程示意图。
13.图3所示为本技术另一实施例提供的文档生成方法的流程示意图。
14.图4所示为本技术另一实施例提供的文档生成方法的流程示意图。
15.图5所示为本技术另一实施例提供的文档生成方法的流程示意图。
16.图6所示为本技术一实施例提供的编码器和解码器的训练方法的流程示意图。
17.图7所示为本技术另一实施例提供的编码器和解码器的训练方法的流程示意图。
18.图8所示为本技术一实施例提供的文档生成系统的结构示意图。
19.图9所示为本技术一个实施例提供的文档生成装置的结构示意图。
20.图10所示为本技术另一个实施例提供的文档生成装置的结构示意图。
具体实施方式
21.本技术实施例技术方案适用于文档自动生成的应用场景，采用本技术实施例技术方案，能够同时兼顾文档的局部关键信息和全局细节信息，从而得到质量更高的详细文档。
22.现有的文档自动生成的方案从是否依赖外部辅助信息作为输入可细分成两种类型。一是仅利用文档自身信息的生成方案，例如，文档自动摘要和文档自动补全，通过建模输入文档中的语义信息，据此判断用户意图，可以对原始文档进行总结或进行补全文档的后续内容，以得到详细文档；二是引入外部知识(例如，知识库)作为输入，结合历史信息进行文档生成，在生成策略上，主要沿用上述提及的文档自动摘要技术或文档自动补全技术。值得注意的是，这两种文档自动生成的方案的主要区别在于输入信息上的不同，采用的文档生成技术是一致的。通过引入外部知识，使得模型能够挖掘更多有用信息用于文档生成，从而输出更符合用户需求的文档。
23.现有的文档自动生成技术大都采用编码器-解码器结构，先利用编码器建模输入文档中的语义信息，然后解码器根据编码器输出的隐藏状态进行逐词生成。但是利用编码器建模输入文档中的语义信息只能够兼顾文档的局部关键信息和全局细节信息中的一个，却无法同时兼顾文档的局部关键信息和全局细节信息。
24.例如，以文档自动摘要为例，其输入的是完整的长文档，推理模型可以从中“复制关键词”并加以整理，即可得到归纳的详细文本，这是一个“从长到短”的生成过程；再以文档自动补全为例，其输入前半段内容，要求推理模型对后半段内容进行补充，这是一个“由前向后”的生成过程。然而，不管是哪种生成过程，都无法同时兼顾文档的局部关键信息和全局细节信息，以得到质量更高的详细文档。
25.为了解决上述问题，本技术实施例通过将简略文档和与之对应的音频文件输入编码器中，能够得到融合有简略文档对应的第一特征向量和音频文件对应的第二特征向量的融合特征向量，再根据融合特征向量，通过解码器，能够得到第一详细文档。由于第一特征
向量包括简略文档的局部关键信息，第二特征向量包括音频文件的全局细节信息，因此，本技术实施例提出的文档生成方法能够同时兼顾文档的局部关键信息和全局细节信息，从而得到了质量更高的详细文档。
26.也就是说，不同于上述提及的文档自动摘要或文档自动补全，本技术实施例所提供的文档生成方法采用的是“从短到长”的生成过程和“由全局到局部”的生成过程。
27.下面结合图1，对本技术实施例提供的实施环境进行更为详细地举例说明。
28.如图1所示，该实施环境包括：服务器140和多个终端设备110、120、130。其中，终端设备110、120、130具备输入装置，可以获取简略文档151，终端设备110、120、130还具备录音装置，可以获取与简略文档对应的音频文件152。
29.终端设备110、120、130可以是手机、游戏主机、平板电脑、照相机、摄像机、车载电脑等移动终端设备，或者，终端设备110、120、130也可以是个人计算机(personal computer，pc)，比如膝上型便携计算机和台式计算机等等。本领域技术人员可以知晓，上述终端设备110、120、130的类型可以相同或者不同，其数量可以更多或更少。比如上述终端可以各为一个，或者上述终端为几十个或几百个，或者更多数量。本公开实施例对终端的数量和设备类型不加以限定。
30.终端设备110、120、130与服务器140之间通过通信网络相连。可选的，通信网络是有线网络或无线网络。可选的，服务器140是一台服务器，或者由若干台服务器组成，或者是一个虚拟化平台，或者是一个云计算服务中心。
31.终端设备110、120、130中可以部署有编码器和解码器，用于对简略文档151和音频文件152进行图像处理。在一实施例中，终端设备110、120、130通过编码器对简略文档151和音频文件152进行编码，以得到融合有简略文档151对应的第一特征向量和音频文件152对应的第二特征向量的融合特征向量，然后终端设备110、120、130再通过解码器对融合特征向量进行解码，得到第一详细文档。
32.在一些可选的实施例中，还可以通过服务器140中的编码器和解码器对简略文档151和音频文件152进行图像处理。在一实施例中，终端设备110、120、130可以将其获取到的简略文档151和音频文件152或者图像处理结果等发送给服务器140，服务器140通过其上的编码器对简略文档151和音频文件152进行编码，以得到融合有简略文档151对应的第一特征向量和音频文件152对应的第二特征向量的融合特征向量，然后服务器140再通过解码器对融合特征向量进行解码，得到第一详细文档。
33.在另一些可选的实施例中，还可以利用服务器140中的编码器和解码器对简略文档151和音频文件152进行图像处理。在一实施例中，终端设备110、120、130在获取到简略文档151和音频文件152的同时，从服务器140处获取编码器和解码器，以利用编码器对简略文档151和音频文件152进行编码，得到融合有简略文档151对应的第一特征向量和音频文件152对应的第二特征向量的融合特征向量，然后终端设备110、120、130再利用解码器对融合特征向量进行解码，得到第一详细文档。
34.通过上述几个实施场景，能够同时兼顾文档的局部关键信息和全局细节信息，从而得到了质量更高的详细文档。
35.上文结合图1，对本技术实施例提供的实施环境进行了详细地举例说明。下面结合图2至图7详细介绍本技术实施例提及的文档生成方法。
36.图2所示为本技术一实施例提供的文档生成方法的流程示意图。例如，该方法可以由图1中提及的服务器140或其他类型的具有数据处理功能的电子设备执行。如图2所示，该方法包括如下步骤。
37.在步骤s210，根据简略文档和与之对应的音频文件，通过编码器，得到融合特征向量。
38.在一实施例中，融合特征向量融合有简略文档对应的第一特征向量和音频文件对应的第二特征向量，第一特征向量包括简略文档的局部关键信息，第二特征向量包括音频文件的全局细节信息。
39.本技术的应用场景可以是会议场景，该简略文档为会议中的纪要文档或草稿，局部关键信息是指纪要文档或草稿中的局部高度总结的关键词汇；该音频文件为该会议的录音文件，全局细节信息是指录音文件中的全局细节语义信息。但是需要说明的是，本技术实施例并不具体限定本技术的应用场景，还可以为其他应用场景，只要在该应用场景下能够得到简略文档和与之对应的音频文件即可，例如，两个人之间的对话，对话的大致内容构成简略文档，对话的整个录音内容构成音频文件。
40.具体而言，假设输入的简略文档有n个单词，将简略文档输入编码器中，经过编码器的语言编码后，简略文档可以得到n个特征向量，即，n个特征向量构成了本技术的第一特征向量，其表示为其中该第一特征向量可以理解为是文本特征。同样地，输入的音频文件经过转写操作后，可以表示为m个单词，将转写操作后的音频文件输入编码器中，经过编码器的语言编码后，转写操作后的音频文件可以得到m个特征向量，即，m个特征向量构成了本技术的第二特征向量，其表示为其中该第二特征向量可以理解为是音频特征。
41.为了获得更丰富的融合特征向量，可以采用编码器的自注意力机制，来融合文本特征和音频特征，可表示为：
42.f＝[ts,ta]
[0043][0044]
其中，f表示级联特征向量，表示融合特征向量。
[0045]
具体来说，先将文本特征和音频特征级联起来作为一个整体，以获得级联特征向量f，其中，然后通过不同的学习参数w
*
，将级联特征向量f映射到不同的子空间进行交互，从而获得具有更丰富的全局信息的融合特征向量
[0046]
在编码器的自注意力机制中，查询项(query)与键值对(key-value)均为级联特征向量f＝[ts,ta]，即，音频特征和文本特征处于同等地位，编码器和解码器无差别地对音频特征和文本特征进行特征融合。然而，在实际场景中，音频文件包括丰富的语义信息，其为支撑编码器和解码器进行文档拓写不可或缺的信息来源，但是直接转写的音频文件往往也包括大量冗余信息，例如，嘈杂的背景音、不同人的发言交错在一起等。而输入的简略文档一般是用户记录的会议概要，其特点是内容要点的高度总结或涉及关键词汇，其对文档拓
写任务具有十分重要的指导信息，但是简略文档会在细节信息方面有所缺失，简略文档的记录内容也会受人的主观因素干扰。
[0047]
因此，输入的简略文档和音频文件无论在内容层面还是语义理解层面，都具有明显的互补特征，简略文档可以辅助过滤音频文件中的冗余信息，而音频文件反过来可以补充简略文档缺失的细节，而且简略文档和音频文件具有天然的耦合属性。
[0048]
基于此，通过编码器的自注意力机制，能够实现第一特征向量和第二特征向量之间的跨模态特征交互的融合。也就是说，将高度凝练的第一特征向量(即，文本信息)和丰富的第二特征向量(即，音频信息)分别作为查询项(query)和键值对(key-value)，具体的特征融合过程可以表示为：
[0049]
以高度凝练的文本信息作为查询项，从包括大量冗余信息的键值对中提取出关键信息，既可以作为对文本信息的补充，也可以作为对音频信息的筛选过滤。在更新模态特征时，会充分考虑文本特征和音频特征中的两两元素之间的交互，这也可以理解为是全局信息指导的特征更新过程，能够更好地支持下游推理任务。
[0050]
在步骤s220，根据融合特征向量，通过解码器，得到第一详细文档。
[0051]
在一实施例中，将融合有文本特征和音频特征的融合特征向量输入解码器中，可以生成第一详细文档。
[0052]
此外，也会将编码器输出的隐藏状态输入解码器中，以使解码器对第一详细文档进行逐词生成。编码器输出的每个隐藏状态都对应到输入句子(即，简略文档和/或转写操作后的音频文件)中的一个单词，即，一个隐藏状态对应一个时间步，一个时间步对应一个单词。通过隐藏状态来储存前面时间的信息。
[0053]
为了区分解码器的当前输入特征和生成的历史预测结果，可以额外定义分隔符第一详细文档的具体生成过程可以表示为：
[0054][0055]yt
＝ψ(h
t
)
[0056]
其中，h
t-1
和h
t
分别表示上一时刻的隐藏状态和当前时刻的隐藏状态。上一时刻的隐藏状态的输出会作为当前时刻的隐藏状态的输入，使得解码器可以保留之前的历史预测结果，再将当前时刻的隐藏状态输入分类器ψ(
·
)中，可以获得对应时刻的预测结果，其包括了之前的历史预测结果，也包括了当前的预测结果。特别地，解码器采用自回归的预测方式，当输入开始符号[start]时，解码器开始预测第一个单词，直到预测结果为结束符号[end]时，才停止预测。通过这样的方式，可以生成详细文档y＝[y1,y2,
…
,y
t
]。
[0057]
本技术实施例提出的文档生成方法，通过将简略文档和与之对应的音频文件输入编码器中，能够得到融合有简略文档对应的第一特征向量和音频文件对应的第二特征向量的融合特征向量，再根据融合特征向量，通过解码器，能够得到第一详细文档。由于第一特征向量包括简略文档的局部关键信息，第二特征向量包括音频文件的全局细节信息，因此，本技术实施例提出的文档生成方法能够同时兼顾文档的局部关键信息和全局细节信息，从而得到了质量更高的详细文档。
[0058]
然而，无论是文档自动摘要技术，还是文档自动补全技术，其均采用的是“一次生
成”策略，即，只会推理一次，以生成相应的详细文档，但是生成的详细文档并没有进一步迭代优化操作。这与人类的写作习惯是相违背的，人类完成第一版详细文档的生成时，一般都会对详细文档进行整体的通读，再对详细文档进行仔细修改，以避免详细文档中的一些明显的语法错误和逻辑漏洞。
[0059]
因此，“一次生成”策略是无法保证一次性生成的详细文档能够很好地满足用户需求，这是典型的“厨师思维”，即，厨师只管做菜，客户爱吃不吃。此外，如果用户对生成的详细文档不满意，其修改意见也无法进一步反馈给现有的推理模型，从而导致推理模型永远无法理解用户真正的需求，进而影响用户体验。
[0060]
基于此，通过图2中的步骤s210和s220生成第一详细文档，其包括了简略文档的所有关键信息，又去除了音频文件中冗余信息的干扰。但是通过前向传播，只生成一次的第一详细文档是很难直接满足用户需求的。因此，可以对第一详细文档进行评估，从多个评估角度对第一详细文档进行质量的打分，完成对第一详细文档的迭代优化，直到生成的详细文档使用户满意为止。此外，还会将用户的修改意见反馈给编码器和解码器用于训练，以指导编码器和解码器生成符合用户需求的最终详细文档。
[0061]
在本技术的另一实施例中，对第一详细文档的评估可以采用如图3所示的方法步骤来实现。
[0062]
在步骤s310中，对第一详细文档进行评估，得到第一评估结果。
[0063]
第一评估结果用于表示第一详细文档的质量，可以从语言流畅性、逻辑完备性、用户意图和/或是否符合人类书写习惯等评估角度进行第一详细文档的质量的打分，本技术实施例对此并不做具体限定，除了上述提到的几个评估角度外，还可以采用其他的评估角度进行第一详细文档的质量的打分，本领域技术人员可以根据实际需求，进行不同的选择。
[0064]
在步骤s320中，根据第一评估结果和预设条件，确定最终详细文档。
[0065]
在一实施例中，在第一评估结果满足预设条件时，确定第一详细文档为最终详细文档。在另一实施例中，在第一评估结果不满足预设条件时，可以对第一详细文档进行迭代优化，以获得最终详细文档。
[0066]
例如，预设条件为第一评估结果大于或者等于预设分数阈值，本技术实施例对此并不做具体限定，本领域技术人员可以根据实际需求，进行不同的选择，例如，预设条件还可以为用户对第一详细文档有具体的修改意见，当第一详细文档满足了用户的具体修改意见，则对其进行迭代优化。
[0067]
在本技术的另一实施例中，基于预设评估模型，对第一详细文档进行评估，得到第一评估结果。但是本技术实施例并不具体限定预设评估模型的类型，针对不同的评估角度，可以设计不同类型的预设评估模型。
[0068]
一般来说，评估第一详细文档的质量是十分困难的事情，涉及到语言表达是否地道、逻辑是否自洽等多个方面，需要人工干预才能完成对第一详细文档的评估。但是人工干预会引入人工标注，十分昂贵，而且所产生的评估结果受人的主观因素干扰严重。
[0069]
因此，在本技术实施例从语言、逻辑、是否符合人类书写习惯等多个评估角度，对第一详细文档进行自动打分。
[0070]
在一实施例中，针对语言流畅性的评估角度，预设评估模型可以为基于评估指标rouge-l的模型。将第一详细文档输入基于评估指标rouge-l的模型中，对第一详细文档的
语言流畅性进行评估，得到该第一评估结果。
[0071]
评估指标rouge-l是指recall-oriented understudy for gisting evaluation，其表达的是匹配两个文本单元之间的最长公共序列(longest common sub sequence，lcs)，即，第一详细文档与目标文档之间的最长公共序列。
[0072]
将第一详细文档输入基于评估指标rouge-l的模型中，基于评估指标rouge-l的模型可以计算第一详细文档与目标文档的重叠率p，该重叠率p即为第一评估结果，其可以表示为score1，即，score1＝p，其中，score1∈[0,1]。
[0073]
将第一详细文档与目标文档的重叠率p作为对第一详细文档的评估指标，第一详细文档与目标文档的重叠率p越高，则生成的第一详细文档的质量越高。
[0074]
基于评估指标rouge-l的模型可以使用rouge、bleu、meteor、cider等等中的至少一个模型。当使用多个模型计算重叠率时，可以将多个模型计算得到的多个重叠率进行加权求和，基于加权求和后的多个重叠率就构成了本技术中的第一评估结果。
[0075]
通过采用基于评估指标rouge-l的模型进行质量的评分，能够保证经过多次迭代优化后所生成的最终详细文档与目标文档尽可能相似，从而保证语言上的完整性和流畅性。
[0076]
在另一实施例中，针对逻辑完备性和/或用户意图的评估角度，预设评估模型可以为文档自动摘要模型。将第一详细文档输入文档自动摘要模型中，对第一详细文档的逻辑完备性和/或用户意图进行评估，得到该第一评估结果。
[0077]
将第一详细文档y输入文档自动摘要模型(abstract_model)中，文档自动摘要模型可以输出新的总结文档y’，并将y’的句子特征记为即，y’,e(y’)＝abstract_model(y)。
[0078]
融合特征向量中的ts与新的总结文档y’都可理解为第一详细文档y的概要总结，融合特征向量中的ts与新的总结文档y’在语义上是相似的，融合特征向量中的ts与新的总结文档y’至少要相互覆盖尽可能多的关键词。因此，将融合特征向量中的ts与新的总结文档y’在句子级特征的余弦相似度的得分，作为第一详细文档的逻辑得分(即，第一评估结果，其可以表示为score2)。
[0079]
余弦相似度是衡量两个特征向量是否相似的常用方法，用公式可表示为：
[0080][0081]
其中，score2∈[0,1]，若score2过低，说明融合特征向量中的ts与新的总结文档y’所包含的关键信息不一致，则第一详细文档y可能遗漏了融合特征向量中的ts中的某些关键信息，第一详细文档y的逻辑完备性不高，和/或不符合用户意图，生成的第一详细文档的质量低。
[0082]
在另一实施例中，针对是否符合人类书写习惯的评估角度，预设评估模型可以为基于对抗神经网络的判别器(adversarial classifier，adc)。将第一详细文档输入基于对抗神经网络的判别器中，对第一详细文档是否符合人类书写习惯进行评估，得到该第一评估结果。
[0083]
是否符合人类书写习惯也可以理解为是图灵测试，图灵测试是检验人工智能技术
最直观的做法之一，通过向人类展示机器表现，让人类判断这是机器还是人类行为，其展示了机器表现类似人类的程度。同样地，第一详细文档没有明显的机器编辑痕迹，其质量才是高的。因此，模拟图灵测试的过程，希望第一详细文档越像人类书写越好。
[0084]
但是，为了不引入额外的人力成本去判断第一详细文档是否有明显的机器编辑痕迹，可以设计基于对抗神经网络的判别器，来判断第一详细文档是否有明显的机器编辑痕迹。
[0085]
通过在基于对抗神经网络的判别器输入数据集中的人工标注样本和机器样本，使其进行正负样本的对抗训练，该抗神经网络的判别器可以轻易地判断样本类型。当判别器训练好后，固定判别器的训练参数，使其用于图灵测试。
[0086]
将第一详细文档y输入基于对抗神经网络的判别器adc中，基于对抗神经网络的判别器可以输出图灵测试得分，该图灵测试得分即为第一评估结果，其可以表示为score3，即，score3＝adc(y)，其中，score3∈[0,1]。
[0087]
图灵测试得分为1，说明第一详细文档十分接近人类书写习惯，使得基于对抗神经网络的判别器无法分辨第一详细文档是否是机器生成的；反之，图灵测试得分为0，说明基于对抗神经网络的判别器可以很轻易地分辨第一详细文档是机器生成的。
[0088]
本技术实施例并不具体限定获得第一评估结果的方式，除了分别采用上述提及的基于评估指标rouge-l的模型、文档自动摘要模型以及基于对抗神经网络的判别器，来获得第一评估结果以外，还可以将上述提及的基于评估指标rouge-l的模型、文档自动摘要模型以及基于对抗神经网络的判别器进行任意的组合，以获得第一评估结果。
[0089]
在一实施例中，如图4所示，获得第一评估结果的方式可以采用如图4所示的方法步骤来实现。
[0090]
在步骤s410中，将第一详细文档输入基于评估指标rouge-l的模型，对第一详细文档的语言流畅性进行评估，得到第一评估子结果。
[0091]
第一评估子结果可以理解为是上述提及的第一评估结果score1，第一评估子结果的获取的方式与上述提及的基于评估指标rouge-l的模型获取第一评估结果score1的方式相同，具体细节请参加上述实施例，在此不再赘述。
[0092]
在步骤s420中，将第一详细文档输入文档自动摘要模型，对第一详细文档的逻辑完备性和/或用户意图进行评估，得到第二评估子结果。
[0093]
第二评估子结果可以理解为是上述提及的第一评估结果score2，第二评估子结果的获取的方式与上述提及的基于文档自动摘要模型获取第一评估结果score2的方式相同，具体细节请参加上述实施例，在此不再赘述。
[0094]
在步骤s430中，将第一详细文档输入基于对抗神经网络的判别器，对第一详细文档是否符合人类书写习惯进行评估，得到第三评估子结果。
[0095]
第三评估子结果可以理解为是上述提及的第一评估结果score3，第三评估子结果的获取的方式与上述提及的基于对抗神经网络的判别器获取第一评估结果score3的方式相同，具体细节请参加上述实施例，在此不再赘述。
[0096]
在步骤s440中，根据第一评估子结果、第二评估子结果以及第三评估子结果，获得第一评估结果。
[0097]
在一实施例中，对第一评估子结果、第二评估子结果和第三评估子结果进行加权
求和，可以得到第一评估结果。但是本技术实施例并不具体限定第一评估子结果、第二评估子结果和第三评估子结果各自所占的权重值，本领域技术人员可以根据实际需求进行不同的选择。例如，设定第一评估子结果score1为0.9分，其对应的权重值为0.7，第二评估子结果score2为0.6分，其对应的权重值为0.2，第三评估子结果score3为0.8分，其对应的权重值为0.1，第一评估结果为0.9*0.7 0.6*0.2 0.8*0.1＝0.83分。
[0098]
由于可以将上述提及的基于评估指标rouge-l的模型、文档自动摘要模型以及基于对抗神经网络的判别器进行任意的组合，以获得第一评估结果，因此，还可以选择基于评估指标rouge-l的模型、文档自动摘要模型以及基于对抗神经网络的判别器中的任意两个对第一详细文档进行评估，将其所得到的评估子结果进行加权求和，以获得第一评估结果。
[0099]
在本技术的另一实施例中，如上步骤s320所述的，在第一评估结果不满足预设条件时，可以对第一详细文档进行迭代优化，以获得最终详细文档。如图5所示，对第一详细文档进行迭代优化的过程可以采用如图5所示的方法步骤来实现。
[0100]
在步骤s510中，对第n-1详细文档进行评估，得到第n-1评估结果，其中，n为大于或等于2且小于或等于n的整数。
[0101]
当n等于2时，第n-1详细文档为第一详细文档。也就是说，得到了第一详细文档后，再对第一详细文档进行评估，可以得到第一评估结果。
[0102]
一个详细文档对应一个评估结果，例如，第一详细文档对应第一评估结果，第二详细文档对应第二评估结果，以此类推，第n-1详细文档对应第n-1评估结果。
[0103]
在一实施例中，也可以通过如图4实施例所述的基于评估指标rouge-l的模型、文档自动摘要模型以及基于对抗神经网络的判别器进行任意的组合，对第n-1详细文档进行评估，以获得第n-1评估结果，具体实施细节在此不再赘述，请参照上述实施例。
[0104]
在步骤s520中，在第n-1评估结果不满足预设条件时，根据第n-1详细文档，通过解码器，得到第n详细文档。
[0105]
在一实施例中，在第n-1评估结果不满足预设条件时，可以将第n-1详细文档输入解码器中，得到第n详细文档。除了将第n-1详细文档输入解码器中，还可以将融合特征向量输入解码器中。
[0106]
为了区分解码器首次生成的第一详细文档和迭代优化过程生成的第n详细文档，可以在解码器中引入新的标识符第n详细文档的具体生成过程可以表示为：
[0107][0108]
其中，h
t-1
和h
t
分别表示上一时刻的隐藏状态和当前时刻的隐藏状态。
[0109]
在步骤s530中，迭代执行上述步骤s510和s520，得到第n详细文档。
[0110]
在迭代优化的过程中，每生成一个详细文档，均要对其进行评估，并在对应的评估结果不满足预设条件时，将详细文档和融合特征向量输入解码器中，得到另外一个详细文档，以此类推，得到第n详细文档。
[0111]
在步骤s540中，对第n详细文档进行评估，得到满足预设条件的第n评估结果，并确定第n详细文档为最终详细文档。
[0112]
当对第n详细文档进行评估所得到的第n评估结果满足预设条件时，则结束优化迭代的过程，并确定第n详细文档为最终详细文档。
[0113]
n的数值可以根据实际情况进行设置，n的值越大，第n详细文档的质量越高，越能够满足用户需求，第n详细文档对应的第n评估结果越能够满足预设条件。可以以第n详细文档对应的第n评估结果作为生成文档的截止条件，例如，当第n详细文档对应的第n评估结果满足预设条件，则以第n详细文档为最终详细文档。
[0114]
当n＝5时，步骤s510至步骤s540具体为如下过程：
[0115]
对第一详细文档进行评估，得到第一评估结果；
[0116]
在第一评估结果不满足预设条件时，根据第一详细文档，通过解码器，得到第二详细文档；
[0117]
对第二详细文档进行评估，得到第二评估结果；
[0118]
在第二评估结果不满足预设条件时，根据第二详细文档，通过解码器，得到第三详细文档；
[0119]
对第三详细文档进行评估，得到第三评估结果；
[0120]
在第三评估结果不满足预设条件时，根据第三详细文档，通过解码器，得到第四详细文档；
[0121]
对第四详细文档进行评估，得到第四评估结果；
[0122]
在第四评估结果不满足预设条件时，根据第四详细文档，通过解码器，得到第五详细文档；
[0123]
对第五详细文档进行评估，得到满足预设条件的第五评估结果，并确定第五详细文档为最终详细文档。
[0124]
上文结合图2至图5，对本技术实施例提供的文档生成方法进行了详细地举例说明。下面结合图6和图7详细介绍本技术实施例提及的编码器和解码器的训练方法。
[0125]
图6所示为本技术一个实施例提供的编码器和解码器的训练方法的流程示意图。图6所述的方法可以由图1中提及的服务器140或其他类型的具有数据处理功能的电子设备执行。如图6所示，该训练方法包括如下步骤。
[0126]
在步骤s610中，根据简略样本文档和与之对应的样本音频文件，通过编码器，得到样本特征向量。
[0127]
本实施例中提到的简略样本文档和与之对应的样本音频文件与上述图2所示的实施例中的简略文档和与之对应的音频文件属于同一种类型。
[0128]
图6所示的方法中的步骤s610与图2所示的方法中的步骤s210相同，具体细节将不在此处进行赘述，请参见图2所示的方法中的步骤s210。
[0129]
在步骤s620中，根据样本融合特征向量，通过解码器，得到第一详细样本文档。
[0130]
图6所示的方法中的步骤s620与图2所示的方法中的步骤s220相同，具体细节将不在此处进行赘述，请参见图2所示的方法中的步骤s220。
[0131]
在步骤s630中，基于预设评估模型，对第n-1详细样本文档进行评估，得到第n-1样本评估结果，其中，n为大于或等于2且小于或等于n的整数。
[0132]
当n等于2时，第n-1详细样本文档为第一详细样本文档。也就是说，得到了第一详细样本文档后，再对第一详细样本文档进行评估，可以得到第一样本评估结果。
[0133]
一个详细样本文档对应一个样本评估结果，例如，第一详细样本文档对应第一样本评估结果，第二详细样本文档对应第二样本评估结果，以此类推，第n-1详细样本文档对
应第n-1样本评估结果。
[0134]
本技术实施例中的预设评估模型与上述图4所示的实施例中的预设评估模型属于同一种类型。具体的评估过程请参见上述图4所示的实施例，在此不再赘述。
[0135]
在步骤s640中，在第n-1样本评估结果不满足预设条件时，根据第n-1详细样本文档，通过解码器，得到第n详细样本文档。
[0136]
在一实施例中，可以将第n-1详细样本文档输入解码器中，得到第n详细样本文档。除了将第n-1详细样本文档输入解码器中，还可以将样本融合特征向量输入解码器中。也就是说，将第n-1详细样本文档和样本融合特征向量输入解码器中进行训练，可以得到第n详细样本文档。
[0137]
第n详细样本文档的生成是基于第n-1详细样本文档，从而与实际应用场景更相符。第n详细样本文档相比于第n-1详细样本文档而言，其质量更高，但是第n详细样本文档是否能够满足用户需求，还是需要进一步判断。
[0138]
在步骤s650中，迭代执行上述步骤s630和s640，得到第n详细样本文档，并基于预设评估模型，对第n详细样本文档进行评估，得到满足预设条件的第n样本评估结果。
[0139]
在迭代训练的过程中，每生成一个详细样本文档，均要对其进行评估，直到生成的样本评估结果满足预设条件时，停止迭代，得到第n详细样本文档。
[0140]
在步骤s660中，将第一样本评估结果至第n样本评估结果作为奖励，对编码器和所述解码器进行强制学习，以得到编码器和解码器的第一损失函数值至第n损失函数值，并基于第一损失函数值至第n损失函数值，更新编码器和解码器的参数。
[0141]
在第n样本评估结果满足预设条件时，说明第n详细样本文档满足用户的使用需求，此时将第一样本评估结果至第n样本评估结果作为奖励，对编码器和解码器进行强制学习，以得到编码器和解码器的第一损失函数值至第n损失函数值。具体地，对编码器和解码器进行强制学习，将第一样本评估结果至第n样本评估结果作为奖励(reward1至rewardn)，能够使编码器和解码器获得更高奖励的输出结果，第i损失函数值可表示为：其中，i为1到n之间的整数，yi表示第i详细样本文档，p(yi)表示预测第i详细样本文档中的每个词的概率值。
[0142]
也就是说，每个详细样本文档对应的样本评估结果均会对应一个reward，因此，基于每个reward均会得到一个损失函数值。
[0143]
第i损失函数值越小，代表预测出的第i详细样本文档越接近目标文档，预测正确的准确率越高。相反，第i损失函数值越大，代表预测正确的准确率越低。需要说明的是，本技术实施例并不具体限定第i损失函数值的类型，第i损失函数值的具体类型可以根据不同应用场景进行选择。
[0144]
当预设评估模型为基于评估指标rouge-l的模型、文档自动摘要模型以及基于对抗神经网络的判别器时，根据基于评估指标rouge-l的模型得到一个rewardi1，根据文档自动摘要模型得到一个rewardi2，根据基于对抗神经网络的判别器得到一个rewardi3，分别将rewardi1、rewardi2以及rewardi3代入公式，可以得到三个即，以及可以将以及加权求和，得到第i
损失函数值，也可以将以及直接相加，得到第i损失函数值，还可以将以将以及分别作为第i损失函数值，也就是说，每个预设评估模型均会对应一个第i损失函数值。
[0145]
但是需要说明的是，本技术实施例对获取第i损失函数值的方式不做具体限定，本领域技术人员可以根据实际需求，进行不同的选择。
[0146]
在一实施例中，可以将第一损失函数值至第n损失函数值进行梯度反传，以更新编码器和解码器的参数，例如权重，偏值等，本技术对此不做限定。
[0147]
n的数值可以根据实际情况进行设置，n的值越大，训练完成的编码器和训练完成的解码器的性能就越高，第n详细样本文档对应的第n样本评估结果越能够满足预设条件。可以以第n详细样本文档对应的第n样本评估结果作为编码器和解码器训练的截止条件，例如，当第n详细样本文档对应的第n样本评估结果满足预设条件，则得到训练完成的编码器和训练完成的解码器。
[0148]
当n＝5时，步骤s630至步骤s650具体为如下过程：
[0149]
对第一详细样本文档进行评估，得到第一样本评估结果；
[0150]
在第一样本评估结果不满足预设条件时，根据第一详细样本文档，通过解码器，得到第二详细样本文档；
[0151]
对第二详细样本文档进行评估，得到第二样本评估结果；
[0152]
在第二样本评估结果不满足预设条件时，根据第二详细样本文档，通过解码器，得到第三详细样本文档；
[0153]
对第三详细样本文档进行评估，得到第三样本评估结果；
[0154]
在第三样本评估结果不满足预设条件时，根据第三详细样本文档，通过解码器，得到第四详细样本文档；
[0155]
对第四详细样本文档进行评估，得到第四样本评估结果；
[0156]
在第四样本评估结果不满足预设条件时，根据第四详细样本文档，通过解码器，得到第五详细样本文档；
[0157]
对第五详细样本文档进行评估，得到满足预设条件的第五样本评估结果；
[0158]
将第一样本评估结果至第五样本评估结果作为奖励，对编码器和解码器进行强制学习，以得到编码器和解码器的第一损失函数值至第五损失函数值，并基于第一损失函数值至第五损失函数值，更新编码器和解码器的参数。
[0159]
在本技术的另一实施例中，除了基于步骤s660中的第一损失函数值至第n损失函数值更新编码器和解码器的参数外，还可以通过监督损失函数值来更新编码器和解码器的参数，如图7所示，获得监督损失函数值的方法步骤如下。
[0160]
在步骤s710中，对简略样本文档和样本音频文件分别进行知识抽取，以获得简略样本文档对应的第一知识集和样本音频文件对应的第二知识集。
[0161]
如图2中的步骤s210所述，将简略样本文档和样本音频文件分别输入编码器中，能够得到第一样本特征向量和第二样本特征向量，再通过编码器的自注意力机制，能够实现第一样本特征向量和第二样本特征向量之间的跨模态特征交互的融合，得到样本融合特征向量，即，融合后的全局特征。
[0162]
一般认为，样本融合特征向量会保留原始输入(即，简略样本文档和样本音频文件)的全部信息，而且弥补了单一模态不具有的全局信息。然而，在多模态特征融合过程中，编码器-解码器会平衡不同模态特征之间的信息冲突，这势必会造成某些信息的丢失。因此，如何确保样本融合特征向量尽可能保留更多的关键信息，同时又尽量去除冗余信息对下游推理任务的干扰，是文本生成任务中的一大关键问题。
[0163]
因此，可以在训练编码器和解码器的过程中，在编码器中设计基于信息对齐的知识图谱构建模块，以确保样本融合特征向量尽可能保留更多的关键信息，同时又尽量去除冗余信息对下游推理任务的干扰。
[0164]
在一实施例中，基于信息对齐的知识图谱构建模块可以采用知识抽取技术，分别从简略样本文档和样本音频文件中提取第一知识集kgv和第二知识集和kgu。知识集由一系列的三元组构成，可以表示为头实体，尾实体，连接关系。
[0165]
第一知识集kgv可以理解为是文本知识集，第二知识集和kgu可以理解为是音频知识集。
[0166]
在步骤s720中，根据样本融合特征向量和第一知识集中的第一头实体、第一尾实体，确定第一头实体和第一尾实体之间的第一连接关系，并根据第一连接关系确定编码器和解码器的第一监督损失函数值。
[0167]
在一实施例中，将样本融合特征向量和第一知识集kgv中的第一头实体ei和第一尾实体ej输入基于信息对齐的知识图谱构建模块中，可以恢复/预测第一知识集kgv中的第一头实体ei和第一尾实体ej之间的第一连接关系r
ij
(知识)，从而能够确保样本融合特征向量保留恢复第一知识集kgv中所有的知识的能力。
[0168]
通过基于信息对齐的知识图谱构建模块输出的第一头实体ei和第一尾实体ej之间的第一连接关系r
ij
用于作为一个监督信号对编码器和解码器训练，因此，根据第一连接关系r
ij
，能够确定编码器和解码器的第一监督损失函数值。
[0169]
在步骤s730中，根据样本融合特征向量和第二知识集中的第二头实体、第二尾实体，确定第二头实体和所述第二尾实体之间的第二连接关系，并根据第二连接关系确定编码器和解码器的第二监督损失函数值。
[0170]
在一实施例中，将样本融合特征向量和第二知识集和kgu中的第二头实体en和第二尾实体em输入基于信息对齐的知识图谱构建模块中，可以恢复/预测第二知识集和kgu中的第二头实体en和第二尾实体em之间的第二连接关系r
nm
(知识)，从而能够确保样本融合特征向量保留恢复第二知识集和kgu中所有的知识的能力。
[0171]
通过基于信息对齐的知识图谱构建模块输出的第二头实体en和第二尾实体em之间的第二连接关系r
nm
用于作为另一个监督信号对编码器和解码器训练，因此，根据第二连接关系r
nm
，能够确定编码器和解码器的第二监督损失函数值。
[0172]
在步骤s740中，基于第一监督损失函数值和第二监督损失函数值，确定编码器和解码器的监督损失函数值。
[0173]
对于文本知识集kgv，其包括了高度凝练的文档总结，所以样本融合特征向量不能遗漏文本知识集kgv中的任何实体及其连接关系；对于音频知识集kgu，其蕴含了丰富的语义信息，但同时也可能包括背景噪声等冗余信息，所以如果样本融合特征向量中包括音频知识集kgu的所有信息是不合理且不必要的。
[0174]
在一实施例中，可以通过以上的两个监督信号，对编码器和解码器进行训练，具体可表示为：
[0175][0176]
其中，表示样本融合特征向量，λ表示调剂系数，其用于平衡文本知识集和音频知识集的影响，p表示预测连接关系的概率值，表示第一监督损失函数值，表示第二监督损失函数值，表示编码器和解码器的监督损失函数值。
[0177]
在一实施例中，除了通过上述的调剂系数λ，计算编码器和解码器的监督损失函数值以外，还可以根据第一预设权重系数，计算第一监督损失函数值和第二监督损失函数值的加权和，以得到编码器和解码器的监督损失函数值。
[0178]
示例性地，第一预设权重系数可以设定为：第一监督损失函数值对应的第一预设权重系数为w1，例如，为0.4，第二监督损失函数值对应的第一预设权重系数为w2，例如，为0.6。
[0179]
假设第一监督损失函数值为0.3，第一监督损失函数值为0.1，则编码器和解码器的监督损失函数值为0.3*0.4 0.1*0.6＝0.18。本技术实施例对第一预设权重系数的具体取值不做限定。
[0180]
在另一实施例中，第一监督损失函数值和第二监督损失函数值可以直接加和，得到编码器和解码器的监督损失函数值。示例性地，第一监督损失函数值为0.3，第一监督损失函数值为0.1，则编码器和解码器的监督损失函数值为0.3 0.1＝0.4。
[0181]
应当理解，本技术实施例对获得监督损失函数值的具体方式不作限定。
[0182]
在一实施例中，在得到了编码器和解码器的监督损失函数值后，可以根据第二预设权重系数，计算第一损失函数值至第n损失函数值，以及监督损失函数值的加权和，得到总损失函数值，也可以将第一损失函数值至第n损失函数值，以及监督损失函数值直接加和，得到总损失函数值。再将总损失函数值进行梯度反传，以更新编码器和解码器的参数，例如权重，偏值等，本技术对此不做限定。本技术实施例对第二预设权重系数的具体取值也不作限定。
[0183]
图8所示为本技术一实施例提供的文档生成系统的示意图。如图8所示，该系统为图1中提及的服务器140。该系统包括：
[0184]
编码器11，用于对简略文档a1和与之对应的音频文件a2进行编码，获得融合特征向量b；
[0185]
解码器12，用于对融合特征向量b进行解码，得到第一详细文档c；
[0186]
评估模块13，用于对第一详细文档c进行评估，得到第一评估结果d；
[0187]
迭代优化模块14，用于在第一评估结果d不满足预设条件e时，将第一详细文档c重新输入解码器12进行迭代优化。
[0188]
上文结合图1至图7，详细描述了本技术的方法实施例，下面结合图9，详细描述本技术的装置实施例。应理解，方法实施例的描述与装置实施例的描述相互对应，因此，未详
细描述的部分可以参见前面方法实施例。
[0189]
图9所示为本技术一实施例提供的文档生成装置的示意性结构图。图9的装置900可以是图1中提及的服务器或其他类型的具有数据处理功能的电子设备。装置900可以包括获取模块910以及生成模块920。下面对这些模块进行详细介绍。
[0190]
获取模块910配置为根据简略文档和与之对应的音频文件，通过编码器，得到融合特征向量，其中，融合特征向量融合有简略文档对应的第一特征向量和所述音频文件对应的第二特征向量，第一特征向量包括简略文档的局部关键信息，第二特征向量包括音频文件的全局细节信息。
[0191]
生成模块920配置为根据融合特征向量，通过解码器，得到第一详细文档。
[0192]
本技术实施例提出的文档生成方法，通过将简略文档和与之对应的音频文件输入编码器中，能够得到融合有简略文档对应的第一特征向量和音频文件对应的第二特征向量的融合特征向量，再根据融合特征向量，通过解码器，能够得到第一详细文档。由于第一特征向量包括简略文档的局部关键信息，第二特征向量包括音频文件的全局细节信息，因此，本技术实施例提出的文档生成方法能够同时兼顾文档的局部关键信息和全局细节信息，从而得到了质量更高的详细文档。
[0193]
在一些实施例中，装置900还包括：第一评估模块，配置为对第一详细文档进行评估，得到第一评估结果，其中，第一评估结果用于表示第一详细文档的质量；确定模块，配置为根据第一评估结果和预设条件，确定最终详细文档。
[0194]
在一些实施例中，在第一评估结果满足预设条件时，确定模块进一步配置为确定第一详细文档为最终详细文档。
[0195]
在一些实施例中，在第一评估结果不满足预设条件时，确定模块进一步配置为a)对第n-1详细文档进行评估，得到第n-1评估结果，其中，n为大于或等于2且小于或等于n的整数，当n等于2时，第n-1详细文档为第一详细文档，第n-1评估结果用于表示第n-1详细文档的质量；b)在第n-1评估结果不满足预设条件时，根据第n-1详细文档，通过解码器，得到第n详细文档；迭代执行上述步骤a)和b)，得到第n详细文档；对第n详细文档进行评估，得到满足预设条件的第n评估结果，并确定第n详细文档为最终详细文档。
[0196]
在一些实施例中，确定模块在根据第n-1详细文档，通过解码器，得到第n详细文档时，进一步配置为根据第n-1详细文档和融合特征向量，通过解码器，得到第n详细文档。
[0197]
在一些实施例中，第一评估模块进一步配置为基于预设评估模型，对第n-1详细文档进行评估，得到第n-1评估结果。
[0198]
在一些实施例中，当预设评估模型为基于评估指标rouge-l的模型时，第一评估模块在基于预设评估模型，对第n-1详细文档进行评估，得到第n-1评估结果时，进一步配置为将第n-1详细文档输入基于评估指标rouge-l的模型，对第n-1详细文档的语言流畅性进行评估，得到第n-1评估结果。
[0199]
在一些实施例中，当预设评估模型为文档自动摘要模型时，第一评估模块在基于预设评估模型，对第n-1详细文档进行评估，得到第n-1评估结果时，进一步配置为将第n-1详细文档输入文档自动摘要模型，对第n-1详细文档的逻辑完备性和/或用户意图进行评估，得到第n-1评估结果。
[0200]
在一些实施例中，当预设评估模型为基于对抗神经网络的判别器时，第一评估模
块在基于预设评估模型，对第n-1详细文档进行评估，得到第n-1评估结果时，进一步配置为将第n-1详细文档输入基于对抗神经网络的判别器，对第n-1详细文档是否符合人类书写习惯进行评估，得到第n-1评估结果。
[0201]
在一些实施例中，当预设评估模型包括基于评估指标rouge-l的模型、文档自动摘要模型以及基于对抗神经网络的判别器时，第一评估模块在基于预设评估模型，对第n-1详细文档进行评估，得到第n-1评估结果时，进一步配置为将第n-1详细文档输入基于评估指标rouge-l的模型，对第n-1详细文档的语言流畅性进行评估，得到第一评估子结果；将第n-1详细文档输入文档自动摘要模型，对第n-1详细文档的逻辑完备性和/或用户意图进行评估，得到第二评估子结果；将第n-1详细文档输入基于对抗神经网络的判别器，对第n-1详细文档是否符合人类书写习惯进行评估，得到第三评估子结果；根据第一评估子结果、第二评估子结果以及第三评估子结果，获得第n-1评估结果。
[0202]
在一些实施例中，获取模块910进一步配置为将简略文档输入编码器中，得到第一特征向量；将音频文件输入编码器中，得到第二特征向量；通过编码器的自注意力机制，对第一特征向量和第二特征向量进行跨模态特征交互的融合，得到融合特征向量。
[0203]
在一些实施例中，简略文档为会议中的纪要文档，音频文件为会议的录音文件。
[0204]
在一些实施例中，装置900还包括：训练模块，配置为根据简略样本文档和与之对应的样本音频文件，通过编码器，得到样本特征向量；根据样本融合特征向量，通过解码器，得到第一详细样本文档；c)基于预设评估模型，对第n-1详细样本文档进行评估，得到第n-1样本评估结果，其中，n为大于或等于2且小于或等于n的整数，当n等于2时，第n-1详细样本文档为第一详细样本文档，第n-1样本评估结果为第一样本评估结果；d)在第n-1样本评估结果不满足预设条件时，根据第n-1详细样本文档，通过解码器，得到第n详细样本文档；迭代执行上述步骤c)和d)，得到第n详细样本文档，并基于预设评估模型，对第n详细样本文档进行评估，得到满足预设条件的第n样本评估结果；将第一样本评估结果至第n样本评估结果作为奖励，对编码器和解码器进行强制学习，以得到编码器和解码器的第一损失函数值至第n损失函数值，并基于第一损失函数值至第n损失函数值，更新编码器和解码器的参数。
[0205]
在一些实施例中，装置900还包括：再训练模块，配置为对简略样本文档和样本音频文件分别进行知识抽取，以获得简略样本文档对应的第一知识集和样本音频文件对应的第二知识集；根据样本融合特征向量和第一知识集中的第一头实体、第一尾实体，确定第一头实体和第一尾实体之间的第一连接关系，并根据第一连接关系确定编码器和解码器的第一监督损失函数值，其中，第一连接关系用于作为一个监督信号对编码器和解码器训练；根据样本融合特征向量和第二知识集中的第二头实体、第二尾实体，确定第二头实体和第二尾实体之间的第二连接关系，并根据第二连接关系确定编码器和解码器的第二监督损失函数值，其中，第二连接关系用于作为另一个监督信号对编码器和解码器训练；基于第一监督损失函数值和第二监督损失函数值，确定编码器和解码器的监督损失函数值。
[0206]
在一些实施例中，再训练模块在基于第一监督损失函数值和第二监督损失函数值，确定编码器和解码器的监督损失函数值，进一步配置为根据第一预设权重系数，计算第一监督损失函数值和第二监督损失函数值的加权和，得到监督损失函数值。
[0207]
在一些实施例中，训练模块在基于第一损失函数值至第n损失函数值，更新编码器和所述解码器的参数时，进一步配置为根据第一损失函数值至第n损失函数值，以及监督损
失函数值，得到总损失函数值；根据总损失函数值，更新编码器和解码器的参数。
[0208]
图10所示为本技术另一实施例提供的文档生成装置的结构示意图。图10所示的装置1000可以是能够执行文档生成方法的任意网络节点。该装置1000例如可以是具有计算功能的计算设备。比如，装置1000可以是移动终端或者服务器。装置1000可以包括存储器1010和处理器1020。存储器1010可用于存储可执行代码。处理器1020可用于执行所述存储器1010中存储的可执行代码，以实现前文描述的各个方法中的步骤。在一些实施例中，装置1000还可以包括网络接口1030，处理器1020与外部设备的数据交换可以通过该网络接口1030实现。
[0209]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，dvd))、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
[0210]
本领域普通技术人员可以意识到，结合本技术实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0211]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0212]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0213]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0214]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何
熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。