文档摘要处理方法、装置、设备及介质与流程

1.本公开涉及深度学习技术领域，尤其涉及一种文档摘要处理方法、装置、设备及介质。


背景技术：

2.随着深度学习技术的发展，可以通过深度学习技术建立摘要模型，并且使用摘要模型对文本进行摘要提取。
3.目前，可以通过抽取式摘要模型获取摘要，其中抽取式摘要模型能够对文本中的句子进行分类，进而从文本中抽取出适合作为摘要的句子，并将抽取出来的句子组合成摘要。
4.虽然抽取式摘要模型因直接从文本中抽取句子能够保证句子的语法、句法错误率低，但也容易直接抽取出错误句子，导致组合成的摘要内容不连贯，且该种单一处理模型的方式对文本进行摘要提取，往往导致提取的摘要不能满足多个维度指标的要求。


技术实现要素：

5.为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种文档摘要处理方法、装置、设备及介质。
6.第一方面，本公开实施例提供了一种文档摘要处理方法，所述方法包括：
7.对目标文档进行切分生成多个第一文本片段；
8.通过预先训练的摘要处理模型中的第一模型对每个所述第一文本片段进行编码处理，获取每个所述第一文本片段的语义向量；
9.通过所述摘要处理模型中的第二模型对每个所述第一文本片段的语义向量进行解码，生成每个所述第一文本片段对应的第二文本片段；
10.对每个所述第一文本片段的语义向量进行分类处理，生成每个所述第一文本片段的文本类别；
11.根据每个所述第一文本片段的文本类别，以及每个所述第一文本片段对应的第二文本片段，确定每个所述第一文本片段对应的摘要文本片段；
12.根据每个所述第一文本片段对应的摘要文本片段生成所述目标文档的摘要内容。
13.一种可选的实施方式中，所述对目标文档进行切分生成多个第一文本片段，包括：
14.确定所述第一模型预设的文本长度阈值；
15.根据预设的标点符号和用于上下文关联的滑动窗口对所述目标文档进行切分，生成多个第一文本片段，其中，切分位置前后相邻的第一文本片段中的部分内容重叠，每个所述第一文本片段的长度小于或者等于所述文本长度阈值。
16.一种可选的实施方式中，所述第一模型为预先训练的抽取式语言模型，所述通过预先训练的摘要处理模型中的第一模型对每个所述第一文本片段进行编码处理，获取每个所述第一文本片段的语义向量，包括：
17.根据预设词表对每个所述第一文本片段进行映射，获取所述词表中与所述第一文本片段对应的编码数据；
18.将所述第一文本片段对应的编码数据输入预先训练的抽取式语言模型，获取每个所述第一文本片段的语义向量。
19.一种可选的实施方式中，所述第二模型为预先训练的生成式语言模型，所述通过所述摘要处理模型中的第二模型对每个所述第一文本片段的语义向量进行解码，生成每个所述第一文本片段对应的第二文本片段，包括：
20.将所述第一文本片段的语义向量输入预先训练的生成式语言模型，根据所述第一文本片段的语义向量逐字依次生成字符，获取与每个所述第一文本片段对应的第二文本片段。
21.一种可选的实施方式中，所述对每个所述第一文本片段的语义向量进行分类处理，生成每个所述第一文本片段的文本类别，包括：
22.将每个所述第一文本片段的语义向量输入所述摘要处理模型中的全连接层分类模型进行二分类，获取每个所述第一文本片段的文本类别，其中，所述文本类别为表示摘要类型的第一类别，或者，所述文本类别为表示非摘要类型的第二类别。
23.一种可选的实施方式中，所述根据每个所述第一文本片段的文本类别，以及每个所述第一文本片段对应的第二文本片段，确定每个所述第一文本片段对应的摘要文本片段，包括：
24.当所述第一文本片段的文本类别为摘要类别，通过所述摘要处理模型的处理计算所述第一文本片段的第一置信度，以及与所述第一文本片段对应的第二文本片段的第二置信度；
25.在所述第一置信度和所述第二置信度均大于预设阈值的情况下，若所述第一置信度大于所述第二置信度，则将所述第一文本片段作为其自身对应的摘要文本片段，或者，
26.若所述第二置信度大于所述第一置信度，则将所述第二文本片段作为所述第一文本片段对应的摘要文本片段，或者，
27.若所述第二置信度等于所述第一置信度，则将所述第一文本片段为其自身对应的摘要文本片段，或，将所述第二文本片段为所述第一文本片段对应的摘要文本片段。
28.一种可选的实施方式中，还包括：
29.在所述第一置信度大于预设阈值，以及所述第二置信度不大于预设阈值的情况下，则将所述第一文本片段作为其自身对应的摘要文本片段；或者，
30.在所述第二置信度大于预设阈值，以及所述第一置信度不大于预设阈值的情况下，则将所述第二文本片段作为所述第一文本片段对应的摘要文本片段；或者，
31.在所述第一置信度和所述第二置信度均不大于预设阈值的情况下，确定所述第一文本片段不存在对应的摘要文本片段。
32.一种可选的实施方式中，还包括：
33.当所述第一文本片段的文本类别不为摘要类别，通过所述摘要处理模型的处理计算与所述第一文本片段对应的第二文本片段的第二置信度；
34.在所述第二置信度大于预设阈值的情况下，则将所述第二文本片段作为所述第一文本片段对应的摘要文本片段；或者，
35.在所述第二置信度不大于预设阈值的情况下，确定所述第一文本片段不存在对应的摘要文本片段。
36.一种可选的实施方式中，所述根据每个所述第一文本片段对应的摘要文本片段生成所述目标文档的摘要内容，包括：
37.将至少一个所述第一文本片段本身作为对应的抽取式文本片段，以及将至少一个所述第一文本片段对应的所述第二文本片段作为对应的生成式文本片段；
38.将至少一个所述抽取式文本片段与至少一个所述生成式文本片段进行拼接，生成所述目标文档的摘要内容。
39.第二方面，本公开实施例还提供了一种文档摘要处理装置，所述装置包括：
40.切分模块，用于对目标文档进行切分生成多个第一文本片段；
41.获取模块，用于通过预先训练的摘要处理模型中的第一模型对每个所述第一文本片段进行编码处理，获取每个所述第一文本片段的语义向量；
42.第一生成模块，用于通过所述摘要处理模型中的第二模型对每个所述第一文本片段的语义向量进行解码，生成每个所述第一文本片段对应的第二文本片段；
43.第二生成模块，用于对每个所述第一文本片段的语义向量进行分类处理，生成每个所述第一文本片段的文本类别；
44.确定模块，用于根据每个所述第一文本片段的文本类别，以及每个所述第一文本片段对应的第二文本片段，确定每个所述第一文本片段对应的摘要文本片段；
45.第三生成模块，用于根据每个所述第一文本片段对应的摘要文本片段生成所述目标文档的摘要内容。
46.第三方面，本公开提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现上述的方法。
47.第四方面，本公开提供了一种设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述的方法。
48.第五方面，本公开提供了一种计算机程序产品，所述计算机程序产品包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述的方法。
49.本公开实施例提供的技术方案与现有技术相比具有如下优点：
50.本公开实施例中，对目标文档进行切分生成多个第一文本片段，针对每个第一文本片段，通过摘要处理模型的第一模型对第一文本片段进行编码处理生成对应的语义向量，使用第二模型对第一文本片段的语义向量解码处理，从而获取第二文本片段，基于第一文本片段的文本类别以及第二文本片段选择用第一文本片段本身作为第一文本片段的摘要文本片段，还是选择用第二文本片段作为第一文本片段的摘要文本片段，还是既不选择第一文本片段本身也不选择第二文本片段，即第一文本片段没有对应的摘要文本片段，进而根据不同选择方式生成的多个摘要文本片段合成目标文档的摘要内容。从而融合了抽取式摘要和生成式摘要的处理特点对目标文档进行摘要处理，确保生成的摘要内容更贴合目标文档，并且语言通顺、连贯性较好。
附图说明
51.结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
52.图1为本公开实施例提供的一种文档摘要处理方法的流程示意图；
53.图2为本公开实施例提供的一种根据目标文档生成摘要内容的流程示意图；
54.图3为本公开实施例提供的另一种文档摘要处理方法的流程示意图；
55.图4a为本公开实施例提供的一种切分生成多个第一文本片段的示意图；
56.图4b为本公开实施例提供的另一种切分生成多个第一文本片段的示意图；
57.图5为本公开实施例提供的一种文档摘要处理装置的结构示意图；
58.图6为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
59.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
60.应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
61.本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
62.需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
63.需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
64.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
65.为了解决上述问题，本公开实施例提供了一种文档摘要处理方法，下面结合具体的实施例对该方法进行介绍。
66.图1为本公开实施例提供的一种文档摘要处理方法的流程示意图，该方法可以由文档摘要处理装置执行，其中该装置可以采用软件和/或硬件实现，一般可集成在电子设备中。如图1所示，该方法包括：
67.步骤101，对目标文档进行切分生成多个第一文本片段。
68.本实施例中，目标文档为待进行摘要处理的文档，该目标文档的获取方法有多种，本实施例不作限制，例如：可以为从客户端接收的文档、也可以为本地文档，首先对该目标文档进行切分处理，获得多个第一文本片段。
69.需要说明的是，根据切分策略的不同，切分后相邻的两个第一文本片段相互之间可以存在重叠部分，也可以不存在重叠部分。例如，目标文档为“句子a。句子b。句子c。”，生成的多个第一文本片段可以存在重叠部分，分别为“句子a。句子b。”和“句子b。句子c。”。
70.步骤102，通过预先训练的摘要处理模型中的第一模型对每个第一文本片段进行编码处理，获取每个第一文本片段的语义向量。
71.步骤103，通过摘要处理模型中的第二模型对每个第一文本片段的语义向量进行解码，生成每个第一文本片段对应的第二文本片段。
72.在本实施例中，可以预先使用训练数据对摘要处理模型进行训练，具体过程如下：
73.首先，通过第一训练样本训练第一模型，该第一模型可以为深度学习的语言抽取模型，该语言抽取模型能够用于抽取文档中与摘要相关的语句，例如，bert模型(bidirectional encoder representations from transformers，基于转换器的双向编码表征模型)。以及，通过第二训练样本训练第二模型，该第二模型可以为深度学习的语言生成模型，该语言生成模型能够根据输入的语义向量逐字生成字或词，进而基于该字或词组成摘要，例如，gpt2模型(generative pre-training 2，生成式预训练模型)。需要说明的是，只基于上述第一模型生成摘要时，摘要内容与文档较为贴合，但是可能抽取出错误语句，从而导致摘要内容的连贯性较差；只基于上述第二模型生成摘要时，摘要语句的通顺度较好，但是该摘要语句与文档的贴合性较差，容易偏离文档的主旨。因此，结合第一模型和第二模型的摘要处理特征训练端到端学习模型生成摘要处理模型。
74.进而，将上述第一模型作为预设的端到端学习模型的编码端，将上述第二模型作为所述端到端学习模型的解码端。获取包括多个文档样本及其对应的摘要样本的训练数据，并将多个样本文档作为训练模型的输入，摘要样本作为训练模型的输出，经过第一模型对样本文档的文本分类后获取抽取摘要文本，以及经过第二模型对样本文档处理获取生成摘要文本，对抽取摘要文本和生成摘要文本进行选择，根据选择结果训练对应的模型参数，生成本实施涉及的摘要处理模型，从而可以根据该摘要处理模型结合抽取摘要文本和生成摘要文本的处理方式对目标文档提取对应的文档摘要内容，具体处理过程如下：
75.进而，将对目标文档切分处理后的多个第一文本片段输入经过上述训练的摘要处理模型，通过摘要处理模型中编码端的第一模型对输入的第一文本片段进行编码处理生成每个第一文本片段的语义向量，该语义向量能够表征第一文本片段对应的语义。然后，通过解码端的第二模型对每个第一文本片段的语义向量进行解码处理，并生成与每个第一文本片段对应的第二文本片段，其中，第二文本片段是根据输入的第一文本的语义向量逐字生成的文本片段。
76.步骤104，对每个第一文本片段的语义向量进行分类处理，生成每个第一文本片段的文本类别。
77.如上所述，第一文本片段的语义向量是根据用于语言抽取的第一模型获取的，进而对每个第一文本片段的语义向量进行分类处理，生成每个第一文本片段的文本类别。该文本类别可以根据用户需求进行设定，本实施例不作限制，例如，该文本类别可以包括：摘要类别、非摘要类别等；该文本类别还可以包括：摘要类别、正文类别以及标题类别等。
78.举例说明，假设将目标文档进行切分之后获取两段第一文本片段，其中包括：片段一“句子a。句子b。”和片段二“句子b。句子c。”，其中，片段一“句子a。句子b。”对应有第一语
义向量，片段二“句子b。句子c。”对应有第二语义向量，经过全连接层分类模型对第一语义向量和第二语义向量进行分类处理，片段一“句子a。句子b。”被分类为摘要文本类别，片段二“句子b。句子c。”被分类为非摘要文本类别。其中，全连接层分类模型有多种，可以根据应用场景等进行设置，本实施例不作限制。例如：包括softmax层的全连接层分类模型。
79.步骤105，根据每个第一文本片段的文本类别，以及每个第一文本片段对应的第二文本片段，确定每个第一文本片段对应的摘要文本片段。
80.步骤106，根据每个第一文本片段对应的摘要文本片段生成目标文档的摘要内容。
81.在上述步骤中，已经确定了第一文本片段的文本类别，还确定了经过摘要处理模型处理后生成的与第一文本片段对应的第二文本片段。因而可以从第一文本片段对应的文本类别以及第二文本片段这两个维度，来确定每个第一文本片段对应的摘要文本片段，需要说明的是，第一文本片段对应的摘要文本片段可以为第一文本片段本身，也可以为第二文本片段，还可以为空，其中，需要说明的是，为空则表示生成的摘要文本片段不存在对应的语句，以及第一文本片段不存在对应的摘要文本片段。进一步的，通过多个摘要文本片段合成目标文档的摘要内容，具体地，由于第一文本片段是对目标文档进行切分获得的，且每个第一文本片段存在对应的摘要文本片段，因而可以将每个第一文本片段对应的摘要文本片段进行拼接等操作，从而生成目标文档的摘要内容。需要说明的是，可以根据应用场景需要选择不同的切分方法生成多个第一文本片段，不同的切分方法使得相邻的两个第一文本片段的切割位置前后文本内容，可以存在部分内容重叠也可以不存在内容重叠。需要强调的是，如果根据内容重叠的切分方式生成的多个第一文本片段，则说明第n个第一文本片段的结尾片段为第n 1个第一文本片段的开头片段(其中，n为正整数，结尾片段和开头片段可以为词语、短语、短句、或整句等)。进而，基于内容重叠的相邻第一文本片段处理生成的摘要内容提高了上下文的关联性以及顺畅度。
82.举例说明，参见图2，假设将目标文档进行切分之后获取三段第一文本片段，分别为：片段一“今天天气很好，是个晴天。”和片段二“晴天适合出去游玩。”以及片段三“我们去玩！”。可以理解，片段一与片段二内容重叠，片段二与片段三不存在内容重叠。
83.对于片段一，该片段对应的文本类别为摘要文本类别，且该片段对应的第二文本片段为“今天晴天。”，经过摘要处理模型针对片段一的文本类型以及对应的第二文本片段的计算，根据计算结果确定采用第二文本片段“今天晴天。”作为片段一的摘要文本片段。
84.对于片段二“晴天适合出去游玩。”，该片段对应的文本类别为非摘要文本类别，且该片段对应的第二文本片段为“晴天适合玩”，经过摘要处理模型针对片段二的文本类型以及对应的第二文本片段的计算，根据计算结果确定该片段二对应的摘要文本片段为空。
85.对于片段三“我们去玩！”，该片段对应的文本类别为摘要文本类别。且该片段对应的第二文本片段为“我们！”，经过摘要处理模型针对片段三的文本类型以及对应的第二文本片段的计算，根据计算结果确定采用第一文本片段本身“我们去玩！”作为片段三的摘要文本片段。
86.进一步的，基于上述三段第一文本片段对应的摘要文本片段，生成的目标文档的摘要内容为“今天晴天。我们去玩！”。
87.一种可选的实施方式中，可以将第一文本片段对应的生成式文本片段和抽取式文本片段进行融合，生成摘要内容，具体地，所述根据每个第一文本片段对应的摘要文本片段
生成目标文档的摘要内容，包括：
88.首先，将至少一个第一文本片段本身作为对应的抽取式文本片段以及将至少一个第一文本片段对应的第二文本片段作为对应的生成式文本片段。
89.可以理解地，在一些应用场景中，至少一个第一文本片段对应的摘要文本片段为第一文本片段本身，该类摘要文本片段是通过摘要处理模型抽取获得的，因而可以将该类摘要文本片段作为抽取式文本片段。并且，至少一个第一文本片段对应的摘要文本片段为第二文本片段，该类摘要文本片段是通过摘要处理模型生成获得的，因而可以将该类摘要文本片段作为生成式文本片段。
90.进一步地，将至少一个抽取式文本片段与至少一个生成式文本片段进行拼接，生成目标文档的摘要内容。
91.在本实施例中，可以根据各第一文本片段之间的顺序关系，将所有第一文本片段对应的至少一个抽取式文本片段与至少一个生成式文本片段进行拼接融合，从而生成目标文档的摘要内容。
92.综上，本公开实施例的文档摘要处理方法，对目标文档进行切分生成多个第一文本片段，针对每个第一文本片段，通过摘要处理模型的第一模型对第一文本片段进行编码处理生成对应的语义向量，使用第二模型对第一文本片段的语义向量解码处理，从而获取第二文本片段，基于第一文本片段的文本类别以及第二文本片段选择用第一文本片段本身作为第一文本片段的摘要文本片段，还是选择用第二文本片段作为第一文本片段的摘要文本片段，还是既不选择第一文本片段本身也不选择第二文本片段，即第一文本片段没有对应的摘要文本片段，进而根据不同选择方式生成的多个摘要文本片段合成目标文档的摘要内容。从而融合了抽取式摘要和生成式摘要的处理特点对目标文档进行摘要处理，确保生成的摘要内容更贴合目标文档，并且语言通顺、连贯性较好。
93.基于上述实施例，为了进一步提升生成的摘要内容和目标文档的贴合性以及该摘要内容的通顺性，可以将第一模型选取为抽取式语言模型并且将第二模型选取为生成式语言模型，为了更加清楚的说明第一文本片段对应的文本类别以及第二文本片段的获取方式，参见图3，如图3所示，本公开实施例的文档摘要处理方法包括：
94.步骤301，确定第一模型预设的文本长度阈值。
95.在一些应用场景中，第一模型一次输入的文本长度存在最大长度值，因而预设文本长度阈值，该文本长度阈值可以根据第一模型和/或该第一模型的运行环境等进行设置，例如：512字符长度、1024字符长度等。
96.步骤302，根据预设的标点符号和用于上下文关联的滑动窗口对目标文档进行切分，生成多个第一文本片段，其中，切分位置前后相邻的第一文本片段中的部分内容重叠，每个第一文本片段的长度小于或者等于文本长度阈值。
97.本实施例中，可以根据预设的标点符号和滑动窗口对目标文档进行切分，其中，预设的标点符号可以根据用户需求进行设定，一种可选的实施方式中，该预设的标点符号可以为句末标点符号，例如：句号、省略号等；该预设的标点符号也可以为非句末标点符号，例如：逗号、顿号等。在本实施例中，滑动窗口可以基于预设标点符号划分的句子将目标文档切分为多个第一文本片段。
98.需要说明的是，为了保证生成的摘要内容中前后文的关联性，切分位置前后相邻
的第一文本片段中的部分内容重叠，该重叠部分可以为一整句，例如，如图4a所示，目标文档为“句子a。句子b。句子c。”，切分获得的两段第一文本片段，分别为：片段一“句子a。句子b。”和片段二“句子b。句子c。”，其中，两段第一文本片段的重叠部分为“句子b。”，为整句。在一些应用场景中，该重叠部分还可以不为整句，例如，目标文档为“今天天气好，是个晴天。我们出游吧。”，切分获得的两段第一文本片段分别为：片段一“今天天气好，是个晴天。”和片段二“是个晴天。我们出游吧。”其中，重叠部分为“是个晴天”，为非整句。
99.此外，为了满足第一模型单次输入的文本长度限制，还需要使每个第一文本片段的长度小于或者等于文本长度阈值。举例说明，假设目标文档为“句子a。句子b。句子c。”其中，句子a的文本长度为400，句子b的文本长度为200，句子c的文本长度为300，且文本长度阈值为512，那么在对目标文档进行划分时，若将句子a和句子b切分为一个第一文本片段，该第一文本片段的长度为600，大于了文本长度阈值，因而为了不大于文本长度阈值，示例而言，如图4b所示，一种可选的切分方法中，可以将“句子a。”以及句子b的一部分切分为第一个第一文本片段，即片段一，其中句子b的切分长度可以根据文本长度限制以及句子a包括的文本数目确定，例如，若文本长度限制为512，句子a文本长度为400，则句子b的切分长度可以为112或小于112。并且，将“句子b。句子c。”切分为第二个第一文本片段，即片段二，并且保证第一个第一文本片段和第二个第一文本片段的文本长度均小于等于512。需要说明的是，每个第一文本片段的文本长度不必等于文本长度阈值，例如，若文本长度阈值为512，则每个第一文本片段的文本长度可以为400、500等。
100.步骤303，根据预设词表对每个第一文本片段进行映射，获取词表中与第一文本片段对应的编码数据。
101.在本实施例中，获取第一文本片段对应的编码数据的方法有多种，可以根据应用场景进行选择，本实施例不作限制，示例说明如下：
102.一种可选的实施方式中，预设词表中存在字/词对应的编码表达，可以基于预设词表，对第一文本片段进行检索，从而获得词表中与第一文本片段对应的编码数据。在本实施例中，预设词表有多种，本实施例不作限制，可选的，可以根据场景需求、目标文档所含字词数量等，确定预设词表所包含的词数量等，从而确定并下载合适的预设词表。
103.一种可选的实施方式中，可以基于独热(one-hot)编码技术获取第一文本片段对应的编码数据，在独热编码技术中，字/词存在对应的向量，具体的：对第一文本片段进行分词处理，获得多个分词结果，针对每个分词结果根据独热编码技术获取对应的向量，进而根据该多个向量组成对应的矩阵，该矩阵即为第一文本片段对应的编码数据。
104.另一种可选的实施方式中，通过独热(one-hot)编码获取预设词表，具体地，可以预先获取常用字词的独热编码，将各独热编码输入预设编码模型中，从而获得关于常用字词的预设词表，对该第一文本片段进行分词处理，获得多个分词结果，针对每个分词结果根据预设词表查询该分词结果对应的向量，进而根据该多个向量组成对应的矩阵，该矩阵即为第一文本片段对应的编码数据。
105.步骤304，将第一文本片段对应的编码数据输入预先训练的抽取式语言模型，获取每个第一文本片段的语义向量。
106.步骤305，将第一文本片段的语义向量输入预先训练的生成式语言模型，根据第一文本片段的语义向量逐字依次生成字符，获取与每个第一文本片段对应的第二文本片段。
107.在本实施例中，摘要处理模型中的第一模型为抽取式语言模型，该抽取式语言模型有多种，可以根据应用场景进行选择，本实施例不做限制，例如：bert语言模型、bertsum语言模型，下述实施例中，以第一模型为bert语言模型举例说明。在本实施例中，摘要处理模型中的第二模型为生成式语言模型，该生成式语言模型有多种，可以根据应用场景进行选择，本实施例不作限制，例如：gpt2语言模型、天马语言模型，下述实施例中，以第二模型为gpt2语言模型举例说明，可选地，针对gpt2语言模型，还可以使用大规模的中文维基(wiki)语料对gpt2语言模型进行预训练。
108.与前述实施例类似，使用训练数据对包括bert语言模型和gpt2语言模型的端到端模型进行训练，获取摘要处理模型。该摘要处理模型中，bert语言模型能够对输入的编码数据进行编码处理，生成第一文本片段对应的语义向量。在本实施例中，该bert语言模型生成的语义向量存在至少两种用途，其中一种用途是基于该语义向量对第一文本片段进行分类，从而获取该第一文本片段对应的文本类别；该语义向量的另一种用途是使用gpt2语言模型对该语义向量进行解码处理，该gpt2语言模型为语言生成模型，从而该gpt2语言模型能够根据语义向量逐字依次生成字符，该逐字生成的字符组成第一文本片段对应的第二文本片段。
109.需要说明的是，在一些应用场景中，为了提升摘要处理模型对目标文档中属于摘要部分的抽取能力，可以对bert语言模型预先使用与目标文档类型相近的摘要训练语料进行精调(fine-tune)。具体地，该摘要训练语料中包括文档语料以及该文档语料对应的摘要语料，可以将文档语料作为bert语言模型的输入，对应的摘要语料作为bert语言模型的输出，从而实现对bert语言模型的精调。
110.步骤306，将每个第一文本片段的语义向量输入摘要处理模型中的全连接层分类模型进行二分类，获取每个第一文本片段的文本类别。
111.在本实施例中，摘要处理模型中的全连接层分类模型用于根据语义向量对第一文本片段进行二分类，将每个第一文本片段的语义向量输入该全连接层分类模型，进而获取对应的文本类别。
112.一种可选的实施方式中，可以将该全连接层分类模型设置为深度学习中的全连接层，并且预设分类阈值，经过该全连接层的处理，能够获得该第一文本片段对应的分类概率，将该分类概率和预设分类阈值进行比较，若分类概率大于预设分类阈值，则该第一文本片段为第一类别；若该分类概率不大于预设分类阈值，则该第一文本片段为第二类别。其中，该全连接层的层数、神经元个数等可以根据应用场景进行设置，本实施例不做限制。
113.步骤307，判断第一文本片段的文本类型是否为摘要类型，其中，若文本类别为第一类别表示摘要类型，若文本类别为第二类别表示非摘要类型。
114.在本实施例中，第一文本片段的文本类别可能为摘要类型，也可能为非摘要类型，因而需要判断第一文本片段的文本类型是否为摘要类型。一种可选的实施方式中，若第一文本片段为第一类别，则该第一文本片段为摘要类型；多第一文本片段为第二类别，则该第一文本片段为非摘要类型。
115.步骤308，若第一文本片段的文本类别为摘要类型，则判断第一置信度和第二置信度是否均大于预设阈值。
116.在本例中，通过摘要处理模型计算第一文本片段的第一置信度，以及第二文本片
段的第二置信度。其中，第一置信度用于表征第一文本片段对应的摘要文本片段为第一文本片段本身的概率，第二置信度用于表征第一文本片段对应的摘要文本片段为第二文本片段的概率，可选地，还可以预设阈值，该预设阈值用于辅助判断第一文本片段对应的摘要文本片段的内容。
117.步骤309，若第一置信度和第二置信度均大于预设阈值，且第一置信度大于第二置信度，将第一文本片段作为其自身对应的摘要文本片段。
118.可以理解地，若第一置信度和第二置信度均大于阈值，则需要进一步的对第一置信度和第二置信度的大小关系进行比较，若第一置信度大于第二置信度，则说明第一文本片段为摘要文本片段更恰当，因而将第一文本片段作为其自身对应的摘要文本片段。举例说明，假设第一置信度为0.5，第二置信度为0.3，预设阈值为0.2，则第一置信度和第二置信度均大于预设阈值，且第一置信度大于第二置信度，则选择第一文本片段作为摘要文本片段。
119.步骤310，若第一置信度和第二置信度均大于预设阈值，且第二置信度大于第一置信度，将第二文本片段作为第一文本片段对应的摘要文本片段。
120.若第二置信度大于第一置信度，则说明第二文本片段为摘要文本片段更恰当，因而将第二文本片段作为第一文本片段对应的摘要文本片段。举例说明，假设第二置信度为0.5，第一置信度为0.3，预设阈值为0.2，则第一置信度和第二置信度均大于预设阈值，且第二置信度大于第一置信度，则选择第二文本片段作为摘要文本片段。
121.步骤311，若第一置信度和第二置信度均大于预设阈值，且第二置信度等于第一置信度，将第一文本片段作为其自身对应的摘要文本片段，或，将第二文本片段作为第一文本片段对应的摘要文本片段。
122.若第二置信度大于第一置信度，说明第一文本片段作为摘要文本片段的概率和第二文本片段作为摘要文本片段的概率相同，因而可以将第一文本片段作为其自身对应的摘要文本片段，也可以将第二文本片段作为第一文本片段对应的摘要文本片段。进一步地，在一些应用场景中，若第二置信度等于第一置信度，为了确定摘要文本片段，可以随机选择第一文本片段或第二文本片段作为摘要文本片段，还可以比较第一文本片段和第二文本片段的文本长度，将文本长度较小的作为摘要文本片段。
123.步骤312，若第一置信度和第二置信度不均大于预设阈值，则判断第一置信度是否大于预设阈值，若第一置信度大于预设阈值，将第一文本片段作为其自身对应的摘要文本片段。
124.在该应用场景中，第一置信度大于预设阈值，且第二置信度不大于预设阈值，即第一文本片段为摘要文本片段的概率足够大，且第二文本片段为摘要文本片段的概率不足够大，因而将第一文本片段作为其自身对应的摘要文本片段。举例说明，假设第一置信度为0.5，第二置信度为0.1，预设阈值为0.2，则第一置信度0.5大于预设阈值0.2，第二置信度0.1小于预设阈值0.2，则选择第一文本片段作为摘要文本片段。
125.步骤313，若第一置信度不大于预设阈值，则判断第二置信度是否大于预设阈值，若第二置信度大于预设阈值，则将第二文本片段作为第一文本片段对应的摘要文本片段，若第二置信度不大于预设阈值，确定第一文本片段不存在对应的摘要文本片段。
126.若第二置信度大于预设阈值，则说明第二置信度大于预设阈值，且第一置信度不
大于预设阈值，在该种情况下，第二文本片段为摘要文本片段的概率足够大且第一文本片段为摘要文本片段的概率不足够大，因而将第二文本片段作为第一文本片段对应的摘要文本片段。举例说明，假设第二置信度为0.5，第一置信度为0.1，预设阈值为0.2，则第二置信度0.5大于预设阈值0.2，第一置信度0.1小于预设阈值0.2，则选择第二文本片段作为摘要文本片段。
127.若第二置信度不大于预设阈值，则说明，第二置信度和第一置信度均不大于预设阈值，在该种情况下，第一文本片段为摘要文本片段的概率不足够大并且第二文本片段为摘要文本片段的概率也不足够大，因而确定第一文本片段不存在对应的摘要文本片段。举例说明，假设第一置信度为0.1，第二置信度为0.1，预设阈值为0.2，则第一置信度0.1小于预设阈值0.2，第二置信度0.1小于预设阈值0.2，则第一文本片段不存在对应的摘要文本片段。
128.步骤314，若第一文本片段的文本类别不为摘要类型，则判断第二置信度是否大于预设阈值，若第二置信度大于预设阈值，则将第二文本片段作为第一文本片段对应的摘要文本片段；若第二置信度不大于预设阈值，则确定第一文本片段不存在对应的摘要文本片段。
129.本例中，当第一文本片段的文本类别不为摘要类别，说明该第一文本片段能够作为摘要文本片段的概率较低，进而需要判断第二置信度是否大于预设阈值。
130.在第二置信度大于预设阈值的情况下，第二文本片段为摘要文本片段的概率足够大，因而将第二文本片段作为第一文本片段对应的摘要文本片段。举例说明，假设第一文本片段的文本类别不为摘要类别且置信度为0.5，预设阈值为0.2，则第二置信度0.5大于预设阈值0.2，则将第二文本片段作为第一文本片段对应的摘要文本片段。
131.在第二置信度不大于预设阈值的情况下，则说明第二置信度不足够大，即第二文本片段为摘要文本片段的概率不足够大，因而确定第一文本片段不存在对应的摘要文本片段。举例说明，假设第一文本片段的文本类别不为摘要类别且第二置信度为0.1，预设阈值为0.2，则第二置信度0.1小于预设阈值0.2，则确定第一文本片段不存在对应的摘要文本片段。
132.经过上述步骤，通过摘要处理模型能够生成每个第一文本片段对应的摘要文本片段，进一步地，按照摘要文本片段生成的先后顺序，对摘要文本片段进行拼接从而生成目标文档的摘要内容。综上，本公开实施例的摘要处理方法，根据预设的标点符号和滑动窗口对目标文档进行切分生成多个第一文本片段，针对每个第一文本片段，通过摘要处理模型的bert语言模型对第一文本片段进行编码处理生成对应的语义向量，使用gpt2语言模型对第一文本片段的语义向量解码处理，从而获取第二文本片段，通过摘要处理模型计算获得第一文本片段的第一置信度以及第二文本片段的第二置信度，基于第一文本片段的文本类别以及第一置信度和第二置信度选择用第一文本片段本身作为第一文本片段的摘要文本片段，还是选择用第二文本片段作为第一文本片段的摘要文本片段，还是既不选择第一文本片段本身也不选择第二文本片段，即第一文本片段没有对应的摘要文本片段，进而根据不同选择方式生成的多个摘要文本片段合成目标文档的摘要内容。本方法中，使用滑动窗口确保了生成的摘要内容的上下文连贯性，根据摘要处理模型融合了抽取式摘要和生成式摘要的处理特点对目标文档进行摘要处理，确保生成的摘要内容更贴合目标文档，并且语言
通顺、连贯性较好。
133.在本实施例中，基于上述实施例，一种可选的实施方式中，摘要处理模型中的第一模型为bert语言模型，摘要处理模型中第二模型为gpt2语言模型，该gpt2语言模型通过大规模的中文维基(wiki)语料进行了预训练，具体地，在本实施例中包括：
134.首先，根据文本长度阈值通过滑动窗口对目标文档按照句号进行切分处理，生成多个第一文本片段，可选的，该文本长度阈值可以为512、1024等。
135.切分生成的每个第一文本片段的文本长度小于等于文本长度阈值，并且相邻的第一文本片段存在重叠部分，从而使得相邻的第一文本片段相关联。举例而言：若目标文档为“句子a。句子b。句子c。”则切分获得的第一文本片段包括：“句子a。句子b。”和“句子b。句子c。”。
136.进一步地，针对每个第一文本片段通过one-hot进行映射，获取对应的编码数据，然后将对应的编码数据输入摘要处理模型中的bert语言模型得每个第一文本片段对应的语义向量。
137.其中，bert语言模型已使用与目标文档类型相同的语料进行精调(fine-tune)处理过，所以该bert语言模型的处理效果更佳。
138.进一步地，每个第一文本片段对应的语义向量输入全连接层分类模型中进行二分类，生成每个第一文本片段的文本类别，在本实施例中，文本类别包括代表摘要类型的“1”，以及代表非摘要类型的“0”。
139.并且，将第一文本片段对应的语义向量输入gpt2语言模型，对该语义向量进行解码处理，逐字生成第二文本片段。
140.进一步地，根据每个第一文本片段的文本类别以及每个第一文本片段对应的第二文本片段，将第一文本片段或第二文本片段或空确定为当前第一文本片段对应的摘要文本片段。
141.获得摘要处理模型之后，可以通过测试集对该摘要处理模型进行测试，具体地，将测试集中的文档通过滑窗进行切分处理，将切分处理之后的文档输入摘要处理模型中，获取该摘要处理模型输出的摘要结果。
142.图5为本公开实施例提供的一种文档摘要处理装置的结构示意图，该装置可由软件和/或硬件实现，一般可集成在文档摘要处理电子设备中。如图5所示，该装置包括：
143.切分模块501，用于对目标文档进行切分生成多个第一文本片段；
144.获取模块502，用于通过预先训练的摘要处理模型中的第一模型对每个所述第一文本片段进行编码处理，获取每个所述第一文本片段的语义向量；
145.第一生成模块503，用于通过所述摘要处理模型中的第二模型对每个所述第一文本片段的语义向量进行解码，生成每个所述第一文本片段对应的第二文本片段；
146.第二生成模块504，用于对每个所述第一文本片段的语义向量进行分类处理，生成每个所述第一文本片段的文本类别；
147.确定模块505，用于根据每个所述第一文本片段的文本类别，以及每个所述第一文本片段对应的第二文本片段，确定每个所述第一文本片段对应的摘要文本片段；
148.第三生成模块506，用于根据每个所述第一文本片段对应的摘要文本片段生成所述目标文档的摘要内容。
149.可选地，所述切分模块501，用于：
150.确定所述第一模型预设的文本长度阈值；
151.根据预设的标点符号和用于上下文关联的滑动窗口对所述目标文档进行切分，生成多个第一文本片段，其中，切分位置前后相邻的第一文本片段中的部分内容重叠，每个所述第一文本片段的长度小于或者等于所述文本长度阈值。
152.可选地，所述第一模型为预先训练的抽取式语言模型，所述获取模块502，用于：
153.根据预设词表对每个所述第一文本片段进行映射，获取所述词表中与所述第一文本片段对应的编码数据；
154.将所述第一文本片段对应的编码数据输入预先训练的抽取式语言模型，获取每个所述第一文本片段的语义向量。
155.可选地，所述第二模型为预先训练的生成式语言模型，所述第一生成模块503，用于：
156.将所述第一文本片段的语义向量输入预先训练的生成式语言模型，根据所述第一文本片段的语义向量逐字依次生成字符，获取与每个所述第一文本片段对应的第二文本片段。
157.可选地，所述第二生成模块504，用于：
158.将每个所述第一文本片段的语义向量输入所述摘要处理模型中的全连接层分类模型进行二分类，获取每个所述第一文本片段的文本类别，其中，所述文本类别为表示摘要类型的第一类别，或者，所述文本类别为表示非摘要类型的第二类别。
159.可选地，所述确定模块505，用于：
160.当所述第一文本片段的文本类别为摘要类别，通过所述摘要处理模型的处理计算所述第一文本片段的第一置信度，以及与所述第一文本片段对应的第二文本片段的第二置信度；
161.在所述第一置信度和所述第二置信度均大于预设阈值的情况下，若所述第一置信度大于所述第二置信度，则将所述第一文本片段作为其自身对应的摘要文本片段，或者，
162.若所述第二置信度大于所述第一置信度，则将所述第二文本片段作为所述第一文本片段对应的摘要文本片段，或者，
163.若所述第二置信度等于所述第一置信度，则将所述第一文本片段为其自身对应的摘要文本片段，或，将所述第二文本片段为所述第一文本片段对应的摘要文本片段。
164.可选地，所述装置还包括：
165.第一处理模块，用于在所述第一置信度大于预设阈值，以及所述第二置信度不大于预设阈值的情况下，则将所述第一文本片段作为其自身对应的摘要文本片段；或者，
166.第二处理模块，用于在所述第二置信度大于预设阈值，以及所述第一置信度不大于预设阈值的情况下，则将所述第二文本片段作为所述第一文本片段对应的摘要文本片段；或者，
167.第三处理模块，用于在所述第一置信度和所述第二置信度均不大于预设阈值的情况下，确定所述第一文本片段不存在对应的摘要文本片段。
168.可选地，所述装置还包括：
169.计算模块，用于当所述第一文本片段的文本类别不为摘要类别，通过所述摘要处
理模型的处理计算与所述第一文本片段对应的第二文本片段的第二置信度；
170.第四处理模块，用于在所述第二置信度大于预设阈值的情况下，则将所述第二文本片段作为所述第一文本片段对应的摘要文本片段；或者，
171.第五处理模块，用于在所述第二置信度不大于预设阈值的情况下，确定所述第一文本片段不存在对应的摘要文本片段。
172.可选的，所述第三生成模块506，用于：
173.将至少一个所述第一文本片段本身作为对应的抽取式文本片段，以及将至少一个所述第一文本片段对应的所述第二文本片段作为对应的生成式文本片段；
174.将至少一个所述抽取式文本片段与至少一个所述生成式文本片段进行拼接，生成所述目标文档的摘要内容。本公开实施例所提供的文档摘要处理装置可执行本公开任意实施例所提供的文档摘要处理方法，具备执行方法相应的功能模块和有益效果。
175.本公开实施例还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现本公开任意实施例所提供的文档摘要处理方法。
176.图6为本公开实施例提供的一种电子设备的结构示意图。
177.下面具体参考图6，其示出了适于用来实现本公开实施例中的电子设备600的结构示意图。本公开实施例中的电子设备600可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
178.如图6所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(rom)602中的程序或者从存储装置608加载到随机访问存储器(ram)603中的程序而执行各种适当的动作和处理。在ram 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、rom 602以及ram603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。
179.通常，以下装置可以连接至i/o接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
180.特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从rom 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的文档摘要处理方法中限定的上述功能。
181.需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计
算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
182.在一些实施方式中，客户端、服务器可以利用诸如http(hypertext transfer protocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“lan”)，广域网(“wan”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
183.上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
184.上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：对目标文档切分生成多个第一文本片段；通过摘要处理模型中的第一模型对每个第一文本片段编码处理，获取语义向量；通过摘要处理模型中的第二模型对每个第一文本片段的语义向量解码，生成对应的第二文本片段；对每个第一文本片段的语义向量分类处理，生成每个第一文本片段的文本类别；根据每个第一文本片段的文本类别，以及每个第一文本片段对应的第二文本片段，确定每个第一文本片段对应的摘要文本片段；根据每个第一文本片段对应的摘要文本片段生成目标文档的摘要内容。融合了抽取式摘要和生成式摘要的处理特点对目标文档进行摘要处理，确保生成的摘要内容更贴合目标文档，并且语言通顺、连贯性较好。
185.可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
186.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用
于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
187.描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。
188.本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。
189.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。