用于自动问答的方法、系统、装置和介质与流程

1.本说明书的一个或多个实施例涉及自然语言处理，尤其涉及用于自动问答的方法、系统、装置和计算机可读存储介质。


背景技术：

2.随着互联网的快速发展，线上问答成为用户快速获取知识、解决问题的一种重要方式。然而，由真实用户提供答案的人工问答系统存在一些限制。例如，在金融、医疗等专业领域，在线问答平台上的专业人员远远少于实际需求数目。专业人员数量不足与用户提问需求之间的矛盾，带来专业人员工作压力大、反馈用户不及时等问题。
3.为解决此类问题，已出现自动问答系统，通过挖掘用户询问中的知识，利用问答知识库等信息源自动回复用户。相较于人工问答系统，自动问答系统具有明显的效率优势。
4.然而，现有的自动问答系统通常是在问答知识库中检索答案。当问答知识库中不存在相关联的答案时，此类自动问答系统难以做出回复，因此此类自动问答系统的泛化能力较差、可扩展性不佳。
5.因此，需要能够具有较好的泛化能力和较高的稳定性的自动问答方案。


技术实现要素：

6.为了克服现有技术的缺陷，本说明书的一个或多个实施例通过将对话生成系统和检索系统相组合，实现了泛化能力更好、回复更准确的自动问答方案。
7.本说明书的一个或多个实施例通过以下技术方案来实现其上述目的。
8.在一个方面中，提供了一种由计算机实现的自动问答方法，包括：获取对话前文，所述对话前文包括要回复的询问；基于所述对话前文，利用检索模型在问答知识库中检索对所述询问的一个或多个第一候选回复；基于所述对话前文，利用对话生成模型自动生成对所述询问的一个或多个第二候选回复，所述一个或多个第一候选回复和所述一个或多个第二候选回复构成候选回复集；利用回复打分模型对所述候选回复集中的候选回复打分；以及基于对所述候选回复集中的候选回复的打分结果从所述候选回复集中选择对所述询问的回复。
9.优选地，在训练所述对话生成模型时优先选择包括实体信息的回复放入训练集。
10.优选地，所述方法进一步包括：确定与所述对话前文相关联的角色信息；以及基于所述角色信息处理所述对话前文以作为所述对话生成模型的输入。
11.优选地，所述方法进一步包括：预测与所述回复相关联的实体信息；以及将所预测的所述实体信息与所述对话前文一起作为所述对话生成模型的输入。
12.优选地，其中所述回复打分模型是基于对话样本集来训练的，每个对话样本包括对话前文-回复对，所述对话样本分为正样本和负样本，其中正样本中的回复与对话前文相匹配，负样本中的回复与对话前文不匹配。
13.优选地，其中对于同一对话前文，与负样本中的回复相关联的实体不同于与正样
本中的回复相关联的实体。
14.优选地，利用检索模型在问答知识库中检索对所述询问的一个或多个第一候选回复进一步包括：确定检索到的所述一个或多个第一候选回复与所述询问的匹配度；确定所述一个或多个第一候选回复中具有最高匹配度的第一候选回复；以及如果所述最高匹配度大于匹配度阈值，则直接将具有所述最高匹配度的第一候选回复作为对所述询问的回复。
15.优选地，所述方法进一步包括：将所述询问和对所述询问的所述回复保存到所述问答知识库。
16.优选地，其中所述对话前文与问诊、业务咨询或客户服务相关。
17.在另一方面，提供了一种由计算机实现的自动问答系统，包括：检索模型，用于基于对话前文在问答知识库中检索对所述对话前文中包括的询问的一个或多个第一候选回复；对话生成模型，用于基于所述对话前文自动生成对所述询问的一个或多个第二候选回复，所述一个或多个第一候选回复和所述一个或多个第二候选回复构成候选回复集；回复打分模型，用于对所述候选回复集中的候选回复打分；以及回复模块，用于基于对所述候选回复集中的候选回复的打分结果从所述候选回复集中选择对所述询问的回复。
18.优选地，所述自动问答系统进一步包括：预处理模块，用于对所述对话前文执行预处理，其中在训练所述对话生成模型时所述预处理模块用于优先选择包含实体信息的语句放入训练集。
19.优选地，所述自动问答系统进一步包括：角色确定模型，用于确定与所述对话前文相关联的角色信息，其中基于所述角色信息处理所述对话前文以作为所述对话生成模型的输入。
20.优选地，所述自动问答系统进一步包括：实体预测模型，用于预测与所述回复相关联的实体信息，其中所预测的所述实体信息与所述对话前文一起作为所述对话生成模型的输入。
21.优选地，其中所述回复打分模型是基于对话样本集来训练的，每个对话样本包括对话前文-回复对，所述对话样本分为正样本和负样本，其中正样本中的回复与对话前文相匹配，负样本中的回复与对话前文不匹配。
22.优选地，其中对于同一对话前文，与负样本中的回复相关联的实体不同于与正样本中的回复相关联的实体。
23.优选地，其中所述检索模型进一步用于：确定检索到的所述一个或多个第一候选回复与所述询问的匹配度；确定所述一个或多个第一候选回复中具有最高匹配度的第一候选回复；以及如果所述最高匹配度大于匹配度阈值，则直接将具有所述最高匹配度的第一候选回复作为对所述询问的回复。
24.优选地，所述自动问答系统进一步包括：保存模块，用于将所述询问和对所述询问的所述回复保存到所述问答知识库。
25.优选地，其中所述对话前文与问诊、业务咨询或客户服务相关。
26.在又另一方面中，提供了一种用于确定文章对产品或服务的影响的装置，包括：存储器；以及处理器，所述处理器被配置成执行如上文任一项所述的方法。
27.在又另一方面中，提供了一种存储指令的计算机可读存储介质，该指令当被计算机执行时，使所述计算机执行上述方法。
28.与现有技术相比，本说明书的一个或多个实施例能够实现以下技术效果中的一者或多者：能够提供更高质量的回复；具有更好的泛化能力；具有更好的多样性和可扩展性。
附图说明
29.以上发明内容以及下面的具体实施方式在结合附图阅读时会得到更好的理解。需要说明的是，附图仅作为所请求保护的发明的示例。在附图中，相同的附图标记代表相同或类似的元素。
30.图1示出根据本说明书实施例的自动问答方案的应用场景的示例的示意图。
31.图2示出根据本说明书实施例的用于生成对询问的回复的总体过程的示意图。
32.图3示出根据本说明书实施例的用于自动问答的过程的示意图。
33.图4示出根据本说明书实施例的用于对对话前文执行预处理的过程的操作的示意图。
34.图5示出根据本说明实施例的对对话前文执行数据清洗前和数据清洗后的内容。
35.图6示出根据本说明书实施例的用于执行角色确定的示例模型的示意图。
36.图7示出根据本说明书实施例的用于执行实体预测的示例模型的示意图。
37.图8示出根据本说明书实施例的用于执行回复生成的示例模型的示意图。
38.图9示出根据本说明书实施例的将原始数据处理为对话生成模型的输入的示意图。
39.图10示出可用于将对话上文或询问进行向量化的过程的示例。
40.图11示出根据本说明书的实施例的采用faiss模型来检索候选回复的过程的示例。
41.图12示出根据本说明书实施例的用于对回复打分的回复打分模型的示意图。
42.图13示出根据本说明书的实施例的由计算机实现的示例自动问答方法的示意流程图。
43.图14示出根据本说明书实施例的另一示例自动问答方法的示意流程图。
44.图15示出根据本说明书实施例的示例自动问答系统的示意图。
45.图16示出用于实现根据本说明书一个或多个实施例的系统的装置的示意框图。
具体实施方式
46.以下具体实施方式的内容足以使任何本领域技术人员了解本说明书的一个或多个实施例的技术内容并据以实施，且根据本说明书所揭露的说明书、权利要求及附图，本领域技术人员可轻易地理解本说明书的一个或多个实施例相关的目的及优点。
47.参见图1，其示出了根据本说明书实施例的自动问答方案的应用场景的示例的示意图。具体而言，图1示出的是机器问诊的对话的界面100的示意图。应当领会，图1中的应用场景仅仅是示例而非限制。本说明书的实施例不限于机器问诊，而是可应用于各种自动对话场景，包括但不限于：智能客服、售前咨询、坐席助手、智能聊天、知识询问等等。此外，自
动问答系统可采用不同于如图1所示的界面来实现，例如可采用网页、桌面客户端、智能手机应用、小程序、sms消息、语音呼叫、视频电话等等。该界面可包括比图1中的示例更多、更少或不同的界面元素。
48.如图1所示，界面100可包括对话前文102。所谓对话前文，是指在当前会话中已经出现过的对话内容。在图1中示出了以下对话前文102：“我得了急性腹泻，去医院住院输液没效果，如何治疗”、“你好，请问腹泻多久了。”、“2至3周啦！”、“请问腹泻的时候有什么明显的症状吗”、“频率比较高，而且每次腹泻完感觉肚子好疼，输液之后也没有缓解。”在对话前文102中，可包括多个会话，其中该对话中的每次发言可被称为一个会话。在图1的示例中示出了5个会话。
49.应当领会，虽然在图1中的对话前文仅包括文本，但本说明书的对话前文不限于此，而是例如可包括但不限于：文本、图像、音频、视频、表情、文档等等。该对话前文可由一个或多个参与者来发送，例如在图1的机器问诊示例中，该对话前文由智能医生102和患者104来发送，其中该智能医生可由如本说明书实施例所述的自动问答系统来实现，而患者104可以为人类参与者（在后文中被称为“用户”）。通常，该对话前文中可包括用户（例如患者104）所发送的内容，而可包括也可不包括自动问答系统（例如智能医生102）所发送的内容。虽然在图1中仅示出了单个用户，但本说明书的实施例同样可适用于存在多个用户的场景，例如群聊场景或其它对人对话场景。
50.如图1所示，该对话前文可包括该自动问答系统要回复的询问108。在多数情况下，该询问通常是该对话前文中由用户发送的最后的一个或多个会话，如图1中的“频率比较高，而且每次腹泻完感觉肚子好疼，输液之后也没有缓解。”在一些情况下，该询问也可以是由用户发送的一个或多个先前会话。
51.应当领会，本说明书的“询问”可以是期望自动问答系统作出回应的任何形式的内容。该询问可包括显式询问，也可包括非显式询问。显式询问例如可以是问句形式的询问，例如“如何治疗”等等。非显式询问可包括其它形式的询问，例如“2至3周啦”，这虽然仅是一个陈述句，但用户可能期望自动问答系统对其作出回应，因此其也可被称为询问。在图1中的示例中，对于“2至3周啦”这一询问，智能医生用“请问腹泻的时候有什么明显的症状吗”来回复。甚至，该询问可以是简单的打招呼，例如“hi”、“你好”或者简单的表情等等。
52.如图1所示，该界面100可包括输入区域110。用户可通过该输入区域110来输入内容，例如询问108。例如，用户可通过输入区域110中的文本框来输入文本，可点击话筒按钮输入语音，可点击笑脸图标输入表情，或者可点击加号图标来输入其它形式的内容，如文档等。
53.本说明书的实施例可用于生成对询问108的回复。
54.参见图2，其示出根据本说明书实施例的用于生成对询问的回复的总体过程200的示意图。
55.如图2所示，过程200可包括：在操作202，可接收对话前文。如上文所述，可通过各种方式接收各种形式的对话前文。例如，可通过网页可、桌面客户端、智能手机应用、小程序、sms消息、语音呼叫、视频电话或其组合的方式来接收对话前文。例如，在智能客服场景中，可以通过电商应用中的客服对话功能来接收对话前文。
56.如上文所述，该对话前文可采用各种形式，包括但不限于：文本、图像、音频、视频、
表情、文档等等。
57.应当理解，对话前文的一部分内容可能是由如本说明书实施例的自动问答系统生成的，因此该部分内容可不接收，而仅接收由用户发送的内容。在仅接收用户发送的内容的情况下，可将用户发送的内容与该自动问答系统生成（且通常被存储）的内容一起构成对话前文（通常会考虑对话的发送次序）。因此，此处的接收对话前文可指接收全部对话前文，也可指接收对话前文中由用户发送的内容。为便于说明，在后文中将上述情景统称为“接收对话前文”。
58.如上文所述，对话前文通常可包括自动问答系统要回复的询问，如图1中的询问108。
59.在接收对话前文之后，过程200可包括：在操作204，可生成对该对话前文中所包括的询问的回复。该过程通常由如根据本说明书实施例的自动问答系统生成，为本说明书实施例的关键部分，将在下文中详细描述。
60.在生成对询问的回复之后，过程200可包括：在操作206，可输出对该询问的回复。可采用各种方式来输出各种形式的回复。例如，可采用网页、桌面客户端、智能手机应用、小程序、sms消息、语音呼叫、视频电话等方式来输出回复。通常，输出回复可采用与接收回复相同的方式。例如，在图1的示例中，可将所生成的回复在该界面100中在询问108下方显示。
61.例如，该回复也可采用文本、图像、音频、视频、表情、文档等形式输出。
62.参见图3，其示出根据本说明书实施例的用于自动问答的过程300的示意图。
63.如图3所示，在接收到对话前文302之后，过程300可包括：可选地，对对话前文进行预处理。
64.在对对话前文进行预处理之后，过程300可包括：在操作312，可执行回复检索操作，以获得一个或多个第一候选回复。
65.与回复生成过程并行、串行或按其他次序，过程300可包括：在操作310，可执行回复生成操作，以生成一个或多个第二候选回复。通常，该操作310可通过对话生成模型来执行，该对话生成模型可利用机器学习模型。
66.在生成候选回复之前，过程300可包括：在操作306，可进行角色确定306和/或实体预测308。
67.该一个或多个第一候选回复和该一个或多个第二候选回复可构成候选回复集。
68.随后，过程300可包括：在操作314，可对该候选回复集中的回复执行回复打分操作。通常，该操作314可通过检索模型来执行。
69.最后，过程300可输出回复，该回复例如可以是得分最高的回复。
70.下面，具体描述图3中的每个操作的具体细节。
71.预处理参见图4，其示出根据本说明书实施例的用于对对话前文执行预处理的过程400的操作的示意图。
72.如图4所示，过程400可包括：可选地，如果该对话前文中包括非文本形式的内容，则可在操作402，将该对话前文转换为文本形式，以获得对话前文文本。
73.例如，对于图像、音频、视频等形式的对话前文内容，可对该内容执行图像处理和/或音频处理，以识别出其中的文字，从而将该对话前文内容转换为文本。
74.对于表情形式的对话前文内容，可执行转换以将表情转换为对应的文字。例如，可将“微笑”表情转换为“微笑”文字，将“大拇指”表情转换为“赞扬”文字等等。
75.对于文档形式的对话前文内容，可读取该文档的标题、读取该文档的内容、提取该文档的关键字、提取该文档的摘要等等，或进行上述处理的组合。
76.上述处理可采用本领域已知或可构想的任何方式进行，在此不再赘述。
77.可以理解，如果对话前文中不包括非文本内容，则无需执行操作402。
78.过程400还可包括：在操作404，可对对话前文执行数据清洗，以将该对话前文转换为容易执行后续操作的高质量对话前文文本。此操作例如可包括去除重复的标点符号、添加缺失的标点符号、去除句子中的换行符和制表符、合并同一用户的连续会话等等。可根据需要实现本领域技术人员可构想的其它数据清洗操作。
79.参见图5，其示出了根据本说明实施例的对对话前文执行数据清洗前和数据清洗后的内容。
80.如图5所示，清洗前的数据包括换行符“\n”和制表符“\t”已经被删除，“便秘怎么办啊憋的肚子疼”等语句后添加了句号，患者的连续两个会话“前天开始不对大前天”以及“平时每天一次”被合并，添加了逗号等等。
81.过程400还可包括：在操作406，可选地，可对对话前文执行样本处理及选择。
82.可以理解，对话前文预处理的目的在于为后续处理提供更高质量的输入。例如，其中一个目的是为后续的机器学习模型提供高质量的输入或训练样本。后续的机器学习模型可包括对话生成模型，以及可选的角色确定模型和实体预测模型。对于上述机器学习模型而言，通常可包括“训练阶段”和“预测阶段”。在“预测阶段”，所输入的是对话前文，机器学习模型基于该对话前文来生成一个或多个第二候选回复。而在能够使用机器学习模型来进行预测之前，首先要在“训练阶段”中使用大量训练集来对该机器学习模型进行训练。在训练阶段，可采用有监督的方式使用训练集来训练该机器学习模型，训练集中的训练样例可包括“训练样本”和对应的“标签”，例如可采用（训练样本，标签）对的形式。
83.对于对话生成模型，训练样本可以是“对话前文”，而标签可以是对该对话前文中的询问的实际回复。
84.也就是说，在“训练阶段”，尽管上文称为对“对话前文”进行预处理，实际上可对包括对话前文和回复的整个对话进行预处理。如图5所示，在清洗后文本中，会话505（“不排除胃肠功能紊乱和肠道异常，建议到医院门诊做个扫描透视”）为实际回复，其可在对话生成模型的训练阶段作为标签，以便对该对话生成模型进行有监督训练。
85.在本说明书的优选实施例中，对话生成模型的训练样本还可包括“实体信息”，即该训练样本可为“对话前文 实体信息”，其对应的标签为对该对话前文的询问的实际“回复”作为标签。本说明书所称的实体信息，是指文本中具有特定意义的实体。在一些实施例中，可不限制实体所属的领域。而在优选实施例中，可仅使用特定领域的实体。以医疗领域为例，实体信息指当前文本中与医疗实体相关的细分类别信息，包括症状、药品、属性等类目下的具体类别。例如，可指定特定实体的列表，例如上述类别中所包括的实体的列表。例如，可针对症状、药品、属性分别提供列表，从而可针对以上实体类别分别识别并使用实体。
86.从而，在对对话生成模型进行训练时，可优先选择包括实体信息的回复放入训练集。
87.对于角色确定模型，训练样本可以是“对话前文”或者“询问”，其对应的标签可以是与该对话前文或该询问相关联的角色作为标签。
88.对于实体预测模型，训练样本可以是“对话前文”，其对应的标签可以是对该对话前文中的询问的实际回复中所包括的实体作为标签。
89.在对实体预测模型进行训练时，也可优先选择包括实体信息的回复放入训练集。
90.综上，在为了对实体预测模型或对话生成模型进行训练而进行预处理时，可在预处理阶段优先选择包括实体信息的回复放入训练集。替代地，可在不同的阶段执行上述训练样本选择操作。
91.角色确定为了使对话生成模型能够更好地生成候选回复，知晓该对话前文中的每个会话的角色信息可能有帮助。例如，在图1的示例中，已知晓“我得了急性腹泻，去医院住院输液没效果，如何治疗”、“2至3周啦！”和“频率比较高，而且每次腹泻完感觉肚子好疼，输液之后也没有缓解”这三个会话为用户（人类患者）发送的，而“你好，请问腹泻多久了。”、“请问腹泻的时候有什么明显的症状吗”这两个会话为智能医生（例如本说明书实施例的自动问答系统）发送的。在已知晓对话前文中的会话的角色信息的情况下，可无需再执行角色确定。
92.然而，在一些情况下，所接收到的对话前文中不一定包括会话的发送者的角色。例如，在一些示例中，可能仅仅接收了包括多个会话的对话前文的内容，而该对话前文中并不包括角色信息。
93.本说明书的实施例同样适用于这样的情况。在这样的情况下，为提高对话生成模型所生成的回复质量，可通过角色确定模型来确定对话前文中的会话的发送者的角色。
94.参见图6，其示出了根据本说明书实施例的用于执行角色确定的示例模型的示意图。
95.图6的示例角色确定模型600基于bert模型或其变体来实现。bert模型是一种用于自然语言处理的机器学习模型，其通常采用句子或句子对（例如“询问
”‑“
回复”对）作为输入，并根据任务需要（例如基于标签）提供相应的输出。
96.如图6所示，角色确定模型600接收要预测其角色信息（发送者）的会话604。在本说明书的优选实施例中，角色确定模型600还可接收该会话604的上下文602作为附加信息。该上下文602例如可以是会话604的上一会话，即图6中的“那胃不舒服咋回事呢”在另一些示例中，还可使用该会话的前面的多个会话、和/或该会话的后续会话，来作为确定该会话604的角色信息的附加信息。
97.通过使用会话的上下文作为附加信息来确定会话的角色信息，能够进一步提升角色确定模型600的表现。
98.会话604以及上下文602被输入到bert模型606进行处理，在处理之前可能对其进行嵌入（embedding）操作，如符号嵌入（token embedding）、片段嵌入（segmentation embedding）、位置嵌入（position embedding）等等操作。
99.在本说明书的实施例中，在对角色确定模型进行训练时，使用会话（在优选示例中还包括该会话的上下文）作为训练样本，使用该会话的角色信息（该会话的发送者）作为标签，来对该角色确定模型进行训练。
100.随后，训练好的角色确定模型可用于基于会话（如会话604）和其上下文（如上下文
602）来确定该会话的角色信息。在图6的示例中，对于输入的会话604“可能是有胃炎”和上下文“那胃不舒服咋回事呢”，该角色确定模型600可输出其对角色信息的预测，即确定其会话角色606为医生。
101.基于本文公开的思想，本领域技术人员可采用与上文的具体方式不同的任何方式来利用角色确定模型确定对话前文中的会话发出者。
102.实体预测如上文所述，在对对话生成模型进行训练或使用对话生成模型来生成对话时，实体信息可提高对话生成模型的性能。
103.为了能够利用实体信息，可执行实体预测操作（如图3的308所示）。实体预测是为了预测在对对话前文中所包括的询问的回复所包括或涉及的实体。
104.参见图7，其示出了根据本说明书实施例的用于执行实体预测的示例模型的示意图。
105.图7的示例实体预测模型700基于bert模型或其变体来实现。
106.如图7所示，实体预测模型700接收对话前文702作为输入。经过输入704、符号嵌入706、片段嵌入708、位置嵌入710、编码器712（其可用bert模型来实现）、符号表示714、池化层716以及softmax 718等处的处理之后，实体预测模型700可将在对对话前文中所包括的询问的回复所包括或涉及的实体作为标签来输出。
107.在本说明书的实施例中，在对实体预测模型进行训练时，使用对话前文作为训练样本，使用对话前文的实际回复中所涉及的实体作为标签，来对该实体预测模型进行训练。该实际回复中所涉及的实体例如可以是通过人工打标签的方式来实现的，或者可以是通过其它自动化的方式（例如使用机器学习模型来对该实际回复执行命名实体识别等）来实现的。
108.优选地，如上文所述，该实体可以为特定领域的实体。以医疗领域为例，实体信息指当前文本中与医疗实体相关的细分类别信息，包括症状、药品、属性等类目下的具体类别。例如，可指定特定实体的列表，例如上述类别中所包括的实体的列表。例如，可针对症状、药品、属性分别提供列表，从而可针对以上实体类别分别识别并使用实体。
109.例如，对于如图1中所示的对话前文102，该实体预测模型700可输出其对实体信息的预测，例如可确定该回复中所包括或涉及的实体为“病因”以及“肠镜”。可以看出，在优选示例中，“诱因”和“肠镜”均为医疗领域的实体。
110.随后，实体预测模型700所预测的实体可用于后续对话生成模型。例如，对话生成模型可使用“对话前文 实体信息”作为输入。图9，其示出了根据本说明书实施例的将原始数据处理为对话生成模型的输入的示意图。例如，如图9中所示，输入904可包括对话前文906以及实体信息908，其中该实体信息为“诱因 | 肠镜”。通过使用实体信息这一额外信息，能够提升对话生成模型的预测表现。
111.基于本文公开的思想，本领域技术人员可采用与上文的具体方式不同的任何方式来利用实体预测模型来预测回复中可能包括或涉及的实体。
112.回复生成可使用回复生成操作（如图3中所示的回复生成310）来生成对对话前文中的对话的一个或多个回复，作为候选回复。
113.在本说明书的优选实施例中，可采用对话生成模型来执行回复生成操作。该对话生成模型优选地为gpt模型或其变体。gpt模型是由openai公司开发的一种对话生成模型，其变体可包括gpt模型、gpt-2模型、gpt-3模型等等。也可使用本领域技术人员可构想的其它对话生成模型。
114.与检索模型（将在下文介绍）相比，对话生成模型的优点在于灵活性好，泛化能力强，也能够获取与对话前文更加相关的回复，但同时也存在着生成质量不稳定的缺点。为提升模型的稳定性和回复生成的质量，我们对生成模型进行了优化（如图8所示）。
115.参见图8，其示出了根据本说明书实施例的用于执行回复生成的示例模型的示意图。在图8的示例中，该回复生成操作使用对话生成模型800来执行。在图8的示例中，该对话生成模型800为gpt模型。
116.如图8所示，对话生成模型800接收对话前文802作为输入，并输出所生成的候选回复804。如图8所示，对话生成模型800可包括transformer编码器806和transformer解码器808。具体而言，transformer解码器808可基于来自transformer编码器806的输入以及已生成的字词生成后续字词。例如，在第一位置，transformer解码器808的输入是transformer编码器806的输出以及默认起始输入[s]，并输出第一个字“拉”；在第二位置，transformer解码器808的输入变成了上一位置的输出（即第一个字“拉”），并输出第二个字“了
”……
依次类推，最终生成完整的输出804，该输出804是由前面依次输出的字词构成的句子。本领域技术人员理解如何实现对话生成模型800，其具体操作细节在此不再赘述。
[0117]
优选地，将经预处理的对话前文作为输入。该预处理可参见是前文对预处理304的描述。
[0118]
优选地，基于角色信息来处理对话前文，以作为对话生成模型的输入。也就是说，将带有角色信息的对话前文作为输入。例如，该角色信息可以是通过角色确定306这一操作来确定的角色信息，如上文参考图6具体描述的。
[0119]
在一些示例中，角色信息可用来确定连续的两个会话是否是由相同用户发出的，从而可被用来合并会话。例如，在图9的示例中，原始数据902中的会话“2至3周啦！”和“每次腹泻完感觉肚子好疼。”被确认为都是由患者发出的，从而在输入904中这两个会话被合并。
[0120]
在其它示例中，角色信息不仅用来合并会话，还可以进一步作为具体角色信息（例如“医生”、“患者”）被包括在输入中，从而作为附加信息被对话生成模型使用。例如，借助“医生”这一角色信息，对话生成模型可以生成更符合医生这一角色的回复。
[0121]
优选地，将实体信息与对话前文一起作为所述对话生成模型的输入。实体信息例如可以是通过实体预测模型生成的，如前文针对实体预测306所描述的。
[0122]
在一些示例中，可直接将实体信息添加在对话前文后，作为对话生成模型的输入。例如，在图9的示例中，所预测的实体信息912“诱因 | 肠镜”被添加在对话前文910之后（两者之间可用分隔符[sep]分隔）。
[0123]
在其它示例中，可使用其它方式来将实体信息作为对话生成模型的输入。例如，可构造对话前文-实体信息对，作为对话生成模型的输入。
[0124]
如上文所述，可使用对话前文作为训练样本，使用对应的实际回复作为标签，来训练该机器学习模型。
[0125]
优选地，可优先选择包括角色信息的对话前文作为训练样本，从而使得机器学习
模型通过训练能够将角色信息用于生成回复。
[0126]
优选地，可优先选择包括实体信息的回复放入训练集。可以领会，对于有监督学习而言，训练集可包括多个训练样例，每个训练样例可包括训练样本和对应的标签。在本说明书实施例中，在训练对话生成模型时，对话前文作为训练样本，而实际回复作为标签。此时，可优先选择实际回复中包括实体信息的那些训练样例来训练对话生成模型。通过这种方式，能够使得机器学习模型将实体信息用于生成回复。
[0127]
通过对话生成模型所生成的一个或多个回复作为候选回复，供选择作为最后输出给用户的回复。
[0128]
基于本文公开的思想，本领域技术人员可采用与上文的具体方式不同的任何方式来利用任何对话生成模型生成回复。
[0129]
以上介绍了用于获得候选回复的一种方式，即使用对话生成模型来生成回复，作为候选回复。还可采用检索模型来检索回复，作为候选回复，如下文所讨论的。
[0130]
回复检索在本说明书的优选实施例中，可采用检索模型来执行回复检索操作。可采用本领域技术人员可构想的任何对话检索模型来执行回复检索。优选地，可使用任何向量检索模型来执行检索。更优选地，可采用faiss模型来执行回复检索。faiss是脸书ai相似度搜索（facebook ai similarity search）的简称，是脸书公司开发的一种向量检索方法。
[0131]
在优选实施例中，可采用向量检索模型对知识库执行检索，该知识库中可包括多个条目，每个条目可以是询问-回复对或对话前文-回复对。优选地，该知识库为特定领域的知识库。例如，在智能医生这一应用场景中，该知识库可包括涉及医疗的询问-回复对或对话前文-回复对。
[0132]
优选地，为了便于使用向量检索模型对知识库进行检索，可首先将该知识库中的条目进行向量化。也就是说，可对知识库中的对话前文-回复对执行向量化，或者对询问-回复对执行向量化。
[0133]
在一些示例中，可仅对对话前文或询问进行向量化，而不对相应的回复执行向量化。
[0134]
例如，可采用word2vec模型来训练得到每个字的低维稠密向量表示，而所有对话前文或询问可均通过平均字向量模型（wam）表示为句向量。
[0135]
参见图10，其示出了可用于将对话上文或询问进行向量化的过程的示例。
[0136]
如图10所示，平均字向量模型可使用字序列作为输入1002。在本技术的示例中，该字序列为对话前文或询问。
[0137]
随后，所输入的字序列被执行字符嵌入（char embedding）1004，例如可采用word2vec的方式来训练，从而得到每个字的低维稠密向量表示1006。
[0138]
随后，可对该字序列中的每个字的低维稠密向量表示执行求平均1008，从而获得所输入的字序列（即句子）的向量表示，以作为输出1010。这种模型可被称为平均字向量模型（wam）。通过这种方式，知识库中的对话前文或询问可被向量化。
[0139]
可以理解，可采用同样的方式将回复进行向量化。从而，能够将对话前文-回复对或者询问-回复对进行向量化。
[0140]
参见图11，其示出根据本说明书的实施例的采用faiss模型来检索候选回复的过
程的示例。
[0141]
如图11所示，特定领域的知识库中的“对话前文”或“询问”被使用平均字向量模型来向量化，从而使得该知识库中的条目包括经向量化的条目，即经向量化的“对话前文”和相应的（经向量化或不经向量化的）“回复”。
[0142]
图11的左半部分示出了对知识库的向量化过程，而图11的右半部分示出了对查询（即对话前文或询问）的向量化过程。通过对知识库的向量化过程，可针对知识库生成向量索引，以便可使用查询向量来对该知识库执行检索。
[0143]
具体而言，在一些示例中，可首先对知识库1106执行挖掘操作。优选地，该知识库可包括多个条目，每个条目可以是对话。优选地，该对话可包括对话前文/询问以及对该对话前文/询问的回复。优选地，该知识库可以是特定领域的知识库。例如，对于智能医生应用，该知识库可以是webdg。webdg是带有实体标注的医疗对话数据集。也可选择本领域技术人员可构想的其它知识库。对知识库1106执行挖掘操作可选择出该知识库中的可用的或合适的对话。
[0144]
在其它示例中，可对知识库1106中的每个条目来执行向量化，而不执行挖掘操作。
[0145]
随后，可使用上文参考图10介绍的过程，通过word2vec模型1108来将该知识库中的对话前文或询问中的每个字进行向量化以得到每个字的低维稠密向量表示。该word2vec模型例如可使用该知识库116中的对话进行训练。随后，可使用平均字向量模型（wam）1110处理所得到的低维稠密向量表示以得到知识库中的所挖掘的对话的每个句子（如对话前文中的每个会话或询问）的句向量。通过上述过程，最终得到向量化的知识库1112，该经向量化的知识库可包括向量索引。
[0146]
在接收到待针对其生成回复的对话前文或询问后，可将该对话前文/询问1114作为查询，采用图11右侧所示的过程来将该查询向量化。
[0147]
具体而言，可采用同样的向量化方案将该对话前文或询问进行向量化。无需执行对知识库中的条目的挖掘。例如，可首先使用word2vec模型1116来处理该对话前文或询问1104。通常，word2vec模型1116应当与在对知识库1106进行向量化时所训练得到的word2vec模型1108相同。即，在对查询（即对话前文/询问1114）进行向量化时，应当使用对知识库1106进行向量化时所使用的word2vec模型。随后，使用wam模型1118对每个字的向量进行求平均以得到查询向量1120，该查询向量1120表示所输入的对话前文/询问1114的向量。
[0148]
随后，可使用向量检索模型来在向量化的知识库1112中检索查询向量1120。优选地，该检索可使用faiss模型来执行。
[0149]
faiss模型的具体操作对本领域技术人员而言是已知的，因此上文可能并不包含所有细节，而本领域技术人员仍能知晓如何基于对话前文和/或询问来使用faiss模型检索回复。
[0150]
通过检索，可确定与该对话前文或询问相匹配或近似匹配的一个或多个回复，作为候选回复。例如，可选择匹配度大于匹配度阈值的回复作为候选回复。或者，可选择匹配度最高的指定数量的回复作为候选回复。
[0151]
基于本文公开的思想，本领域技术人员可采用与上文的具体方式不同的任何方式来利用检索模型在知识库中检索回复。
[0152]
上文介绍了通过对话生成模型和检索模型分别获得一个或多个候选回复的细节。在下文中，有时为了区分由两种不同模型获得的候选回复，将由对话生成模型生成的候选回复称为第一候选回复，并将由检索模型获得的回复称为第二候选回复。一个或多个第一候选回复和一个或多个第二候选回复共同构成候选回复集。
[0153]
在多数情况下，通常只向用户输出一个最佳回复。因此，在本说明书的实施例中，可通过回复打分模型来对候选回复集中的回复进行打分，从而选择打分最高的候选回复作为最终回复输出给用户。
[0154]
在一些示例中，由对话生成模型生成一个第一最佳候选回复，并由检索模型获得一个第二最佳候选回复。从而，所得到的候选回复集中仅包括两个回复，即第一最佳候选回复和第二最佳候选回复。随后，仅需要对该第一最佳候选回复和该第二最佳候选回复进行打分，得分较高者作为最终回复输出给用户。
[0155]
回复打分参见图12，其示出根据本说明书实施例的用于对回复打分的回复打分模型的示意图。
[0156]
如图12所示，该回复打分模型可采用bert模型来实现，该可采用对话前文 要打分的回复作为输入1202，，并使用对该回复的分类（“匹配”或“不匹配”）作为输出。具体而言，可将对话前文中的每个会话的询问（q）-回复（a）对作为输入。例如，该对话前文中可能包括多轮会话以及一个要回复的询问。该多轮会话可被处理为多个询问-回复对，而最后一个要回复的询问和要对其打分的回复一起构成最后一个回复对。如在图12的示例中，qm为对话前文中要回复的询问，而am为要针对其打分的回复（如候选回复），而qm之前的m-1个询问为对话前文中的m-1个会话的询问，am之前的m-1个回复为对话前文中的m-1个会话中的相应回复。
[0157]
通过使用bert模型对输入1202进行处理，并经过相关联的其它处理，如cls符号处理1206和softmax 1208，并最终得到输出1210，该输出指示该回复与该对话前文匹配以及匹配度数值（例如在0和1之间的值）（以及/或者不匹配以及不匹配度数值）。在输出不匹配度数值的情况下，可认为该匹配度数值为（1-匹配度数值）。该匹配度数值即为对该回复的打分。在一些示例中，也可仅输出匹配度数值（或不匹配度数值）而不输出对是否匹配的判断。
[0158]
基于本文公开的思想，本领域技术人员可采用与上文的具体方式不同的任何方式来利用bert模型或其变体来实现回复打分操作。
[0159]
图12中的bert模型与图6和图7的模型基本相同，其不同之处在于其标签和分类的数量。
[0160]
例如，对于图6的角色确定模型，可采用执行单标签二分类任务的bert模型，其中单个标签为角色，而二个分类为病人和非病人（如智能医生）。在对话前文中包括大于二个角色的示例中（例如包括病人、病人辅助者（例如帮助病人表达症状的医生）、智能医生），该角色确定模型也可采用单标签多分类模型，其中单个标签为角色，而多个分类可包括该多个角色。
[0161]
对于图7的实体预测模型，可采用执行多标签多分类任务的bert模型（从而其可包括softmax），其中该多个标签中的每个标签可以是不同实体类别，例如对于智能医生应用，
标签可以为病人的症状、诱因、药品、治疗方案中的一者或多者，而多个分类为该类别中的具体实体，例如药品为阿司匹林、美托洛尔片等等。
[0162]
对于图12的回复打分模型，可采用单标签二分类任务。例如，该单个标签可以为所生成的回复与对话前文是否匹配，而两个分类分别为“是”和“否”。
[0163]
具体而言，为实现执行不同类型的任务的bert模型，可选择合适的损失函数。例如，softmax函数特别适用于多分类任务可采用，而sigmoid函数或者softmax函数均适用于二分类任务；sigmoid函数尤其适用于多标签任务等等，可由本领域技术人员根据实际需要或根据实验来进行选择。此外，也可针对不同类型的任务实现不同的分类层神经元个数。本领域技术人员知晓应该如何实现执行不同类型的任务的bert模型，在此不再赘述。
[0164]
为了使该回复打分模型能够良好工作，关键在于构造良好的训练集以便对其进行训练。该训练集中的训练样本为对话前文-回复对（或者询问-回复对），而与该训练样本对应的标签为1或0，例如1可表示该对话前文-回复对中的回复为该对话前文的实际回复，而0可表示该对话前文-回复对中的回复不是该对话前文的实际回复。
[0165]
可以理解，正样本可以来自实际对话，而负样本可以是人为构造或选择的。人为构造的负样本的质量对于所训练的回复打分模型的表现非常重要。在一个示例中，该回复可以是通过机器学习模型（例如gpt模型或其变形）构造的被判断为不与对话前文相匹配的回复。在另一示例中，该回复可以是选自知识库中的其它对话集的回复。可以理解，通过对话前文和不匹配回复的组合，可以构造或选择出大量的负样本。
[0166]
为了提升该回复打分模型的表现，优选地，在本说明书实施例中，优先构造或选择与实际对话中的回复中所包括的实体不同的回复作为负样本。例如，假设正样本中所包括的实体为“肠镜”（例如参见上文参考图9所描述的示例），则在构造或选择负样本时，优先选择包括不同于“肠镜”的实体的回复；也可优先选择不包括任何实体的回复。
[0167]
可以领会，即便用“不同实体”这一标准进行过滤，仍旧能够构造或选择出大量的负样本。因此，如果将所构造或选择的所有负样本与现有的相对更少的正样本放入样本集，将导致训练集中正样本的数量显著少于负样本的数量，不利于更快速地训练出高质量的机器学习模型。因此，在所构造或选择的负样本中随机采样，作为负样本放入训练集中。
[0168]
优选地，训练集中的正样本和负样本的数量是相当的。优选地，训练集中的负样本和正样本的数量之比不大于10:1，且不小于1:10。更优选地，训练集中的负样本和正样本的数量之比不大于3:1，且不小于1:3。更优选地，训练集中的负样本和正样本的数量之比约为1:1。
[0169]
上面描述了回复打分模型的训练，下面描述如何应用回复打分模型来对候选回复进行打分并选择最终回复。
[0170]
在应用回复打分模型进行打分（预测）时，将所输入的对话前文（或询问）和候选回复集中每个候选回复构成对话前文-回复对（或询问-回复对），并输入到回复打分模型中。回复打分模型对该输入进行处理，从而得到该回复与对话前文是否匹配的判断结果及相应的匹配度、不匹配度得分。
[0171]
随后，可选择得分最高的回复作为对该对话前文中的询问的最终回复，以便输出给用户。
[0172]
自动问答方法
参见图13，其示出了根据本说明书的实施例的由计算机实现的示例自动问答方法1300的示意流程图。此方法的各个操作的细节在前文中已经被详细描述。
[0173]
如图13所示，方法1300可包括：在操作1302，可获取对话前文，所述对话前文包括要回复的询问。
[0174]
在一些示例中，获取对话前文例如可包括接收完整的对话全文。可从网页、桌面客户端、智能手机应用、小程序、sms消息、视频电话等获取对话前文中的全部会话。也可从其它数据库接收对话前文。
[0175]
在另一些示例中，可仅接收对话前文中由用户发出的部分。例如，在对话前文中包括多个会话时，一些会话可能是由用户发出的，而另外一些对话可能是由如本说明书实施例所述的系统自动生成的。因此，可仅接收由用户发出的会话，而由所述系统自动生成的会话则可从该系统的存储装置中获取。
[0176]
可通过用户的客户端以各种方式接收来自用户的一个或多个会话。例如，可通过网页、桌面客户端、智能手机应用、小程序、sms消息、视频电话等方式接收来自用户的会话。也可通过电话语音的方式接收来自用户的一个或多个会话。
[0177]
关于对话前文的具体细节可参考上文的描述，例如在上文的“预处理”部分的内容，尤其是针对图4-5描述的内容。
[0178]
优选地，在接收到对话前文后，可对该对话前文执行预处理。优选地，如果所接收到的对话前文为非文本内容，例如音频或视频内容或图片等，在执行预处理前还可包括将该非文本内容转换为文本内容的操作。这样的转换操作可采用本领域技术人员已知的任何方式来执行。执行预处理还可包括例如执行数据清洗等操作。优选地，还可对对话前文执行样本处理及选择。例如，在为训练对话生成模型或实体确定模型来构造训练集时，可优先选择包括实体信息的回复放入训练集。
[0179]
关于预处理的具体细节可参考上文的描述，例如针对图4-5的描述。
[0180]
方法1300可包括：在操作1304，可基于所述对话前文，利用检索模型在问答知识库中检索对所述询问的一个或多个第一候选回复。优选地，该操作可包括将问答知识库中的条目和询问转换为向量表示，并使用向量检索方法来在向量化的问答知识库中检索询问向量（或称查询向量）。优选地，该向量检索方法可使用faiss来实现。
[0181]
关于此操作的具体细节可参考上文的描述，例如在上文的“回复检索”部分的内容，尤其是针对图10-11描述的内容。
[0182]
方法1300可包括：在操作1306，可基于所述对话前文，利用对话生成模型自动生成对所述询问的一个或多个第二候选回复，所述一个或多个第一候选回复和所述一个或多个第二候选回复构成候选回复集。
[0183]
优选地，可确定与所述对话前文相关联的角色信息，例如上文参考图6所描述的。随后，可基于所述角色信息处理所述对话前文以作为所述对话生成模型的输入。
[0184]
优选地，可预测与所述回复相关联的实体信息，例如上文参考图7所描述的。随后，可将所预测的所述实体信息与所述对话前文一起作为所述对话生成模型的输入。
[0185]
如上文所述，在训练所述对话生成模型时优先选择包括实体信息的回复放入训练集。
[0186]
关于回复生成操作的具体细节可参考上文的描述，例如在上文的“回复生成”部分
的内容，尤其是针对图8-9描述的内容。
[0187]
方法1300可包括：在操作1308，可利用回复打分模型对所述候选回复集中的候选回复打分。如上文所述，所述回复打分模型是基于对话样本集（即上文参考图12所述的训练集）来训练的，每个对话样本包括对话前文-回复对，所述对话样本分为正样本和负样本，其中正样本中的回复与对话前文相匹配，负样本中的回复与对话前文不匹配。优选地，对于同一对话前文，与负样本中的回复相关联的实体不同于与正样本中的回复相关联的实体。
[0188]
关于此操作的具体细节可参考上文的描述，例如在上文的“回复打分”部分的内容，尤其是针对图12描述的内容。
[0189]
方法1300可包括：在操作1310，可基于对所述候选回复集中的候选回复的打分结果从所述候选回复集中选择对所述询问的回复。例如，可选择打分最高的候选回复作为对所述询问的回复。
[0190]
此操作还可包括将对所述询问的回复输出给用户。例如，可通过网页、桌面客户端、智能手机应用、小程序、sms消息、视频电话等方式输出至用户的客户端。或者，可通过电话语音的方式输出至用户的电话。
[0191]
优选地，可将所述询问和对所述询问的所述回复保存到所述问答知识库。通过这种方式，可不断充实问答知识库，从而在后续遇到相同或相似询问时，可直接从所述问答知识库中检索到所保存的回复。
[0192]
可以领会，在一些示例中，问答知识库中的询问（或对话前文）可能与所获取的询问特别匹配，在此情况下，可无需使用对话生成模型来生成候选回复，而直接选择从问答知识库中检索到的回复。
[0193]
参见图14，其示出根据本说明书实施例的另一示例自动问答方法1400的示意流程图。
[0194]
如图14所示，方法1400可包括：在操作1402，可获取对话前文，所述对话前文包括要回复的询问。此操作的具体细节参见上文对操作1302的描述。
[0195]
方法1300可包括：在操作1304，可基于所述对话前文，利用检索模型在问答知识库中检索对所述询问的一个或多个第一候选回复。此操作的具体细节参见上文对操作1304的描述。
[0196]
方法1400可包括：在操作1406，可确定检索到的所述一个或多个第一候选回复与所述询问的匹配度。
[0197]
方法1400可包括：在操作1408，可确定所述一个或多个第一候选回复中具有最高匹配度的第一候选回复。
[0198]
方法1400可包括：在操作1410，可确定所述最高匹配度是否大于匹配度阈值。
[0199]
方法1400可包括：如果所述最高匹配度大于匹配度阈值，则可在操作1412，直接将具有所述最高匹配度的第一候选回复作为对所述询问的回复。此时，可不执行回复生成操作。
[0200]
方法1400可包括：如果所述最高匹配度大于匹配度阈值，则可在操作1414，可基于所述对话前文，利用对话生成模型自动生成对所述询问的一个或多个第二候选回复，所述一个或多个第一候选回复和所述一个或多个第二候选回复构成候选回复集。此操作的具体细节参见上文对操作1306的描述。
[0201]
方法1400可包括：在操作1416，可利用回复打分模型对所述候选回复集中的候选回复打分。此操作的具体细节参见上文对操作1308的描述。
[0202]
方法1400可包括：在操作1418，可基于对所述候选回复集中的候选回复的打分结果从所述候选回复集中选择对所述询问的回复。此操作的具体细节参见上文对操作1310的描述。
[0203]
自动问答系统参见图15，其示出根据本说明书实施例的示例自动问答系统1500的示意图。
[0204]
如图15所示，该自动问答系统1500可包括检索模型1502、对话生成模型1504、回复打分模型1506以及回复模块1508。各模型或模块的具体细节可参考上文对相关操作的描述。
[0205]
检索模型1502可用于基于对话前文在问答知识库中检索对所述对话前文中包括的询问的一个或多个第一候选回复，如上文参考回复检索操作所描述的。
[0206]
对话生成模型1504可用于基于所述对话前文自动生成对所述询问的一个或多个第二候选回复，所述一个或多个第一候选回复和所述一个或多个第二候选回复构成候选回复集，如上文参考回复生成操作所描述的。
[0207]
回复打分模型1506可用于对所述候选回复集中的候选回复打分，如上文参考回复打分操作所描述的。
[0208]
回复模块1508可用于基于对所述候选回复集中的候选回复的打分结果从所述候选回复集中选择对所述询问的回复，如上文参考操作1310或1418所描述的。
[0209]
可选地，自动问答系统1500还可包括预处理模块1510，其可用于对所述对话前文执行预处理，其中在训练所述对话生成模型时所述预处理模块用于优先选择包含实体信息的语句放入训练集，如上文参考预处理操作所描述的。
[0210]
可选地，自动问答系统1500还可包括角色确定模型1512，其可用于确定与所述对话前文相关联的角色信息，其中基于所述角色信息处理所述对话前文以作为所述对话生成模型的输入，如上文参考角色确定操作所描述的。
[0211]
可选地，自动问答系统1500还可包括实体预测模型1514，其可用于预测与所述回复相关联的实体信息，其中所预测的所述实体信息与所述对话前文一起作为所述对话生成模型的输入，如上文参考实体预测操作所描述的。
[0212]
在优选示例中，检索模型可进一步用于：确定检索到的所述一个或多个第一候选回复与所述询问的匹配度；确定所述一个或多个第一候选回复中具有最高匹配度的第一候选回复；以及如果所述最高匹配度大于匹配度阈值，则直接将具有所述最高匹配度的第一候选回复作为对所述询问的回复。
[0213]
可选地，自动问答系统1500还可包括保存模块1516，其可用于将所述询问和对所述询问的所述回复保存到所述问答知识库。
[0214]
图16示出用于实现根据本说明书一个或多个实施例的系统或方法的装置1600的示意框图。该装置可包括处理器1610以及存储器1615，所述处理器被配置成执行如上所述的任何方法。
[0215]
该装置1600可包括网络连接元件1625，例如可包括通过有线连接或无线连接来连接到其它设备的网络连接设备。该无线连接例如可以为wifi连接、蓝牙连接、3g/4g/5g网络
连接等。
[0216]
该装置还可选地包括其它外围元件1620，例如输入装置（如键盘、鼠标）、输出装置（如显示器）等。例如，在基于用户输入的方法中，用户可经由输入装置执行输入操作。还可经由输出装置向用户输出相应的信息。
[0217]
这些模块中的每一者可彼此直接或间接通信，例如，经由一条或多条总线（例如总线1605）。
[0218]
而且，本技术还公开了一种包括存储于其上的计算机可执行指令的计算机可读存储介质，所述计算机可执行指令在被处理器执行时使得所述处理器执行本文所述的各实施例的方法。
[0219]
此外，本技术还公开了一种装置，该装置包括处理器以及存储有计算机可执行指令的存储器，所述计算机可执行指令在被处理器执行时使得所述处理器执行本文所述的各实施例的方法。
[0220]
此外，本技术还公开了一种系统，该系统包括用于实现本文所述的各实施例的方法的装置。
[0221]
可以理解，根据本说明书的一个或多个实施例的方法可以用软件、固件或其组合来实现。
[0222]
应该理解，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参考即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参考方法实施例的部分说明即可。
[0223]
应该理解，上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0224]
应该理解，本文用单数形式描述或者在附图中仅显示一个的元件并不代表将该元件的数量限于一个。此外，本文中被描述或示出为分开的模块或元件可被组合为单个模块或元件，且本文中被描述或示出为单个的模块或元件可被拆分为多个模块或元件。
[0225]
还应理解，本文采用的术语和表述方式只是用于描述，本说明书的一个或多个实施例并不应局限于这些术语和表述。使用这些术语和表述并不意味着排除任何示意和描述（或其中部分）的等效特征，应认识到可能存在的各种修改也应包含在权利要求范围内。其他修改、变化和替换也可能存在。相应的，权利要求应视为覆盖所有这些等效物。
[0226]
同样，需要指出的是，虽然已参考当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本说明书的一个或多个实施例，在没有脱离本发明精神的情况下还可做出各种等效的变化或替换，因此，只要在本发明的实质精神范围内对上述实施例的变化、变型都将落在本技术的权利要求书的范围内。