问答处理方法、设备、介质和程序产品与流程

1.本公开的实施例总体上涉及人工智能领域，并且更具体地，涉及问答处理方法、电子设备、计算机可读存储介质和程序产品。


背景技术：

2.网络即时通讯(im)应用发展到今天，已经得到了非常广泛的应用。除了闲暇时的聊天娱乐之外，即时通讯应用被越来越多用于工作沟通和服务提供。例如，由于即时通讯应用的及时性和便捷性，可以被用于与订购产品或服务的用户进行沟通，解答用户疑问。
3.聊天机器人是一种人工智能(ai)系统，其借助于通讯手段能够时刻在线、并通过自然语言与人沟通交流。聊天机器人实质上是一种自动问答(qa)引擎，其能够自动检索查找并回答用户提出的问题。因此，聊天机器人有时被应用于充当产品或服务的客服的角色。聊天机器人的使用能够节约缓解人工客服的工作量，使人工客服可以关注于解决更困难和重要的问题。
4.通常，聊天机器人不能被直接集成到第三方开发的即时通讯应用中。因此，需要开发集成有聊天机器人的特定通讯应用供用户使用。这会在开发成本和用户使用便利性方面都有不足。


技术实现要素：

5.根据本公开的实施例，提供一种用于问答处理的方案。
6.在本公开的第一方面，提供了一种问答处理方法。该方法包括：获取呈现即时通讯im应用的对话窗口的屏幕图像；从屏幕图像检测目标用户的标识信息，标识信息用于在im应用的对话中标识目标用户；如果从屏幕图像检测到目标用户的标识信息，基于检测到的标识信息在屏幕图像中的位置，提取目标用户在对话窗口中发出的目标问题对应的文本；通过利用目标问题对应的文本调用问答引擎，来确定目标问题的答案；以及使答案经由对话窗口的输入框提供给目标用户。
7.根据一些可选实施例，标识信息包括以下至少一项：目标用户的头像信息、目标用户的用户名和目标用户在im应用中的唯一标识符。
8.根据一些可选实施例，该方法还包括：获取多个用户各自在im应用中的用户信息，用户信息包括用于在im应用的对话中标识多个用户的标识信息。根据一些可选实施例，检测目标用户的标识信息包括：将从屏幕图像检测到的标识信息与多个用户的标识信息相比较；以及如果从屏幕图像检测到的标识信息与多个用户中的一个用户的标识信息相匹配，确定检测到目标用户的标识信息。
9.根据一些可选实施例，提取目标问题对应的文本包括：如果确定目标问题在屏幕图像中以文本形式呈现，通过对屏幕图像执行光学字符识别ocr来确定目标问题对应的文本。根据一些可选实施例，提取目标问题对应的文本包括：如果确定目标问题在屏幕图像中以音频或视频形式呈现，通过控制音频或视频的播放来确定目标问题对应的文本。根据一
些可选实施例，提取目标问题对应的文本包括：如果确定目标问题在屏幕图像中以图片形式呈现，通过分析图片对应的语义来确定目标问题对应的文本。
10.根据一些可选实施例，im应用运行在电子设备中，并且获取屏幕图像包括：通过调用电子设备的屏幕截图功能来获取屏幕图像。
11.根据一些可选实施例，im应用运行在电子设备中，并且将答案提供给目标用户包括：通过调用电子设备的输入功能来将答案输入到输入框；以及通过调用电子设备的选择功能来将输入框中的答案发送作为对话窗口中的消息。
12.根据一些可选实施例，确定目标问题的答案包括：确定目标用户的唯一标识符；基于目标用户的唯一标识符来确定目标用户的用户偏好；以及基于目标用户的用户偏好来编辑目标问题的答案。
13.根据一些可选实施例，该方法还包括：如果问答引擎无法确定目标问题的答案或者如果确定目标问题的答案的置信度低于阈值置信度，经由对话窗口的输入框提供对人工助理的提示，以提示人工助理回复目标问题。
14.根据一些可选实施例，确定目标问题的答案包括：获取目标用户发出的至少一个历史问题，至少一个历史问题的答案已经被提供给目标用户；执行对目标问题和至少一个历史问题的主题分析，以确定目标问题与至少一个历史问题是否属于相同主题；如果确定目标问题与至少一个历史问题属于相同主题，合并目标问题对应的文本和至少一个历史问题对应的文本；以及通过利用合并后的文本调用问答引擎，来确定目标问题的答案。
15.根据一些可选实施例，至少历史问题包括由目标用户发出的与目标问题相邻的前一个问题。
16.根据一些可选实施例，确定目标问题的答案包括：如果除目标问题之外还提取到对话窗口中未回答的至少一个其他问题对应的文本，通过对目标问题和至少一个其他问题的主题分析，确定目标问题与至少一个其他问题是否属于相同主题；如果确定目标问题与至少一个其他问题属于相同主题，合并目标问题对应的文本和至少一个其他问题对应的文本；以及基于合并后的文本来确定目标问题和至少一个其他问题的共同答案。
17.根据一些可选实施例，确定目标问题和至少一个其他问题的共同答案包括：如果确定至少一个其他问题由目标用户之外的至少一个其他用户发出，获取由目标用户和至少一个其他用户中的至少一个发出的至少一个历史问题，至少一个历史问题的答案已经被提供；确定至少一个历史问题是否与目标问题和至少一个其他问题属于相同主题；以及如果确定至少一个历史问题与目标问题和至少一个其他问题属于相同主题，还基于至少一个历史问题来确定共同答案。
18.根据一些可选实施例，该方法还包括：提取由参考用户在im应用的另一对话窗口中发出的历史问题对应的文本；提取由人工助理在另一对话窗口中回复的历史答案对应的答案文本；通过对问题文本和答案文本的主题分析，确定问题文本与答案文本属于相同主题；以及如果确定历史问题与历史答案属于相同主题，基于问题文本和答案文本更新问答引擎。
19.根据一些可选实施例，基于问题文本和答案文本更新问答引擎包括：确定问题文本与答案文本的相关度；如果所确定的相关度超过阈值相关度，将问题文本与答案文本构建为问题-答案qa对；以及利用所构建的qa对来更新问答引擎。
20.在本公开的第二方面，提供了一种电子设备。该设备包括：处理单元；以及存储器，耦合至处理单元并且包含存储于其上的指令。指令在由处理单元执行时使设备执行根据第一方面的方法的步骤。
21.在本公开的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现根据第一方面的方法的各种实施例。
22.在本公开的第四方面，提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现根据第一方面的方法的各种实施例。
附图说明
23.通过参考附图阅读下文的详细描述，本公开的上述以及其他目的、结构和特征将更加清楚。在附图中，以示例性而非限制性的方式示出了本公开的若干实施例，其中：
24.图1示出了根据本公开的一些实施例的用于问答处理的环境的示意图；
25.图2示出了根据本公开的一些实施例的问答处理过程的流程图；
26.图3a示出了根据本公开的一些实施例的具有对话窗口的示例屏幕截图的示意图；
27.图3b示出了根据本公开的一些实施例的示例联系人列表界面的示意图；
28.图3c至图3e示出了根据本公开的一些实施例的示例对话窗口的示意图；
29.图4a至图4d示出了根据本公开的一些实施例的对话窗口中的示例对话模式的示意图；
30.图5示出了根据本公开的一些实施例的基于历史问题的问答处理过程的流程图；
31.图6示出了根据本公开的一些实施例的示例用户简档的示意图；
32.图7示出了根据本公开的另一些实施例的问答处理过程的流程图；
33.图8示出了根据本公开的一些实施例的与人工助理的示例对话的示意图；
34.图9示出了根据本公开的一些实施例的用于更新问答引擎的过程的流程图；以及
35.图10示出了适于实现本公开的实施例的设备的框图。
具体实施方式
36.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
37.在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
38.如上文简述，聊天机器人(即，问答引擎)不能被直接集成到第三方开发的即时通讯应用中，因而为了使用聊天机器人，需要开发集成有聊天机器人的特定通讯应用供用户使用。这会在开发成本和用户使用便利性方面都有不足。
39.当前，用户可能已经在个人电子设备上安装和使用一些流行的im应用。如果为了咨询某个产品或服务而要求用户再下载、安装和使用新的im应用，这会导致用户体验和便
利性的降低。此外，新im应用的开发、提供和维护也会增加产品或服务提供方的成本。因此，一种方便的方案是在im应用中集成自动问答功能。
40.然而，出于用户隐私、安全、商业竞争等方面的考虑，第三发im应用可能不提供通信接口用于直接读取应用中的消息。虽然一些第三方应用支持特定产品或服务的问答引擎通过小程序等方式进行嵌入，然而由于不同用户群体、不同地区流行的im应用不同，产品或服务提供方也仍然需要将问答引擎适配到不同im应用。
41.根据本公开的实施例，提出了一种改进的用于问答处理的方案。根据该方案，通过获取呈现im应用的对话窗口的屏幕图像并对屏幕图像执行图像分析，来确定用户经由im应用发出的问题。通过调用问答引擎来确定问题的答案，并经由对话窗口的输入框提供给用户。该方案能够实现灵活的问答处理过程。在该方案中，不需要通过与im应用的专用通信接口来获取im应用中的消息，而是通过在外部对im应用的对话窗口进行图像捕获来实现问答处理。借助im应用的输入控制，可以实现与用户的沟通和交流，解答用户问题。这样的自动问答处理方案可以被应用到任何im应用，而无需通过复杂工作将问答引擎集成到不同的im应用中。
42.此外，在本公开的一些实施例中，还提出了一些示例方案，其基于im应用的不同对话模式，来改进问答处理和/或使问答引擎学习到更强的问答处理能力。
43.示例环境
44.图1示出了根据本公开的一些实施例的用于问答处理的环境100的示意图。应当理解，图1示出的实体、元素和模块的数目和布置仅是示例，环境100中可以包括不同数目和不同布置方式的实体、元素和模块。
45.在图1的环境100中，问答处理系统110被配置为实现根据本公开的实施例的问答处理。在本公开的实施例中，适合用于不同用户的沟通交流的im应用120被安装和运行在各类电子设备上，例如电子设备125-1(其示出为台式计算机)、电子设备125-2(其示出为膝上型计算机)或电子设备125-3(其示出为移动电话)等。为便于后续讨论，运行有im应用120的电子设备成为电子设备125。问答处理系统110被配置为通过im应用120来提供对用户的问答处理。
46.具体地，问答处理系统110被配置为获取在电子设备125上运行的im应用120相关的屏幕图像130，其呈现im应用120的对话窗口135。对话窗口135可以用于与一个或多个用户对话。与一个或多个用户对话的功能可以是im应用120提供。
47.如下文将详细描述的，通过对屏幕图像130的分析，问答处理系统110从屏幕图像130提取用户发出的问题，通过调用问答引擎140来确定问题的答案150。问答处理系统110还将答案150提供到在电子设备125上运行的im应用120的对话窗口135中，使发出问题的用户能够获知答案。答案150可以被提供到对话窗口135中，作为对话中的消息。
48.问答引擎140也可以被称为问答系统、聊天机器人(chatbot)、聊天程序等。问答引擎140能够基于问题，自动检索和返回问题对应的答案。一般而言，问答引擎140包括知识库和匹配算法。知识库用于提供问答所需的知识，而匹配算法用于根据问题在知识库中查找对应的答案。问答引擎140可以利用各种问答技术来实现。
49.除提供回复用户的问题之外，在下文将描述的一些实施例中，问答处理系统110还可以使问答引擎140不断被更新，从而具备更强的学习更多知识，从而能够提供更强的问答
处理能力。
50.虽然被示出为与电子设备125分离，在一些实施例中，问答处理系统110可以被实现或者被集成在电子设备125中。在一些实施例中，问答引擎140也可以由远程服务器实现并且由问答处理系统110可访问和通信，例如经由网络访问。在一些实施例，问答引擎140也可以被本地集成在问答处理系统110或电子设备125中。
51.问答处理的实施例
52.下文将参考图2的流程图和图3a至图3d来更详细描述问答处理的具体实施例。
53.图2示出了根据本公开的一些实施例的问答处理过程200的流程图。过程200例如可以由图1的问答处理系统110来实现。为便于讨论，下文将参考图1的环境100来描述过程200。
54.在框205，问答处理系统110获取呈现im应用120的对话窗口135的屏幕图像130。
55.问答处理系统110可以通过多种方式来获得在电子设备125上运行的im应用120相关的屏幕图像。在一些实施例中，问答处理系统110可以实现机器人流程自动化(rpa)功能，其能够模拟人在电子设备125上的操作行为。例如，问答处理系统110可以调用电子设备125的控制台接口，例如win32控制台接口，来执行rpa功能。其他类型的电子设备125可能提供其他适当的控制接口来实现rpa功能。除获取屏幕图像之外，rpa功能还可以帮助实现电子设备125上的其他操作，这在下文描述中会涉及。
56.基于rpa功能，问答处理系统110可以控制调用电子设备125的屏幕截图功能，截取电子设备125的显示屏幕上显示的内容。这样，当im应用120的对话窗口135显示在电子设备125的用户界面时，屏幕截图130可以捕获对话窗口135。在一些示例中，如果im应用120的对话窗口135未被显示在电子设备125的用户界面的顶层，问答处理系统110也可以通过控制电子设备125的相应操作(例如，窗口选择操作)来将对话窗口135显示在用户界面的顶层，然后再捕获屏幕图像130。在一些示例中，也可以通过手动操作将对话窗口135显示在用户界面的顶层。
57.在一些实施例中，除应用电子设备125的屏幕截图功能之外，屏幕图像130也可以由电子设备125外部的图像采集设备捕获并提供给问答处理系统110。
58.im应用120的对话窗口135指的是用于与一个或多个用户对话的窗口。该窗口135可以呈现一个或多个用户的消息。图3a示出了屏幕图像130的示例。屏幕图像130中呈现对话窗口135，其中多个用户可以在该对话窗口135中发送消息。取决于im应用120的设计，用户可以在对话窗口135中发送文本、音频、视频、图片等一种或多种形式的消息。
59.在一些实施例中，在电子设备125上运行的im应用120时，可以注册im应用120的特定帐户，用于与一个或多个用户对话，以在对话中回复用户的问题。如下文将提及的，可以通过帐户“机器人助理”来将问题的答案作为消息回复到对话窗口135中。对话窗口135还具有输入框330，用于输入要回复的消息(例如，问题的答案)，并将消息发送作为对话的一部分。
60.在一些实施例中，对话窗口135可以是与单个用户的对话，也称为“私聊窗口”。在一些实施例中，对话窗口135可以是与多个用户的对话，也称为“群聊窗口”。图3a示出的示例对话窗口135是一种群聊窗口。应当理解，本公开的实施例也适用于与单个用户对话的私聊窗口。
61.在框210，问答处理系统110从屏幕图像130检测目标用户的标识信息。如上文简述的，在本公开的实施例中，期望通过屏幕图像130的图像分析来实现对用户的问答处理，而无需通过与im应用120的接口来获取用户的问题。因此，问答处理系统110要从屏幕图像130定位用户发出的待回答问题。具体地，问答处理系统110尝试从屏幕图像130检测用户的标识信息，这样的标识信息是在im应用120的对话中用于标识特定用户的信息。
62.在im应用的对话中，当对话方发送一条消息时，该消息会连同用户的对应标识信息一起被展示在对话窗口中，以用于区别两个或多个对话方的不同消息。这样的标识信息例如可以包括用户的头像信息、用户名(有时也称为“昵称”)、用户的唯一标识符(id)，等等。通过定位用户的标识信息，可以检测屏幕图像130中是否存在待回答的问题。
63.在这里，“目标用户”指的是其发出的消息被视为一个问题，并且需要对该问题进行回复的用户。在一些实施例中，问答处理系统110可以基于用户的标识信息的特定模式(例如，头像信息的特定形状，通过文本识别的用户名、id等)来检测对话窗口135中是否存在目标用户的标识信息。问答处理系统110可以将经由im应用120接收到消息的用户均视为要回复的目标用户。
64.在一些实施例中，im应用120的当前帐户可能接收到多个不同用户的消息，这样的用户成为联系人。这些用户中可能不是所有用户的消息均被视为要回复的问题。因此，问答处理系统110可以预先建立用户列表，其包括要回复的一个或多个用户对应的标识信息。问答处理系统110可以将从屏幕图像135检测到的标识信息与预先建立的用户列表中的标识信息相比较，来确定是否检测到要回复的目标用户的标识信息。
65.问答处理系统110可以从im应用120的当前帐户的联系人列表中采集多个用户的标识信息。图3b示出了im应用120的示例联系人列表界面305，其示出了多个用户的头像信息、用户名、id等。可以通过手动或对电子设备125的相应操作的控制，使联系人列表界面305被显示在电子设备125的显示界面顶层。通过捕获呈现该联系人列表界面305的屏幕图像，并对屏幕图像进行分析来提取不同用户的标识信息用于生成用户列表。问答处理系统110可以提取联系人列表界面305中与“用户名1”、“用户名2”和“用户名3”等对应的用户的标识信息。在图3b的示例中，联系人列表界面305还示出了“人工助理”，如下文将提及的，该用户名称对应的对象是能够辅助回答用户问题的人工支持方，例如服务提供方，其通常可以不被视为目标用户。
66.在一些实施例中，联系人列表界面305的屏幕图像中与用户的头像信息对应的图像区域被提取作为标识信息的一部分。备选地或附加地，还可以通过文本识别算法，例如光学字符识别(ocr)来确定用户的用户名、id等以文本形式呈现的标识信息。ocr技术例如可以是基于深度学习(dl)的各种神经网络模型来实现，本公开的实施例在此方面不做限制。
67.取决于im应用120的设计，用户的标识信息可能部分或全部未被显示在联系人列表界面中。例如，用户的唯一id可能不会显示在联系人列表界面中，而是需要点击进入用户信息的详细页面才能获得。
68.在图3a的示例中，问答处理系统110从屏幕图像130的图像区域310-1、310-2、310-3等检测到用户的标识信息，例如头像信息和用户名。问答处理系统110可以将头像信息对应的图像区域和/或通过ocr识别的用户名与预先建立的用户列表中的对应标识信息进行比较，来确定是否存在检测到用户列表中的某个用户。例如，图像区域310-1、310-2、310-3
中的头像信息和用户名分别与用户列表中的“用户名1”、“用户名2”和“用户名3”以及它们的头像信息相匹配。问答处理系统110可以据此确定当前屏幕图像130中存在三个目标用户的标识信息。
69.在框215，问答处理系统110确定是否检测到目标用户的标识信息。在图3a的示例中，问答处理系统110从屏幕图像130中检测到目标用户，即“用户名1”、“用户名2”和“用户名3”的标识信息。在一些实施例中，如果从当前的屏幕图像135无法检测到目标用户的标识信息，问答处理系统110可以继续获取呈现im应用的对话窗口的另一屏幕图像，即过程500可以返回框205。问答处理系统110以继续从获取的屏幕图像中尝试检测目标用户。
70.在检测到目标用户的标识信息的情况下，在框220，问答处理系统110基于检测到的标识信息在屏幕图像130中的位置，提取目标用户在对话窗口135中发出的目标问题对应的文本。
71.通常，在im应用120的对话中，用户发出的消息(其可能对应于“问题”)与其标识信息(例如，头像信息)具有特定的相对位置关系。例如，用户的消息可能被呈现在其标识信息的右侧，右下侧等位置。通过在屏幕图像130中定位标识信息，问答处理系统110可以更快速准确定位用于呈现目标用户的消息的图像区域，并从中确定目标用户发出的目标问题。例如，在图3a的示例中，在从图像区域310-1、310-2、310-3分别检测到对应于各个目标用户的标识信息后，问答处理系统110可以确定在图像区域310-1、310-2、310-3右侧一定范围内可能存在目标用户发出的目标问题。
72.由于问答引擎140通常依赖于文本处理来执行答案的确定，因此问答处理系统110还需要具体提取目标用户发出的目标问题对应的文本。目标问题对应的文本的提取可以取决于目标用户在对话窗口135中发出的问题的形式。im应用102可能可以支持用户在对话中发送文本、音频、视频、图片等一种或多种形式的消息。问答处理系统110可以对屏幕图像130中可能存在目标问题的图像区域执行图像分析来确定每个目标问题的呈现形式(例如，文本、音频、视频或图片)，并据此相应地提取目标问题对应的文本。
73.不同形式的问题在对话窗口135中会呈现不同的视觉模式。例如，以文本形式呈现的问题主要包括文本字符。图3a的示例中，“用户名1”以文本形式的消息315-1来发送目标问题。以音频或视频形式呈现的问题会以特殊视觉指示符，使消息接收方能够获知这是一个音频或视频消息。例如，在图3a的示例中，“用户名2”以音频形式的消息315-2来发送目标问题，该消息在视觉上呈现有一个音频播放指示符322和关于音频长度的文本指示符324。在图3a的示例中，“用户名3”以视频形式的消息315-3来发送目标问题，其视觉上呈现有一个视频播放指示符326和关于视频长度的文本指示符328。不同的视觉指示符能够将音频或视频形式的目标问题与其他形式的问题进行区别。
74.在一些实施例中，目标用户可能以图片形式呈现其问题，例如目标用户发送表情、带有特定符号或含义的图像等。在单个屏幕图像130中，图片形式的消息有时候可能与视频形式的消息无法直接区别，问答处理系统110可以通过确定图片形式的问题呈现中不存用于指示视频的特殊视觉指示符，来确定目标问题的呈现类型。
75.应当理解，图3a仅示出了不同形式的问题的示例。取决于不同im应用的设计，不同形式的消息可以具有其他可用于彼此区分的特征。因此，除了以上讨论的实施例之外，问答处理系统110还可以利用任何适当的方式来区分不同形式的问题。
76.在一些实施例中，如果问答处理系统110确定目标用户的目标问题在对话窗口135中以文本形式呈现，问答处理系统110可以通过对屏幕图像130执行ocr来确定目标问题对应的文本。例如，问答处理系统110可以基于检测到的目标用户的标识信息在屏幕图像130中的位置，从屏幕图像130中分隔可能存在目标问题的图像区域，并对该图像区域执行ocr以确定目标问题对应的文本。
77.在一些实施例中，如果目标用户的目标问题在对话窗口135中以音频或视频形式呈现，问答处理系统110可以通过控制音频或视频的播放来确定目标问题对应的文本。例如，问答处理系统110可以借助rpa来调用电子设备125的选择功能(例如，鼠标点击功能)，选择在电子设备125上播放对话窗口135中的对应消息。问答处理系统110可以通过录制音频或视频的播放声音，并通过对所录制的播放声音执行语音识别来确定目标问题对应的文本。音频或视频的录制设备例如可以是电子设备125内部的录制设备或者可以是外部安装的录制设备。
78.在一些实施例中，如果目标用户的目标问题在对话窗口135中以图片形式呈现，问答处理系统110可以通过分析图片对应的语义来确定目标问题对应的文本。例如，如果目标用户发送表情或具有表情表达的其他图片，不同表情可以指示目标用户的不同情绪，例如满意、不满、疑问等。如果目标用户发送的图片中还呈现文本信息，问答处理系统110也可以通过ocr等文本识别技术来提取对应文本用于指示图片对应的语义。
79.在一些应用中，期望从对话窗口135提取的目标问题是还未被回答的问题，避免对同一问题的重复回复。在一些实施例中，问答处理系统110可以周期性地获取呈现im应用120的对话窗口的屏幕图像，并将从对话窗口中提取的目标问题与所记录上一次已回答的历史问题进行比较，从而确定当前提取的目标问题是否是新的问题。在一些实施例中，问答处理系统110还可以从呈现im应用120的对话窗口的屏幕图像或呈现im应用120的主页的屏幕图像中检测是否呈现“未读消息”的指示符。如果出现这样的指示符，这意味着用户提出了新的待回答问题。
80.在一些实施例中，问答处理系统110还可以提取和记录用户发出问题的时间。例如，对话窗口135中可能会呈现一个或一组消息的接收时间。问答处理系统110可以从屏幕图像130提取这些接收时间，并据此确定哪些问题是尚未被回复的问题。
81.在一些情况下，im应用120的用户可能会在相应的对话窗口中频繁发送多个问题，而由于电子设备125的显示界面的局限性等原因，屏幕图像130无法展示对话窗口中全部未答复的问题。在这种情况下，问答处理系统110还可以通过记录上一次回答的问题的时间或对话窗口中上一次已回答的问题，来确定在上一次回答的问题之后发出的全部问题已经被提取。例如，问答处理系统110可以借助rpa来调用电子设备125的窗口滚动功能，使在电子设备125上呈现的对话窗口135向上滚动，并再次获取和分析电子设备125的当前显示界面的屏幕图像，来定位上一次已回答的问题。然而，问答处理系统110可以从上一次已回答的问题往后提取目标用户的目标问题用于两次。对话窗口的滚动以及屏幕图像的获取和分析过程可以不断重复，直到定位到上一次已回答的问题。
82.继续参考回图2的过程200，在提取到目标问题对应的文本后，在框225，问答处理系统110通过利用目标问题对应的文本调用问答引擎140，来确定目标问题的答案。问答处理系统110可以将目标问题对应的文本作为问答引擎140的输入，以获取问答引擎140的输
出作为目标问题的答案。问答引擎140可以是任何适合的问答系统。问答引擎140的选择还可以基于不同应用，例如要回答的问题可能涉及的产品、服务等。本公开的实施例在此方面不受限制。
83.在框230，问答处理系统110使目标问题的答案150经由对话窗口135的输入框提供给目标用户。问答处理系统110可以控制电子设备125将答案输入到im应用120的对话窗口135的输入框中。例如，问答处理系统110可以调用电子设备125的输入功能来将答案150输入到对话窗口135的输入框中，并通过调用电子设备125的选择功能来将输入框中的答案发送作为对话窗口135中的消息。
84.在一些示例中，答案150可以以文本形式被提供给。这样，电子设备125可以被控制为将答案150复制和粘贴到输入框中。例如，图3c示出了在电子设备125上运行的im应用120的对话窗口135,，针对“用户名1”的目标问题，对应的答案150被复制到对话窗口135的输入框330中。通过控制电子设备125的选择功能来点击对话窗口135的“发送”按钮332，输入框330中的答案150被输入作为im应用120的消息，如图3d所示。该消息的发送者在对话窗口135中被表示为在im应用120注册的帐户“机器人助理”。
85.除了文本形式之外，或者作为备选，答案150也可以被转换为其他形式，例如音频、视频、图片形式等。在这种情况下，问答处理系统110也可以控制电子设备125操作im应用120，以将对应形式的答案提供到对话窗口135中。
86.在一些应用场景中，特别是在群聊场景中，为了使发出目标问题的目标用户能够注意到答案是针对他/她先前所提出的问题，问答处理系统110还可以将在所发出的答案150中添加针对目标用户的提示信息，例如目标用户在im应用120中的用户名，或者目标用户的其他称呼。例如，在图3c和图3d的示例中，答案150中增加了“用户名1”，从而使得对应的目标用户在其终端中接收到im应用120的答案150时，能够确认该答案是针对其所提出的问题的。在一些实施例中，im应用120可能还提供通过特定方式(例如，“@ 用户名”)来提示用户关注新消息的功能。因此，答案150可以被编辑为包含这样的提示信息，例如图3c和图3d的示例中的“@用户名1”，使得对应的目标用户能够获得关于新消息的提示。
87.在一些实施例中，为了使问答过程更“智能化”，还可以针对不同用户来定制答案，包括答案150的语言表达、在对话窗口135中的呈现方式等。为了实现答案的个性化定制，问答处理系统110可以期望能够区分不同的用户。在一些场景中，im应用120的不同用户可以由其头像信息或用户名等被呈现在对话窗口135中的标识信息来区分。在一些场景中，im应用120可能允许不同用户在对话窗口135中呈现的标识信息是相同的，例如允许不同用户使用相同的头像信息或相同用户名。
88.为了能够区别不同用户，问答处理系统110还可以确定目标用户的唯一id(例如，目标用户“用户名1”的“id1”)。如果目标用户的唯一id没有被直接呈现在对话窗口135中，问答处理系统110还可以控制电子设备125点击进入对应目标用户的个人详细页面(例如，通过点击对话窗口135中的头像信息)，通过屏幕截图等方式捕获目标用户的个人详细页面的屏幕图像，并从中提取目标用户的唯一id。当然，取决于im应用120的具体设计，还可以通过其他方式在im应用120中查找到目标用户的唯一id。
89.在确定目标用户的唯一id后，问答处理系统110可以基于目标用户的唯一id来确定该用户的用户偏好，并基于用户偏好来编辑目标问题的答案150。不同用户的用户偏好可
以是实现通过对用户的行为、简档等信息分析和确定的。例如，有些目标用户偏好轻松诙谐的语言表达方式而有些目标用户更偏好简洁专业的语言表达方式，问答处理系统110可以将答案150编辑为符合各自的偏好。这样的个性化答案编辑可以使用户体验到问答系统的智能性。
90.在一些实施例中，由于问答引擎140的局限性，例如在知识库方面的局限性，问答引擎140可能无法回答某个目标问题或者问答引擎140对给出的答案的置信度较低(例如，低于阈值置信度)。在这种情况下，相较于直接向目标用户回复“不知道答案”或者回复置信度较低的答案(这在诸如医疗、制造等需要非常准确严谨的答案的场景中是非常不利的)，问答处理系统110可以经由对话窗口135的输入框330提供对人工助理的提示，以提示人工助理回复目标问题。
91.人工助理例如可以作为im应用120的群聊组的成员之一。问答处理系统110可以控制电子设备125向对话窗口135提供提示人工助理回复目标用户的目标问题的消息，例如图3e所示的消息340。这样，人工助理可以在看到消息之后接入与目标用户的对话中，并手动提供对目标问题的答案150。由于已经借助问答引擎140筛选和回复了尽可能多的问题，人工助理的工作量降低，可以关注于对更复杂的问题的回复。此外，对于用户而言，其也可以通过问答处理系统110快速提供的反馈，明确后续将会负责问题解答的人员，并可以期待人工助理的准确回复。
92.应当理解，图3a至图3e给出的仅是示例。虽然图中仅示出了对目标用户“用户名1”的目标问题的处理和回复，问答处理系统110还可以以类似方式处理从对话窗口135提取的一个或多个其他问题，并在对话窗口135中提供相应答案。
93.基于历史问题的问答处理改进的实施例
94.在上文描述中，讨论了借助问答引擎140来确定对话窗口中的当前目标问题的答案。在借助im应用来提供问答的场景中，与用户的对话模式会存在诸多变化。图4a至图4d示出了一些示例对话模式。
95.在图4a的对话窗口410中呈现了简单的一问一答式的对话模式，其中在“用户名1”发出单个问题并且“机器人助理”提供答案后，同一用户再发出下一个问题并获得下一个问题的答案。
96.在图4b的对话窗口420展示的对话模式中，单个用户“用户名1”在一段时间内发出了多个问题。“机器人助理”再针对各个问题回复相应的答案。由于问题提取和确定、答案的网络发送等原因，答案的发送顺序可能与问题的顺序可能不相同。
97.在图4c的对话窗口430展示的对话模式中，多个用户，例如“用户名1”、“用户名2”和“用户名3”在一段时间内发出了多个问题。“机器人助理”再针对各个问题回复相应的答案。在一些情况下，这些答案的发送顺序可能与问题的顺序可能不相同。
98.在图4d的对话窗口440展示的对话模式中，在确定某个问题的答案的同时，用户可能又发出另一个问题。因此，会出现问题与答案交错，难以顺序对应的问题。例如，在图4d的示例中，“问题6”发出之后，“机器人助理”先发出针对先前的“问题4”的答案，然后才提取到“问题6”并确定对应的“答案6”。这种情况不只是在图4d示出的多用户群聊窗口中出现，也会在与单用户的私聊窗口中出现。
99.对于人与人的交流来说，这些复杂的对话模式是容易理解的，回答问题的一方可
以区分不同问题之间的关系，确定对应的答案。然而，在自动问答过程中，复杂的对话模式可能会影响到答案的确定。因此，针对这样的对话模式的变化，为了确定更准确的答案，本公开的一些实施例提出基于历史问题来改进问答处理的一种方案。
100.图5示出了根据本公开的一些实施例的基于历史问题的问答处理过程500的流程图。过程500可以由问答处理系统110在确定目标用户的目标问题的答案时(例如，过程200的框225)实现，以确定更准确的答案。
101.在过程500的框505，问答处理系统110确定目标用户发出的一个或多个历史问题。历史问题是先前已经被解答的问题，其答案已经被提供给用户。
102.问答处理系统110可以对im应用120中要解答问题的用户分别建立对应的用户简档。每个用户的用户简档可以至少包括用户的一个或多个历史问题。用户简档可以包括每个用户最近发出并且已被解答的问题。这些问题可以是用户在im应用的同一个对话窗口中发出的历史问题，例如在某个群聊组中发出的历史问题，或者是在不同对话窗口中收集到的历史问题。用户简档中的历史问题可以不断被更新，总是保留用户最近的一个或多个历史问题。所保留的历史问题的数目可以是预定的。
103.图6示出了根据本公开的一些实施例的示例用户简档600。在用户简档600中，“用户列表”这一列列出了不同用户的标识信息，包括用户的唯一id，以便于区分不同用户。此外，用户简档600还包括用户的一个或多个历史问题，例如“用户名1、id1”的三个历史问题。在一些实施例中，用户简档600还可以包括历史问题对应的答案，例如图6的“答案”列。
104.此外，如以下将讨论的，需要针对历史问题执行主题分析。为方便后续分析，用户简档600还可以记录每个问题的主题。确定问题的主题类似于对问题的分类。主题的划分可以取决于具体应用。例如，在针对某个产品的咨询场景中，不同主题可以对应于产品的不同方面的咨询，例如开机、提示灯、蓝屏、宕机等方面的咨询。在一些实施例中，用户简档600还可以记录历史问题的意图。问题的意图是通过问题对应的文本执行意图分析后确定的。同一主题下，不同问题可能具有不同意图，因此可能需要提供不同的答案。例如，在涉及产品提示灯的主题下，有的问题意图在于获知提示灯的含义，有的问题意图在于获知提示灯如何熄灭等等。对历史问题的意图的记录也有助于后续对当前待回答的问题进行处理。基于用户简档，问答处理系统110可以从利用目标用户的标识信息，特别是目标用户的唯一id来查找目标用户的历史问题。
105.在一些实施例中，所确定的历史问题可以是目标用户发出的与当前的目标问题相邻的前一个或多个问题。例如，如果目标用户在对话窗口中发出了问题1并且已经在对话窗口中向目标用户提供了问题1对应的答案1，当该目标用户再发送另一个问题2时，前一个问题1可以被选择用于在确定问题2的答案时作为参考。在一些实施例中，目标用户发出的目标问题与前一个历史问题之间可能可以存在其他用户发出的问题或者由“机器人助理”回复的答案。
106.在获得目标问题的一个或多个历史问题后，在框510，问答处理系统110确定目标问题与这些历史问题是否属于相同主题。问答处理系统110可以执行对目标问题和历史问题的主题分析，以确定是否属于相同主题。具体地，问答处理系统110可以通过文本分析的手段，对目标问题对应的文本和历史问题对应的文本执行分析，确定目标问题和历史问题是否可以被分类到相同主题。问答处理系统110可以利用适于文本处理的任何主题分析技
术来执行对问题的主题分类。
107.如果历史问题的主题是已知的，问答处理系统110可以确定目标问题的主题，并通过比较来确定两者的主题是否相同。如果获得多个历史问题用于分析，问答处理系统110可以确定多个历史问题中是否存在与目标问题相同主题的至少一个历史问题。
108.由于历史问题来自同一目标用户，并且是在目标用户先前提出的问题，因此历史问题与目标问题之间可能具有某种联系，特别是如果这些问题均属于相同主题。因此，历史问题对于目标问题的答案的确定具有参考意义，有助于确定更准确的答案。
109.在过程500中，如果问答处理系统110确定目标问题与至少一个历史问题属于相同主题，在框515，问答处理系统110合并目标问题和至少一个历史问题对应的文本，并在框520，问答处理系统110通过利用合并后的文本调用问答引擎140，来确定目标问题的答案。历史问题给出了与目标问题相关联的上下文信息，问答引擎140可以参考历史问题对应的文本以及可能还参考历史问题的答案，来为目标问题确定更准确的答案。
110.如果问答处理系统110确定当前的目标问题与目标用户的历史问题均不属于相同主题，在框525，问答处理系统110通过利用目标问题对应的文本调用问答引擎140，来确定目标问题的答案。
111.在一些实施例中，问答处理系统110可能从对话窗口135提取多个待回答的问题。在这样的实施例中，问答处理系统110还可以确定是否将这些待回答的问题进行合并处理，以及如何参考这些待回答的问题对应的历史问题。
112.图7示出了根据本公开的一些实施例的问答处理过程700的流程图，在该过程700确定是否对多个待回答问题进行合并处理。
113.在框705，问答处理系统110获得目标用户发出的目标问题以及未回答的至少一个其他问题。包括目标问题的多个未回答的问题可能提取自屏幕图像130呈现的对话窗口135的部分，或者通过其他屏幕图像来提取。这些未回答的问题可以都来自im应用120的对话窗口135。
114.在框710，问答处理系统110执行对目标问题和至少一个其他问题的主题分析，确定目标问题与至少一个其他问题是否属于相同主题。主题分析的具体方式可以与以上关于过程500的框510讨论的类似，在此不再赘述。
115.如果确定目标问题和其他问题中的这至少一个问题属于相同主题，在框715，问答处理系统110合并目标问题对应的文本和至少一个其他问题对应的文本。在框720，问答处理系统110基于合并后的文本来确定目标问题和至少一个其他问题的共同答案。通过合并相同主题下的多个问题，可以获得更多信息，有助于问答引擎140确定更准确的答案。此外，这也可以避免在对话窗口135中重复回复类似问题。
116.在一些实施例中，问答处理系统110可以通过利用合并后的文本调用问答引擎140，来确定共同答案。在一些实施例中，问答处理系统110还可以参考历史问题来确定共同答案。例如，如果未回答的至少一个其他问题也来自与目标问题相同的目标用户，可以以与过程500类似的方式，获取目标用户的一个或多个历史问题来确定共同答案。
117.在一些情况下，如果至少一个其他问题来自与目标用户不同的至少一个其他用户，也就是说，要回答的多个问题来自多个不同用户，问答处理系统110可以获取多个用户(即，目标用户和至少一个其他用户)中至少一个用户的一个或多个历史问题。例如，问答处
理系统110可以通过查询对应的用户简档来提取对应的一个或多个历史问题。如果其中一个用户不具有历史问题，例如该用户先前可能没有发出任何问题，那么可以忽略该用户。在获取至少一个历史问题后，问答处理系统110也可以以与过程500类似的方式来确定共同答案。
118.具体地，问答处理系统110可以确定所获得的一个或多个历史问题与目标问题和待回答的至少一个其他问题属于相同主题，问答处理系统110可以参考至少一个历史问题来确定共同答案。如果存在不属于相同主题的一个或多个历史问题，这些历史问题可以被忽略。在一些实施例中，如果没有一个历史问题与待回答的目标问题和其他问题属于相同主题，问答处理系统110可以不参考历史问题，而是基于待回答的目标问题和其他问题来确定共同答案。
119.在一些实施例中，针对多个问题确定的共同答案可以被提供到对话窗口135中。该共同答案可以包括针对目标用户或者针对多个用户(如果问题来自不同用户的话)的提示信息，以使相应用户能够注意到该答案。
120.在一些实施例中，如果在框710处通过主题分析确定目标问题与其他问题均不属于相同主题，无论目标问题或其他问题来自相同或不同用户，在框725，问答处理系统110独立地确定目标问题的答案和不属于相同主题的一个或多个其他问题的答案。针对目标问题或其他任何问题的确定均可以借助问答引擎140来实现。
121.问答引擎的自学习的实施例
122.如以上简单提及的，问答引擎140对于答案的确定依赖于相应的知识库。问答引擎140的知识库中的知识可以用不同的数据结构去表达，以适应不同的知识挖掘技术。在一些实现中，知识库可以采用问题-答案(qa)对的形式来存储知识，其中每条知识被表示为一个qa对，q表示问题，a表示问题对应的答案。问答引擎140的知识库可能在初始阶段全面覆盖可能会遇到的全部问题，因此期望问答引擎140能够不断演进，学习新的知识，以便更好地提供自动问答。
123.在本公开的一些实施例中，提出了一种使问答引擎140能够实现自学习的方案。具体地，在基于im应用的问答处理中，如果出现问答处理系统110通过问答引擎140无法准确确定答案的情况，问答处理系统110可以提示人工助理来提供答案。人工助理可以借助于自身的智慧和知识储备、或者利用现代化的信息检索和查询工具来确定问题的答案。由人工助理提供的答案也会被提供到im应用120的对话窗口135中。这部分知识是问答引擎140当前未学习到的。因此，在本公开的实施例中，期望能够利用由人工助理提供的知识来更新问答引擎140，使得问答引擎140能够学习到人工助理如何回复这些问题，从而增强问答引擎140的“智能”。
124.为了能够更新问答引擎140，问答处理系统110可以将人工助理回复的答案与对应的问题用于构建qa对，以添加到问答引擎140的知识库中。这样，如果下一次遇到类似的问题，问答引擎140将能够给出正确的答案。
125.如以上提及的，在im应用中，与用户的对话模式会存在诸多变化。图4a至图4d示出的用户与“机器人助理”的对话模式也会类似地存在于用户与“人工助理”之间的对话。图8示出了根据本公开的一些实施例的与人工助理的一个示例对话。与图4a至图4d类似的其他对话模式也可能发生。因此，需要构建正确的qa对用于更新问答引擎140。
126.图9示出了根据本公开的一些实施例的用于更新问答引擎的过程900的流程图。过程900可以由问答处理系统110实现。
127.在框905，问答处理系统110提取由用户(为便于区别，称为“参考用户”)在im应用120的对话窗口中发出的一个或多个历史问题各自对应的问题文本。在框910，问答处理系统110提取由人工助理在im应用120的对话窗口中发出的一个或多个历史答案对应的答案文本。问答处理系统110可以通过获取呈现im应用120的对话窗口的屏幕图像，来从同一对话窗口提取参考用户和人工助理发出的消息。问答处理系统110可以通过用户和人工助理各自的标识信息，例如头像信息、用户名、唯一id等来区分提问的用户和回复的人工助理。
128.然而，由于对话模式的变化较大，可能难以直接将参考用户发出的问题与人工助理发出的答案配对成qa对。在一些实施例中，问答处理系统110可能从同一对话窗口中提取一个或多个历史问题，以及一个或多个历史答案。问答处理系统110可以将在同一个对话窗口中提取的历史问题和历史答案迭代分析来构建qa对。
129.具体地，在框915，问答处理系统110选择在同一对话窗口中提取的一个历史问题和一个历史答案，用于后续分析。如果提取多个历史和多个历史答案，问答处理系统110可以随机选择。在一些实施例中，由于问题通常会在对应的答案之前被发出，因此在选择历史问题和历史答案时，对于某个历史问题，可以排除在对话窗口中被呈现在该历史问题之后的历史答案。
130.在框920，问答处理系统110确定所选择的一对历史问题和历史答案是否属于相同主题。主题分析可以基于历史问题对应的问题文本和历史答案对应的答案文本来执行。主题分析的具体方式可以与以上关于过程500的框510讨论的类似，在此不再赘述。
131.如果确定所选择的一对历史问题和历史答案属于相同主题，在一些实施例中，问答处理系统110在框925进一步确定历史问题和历史答案之间的相关度是否高于阈值相关度，以便更确认该历史问题和历史答案是紧密相关的。这样可以避免将置信度不高的问题和答案用于更新问答引擎140。相关度的确定可以基于历史问题对应的问题文本和历史答案对应的答案文本来执行。可以利用适合分析文本相关度的文本处理技术来确定相关度。
132.如果确定所选择的一对历史问题和历史答案之间的相关度高于阈值相关度，在框930，问答处理系统110将所选择的问题对应的问题文本与所选择的答案对应的答案文本构建为一个qa对。在框935，问答处理系统110利用所构建的qa对来更新问答引擎140。例如，qa对可以作为知识被涵盖到问答引擎140的知识库中。
133.在一些实施例中，如果所选择的一对历史问题和历史答案不属于相同主题或者它们之间的相关度不高(例如低于阈值相关度)，那么问答处理系统110可以继续从提取的历史问题和历史答案中选择另一对历史问题和历史答案，以判断是否可以构建qa对，直到所提取的问题和答案均被遍历。
134.通过过程900，可以实现问答引擎140的持续自动更新。随着越多的新知识的加入，问答引擎140可以变得更智能，能够处理更多新的、复杂的问题。
135.示例设备
136.图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。图1的问答处理系统110或电子设备125的全部或部分组件可以被实现在设备1000。
137.如图所示，设备1000包括处理单元1001，其可以根据存储在只读存储器(rom)1002
中的计算机程序指令或者从存储单元1008加载到随机访问存储器(ram)1003中的计算机程序指令，来执行各种适当的动作和处理。在ram 1003中，还可存储设备1000操作所需的各种程序和数据。处理单元1001、rom 1002以及ram 1003通过总线1004彼此相连。输入/输出(i/o)接口1005也连接至总线1004。
138.设备1000中的多个部件连接至i/o接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
139.处理单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。处理单元1001的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理单元1001可以执行上文所描述的各个方法和处理，例如过程200、过程500、过程700和/或过程900。例如，在一些实施例中，过程200、过程500、过程700和/或过程900可被实现为计算机软件程序，其被有形地包含于计算机可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由rom 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到ram 1003并由处理单元1001执行时，可以执行上文描述的过程200、过程500、过程700和/或过程900的一个或多个步骤。备选地，在其他实施例中，处理单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行过程200、过程500、过程700和/或过程900。
140.本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)等等。
141.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
142.根据本公开的示例性实现方式，提供了一种计算机可读存储介质，其上存储有计算机可执行指令或程序，其中计算机可执行指令或程序被处理器执行以实现上文描述的方法或功能。计算机可读存储介质可以包括非瞬态计算机可读介质。根据本公开的示例性实现方式，还提供了一种计算机程序产品，包括计算机可执行指令或程序，而计算机可执行指令或程序被处理器执行以实现上文描述的方法或功能。该计算机程序产品可以被有形地体现在非瞬态计算机可读介质上。
143.这里参照根据本公开实现的方法、装置、设备和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可执行指令或程序实现。
144.在本公开的上下文中，计算机可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。计算
机可读介质可以是机器可读信号介质或机器可读储存介质。计算机可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
145.此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
146.尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。