问答系统的制作方法

1.本发明涉及问答(qa)系统领域，尤其涉及对提供给qa系统的问题的意图分类。


背景技术：

2.问答(qa)系统适于通过分析问题并在数据库中找到答案来提供问题的答案。因此，问答系统的框架可以被视为类似于搜索引擎的框架。
3.通常，当用户向qa系统提供新问题时，首先分析问题并提取关键字以生成信息检索条件。为了降低信息检索的复杂性，可以确定问题的意图(即原因、目标、动机、目的等)。因此，对问题意图的此种确定可以影响所检索的答案的质量(例如相关性和/或准确性)。
4.在qa系统中对问题意图进行分类需要大量的标注语料。此外，注释(例如标签)通常从手动注释或开放资源转换来构建。对大量注释语料进行高质量的手动注释具有相关联的缺点，即劳动密集并且耗时长。相反，语料库不足和/或低质量标签的缺点是它通常会导致不准确的意图分类。
5.此外，对于大多数传统qa系统，没有持续改进性能的机制。因此，传统的qa系统通常在部署时是固定的，并且几乎没有改进的机会。
6.因此，仍然需要开发改进的(例如更准确和自学习的)qa系统。


技术实现要素：

7.本发明由权利要求限定。
8.根据本发明一方面的示例，提供了一种对提供给问答qa系统的问题进行意图分类的方法，该方法包括：分析用户提供给qa系统的一个或多个问题，以标识用户的消极情感；响应于标识用户的消极情感，标识提供给用户的不正确答案；分析不正确答案及其相关联问题，以确定对相关联问题的意图的不正确分类是否是不正确答案的原因；以及基于确定对相关联问题的意图的不正确分类是否是不正确答案的原因的结果，修改qa系统的意图分类算法或qa系统的qa算法选择过程。
9.提出了自动改进qa系统意图分类的概念。不同于传统的意图分类方法，所提出的实施例可以利用用户传达的情感信息作为指标来增加训练数据。这可以迎合无监督的方法，其使意图分类过程能够在没有人为干预的情况下保持连续学习。
10.发明人提出，对到qa系统的用户输入中的隐藏信息(以情感的形式)的标识和使用可以有助于性能的提高。因此，在分析问题意图时，所提出的实施例不仅分析问题的词语，而且标识和分析用户表达的情感。
11.特别地，发明人提出可以从用户的响应推断出答案的质量(例如，准确性或相关性)。例如，qa系统提供的低质量答案可能导致用户提供消极响应。此外，一些行为线索可以用于标识不满意的用户态度。例如，用户重复询问相同的问题可能表明用户期望更好的答案。
12.例如，所提出的实施例可以被配置为使用用户回复的情感倾向作为指示答案质量
的隐藏信息。这样的好处是它可以利用众所周知并且广泛可用的情感分析算法和概念，因为情感分析是一个经过充分研究的领域。
13.此外，实施例不必旨在找到所有回复背后的情感倾向。为了减少不准确的情感指标造成的过度干预，可以只采用几种已确认的情感模式。
14.所提出的实施例可以基于这样的想法，即用户的情感可以提供可以有助于qa系统性能改进的隐藏信息。因此，qa系统的用户对话记录可以用作训练数据，以通过各种用户风格的积累来改进qa系统。换句话说，用户在使用qa系统时可能会表达情感，而情感可以被视为答案质量的指标。因此，实施例寻求通过利用用户表达的情感来提高对问题意图的分类的准确度。
15.此外，所提出的是，由于用户通常以书面文本形式与qa系统互动，他们可能很少对程序表示积极的赞赏。但是如果qa系统表现不佳，用户则可能会急于表达消极的抱怨。因此，所预期的是，对话中的消极情感包含与系统性能相关的重要信息，其可以用于提高系统的性能。因此，举例来说，所提出的实施例可以包括基于对用户问题的分析，响应于检测到消极情感而确定错误答案。
16.qa系统在医疗保健领域特别有用。例如，qa系统可以用作临床决策过程的一部分，因此可以用于临床决策支持(cds)系统。因此，所提出的实施例可能有益于医学领域，并且特别有益于cds。例如，所提出的实施例可以与受试者(例如患者)管理应用程序和/或其他保健产品的qa系统结合使用，以便优化用户意图分类的性能。
17.再举例来说，实施例可以适用于医学知识查询应用程序/系统。因此，实施例可以提供用于改进(例如，更准确和/或动态改进)对提供给封闭领域qa系统的问题进行意图分类的概念。
18.在实施例中，修改qa系统的意图分类算法或qa系统的qa算法选择过程可以包括：响应于确定对相关联问题的意图的不正确分类是不正确答案的原因，修改qa系统用于意图分类的意图分类算法；以及响应于确定对相关联问题的意图的不正确分类不是不正确答案的原因，修改qa系统用于问答的qa算法选择过程。
19.换句话说，实施例可以涉及确定错误答案是由所采用的答案引擎引起还是由对问题意图的不正确分类引起。如果错误答案被确定为可用的最佳答案，则确定意图分类是错误答案的原因，然后可以更新意图分类算法(例如，通过调整意图分类算法的权重值)。相反，如果确定错误答案不是最佳答案，则确定答案引擎是错误答案的原因，然后可以修改qa系统使用的算法选择过程(例如，更改选择哪个答案生成算法)。
20.此外，修改qa系统用于意图分类的意图分类算法可以包括更新产生不正确意图分类的意图分类算法的分类器中的参数的权重。例如，更新分类器中参数的权重可以包括用迭代优化算法处理权重。例如，可以使用传统的迭代算法标识成本函数，然后将其最小化。因此，实施例可以采用常规或众所周知的优化算法来改进或优化意图分类算法。因此，通过利用现有的优化概念，所提出的实施例的实施可以是简单和/或低成本的，并且可以响应于使用用户的消极情感来标识提供给用户的不正确答案而采用此类概念。
21.在实施例中，修改qa系统用于问答的qa算法选择过程可以包括基于不正确答案调整对qa算法的选择。例如，在qa系统可以采用两种qa算法的情况下，可以改变对两种qa算法中的一种算法的选择。以此方式，在最初选择和使用错误的qa算法的情况下，响应于确定对
相关联问题的意图的不正确分类是不正确答案的原因，可以选择备选的qa算法。因此，不仅可以通过所提出的实施例改进qa系统的意图分类算法，而且实施例还可以响应于标识用户的消极情感而改进qa算法选择过程。
22.在一些实施例中，分析不正确答案及其相关联问题包括：标识相关联问题的备选答案；基于不正确答案和所标识的备选答案，确定最佳答案选项是否被用作不正确答案；以及基于确定最佳答案选项是否被用作不正确答案的结果来确定对相关联问题的意图的不正确分类是否是不正确答案的原因。因此，实施例可以采用简单的分析概念来确定意图分类算法和qa算法选择过程中的哪一个可能是提供不正确答案的原因。
23.此外，确定最佳答案选项是否被用作不正确答案可以包括：将不正确答案和所标识的备选答案与相关联问题进行比较，以标识哪个答案与相关联问题具有最大相似性；以及基于所标识的与相关联问题具有最大相似性的答案来确定最佳答案选项。因此，所提出的实施例可以采用相对简单的分析技术，从而降低实施的成本和复杂性。
24.在一些实施例中，确定对相关联问题的意图的不正确分类是否是不正确答案的原因可以包括，响应于确定最佳答案选项被用作不正确答案，确定对相关联问题的意图的不正确分类是不正确答案的原因。以此方式，所提出的实施例可以采用简单的分析技术来确定不正确答案的原因，从而降低了实施的成本和复杂性。
25.该系统可以远离qa系统定位。以此方式，用户(诸如医疗专业人员)可以具有用于改进对提供给qa系统的问题进行意图分类的适当设置的系统。因此，实施例可以使用户能够使用本地系统(例如，其可以包括诸如膝上型计算机、平板计算机、移动电话、pda等便携式显示设备)来动态地改进qa系统。例如，实施例可以提供用于移动计算设备的应用程序，并且该应用程序可以由移动计算设备的用户执行和/或控制。
26.该系统还可以包括：包括用于问题的意图分类的系统的服务器设备；以及包括用户界面的客户端设备。因此，专用数据处理装置可以用于改进意图分类的目的，从而降低系统的其他组件或设备的处理要求或能力。
27.该系统还可以包括客户端设备，其中该客户端设备包括根据实施例的系统的全部或部分。换言之，用户(诸如医生或医疗专业人员)可以具有适当设置的客户端设备(诸如膝上型计算机、平板电脑、移动电话、pda等)。
28.应当理解，处理能力因此可以根据预定的约束和/或处理资源的可用性以不同的方式分布在整个系统中。
29.根据本发明一方面的示例，提供了用于对提供给qa系统的问题进行意图分类的计算机程序产品，该计算机程序产品包括计算机可读存储介质，其具有包括在其中的程序指令，该程序指令可由处理器执行以使处理器执行一种方法，该方法包括：分析用户提供给qa系统的一个或多个问题以标识用户的消极情感；响应于标识用户的消极情感，标识提供给用户的不正确答案；分析不正确答案及其相关联问题，以确定对相关联问题的意图的不正确分类是否是不正确答案的原因；以及基于确定对相关联问题的意图的不正确分类是否是不正确答案的原因的结果，修改qa系统的意图分类算法或qa系统的qa算法选择过程。
30.根据本发明另一方面的示例，提供了用于对提供给问答qa系统的问题进行意图分类的系统，该系统包括：分析组件，被配置为分析用户提供给qa系统的一个或多个问题以标识用户的消极情感；分类组件，被配置为响应于标识用户的消极情感，标识提供给用户的不
正确答案；处理组件，被配置为分析不正确答案及其相关联问题，以确定对相关联问题的意图的不正确分类是否是不正确答案的原因；和修改组件，被配置为基于确定对相关联问题的意图的不正确分类是否是不正确答案的原因的结果，修改qa系统的意图分类算法或qa系统的qa算法选择过程。
31.参考下文描述的实施例，本发明的这些和其他方面将变得显而易见并被阐明。
附图说明
32.为了更好地理解本发明，并更清楚地示出如何实施本发明，现在将仅通过示例的方式参考附图，其中：
33.图1是根据实施例的用于对qa系统进行无监督的意图分类改进的方法的流程图；
34.图2描绘了根据实施例的用于优化意图分类算法的示例性架构。
35.图3示出了根据实施例的用于对提供给qa系统的问题进行意图分类的系统的简化框图；并且
36.图4示出了根据实施例的用于实现控制器或处理器的计算机的示例。
具体实施方式
37.将参考附图描述本发明。
38.应当理解，详细描述和具体示例虽然指示了装置、系统和方法的示例性实施例，但仅用于说明的目的，并不旨在限制本发明的范围。本发明的设备、系统和方法的这些和其他特征、方面和优点将从以下描述、所附权利要求和附图变得更好理解。应当理解，这些附图仅仅是示意性的并且不是按比例绘制的。还应当理解，在所有附图中使用相同的附图标记来指示相同或相似的部件。
39.所提出的是，用户与qa系统的交互中的隐藏信息可以被标识并用于实现性能改进。具体地，所提出的实施例提出了通过无监督方法利用用户表达的情感来改进对问题的意图分类的性能的概念。具体地，用户与qa系统的交互中的消极情感倾向可以被标识为对qa系统提供的答案不满意的指标。然后，可以通过验证来自多来源信息检索引擎的答案来确定错误答案的来源。如果确定错误答案是不正确的问题意图分类导致的，则可以根据错误类型和严重性为错误答案样本指派动态权重。此外，可以基于所确定的错误(例如使用在线学习)更新意图分类模型。以此方式，qa系统可以在与用户交互的过程中保持自动改进。
40.现在参考图1，描绘了用于qa系统的无监督的意图分类改进的方法的所提出的实施例的流程图。
41.该方法从步骤10开始并进行到步骤15，步骤15分析用户提供给qa系统的问题以便标识用户的消极情感。在步骤20中，确定是否已经标识出用户的消极情感。如果没有标识出用户的消极情感，则该方法返回到步骤15并继续分析提供给qa系统的进一步问题。相反，响应于标识用户的消极情感，标识不正确答案及其相关联问题，并且该方法进行到步骤25。
42.步骤25包括分析不正确答案及其相关联问题以确定对相关联问题的意图的不正确分类是否是不正确答案的原因。在本文，此种分析包括标识相关联问题的备选答案，并且基于不正确答案和所标识的备选答案，确定最佳答案选项是否被用作不正确答案。
43.例如，在该实施例中，确定最佳答案选项是否被用作不正确答案包括将不正确答
案和所标识的备选答案与相关联问题进行比较以标识哪个答案与相关联问题具有最大相似性的过程。最佳答案基于所标识的与相关联问题具有最大相似性的答案被确定。
44.然后基于确定最佳答案选项是否被用作不正确答案的结果，确定对相关联问题的意图的不正确分类是否是不正确答案的原因。具体地，在该示例实施例中，如果确定最佳答案选项被用作不正确答案，则确定对相关联问题的意图的不正确分类是不正确答案的原因。
45.在确定(在步骤25)对相关联问题的意图的不正确分类是否是不正确答案的原因之后，该方法进行到步骤30。步骤30是决策步骤，其根据步骤25的结果确定方法的下一步。具体地，步骤30决定该方法基于步骤25(确定对相关联问题的意图的不正确分类是否是不正确问题的原因)的结果来修改qa系统的意图分类算法或qa系统的qa算法选择过程。
46.响应于步骤30标识出对相关联问题的意图的不正确分类不是不正确答案的原因，该方法进行到步骤35，修改qa系统用于问答的qa算法选择过程。在该示例中，步骤35(修改qa系统用于问答的qa算法选择过程)包括基于不正确答案调整对qa算法的选择。
47.相反，响应于步骤30标识出对相关联问题的意图的不正确分类是不正确答案的原因，方法进行到步骤40，修改qa系统用于意图分类的意图分类算法。在本实施例中，步骤40修改qa系统用于意图分类的意图分类算法包括：(步骤42)(使用迭代优化算法)更新意图分类算法的分类器中参数的权重；以及(步骤44)通过在线训练更新意图分类算法。
48.从以上对图1的实施例的描述，可以理解，所提出的实施例可以概括为包括以下三个主要阶段：(i)检测对话中的消极情感倾向；(ii)验证来自多来源信息检索引擎的答案；(iii)用检测到的不正确样本更新意图分类器。
49.(i)检测对话中的消极情感倾向；
50.所提出的是，可以从用户的响应的情感，尤其是消极情感来指示回答质量。此外，一些行为线索可能暗示对答案不满意，诸如反复问相同的问题。因此提出了，检测用户对答案的回复的情感倾向以获得答案质量的指示。
51.情感分析是一个被深入研究的领域，但实施例不必旨在找到所有回复句子背后的情感倾向。为了减少不准确的情感指标的过度干预，可以使用一组已确认的情感模式来设置标签。一旦检测到强烈的消极情感，相应的问题-答案对可以与错误预测的标签一起被记录。
52.(ii)验证来自多来源信息检索引擎的答案
53.当检测到消极情感时，这表示最后一轮提供的答案不令人满意(例如不正确、不准确或不相关)。所提出的实施例被配置为阐明这是因为没有正确分类问题意图还是由于答案生成算法引起的。
54.为此，所提出的实施例验证来自信息检索引擎的子模块的答案以判断是否提供了最佳答案选项。举例来说，可以采用混合语义关系方法来比较答案以找到其主题词与问题最相似的答案。所提出的是，如果验证显示最佳答案选项与对话中的答案相同，则错误是由错误的问题意图分类引起的。
55.(iii)更新意图分类算法
56.一旦确定了错误来源，就可以采取行动来改进系统。
57.如果指示意图分类错误，则将不正确的意图分类存储在数据库中。基于错误意图
分类的发生时间和错误类型，为检测到的样本指派动态权重。在线训练意图分类算法或模型时，将权重乘以损失函数。利用动态损失，可以根据错误的严重性以适当的尺度调整意图分类算法或模型。
58.仅作为进一步解释，修改意图分类算法或模型的过程可以取决于算法/模型的细节。本文可以考虑很多分类算法/模型，诸如逻辑回归、加权朴素贝叶斯、支持向量机等。然而，举例来说，用于优化分类算法/模型的框架可以总结如下。
59.将目标分类器算法记为h
β
(x)＝f(βi*xi)，其中βi是每个特征维度的权重，其中f()是表示分类器的函数。
60.将成本函数标记为j(θ)
61.为了最小化j(θ)，采用优化算法(如梯度下降或准割法)迭代更新权重。
62.对于优化过程，每个带标签的样本将被馈送到成本函数，并且结果将用于向每个βi添加值以更新权重。如果结果与真实标签相去甚远，成本函数的结果将会很大，因此根据偏差方向，每个βi将会加减一个大的惩罚值。因此，通过更新βi，目标函数将更新得越来越准确。
63.为了对新样本进行分类，利用由先前训练数据训练的函数来计算h
β
(x)的结果。一旦确定意图分类不正确，样本和正确意图将用于更新所有权重βi。
64.h
β
(x)是一个介于0和1之间的连续值，表示样本属于正类的似然性。例如，对于一个二元分类问题，它可能提供0.75的结果，这意味着它有75％的置信度来确定样本属于正类，有25％的置信度用于负类，因此样本被标记为正。对于多类分类问题，每个类都使用独热编码进行解码，并且针对每个类训练多个分类器以确定正或负。
65.作为进一步解释，关于所提出的实施例的各个方面的附加细节提供如下：
66.a.文本对话中的消极情感倾向检测
67.情感分析是自然语言处理(nlp)中的一个成熟领域，常用于分析社交媒体的公众情感。情感分析主要有两种方法，一种是基于情感词词典，另一种是基于带标签数据的机器学习。基于词典的方法采用一个或多个情感词典和统计数据来获得一个句子的情感概率。基于机器学习的方法本质上是可以采用监督和半监督方法的分类过程。
68.然而，对于所提出的实施例，确定每个句子的情感可能是不明智的。相反，实施例可以优选地检测具有强烈消极情感的用户反馈(以便潜在地标识对问题意图的错误分类)。发明人的研究已标识，一组典型的消极情感倾向模式可以包括(但不应限于)下表(表1)中详述的以下模式：
69.表1
70.[0071][0072]
对于直接抱怨的情况，可以从历史记录积累一组此类句子和相似的表达方式。以此方式，可以通过文本搜索从库中检测到直接抱怨。
[0073]
对于重复提问的情况，可以采用释义检测的方法。释义是指两个句子具有相似的意思，但表达方式不同。这个问题可以转化为编码器/解码器问题，其可以通过双向长短期记忆条件随机场(lstm-crf)模型解决。
[0074]
对于个人习语频繁出现的情况，可以利用词频和短语频率来找出经常出现的个人习语。首先，需要标识直接抱怨和重复提问的情况并记录上下文。然后用词频-逆向文件频率(tf-idf)分析上下文，根据频率和重要性对短语进行排序。接下来，在已确认的消极情感的情况下检查排序较高的短语。如果一个短语频繁出现并出现消极情感，可以将该短语添加到频繁的个人习语的条件中。频率值的阈值可能取决于场景和实践。
[0075]
b.单个用户对话单元识别
[0076]
注意，单个对话单元可以被认为是在结论句子被提供或主题改变之前所保持的、qa系统与用户之间指向同一对象的最小顺序对话。例如，用户可能会提出一个问题，然后qa系统会回复一个答案。如果用户随后询问另一个主题，则单个对话单元是最后一个qa对。
[0077]
在多轮对话的示例中，用户可能会在没有足够详细信息的情况下提出问题，然后通过多轮交互完整地提出问题。单个对话单元是多个句子，直到另一个主题出现。
[0078]
记住以上内容，实施例可以被配置为确定情感指标应该与哪个句子相关联。首先，意图分类算法会判断问题是完整的单个问题还是槽填充块。如果是单个问题，则对话单元为单轮对话，并且最后的答案回复将与该问题相关联。如果对话单元是多轮对话，一旦槽信息被完全填充，则整个问题将与答案相关联。
[0079]
c.对来自多个信息检索引擎的最佳答案的验证。
[0080]
如以上示例性实施例中详述的，为了确定对错误答案责任的部分，提出了确定提供给用户的答案是否是系统可以生成的最佳选项。由于可能存在许多子模块来处理具有不同意图的问题，因此实施例可以被配置为经由混合语义关系比较所有有效答案。
[0081]
对于信息检索引擎，有些子模块可能无法返回有效答案，例如使用肿瘤知识问题询问天气查询模块，则不会输出任何内容。另一方面，有些问题可能会从不同的子模块得到不同的答案。例如，给定一个肿瘤常识问题，不同领域/部门的基于自由文本的知识库模块
和知识图模块可能会回复不同的答案。理想情况下，面向意图的子模块应该生成最佳答案。因此，实施例比较候选答案以确定所提供的答案是否与来自所有子模块的最佳答案一致。
[0082]
一种示例性的方法是分析所有答案，找出其主题词与问题最相似的答案。
[0083]
在此种方法中，第一步是提取问题中的关键字。疑问句被分割成单个词。过滤虚词后，剩下的概念词视为关键词。第二步是提取每个候选答案的主题词。仅作为示例，这可以采用主题词嵌入(twe)。通过twe，可以获得针对每个答案段落的主题词列表。第三步是比较问题关键词列表和每个答案主题词列表的相似度。对于每个列表，将列表中的每个词转化为预训练的词嵌入，然后通过按位累加可以得到一个列表向量。然后可以经由计算问题关键字列表向量和答案主题词列表向量之间的余弦相似度来标识最佳答案。
[0084]
如果最佳答案不是提供给用户的答案，则数据将被发送到信息检索引擎。否则，确定错误答案的原因是不当/不正确的意图分类。
[0085]
d.利用动态权重损失的意图分类模型更新。
[0086]
如果考虑上述三种消极情感条件(详见表1)，判断错误答案的置信度是不一样的，因此实施例可以配置为分别为它们指派需要在实践中进行调整的不同的权重(例如0.95、0.85、0.8)。
[0087]
响应于确定不正确的意图分类是错误答案的来源，它可以被存储在数据库中并等待专家审查确认。随后，当新的记录出现时，可以通过搜索数据库来判断错误是否重复发生。如果错误出现更多次，可能会增加错误样本的权重。通过这种策略，对于不同严重程度的错误，利用动态权重的训练被指派以用于调整在线训练力。
[0088]
通过对所提出的概念及其潜在实施方式的进一步解释，现在将进一步讨论使用用户反馈的情感来对具有多种含义的句子(例如问题)的意图进行准确分类的潜在需求。
[0089]
所提出的是，如果当前问题具有上下文，则可以使用此种上下文来对问题意图进行分类。
[0090]
为了确定问题意图，首先生成答案。所提出的是，0如果答案正确，跟进或反馈问题的情感通常会是积极的，而如果答案不正确，跟进或反馈问题的情感通常会是消极的。因此，首先合成跟进或反馈问题和当前问题的概率值。随后，针对跟进或反馈问题检测到的用户情感可以用于评估前述问题的意图分类是否正确(如上所述)。然后这可用于改进跟进或反馈问题的意图分类。此种方法可以称为反馈分类。
[0091]
通过进一步证明所提出的概念，我们现在考虑基于朴素贝叶斯分类的已知意图分类算法。已知的分类算法有很多，但本文选择贝叶斯作为示例，因为它易于开发并且表现出良好的准确性。
[0092]
与传统的意图分类算法一样，监督是需要的，因此需要对训练数据(即语料库)进行标记。然后，使用标记的语料库和朴素贝叶斯分类的语义分析来训练意图分类算法。实验结果表明，此种传统算法对于只有单一含义的句子的准确率为96.35％，但对于具有多重含义的句子则下降到9％。
[0093]
然而，所提出的实施例可以促进此种意图分类算法的优化。特别地，由于在某些情况下没有可利用的上下文或主题意图，因此使用用户反馈情感来优化意图分类算法。总之，此类方法包括：(i)合成当前问题和后续跟进问题的分类器的概率值；和(ii)利用与后续跟进问题相关联的用户情感来重新计算跟进问题的意图并纠正当前问题的意图。
[0094]
图2描绘了用于根据实施例优化意图分类算法的此种实施例的示例性架构。第一问题(标记为“第一”)经历问题意图分析105。然后所得到的第一问题的问题意图和主题被提供给生成第一问题的答案115的qa算法110。第二问题(标记为“第二”)经历朴素贝叶斯分类120，然后标识与第二问题相关联的情感125。所标识的情感被提供给处理组件130，处理组件确定对相关联问题的意图的不正确分类是否是不正确答案的原因。响应于确定对相关联问题的意图的不正确分类是不正确答案的原因，处理组件130修改问题意图分析105。此外，所标识的第一问题的问题意图和主题以及与第二问题相关联的情感(由过程125标识的)被用于进一步的问题意图分析过程135以确定第二问题的问题意图。
[0095]
作为进一步的示例，此种基于反馈的方法的公式可以如下：
[0096]
更正了q
i-1
的意图
[0097]
score(q
i-1
)＝max{p(q
i-1
/t)*e(qi)，αp(qi/un-t)*e(qi)}
ꢀꢀ
(1-1)
[0098]
e(qi)＝{-1，1}
ꢀꢀ
(1-1-1)
[0099]
{1：qi的情感是积极的；
[0100]-1：q
i-1
的情感是消极的}
[0101]
score(qi)＝max{αp(qi/t) βt(q
i-1
，qi)*f(q
i-1
，intension)，αp(qi/un-t) β
[0102]
t(q
i-1
，qi)*f(q
i-1
，intension)}
ꢀꢀ
(1-2)
[0103]
t，un-t是两种意图，
[0104]
α β＝1，α，β是调整因子，α＝0.6，β＝0.4
[0105]
p(qi/t)：qi的意图是肿瘤的概率值
ꢀꢀ
(1-2-1)
[0106]
p(qi/un-t)：qi的意图是非肿瘤的概率值
[0107]
t(q
i-1
，qi)f(q
i-1
，intension)＝{-1，1}
ꢀꢀ
(1-2-2)
[0108]
{1：q
i-1
的主题与qi相同，或q
i-1
为空；
[0109]-1：q
i-1
的主题与qi相同}
[0110]
f(q
i-1
，intention)＝{-1，1}
ꢀꢀ
(1-2-3)
[0111]
{1：q
i-1
的意图是t或q
i-1
为空；
[0112]-1：q
i-1
的主题不是t}
[0113]
上述基于反馈的方法可以总结如下：
[0114]
第一：当用户提出第一问题时，系统采用score(qi)公式(1-2)来计算意图得分并获取最大得分标签作为当前问题的意图(因为在这种情况下没有上下文，所以t(qi-1，qi)＝1，f(qi-1，intention)＝1并且如果贝叶斯分类器(p(qi/t)和p(qi/un-t)))，这两个特征是无效的，只部署在得分上)。
[0115]
第二：qa系统基于意图生成答案，然后将答案提供给用户。
[0116]
第三：当用户在收到提供的答案后提出另一问题时，系统首先分析问题的情感，然后采用公式score(qi-1)来纠正上一个问题的意图。然后采用公式score(qi)计算当前问题的意图(因为在这个场景中有上下文，t(qi-1，qi)采用主题分析来获取彼此的主题，对于f(qi-1，intention)使用上一个问题的纠正意图和基于score(qi-1)(1-1)的当前意图)。
[0117]
第四：qa系统基于意图生成答案，并用所生成的答案回应用户。
[0118]
第五：返回第三步并且重复，直到与用户对话结束。
[0119]
所提出实施例的实验实施方式表明，与不采用基于情感的反馈概念来动态修改所
采用的意图分类算法的传统qa系统相比，实现了约5％的准确度增加。
[0120]
作为又一示例，图3示出了用于对提供给qa系统500的问题进行意图分类的系统400的简化框图。该系统包括分析组件410，其被配置为分析用户提供给qa系统500的一个或多个问题415，以标识用户的消极情感。响应于标识用户的消极情感，系统400的分类组件420被配置为标识提供给用户的不正确答案。系统400的处理组件430然后分析不正确答案及其相关联问题以确定对相关联问题的意图的不正确分类是否是不正确答案的原因。系统的修改组件440被配置为(基于确定对相关联问题的意图的不正确分类是否是不正确答案的原因的结果)修改：qa系统500的意图分类算法；或者qa系统500的qa算法。
[0121]
更具体地，修改组件400包括算法组件445，其被配置为响应于确定对相关联问题的意图的不正确分类是不正确答案的原因，修改qa系统500用于意图分类的意图分类算法。修改组件400还包括问题组件450，其被配置为响应于确定对相关联问题的意图的不正确分类不是不正确答案的原因，修改qa系统500用于问答的问答算法。
[0122]
图3的所提出的系统400在那里被配置为自动改进qa系统500的意图分类算法。与传统的意图分类方法不同，系统400利用用户传达的情感信息作为指标来增加训练数据。具体地，系统400寻求标识用户在响应于从qa系统500接收答案时表现出的消极情感。可以分析对此种消极情感的标识以确定它是否是由以下任一原因导致的不正确答案引起的：对问题意图的不良/不正确分类或由qa系统500采用的答案引擎。然后可以使用确定结果来适当地更新/修改意图分类算法。
[0123]
从上面的描述可以理解，所提出的系统可以采用控制器或处理器来处理数据。
[0124]
图4示出了用于实现上述控制器或处理器的计算机60的示例。
[0125]
计算机60包括但不限于pc、工作站、膝上型计算机、pda、掌上设备、服务器、存储器等。通常，在硬件架构方面，计算机60可以包括经由本地接口(未示出)通信耦合的一个或多个处理器61、存储器62和一个或多个i/o设备63。本地接口可以是，例如但不限于，一个或多个总线或其他有线或无线连接，如本领域已知的。本地接口可以具有附加元件，诸如控制器、缓冲区(告诉缓存)、驱动器、中继器和接收器，以实现通信。此外，本地接口可以包括地址、控制和/或数据连接，以实现上述组件之间的适当通信。
[0126]
处理器61是用于执行可以存储在存储器62中的软件的硬件设备。处理器61实际上可以是任何定制的或市场上可买到的处理器、中央处理器(cpu)、数字信号处理器(dsp)或与计算机60相关联的若干处理器中的辅助处理器，并且处理器61可以是基于半导体的微处理器(以微芯片的形式)或微处理器。
[0127]
存储器62可以包括易失性存储器元件(例如，诸如动态随机存取存储器(dram)、静态随机存取存储器(sram)等的随机存取存储器(ram))和非易失性存储器元件(例如，rom、可擦可编程只读存储器(eprom)、电子可擦可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁带、光盘只读存储器(cd-rom)、磁盘、软盘、磁带盒、盒式磁带等)中的任何一种或组合。此外，存储器62可以结合电子、磁、光和/或其他类型的存储介质。注意，存储器62可以具有分布式架构，其中各种组件彼此远离，但可以被处理器61访问。
[0128]
存储器62中的软件可以包括一个或多个单独的程序，其中每个程序包括用于实现逻辑功能的可执行指令的有序列表。根据示例性实施例，存储器62中的软件包括合适的操作系统(o/s)64、编译器65、源代码66和一个或多个应用程序67。
[0129]
应用程序67包括许多功能组件，诸如计算单元、逻辑、功能单元、过程、操作、虚拟实体和/或模块。
[0130]
操作系统64控制计算机程序的执行，并提供调度、输入-输出控制、文件和数据管理、存储器管理和通信控制和相关服务。
[0131]
应用程序67可以是源程序、可执行程序(目标代码)、脚本或包括要执行的一组指令的任何其他实体。当是源程序时，则该程序通常经由编译器(诸如编译器65)、汇编器、解释器等进行翻译，这些编译器可以包括或不包括在存储器62中，以便与操作系统64一起正常运行。此外，应用程序67可以被编写为具有数据和方法的类的面向对象的编程语言，或具有例程、子例程和/或函数的过程编程语言，例如但不限于c、c 、c#、pascal、basic、api调用、html、xhtml、xml、asp脚本、javascript、fortran、cobol、perl、java、ada、net等。
[0132]
i/o设备63可以包括输入设备，例如但不限于鼠标、键盘、扫描仪、麦克风、相机等。此外，i/o设备63还可以包括输出设备，例如但不限于不限于打印机、显示器等。最后，i/o设备63还可以包括通信输入和输出的设备，例如但不限于网络接口控制器(nic)或调制器/解调器(用于访问远程设备、其他文件、设备、系统或网络)、射频(rf)或其他收发器、电话接口、桥接器、路由器等。i/o设备63还包括用于通过各种网络诸如internet或intranet通信的组件。
[0133]
当计算机60在运行时，处理器61被配置为执行存储在存储器62内的软件、向存储器62传送数据和从存储器62传送数据，并且通常根据软件控制计算机60的操作。应用程序67和操作系统64全部或部分地由处理器61读取，可能缓存在处理器61内，然后被执行。
[0134]
当应用程序67以软件实现时，应当注意，应用程序67实际上可以存储在任何计算机可读介质上，以供任何计算机相关系统或方法使用或与其结合使用。在本文档的上下文中，计算机可读介质可以是电子、磁、光或其他物理设备或装置，其可以包含或存储计算机程序以供计算机相关系统或方法使用或与其结合使用。
[0135]
通过研究附图、公开内容和所附权利要求，本领域技术人员在实践所要求保护的发明时可以理解和实现所公开的实施例的其他变例。在权利要求中，词语“包括”不排除其他元件或步骤，且不定冠词“一”或“一个”不排除多个。仅在相互不同的从属权利要求中列举的某些措施的事实并不表示不能有利地使用这些措施的组合。权利要求中的任何附图标记不应被解释为限制范围。
[0136]
通过研究附图、公开内容和所附权利要求，本领域技术人员在实践所要求保护的发明时可以理解和实现所公开的实施例的其他变例。在权利要求中，词语“包括”不排除其他元件或步骤，且不定冠词“一”或“一个”不排除多个。单个处理器或其他元件可以实现权利要求中列举的几个项目的功能。仅在相互不同的从属权利要求中列举的某些措施的事实并不表示不能有利地使用这些措施的组合。如果前文讨论了计算机程序，则它可以存储/分布在合适的介质上，诸如与其他硬件一起提供或作为其他硬件的一部分提供的光存储介质或固态介质，但也可以以其他形式分布，诸如经由互联网或其他有线或无线电信系统。如果在权利要求或说明书中使用术语“适于”，应注意术语“适于”意在等同于术语“配置为”。权利要求中的任何附图标记不应被解释为限制范围。