一种用于意图识别的词义角色标注方法及系统与流程

1.本发明涉及意图识别技术领域，尤其涉及一种用于意图识别的词义角色标注方法及系统。


背景技术：

2.目前，现有的词义角色标注方法首先是从句子中剪除掉不可能成为论元的词，然后从候选论元中识别出所有属于该谓词的论元，给识别出的论元标注语义角色，最后对标注结果进行处理得到语义角色标注结果。
3.由此可以看出，现有的词义角色标注方法性能依赖于特征工程，需要领域知识和大量的特征提取工作，没有特征能够表示长距离的依赖关系，无法引入异构资源来解决数据不足的问题。
4.因此，如何有效的实现自动词义角色标注，减少意图识别中构建词义标注语料库的时间和成本，是一项亟待解决的问题。


技术实现要素：

5.有鉴于此，本发明提供了一种用于意图识别的词义角色标注方法，能够有效的实现自动词义角色标注，减少意图识别中构建词义标注语料库的时间和成本。
6.本发明提供了一种用于意图识别的词义角色标注方法，包括：
7.输入句子序列、谓词序列、谓词上下文和谓词上下文区域标记；
8.将所述谓词序列和谓词上下文扩展为与所述句子序列长度相同的序列；
9.将所述句子序列、谓词序列、谓词上下文和谓词上下文区域标记转换为词向量序列；
10.将所述句子序列、谓词序列、谓词上下文和谓词上下文区域标记的词向量序列输入双向lstm模型；
11.通过所述双向lstm模型学习输入序列的特征表示，得到新的特征表示序列；
12.将所述新的特征表示序列输入条件随机场；
13.通过所述条件随机场对所述新的特征表示序列进行标注，得到标注结果。
14.优选地，所述将所述句子序列、谓词序列、谓词上下文和谓词上下文区域标记转换为词向量序列，包括：
15.将所述句子序列、谓词序列、谓词上下文和谓词上下文区域标记通过词表取词向量转换为实向量表示的词向量序列，其中，所述句子序列和所述谓词上下文共享一个词表。
16.优选地，所述通过所述条件随机场对所述新的特征表示序列进行标注，得到标注结果，包括：
17.通过所述条件随机场以标记序列为监督信号，对所述新的特征表示序列进行标注，得到标注结果。
18.优选地，所述方法还包括：
19.从句子中抽取谓词前后各n个词构成谓词上下文。
20.优选地，所述谓词上下文用one
‑
hot方式表示。
21.一种用于意图识别的词义角色标注系统，包括：
22.第一输入模块，用于输入句子序列、谓词序列、谓词上下文和谓词上下文区域标记；
23.扩展模块，用于将所述谓词序列和谓词上下文扩展为与所述句子序列长度相同的序列；
24.转换模块，用于将所述句子序列、谓词序列、谓词上下文和谓词上下文区域标记转换为词向量序列；
25.第二输入模块，用于将所述句子序列、谓词序列、谓词上下文和谓词上下文区域标记的词向量序列输入双向lstm模型；
26.双向lstm模型，用于学习输入序列的特征表示，得到新的特征表示序列；
27.第三输入模块，用于将所述新的特征表示序列输入条件随机场；
28.条件随机场，用于对所述新的特征表示序列进行标注，得到标注结果。
29.优选地，所述转换模块具体用于：
30.将所述句子序列、谓词序列、谓词上下文和谓词上下文区域标记通过词表取词向量转换为实向量表示的词向量序列，其中，所述句子序列和所述谓词上下文共享一个词表。
31.优选地，所述条件随机场具体用于：
32.通过所述条件随机场以标记序列为监督信号，对所述新的特征表示序列进行标注，得到标注结果。
33.优选地，所述系统还包括：
34.抽取模块，用于从句子中抽取谓词前后各n个词构成谓词上下文。
35.优选地，所述谓词上下文用one
‑
hot方式表示。
36.综上所述，本发明公开了一种用于意图识别的词义角色标注方法，当需要对词义角色进行标注时，首先输入句子序列、谓词序列、谓词上下文和谓词上下文区域标记；然后将谓词序列和谓词上下文扩展为与句子序列长度相同的序列；将句子序列、谓词序列、谓词上下文和谓词上下文区域标记转换为词向量序列；将句子序列、谓词序列、谓词上下文和谓词上下文区域标记的词向量序列输入双向lstm模型；通过双向lstm模型学习输入序列的特征表示，得到新的特征表示序列；将新的特征表示序列输入条件随机场；通过条件随机场对新的特征表示序列进行标注，得到标注结果。本发明能够有效的实现自动词义角色标注，减少意图识别中构建词义标注语料库的时间和成本。
附图说明
37.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.图1为本发明公开的一种用于意图识别的词义角色标注方法实施例1的方法流程图；
39.图2为本发明公开的一种用于意图识别的词义角色标注方法实施例2的方法流程图；
40.图3为本发明公开的一种用于意图识别的词义角色标注方法实施例3的方法流程图；
41.图4为本发明公开的一种用于意图识别的词义角色标注系统实施例1的结构示意图；
42.图5为本发明公开的一种用于意图识别的词义角色标注系统实施例2的结构示意图；
43.图6为本发明公开的一种用于意图识别的词义角色标注系统实施例3的结构示意图。
具体实施方式
44.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
45.如图1所示，为本发明公开的一种用于意图识别的词义角色标注方法实施例1的流程图，所述方法可以包括以下步骤：
46.s101、输入句子序列、谓词序列、谓词上下文和谓词上下文区域标记；
47.词义角色标注：是一种浅层语义分析技术，以句子为单位，分析句子的谓词
‑
论元结构，其理论基础来源于fillmore(1968)年提出的格语法，不对句子所包含的语义信息进行深入分析。具体来说，词义角色标注的任务就是以句子的谓词为中心，研究句子中各成分与谓词之间的关系，并且用词义角色来描述他们之间的关系。
48.谓词：在一个句子中，谓语是对于主语的描述或判断的词，通常为一个动词。在句中谓词指出“做什么”、“是什么”、“怎么样”，代表了一个句子的核心。
49.论元：在句子中和谓词搭配的通常是一个名词，称其为论元。
50.当需要对词义角色进行标注时，首先输入句子序列、谓词序列、谓词上下文和谓词上下文区域标记。例如，输入的谓词为“set”。
51.由于谓词前后若干个词的一个小片段，能够提供更丰富的信息，帮助消解歧义，通过抽取谓词上下文能够进一步提升词义角色标注的准确性。
52.s102、将谓词序列和谓词上下文扩展为与句子序列长度相同的序列；
53.然后对谓词序列和谓词上下文进行扩展，将谓词序列和谓词上下文扩展为与句子序列一样长的序列。
54.s103、将句子序列、谓词序列、谓词上下文和谓词上下文区域标记转换为词向量序列；
55.然后，对句子序列、谓词序列、谓词上下文和谓词上下文区域标记进行转换，将句子序列、谓词序列、谓词上下文和谓词上下文区域标记均转换为对应的词向量序列。
56.s104、将句子序列、谓词序列、谓词上下文和谓词上下文区域标记的词向量序列输入双向lstm模型；
57.然后将句子序列对应的词向量序列、谓词序列对应的词向量序列、谓词上下文对应的词向量序列和谓词上下文区域标记对应的词向量序列，作为双向lstm模型的输入。
58.s105、通过双向lstm模型学习输入序列的特征表示，得到新的特征表示序列；
59.然后，通过双向lstm模型学习输入的句子序列对应的词向量序列、谓词序列对应的词向量序列、谓词上下文对应的词向量序列和谓词上下文区域标记对应的词向量序列的特征表示，得到新的特征表示序列。
60.s106、将新的特征表示序列输入条件随机场；
61.然后将得到的新的特征表示序列输入crf(conditional random field，条件随机场)。
62.s107、通过条件随机场对新的特征表示序列进行标注，得到标注结果。
63.最后，通过crf对输入的新的特征表示序列进行标注，得到标注结果。
64.综上所述，在上述实施例中，当需要对词义角色进行标注时，首先输入句子序列、谓词序列、谓词上下文和谓词上下文区域标记；然后将谓词序列和谓词上下文扩展为与句子序列长度相同的序列；将句子序列、谓词序列、谓词上下文和谓词上下文区域标记转换为词向量序列；将句子序列、谓词序列、谓词上下文和谓词上下文区域标记的词向量序列输入双向lstm模型；通过双向lstm模型学习输入序列的特征表示，得到新的特征表示序列；将新的特征表示序列输入条件随机场；通过条件随机场对新的特征表示序列进行标注，得到标注结果。能够有效的实现自动词义角色标注，减少意图识别中构建词义标注语料库的时间和成本。
65.如图2所示，为本发明公开的一种用于意图识别的词义角色标注方法实施例2的流程图，所述方法可以包括以下步骤：
66.s201、输入句子序列、谓词序列、谓词上下文和谓词上下文区域标记；
67.词义角色标注：是一种浅层语义分析技术，以句子为单位，分析句子的谓词
‑
论元结构，其理论基础来源于fillmore(1968)年提出的格语法，不对句子所包含的语义信息进行深入分析。具体来说，词义角色标注的任务就是以句子的谓词为中心，研究句子中各成分与谓词之间的关系，并且用词义角色来描述他们之间的关系。
68.谓词：在一个句子中，谓语是对于主语的描述或判断的词，通常为一个动词。在句中谓词指出“做什么”、“是什么”、“怎么样”，代表了一个句子的核心。
69.论元：在句子中和谓词搭配的通常是一个名词，称其为论元。
70.当需要对词义角色进行标注时，首先输入句子序列、谓词序列、谓词上下文和谓词上下文区域标记。例如，输入的谓词为“set”。
71.由于谓词前后若干个词的一个小片段，能够提供更丰富的信息，帮助消解歧义，通过抽取谓词上下文能够进一步提升词义角色标注的准确性。
72.s202、将谓词序列和谓词上下文扩展为与句子序列长度相同的序列；
73.然后对谓词序列和谓词上下文进行扩展，将谓词序列和谓词上下文扩展为与句子序列一样长的序列。
74.s203、将句子序列、谓词序列、谓词上下文和谓词上下文区域标记通过词表取词向量转换为实向量表示的词向量序列，其中，所述句子序列和所述谓词上下文共享一个词表；
75.然后，对句子序列、谓词序列、谓词上下文和谓词上下文区域标记进行转换，将句
子序列、谓词序列、谓词上下文和谓词上下文区域标记通过词表取词向量均转换为对应的实向量表示的词向量序列。其中，句子序列和谓词上下文共享一个词表，谓词序列和谓词上下文区域标记各自独有词表。
76.s204、将句子序列、谓词序列、谓词上下文和谓词上下文区域标记的词向量序列输入双向lstm模型；
77.然后将句子序列对应的词向量序列、谓词序列对应的词向量序列、谓词上下文对应的词向量序列和谓词上下文区域标记对应的词向量序列，作为双向lstm模型的输入。
78.s205、通过双向lstm模型学习输入序列的特征表示，得到新的特征表示序列；
79.然后，通过双向lstm模型学习输入的句子序列对应的词向量序列、谓词序列对应的词向量序列、谓词上下文对应的词向量序列和谓词上下文区域标记对应的词向量序列的特征表示，得到新的特征表示序列。
80.s206、将新的特征表示序列输入条件随机场；
81.然后将得到的新的特征表示序列输入crf(conditional random field，条件随机场)。
82.s207、通过条件随机场以标记序列为监督信号，对所述新的特征表示序列进行标注，得到标注结果。
83.最后，通过crf对输入的新的特征表示序列以标记序列为监督信号进行标注，得到标注结果。
84.综上所述，本实施例在上述实施例的基础上，具体能够将句子序列、谓词序列、谓词上下文和谓词上下文区域标记通过词表取词向量转换为实向量表示的词向量序列；具体能够通过条件随机场以标记序列为监督信号，对新的特征表示序列进行标注，得到标注结果。
85.如图3所示，为本发明公开的一种用于意图识别的词义角色标注方法实施例3的流程图，所述方法可以包括以下步骤：
86.s301、从句子中抽取谓词前后各n个词构成谓词上下文；
87.词义角色标注：是一种浅层语义分析技术，以句子为单位，分析句子的谓词
‑
论元结构，其理论基础来源于fillmore(1968)年提出的格语法，不对句子所包含的语义信息进行深入分析。具体来说，词义角色标注的任务就是以句子的谓词为中心，研究句子中各成分与谓词之间的关系，并且用词义角色来描述他们之间的关系。
88.谓词：在一个句子中，谓语是对于主语的描述或判断的词，通常为一个动词。在句中谓词指出“做什么”、“是什么”、“怎么样”，代表了一个句子的核心。
89.论元：在句子中和谓词搭配的通常是一个名词，称其为论元。
90.当需要对词义角色进行标注时，首先从句子中抽取谓词前后各n个词构成谓词上下文。
91.由于谓词前后若干个词的一个小片段，能够提供更丰富的信息，帮助消解歧义，通过抽取谓词上下文能够进一步提升词义角色标注的准确性。
92.s302、输入句子序列、谓词序列、谓词上下文和谓词上下文区域标记；
93.输入句子序列、谓词序列、谓词上下文和谓词上下文区域标记。例如，输入的谓词为“set”。
94.其中，谓词上下文区域标记：为句子中的每一个词引入一个0
‑
1二值变量，表示它们是否在“谓词上下文”片段中。
95.s303、将谓词序列和谓词上下文扩展为与句子序列长度相同的序列；
96.然后对谓词序列和谓词上下文进行扩展，将谓词序列和谓词上下文扩展为与句子序列一样长的序列。
97.s304、将句子序列、谓词序列、谓词上下文和谓词上下文区域标记通过词表取词向量转换为实向量表示的词向量序列，其中，所述句子序列和所述谓词上下文共享一个词表；
98.然后，对句子序列、谓词序列、谓词上下文和谓词上下文区域标记进行转换，将句子序列、谓词序列、谓词上下文和谓词上下文区域标记通过词表取词向量均转换为对应的实向量表示的词向量序列。其中，句子序列和谓词上下文共享一个词表，谓词序列和谓词上下文区域标记各自独有词表。
99.s305、将句子序列、谓词序列、谓词上下文和谓词上下文区域标记的词向量序列输入双向lstm模型；
100.然后将句子序列对应的词向量序列、谓词序列对应的词向量序列、谓词上下文对应的词向量序列和谓词上下文区域标记对应的词向量序列，作为双向lstm模型的输入。
101.s306、通过双向lstm模型学习输入序列的特征表示，得到新的特征表示序列；
102.然后，通过双向lstm模型学习输入的句子序列对应的词向量序列、谓词序列对应的词向量序列、谓词上下文对应的词向量序列和谓词上下文区域标记对应的词向量序列的特征表示，得到新的特征表示序列。
103.s307、将新的特征表示序列输入条件随机场；
104.然后将得到的新的特征表示序列输入crf(conditional random field，条件随机场)。
105.s308、通过条件随机场以标记序列为监督信号，对所述新的特征表示序列进行标注，得到标注结果。
106.最后，通过crf对输入的新的特征表示序列以标记序列为监督信号进行标注，得到标注结果。
107.综上所述，本发明解决了现有存在的性能依赖于特征工程，需要领域知识和大量的特征提取工作问题；解决了没有特征能够表示长距离的依赖关系的问题；解决了无法引入异构资源来解决数据不足的问题；通过采用深度学习的方式，实现了自动词义角色标注，减少了意图识别中构建词义标注语料库的时间和成本。
108.如图4所示，为本发明公开的一种用于意图识别的词义角色标注系统实施例1的结构示意图，所述系统可以包括：
109.第一输入模块401，用于输入句子序列、谓词序列、谓词上下文和谓词上下文区域标记；
110.词义角色标注：是一种浅层语义分析技术，以句子为单位，分析句子的谓词
‑
论元结构，其理论基础来源于fillmore(1968)年提出的格语法，不对句子所包含的语义信息进行深入分析。具体来说，词义角色标注的任务就是以句子的谓词为中心，研究句子中各成分与谓词之间的关系，并且用词义角色来描述他们之间的关系。
111.谓词：在一个句子中，谓语是对于主语的描述或判断的词，通常为一个动词。在句
中谓词指出“做什么”、“是什么”、“怎么样”，代表了一个句子的核心。
112.论元：在句子中和谓词搭配的通常是一个名词，称其为论元。
113.当需要对词义角色进行标注时，首先输入句子序列、谓词序列、谓词上下文和谓词上下文区域标记。例如，输入的谓词为“set”。
114.由于谓词前后若干个词的一个小片段，能够提供更丰富的信息，帮助消解歧义，通过抽取谓词上下文能够进一步提升词义角色标注的准确性。
115.扩展模块402，用于将谓词序列和谓词上下文扩展为与句子序列长度相同的序列；
116.然后对谓词序列和谓词上下文进行扩展，将谓词序列和谓词上下文扩展为与句子序列一样长的序列。
117.转换模块403，用于将句子序列、谓词序列、谓词上下文和谓词上下文区域标记转换为词向量序列；
118.然后，对句子序列、谓词序列、谓词上下文和谓词上下文区域标记进行转换，将句子序列、谓词序列、谓词上下文和谓词上下文区域标记均转换为对应的词向量序列。
119.第二输入模块404，用于将句子序列、谓词序列、谓词上下文和谓词上下文区域标记的词向量序列输入双向lstm模型；
120.然后将句子序列对应的词向量序列、谓词序列对应的词向量序列、谓词上下文对应的词向量序列和谓词上下文区域标记对应的词向量序列，作为双向lstm模型的输入。
121.双向lstm模型405，用于学习输入序列的特征表示，得到新的特征表示序列；
122.然后，通过双向lstm模型学习输入的句子序列对应的词向量序列、谓词序列对应的词向量序列、谓词上下文对应的词向量序列和谓词上下文区域标记对应的词向量序列的特征表示，得到新的特征表示序列。
123.第三输入模块406，用于将新的特征表示序列输入条件随机场；
124.然后将得到的新的特征表示序列输入crf(conditional random field，条件随机场)。
125.条件随机场407，用于对新的特征表示序列进行标注，得到标注结果。
126.最后，通过crf对输入的新的特征表示序列进行标注，得到标注结果。
127.综上所述，在上述实施例中，当需要对词义角色进行标注时，首先输入句子序列、谓词序列、谓词上下文和谓词上下文区域标记；然后将谓词序列和谓词上下文扩展为与句子序列长度相同的序列；将句子序列、谓词序列、谓词上下文和谓词上下文区域标记转换为词向量序列；将句子序列、谓词序列、谓词上下文和谓词上下文区域标记的词向量序列输入双向lstm模型；通过双向lstm模型学习输入序列的特征表示，得到新的特征表示序列；将新的特征表示序列输入条件随机场；通过条件随机场对新的特征表示序列进行标注，得到标注结果。能够有效的实现自动词义角色标注，减少意图识别中构建词义标注语料库的时间和成本。
128.如图5所示，为本发明公开的一种用于意图识别的词义角色标注系统实施例2的结构示意图，所述系统可以包括：
129.第一输入模块501，用于输入句子序列、谓词序列、谓词上下文和谓词上下文区域标记；
130.词义角色标注：是一种浅层语义分析技术，以句子为单位，分析句子的谓词
‑
论元
结构，其理论基础来源于fillmore(1968)年提出的格语法，不对句子所包含的语义信息进行深入分析。具体来说，词义角色标注的任务就是以句子的谓词为中心，研究句子中各成分与谓词之间的关系，并且用词义角色来描述他们之间的关系。
131.谓词：在一个句子中，谓语是对于主语的描述或判断的词，通常为一个动词。在句中谓词指出“做什么”、“是什么”、“怎么样”，代表了一个句子的核心。
132.论元：在句子中和谓词搭配的通常是一个名词，称其为论元。
133.当需要对词义角色进行标注时，首先输入句子序列、谓词序列、谓词上下文和谓词上下文区域标记。例如，输入的谓词为“set”。
134.由于谓词前后若干个词的一个小片段，能够提供更丰富的信息，帮助消解歧义，通过抽取谓词上下文能够进一步提升词义角色标注的准确性。
135.扩展模块502，用于将谓词序列和谓词上下文扩展为与句子序列长度相同的序列；
136.然后对谓词序列和谓词上下文进行扩展，将谓词序列和谓词上下文扩展为与句子序列一样长的序列。
137.转换模块503，用于将句子序列、谓词序列、谓词上下文和谓词上下文区域标记通过词表取词向量转换为实向量表示的词向量序列，其中，所述句子序列和所述谓词上下文共享一个词表；
138.然后，对句子序列、谓词序列、谓词上下文和谓词上下文区域标记进行转换，将句子序列、谓词序列、谓词上下文和谓词上下文区域标记通过词表取词向量均转换为对应的实向量表示的词向量序列。其中，句子序列和谓词上下文共享一个词表，谓词序列和谓词上下文区域标记各自独有词表。
139.第二输入模块504，用于将句子序列、谓词序列、谓词上下文和谓词上下文区域标记的词向量序列输入双向lstm模型；
140.然后将句子序列对应的词向量序列、谓词序列对应的词向量序列、谓词上下文对应的词向量序列和谓词上下文区域标记对应的词向量序列，作为双向lstm模型的输入。
141.双向lstm模型505，用于学习输入序列的特征表示，得到新的特征表示序列；
142.然后，通过双向lstm模型学习输入的句子序列对应的词向量序列、谓词序列对应的词向量序列、谓词上下文对应的词向量序列和谓词上下文区域标记对应的词向量序列的特征表示，得到新的特征表示序列。
143.第三输入模块506，用于将新的特征表示序列输入条件随机场；
144.然后将得到的新的特征表示序列输入crf(conditional random field，条件随机场)。
145.条件随机场507，用于以标记序列为监督信号，对所述新的特征表示序列进行标注，得到标注结果。
146.最后，通过crf对输入的新的特征表示序列以标记序列为监督信号进行标注，得到标注结果。
147.综上所述，本实施例在上述实施例的基础上，具体能够将句子序列、谓词序列、谓词上下文和谓词上下文区域标记通过词表取词向量转换为实向量表示的词向量序列；具体能够通过条件随机场以标记序列为监督信号，对新的特征表示序列进行标注，得到标注结果。
148.如图6所示，为本发明公开的一种用于意图识别的词义角色标注系统实施例3的结构示意图，所述系统可以包括：
149.抽取模块601，用于从句子中抽取谓词前后各n个词构成谓词上下文；
150.词义角色标注：是一种浅层语义分析技术，以句子为单位，分析句子的谓词
‑
论元结构，其理论基础来源于fillmore(1968)年提出的格语法，不对句子所包含的语义信息进行深入分析。具体来说，词义角色标注的任务就是以句子的谓词为中心，研究句子中各成分与谓词之间的关系，并且用词义角色来描述他们之间的关系。
151.谓词：在一个句子中，谓语是对于主语的描述或判断的词，通常为一个动词。在句中谓词指出“做什么”、“是什么”、“怎么样”，代表了一个句子的核心。
152.论元：在句子中和谓词搭配的通常是一个名词，称其为论元。
153.当需要对词义角色进行标注时，首先从句子中抽取谓词前后各n个词构成谓词上下文。
154.由于谓词前后若干个词的一个小片段，能够提供更丰富的信息，帮助消解歧义，通过抽取谓词上下文能够进一步提升词义角色标注的准确性。
155.第一输入模块602，用于输入句子序列、谓词序列、谓词上下文和谓词上下文区域标记；
156.输入句子序列、谓词序列、谓词上下文和谓词上下文区域标记。例如，输入的谓词为“set”。
157.其中，谓词上下文区域标记：为句子中的每一个词引入一个0
‑
1二值变量，表示它们是否在“谓词上下文”片段中。
158.扩展模块603，用于将谓词序列和谓词上下文扩展为与句子序列长度相同的序列；
159.然后对谓词序列和谓词上下文进行扩展，将谓词序列和谓词上下文扩展为与句子序列一样长的序列。
160.转换模块604，用于将句子序列、谓词序列、谓词上下文和谓词上下文区域标记通过词表取词向量转换为实向量表示的词向量序列，其中，所述句子序列和所述谓词上下文共享一个词表；
161.然后，对句子序列、谓词序列、谓词上下文和谓词上下文区域标记进行转换，将句子序列、谓词序列、谓词上下文和谓词上下文区域标记通过词表取词向量均转换为对应的实向量表示的词向量序列。其中，句子序列和谓词上下文共享一个词表，谓词序列和谓词上下文区域标记各自独有词表。
162.第二输入模块605，用于将句子序列、谓词序列、谓词上下文和谓词上下文区域标记的词向量序列输入双向lstm模型；
163.然后将句子序列对应的词向量序列、谓词序列对应的词向量序列、谓词上下文对应的词向量序列和谓词上下文区域标记对应的词向量序列，作为双向lstm模型的输入。
164.双向lstm模型606，用于学习输入序列的特征表示，得到新的特征表示序列；
165.然后，通过双向lstm模型学习输入的句子序列对应的词向量序列、谓词序列对应的词向量序列、谓词上下文对应的词向量序列和谓词上下文区域标记对应的词向量序列的特征表示，得到新的特征表示序列。
166.第三输入模块607，用于将新的特征表示序列输入条件随机场；
167.然后将得到的新的特征表示序列输入crf(conditional random field，条件随机场)。
168.条件随机场608，用于以标记序列为监督信号，对所述新的特征表示序列进行标注，得到标注结果。
169.最后，通过crf对输入的新的特征表示序列以标记序列为监督信号进行标注，得到标注结果。
170.综上所述，本发明解决了现有存在的性能依赖于特征工程，需要领域知识和大量的特征提取工作问题；解决了没有特征能够表示长距离的依赖关系的问题；解决了无法引入异构资源来解决数据不足的问题；通过采用深度学习的方式，实现了自动词义角色标注，减少了意图识别中构建词义标注语料库的时间和成本。
171.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
172.专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
173.结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd
‑
rom、或技术领域内所公知的任意其它形式的存储介质中。
174.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。