一种概念词语确定方法、装置、电子设备及存储介质与流程

1.本公开涉及数据处理技术领域，尤其涉及一种概念词语确定方法、装置、电子设备及存储介质。


背景技术：

2.知识图谱是结构化的语义知识库，用于描述物理世界中的概念及其相互关系。知识图谱中主要包含有三种节点：实体、概念、属性。其中，概念指的是具有同种特性的实体构成的集合，如电脑、牛奶等。
3.现有技术中，经常需要从各个知识文本中抽取概念。电子设备可以根据预设词表对待提取文本进行术语抽取，得到该待提取文本包含的概念。或者，电子设备可以根据预设的知识图谱对待提取文本进行实体链接，得到该待提取文本包含的概念。
4.但是，现有技术中从知识文本中获取概念依赖于已有的概念词语集合，无法从知识文本中识别出新的概念词语，且当已有的概念词语集合不完善时，会导致从知识文本中识别出的概念的数量较少，从而导致概念的识别率较低。


技术实现要素：

5.本公开提供一种概念词语确定方法、装置、电子设备及存储介质，解决了概念的识别率较低的问题。
6.本公开的技术方案如下：
7.根据本公开的第一方面，提供一种概念词语确定方法，该方法包括：
8.获取待处理知识文本；
9.采用数据处理模型对所述待处理知识文本进行处理，从所述待处理知识文本中确定目标句子，所述目标句子为包含概念词语的概率满足预设规则的句子；
10.对所述目标句子进行全切分处理，得到词语集合；
11.根据所述词语集合包括的每个词语所属的目标句子，从所述词语集合中确定概念词语集合。
12.可选的，数据处理模型包括第一处理模型，所述待处理知识文本包括至少一个段落，每个段落包括至少一个句子；
13.所述采用数据处理模型对所述待处理知识文本进行处理，从所述待处理知识文本中确定目标句子，包括：
14.采用所述第一处理模型对所述至少一个段落进行处理，得到每个段落包含概念词语的概率；
15.将所述至少一个段落中，段落包含概念词语的概率大于第一预设值的段落确定为目标段落；
16.根据所述目标段落确定所述目标句子。
17.可选的，根据所述目标段落确定所述目标句子，包括：
18.将每个所述目标段落包括的句子确定为所述目标句子；
19.或者，
20.所述数据处理模型还包括第二处理模型，采用所述第二处理模型对所述目标段落中的句子进行处理，得到所述目标段落中的每个句子包含概念词语的概率；
21.将所述目标段落中的句子中，句子包含概念词语的概率大于第二预设值的句子确定为所述目标句子。
22.可选的，采用数据处理模型对所述待处理知识文本进行处理，从所述待处理知识文本中确定目标句子，包括：
23.采用所述数据处理模型对所述待处理知识文本中的每个句子进行处理，得到每个句子包含概念词语的概率；
24.将所述待处理知识文本中，句子包含概念词语的概率大于第二预设值的句子确定为所述目标句子。
25.可选的，根据所述词语集合包括的每个词语所属的目标句子，从所述词语集合中确定概念词语集合，包括：
26.根据所述词语集合包括的每个词语所属的目标句子，从所述词语集合中确定候选概念集合；
27.采用预设的概念词语规则，从所述候选概念集合中确定所述概念词语集合。
28.可选的，根据所述词语集合包括的每个词语所属的目标句子，从所述词语集合中确定候选概念集合，包括：
29.当每个词语所属的目标句子为一个句子时，在所述词语所属的目标句子包含概念词语的概率大于预设概率值的情况下，确定所述词语为概念词语，得到所述候选概念集合；
30.当每个词语所属的目标句子包括多个句子时，根据所述多个句子中每个句子包含概念词语的概率，确定所述候选概念集合。
31.可选的，所述根据所述多个句子中每个句子包含概念词语的概率，确定所述候选概念集合，包括：
32.确定所述多个句子中每个句子包含概念词语的概率中的最大概率值，在所述最大概率值大于所述预设概率值的情况下，确定所述词语为概念词语，得到所述候选概念集合；
33.或者，
34.确定所述多个句子中每个句子包含概念词语的概率的平均值，在所述平均值大于所述预设概率值的情况下，确定所述词语为概念词语，得到所述候选概念集合。
35.可选的，概念词语确定方法还包括：
36.获取初始知识文本样本；
37.根据预设的知识图谱，从所述初始知识文本样本中，确定包括有概念词语的目标知识文本样本，所述目标知识文本样本中包括至少一个段落样本；
38.根据所述知识图谱，从所述至少一个段落样本中确定第一段落样本和第二段落样本，所述第一段落样本为包括概念词语的样本，所述第二段落样本为未包括概念词语的样本；
39.基于所述目标知识文本样本、所述第一段落样本和所述第二段落样本，对第一神经网络进行训练得到所述第一处理模型。
40.可选的，概念词语确定方法还包括：
41.根据所述知识图谱，从所述第一段落样本中确定第一句子样本和第二句子样本，所述第一句子样本为包括概念词语的样本，所述第二句子样本为未包括概念词语的样本；
42.基于所述第一段落样本、所述第一句子样本和所述第二句子样本，对第二神经网络进行训练得到第二处理模型。
43.根据本公开的第二方面，提供一种概念词语确定装置，包括：
44.获取模块，被配置为执行获取待处理知识文本；
45.确定模块，被配置为执行采用数据处理模型对所述获取模块获取到的所述待处理知识文本进行处理，从所述待处理知识文本中确定目标句子，所述目标句子为包含概念词语的概率满足预设规则的句子；
46.切分模块，被配置为执行对所述确定模块确定的所述目标句子进行全切分处理，得到词语集合；
47.所述确定模块，还被配置为执行根据所述切分模块得到的所述词语集合包括的每个词语所属的目标句子，从所述词语集合中确定概念词语集合。
48.可选的，数据处理模型包括第一处理模型，所述待处理知识文本包括至少一个段落，每个段落包括至少一个句子；
49.所述确定模块，具体被配置为执行：
50.采用所述第一处理模型对所述至少一个段落进行处理，得到每个段落包含概念词语的概率；
51.将所述至少一个段落中，段落包含概念词语的概率大于第一预设值的段落确定为目标段落；
52.根据所述目标段落确定所述目标句子。
53.可选的，确定模块，具体被配置为执行：
54.将每个所述目标段落包括的句子确定为所述目标句子；
55.或者，
56.所述数据处理模型还包括第二处理模型，采用所述第二处理模型对所述目标段落中的句子进行处理，得到所述目标段落中的每个句子包含概念词语的概率；
57.将所述目标段落中的句子中，句子包含概念词语的概率大于第二预设值的句子确定为所述目标句子。
58.可选的，确定模块，具体被配置为执行：
59.采用所述数据处理模型对所述待处理知识文本中的每个句子进行处理，得到每个句子包含概念词语的概率；
60.将所述待处理知识文本中，句子包含概念词语的概率大于第二预设值的句子确定为所述目标句子。
61.可选的，确定模块，具体被配置为执行：
62.根据所述词语集合包括的每个词语所属的目标句子，从所述词语集合中确定候选概念集合；
63.采用预设的概念词语规则，从所述候选概念集合中确定所述概念词语集合。
64.可选的，确定模块，具体被配置为执行：
65.当每个词语所属的目标句子为一个句子时，在所述词语所属的目标句子包含概念词语的概率大于预设概率值的情况下，确定所述词语为概念词语，得到所述候选概念集合；
66.当每个词语所属的目标句子包括多个句子时，根据所述多个句子中每个句子包含概念词语的概率，确定所述候选概念集合。
67.可选的，确定模块，具体被配置为执行：
68.确定所述多个句子中每个句子包含概念词语的概率中的最大概率值，在所述最大概率值大于所述预设概率值的情况下，确定所述词语为概念词语，得到所述候选概念集合；
69.或者，
70.确定所述多个句子中每个句子包含概念词语的概率的平均值，在所述平均值大于所述预设概率值的情况下，确定所述词语为概念词语，得到所述候选概念集合。
71.可选的，概念词语确定装置还包括：训练模块；
72.所述获取模块，还被配置为执行获取初始知识文本样本；
73.所述确定模块，还被配置为执行根据预设的知识图谱，从所述初始知识文本样本中，确定包括有概念词语的目标知识文本样本，所述目标知识文本样本中包括至少一个段落样本；根据所述知识图谱，从所述至少一个段落样本中确定第一段落样本和第二段落样本，所述第一段落样本为包括概念词语的样本，所述第二段落样本为未包括概念词语的样本；
74.所述训练模块，被配置为执行基于所述目标知识文本样本、所述第一段落样本和所述第二段落样本，对第一神经网络进行训练得到所述第一处理模型。
75.可选的，确定模块，还被配置为执行根据所述知识图谱，从所述第一段落样本中确定第一句子样本和第二句子样本，所述第一句子样本为包括概念词语的样本，所述第二句子样本为未包括概念词语的样本；
76.所述训练模块，还被配置为执行基于所述第一段落样本、所述第一句子样本和所述第二句子样本，对第二神经网络进行训练得到第二处理模型。
77.根据本公开的第三方面，提供一种电子设备，电子设备包括：
78.处理器；
79.用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令，以实现上述第一方面中任一种可选地概念词语确定方法。
80.根据本公开的第四方面，提供一种计算机可读存储介质，计算机可读存储介质上存储有指令，当计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述第一方面中任一种可选地概念词语确定方法。
81.根据本公开的第五方面，提供一种计算机程序产品，包含指令，当其在电子设备上运行时，使得电子设备执行如第一方面中任一种可选地概念词语确定方法。
82.本公开提供的技术方案至少带来以下有益效果：概念词语确定装置获取到待处理知识文本后，能够采用数据处理模型对待处理知识文本进行处理，从待处理知识文本中确定出目标句子，并对目标句子进行全切分处理，得到词语集合。之后，概念词语确定装置可以根据词语集合包括的每个词语所属的目标句子，从词语集合中确定概念词语集合。由于目标句子是包含概念词语的概率满足预设规则的句子，即目标句子是可能性较大的、包括概念词语的句子。通过对目标句子进行全切分处理得到词语集合，降低了概念抽取的复杂
度。在保证复杂度低的基础上，基于每个词语所属的目标句子包括概念词语的概率，来确定概念词语集合，能够极大地提高新概念词语的识别率和准确性，从而提高待处理知识文本中的概念的识别率。
83.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
84.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
85.图1是根据一示例性实施例示出的一种知识图谱的示意图。
86.图2是根据一示例性实施例示出的一种概念词语确定方法的流程图。
87.图3是根据一示例性实施例示出的一种概念词语确定装置的逻辑结构框图。
88.图4是根据一示例性实施例示出的一种电子设备的结构框图。
具体实施方式
89.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
90.需要说明的是，以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
91.为了便于本领域技术人员理解，在此先对本公开实施例中涉及到的术语进行简要说明。
92.知识图谱是结构化的语义知识库，其基本组成单位是“实体、关系、实体”三元组，或者是“实体、属性、属性值”三元组。知识图谱中主要包含有三种节点：实体、概念、属性。
93.实体指的是具有可区别性且独立存在的某种事物，实体是知识图谱中的最基本元素，不同的实体之间存在不同的关系。例如，实体可以为人名、物体名称、地名、职业等。关系可以为父子、母子、配偶、地理区域所属关系等。
94.概念指的是具有同种特性的实体构成的集合。例如，概念可以为电脑、牛奶等。
95.属性用于区分概念的特征，不同概念具有不同的属性。例如，属性可以为姓名、年龄、身高、体重、经度、纬度、品牌、油耗等。属性值可以是实体，也可以是概念，还可以是具体的数值。当属性值是实体或者概念时，属性用于描述两个实体之间的关系，该属性可以称为对象属性。当属性值是具体的数值时，属性用于描述实体的某种属性，该属性可以称为数据属性。
96.知识图谱通常由节点和边组成，节点表示实体或属性值，边表示属性或关系。在知识图谱中，边将各个节点连接起来，形成网状结构。
97.示例性的，图1示出了知识图谱的基本结构。如图1所示，该知识图谱包括节点11、节点13和节点14，节点11和节点13通过边12连接，节点11和节点14通过边15连接。其中，节点11表示实体a，边12表示关系f，节点13表示实体b，节点14表示属性值c，边15表示属性j。节点11、边12和节点13形成“实体、关系、实体”的三元组，具体用于表示“实体a和实体b之间
存在关系f”。节点11、节点14和边15形成“实体、属性、属性值”的三元组，具体用于表示“实体a的属性j的属性值为属性值c”。
98.例如，对于“用户a有一辆车”这一事实，“用户a”与“车”这两个实体可以分别为节点11和节点13，边12表明“用户a”对“车”的“拥有”关系。属性可以为年龄(边15)，属性值可以为20岁(节点14)，很容易知道，用户a的年龄为20岁。
99.概念抽取指的是从知识文本中识别概念的过程。概念抽取方法可以包括如下三类方法：关键词/短语抽取、概念链接和概念扩展。
100.关键词/短语抽取方法：通过分词等方法得到候选短语，然后对候选短语进行置信度排序，选取置信度较高的候选短语作为抽取结果。
101.概念链接方法：从知识文本中找出知识图谱中存在的概念的不同提及方式，即找出的不是新概念，而是已有概念的不同提及方式。
102.概念扩展方法：通过对大规模知识文本进行分析，找出与给定的少量概念属于同一集合的概念。
103.本公开实施例提供的概念词语确定方法可以应用于电子设备采用上述第一种方法，从知识文本中确定概念的场景中。相关技术中从知识文本中获取概念依赖于已有的概念词语，无法从知识文本中识别出新的概念词语，且当已有的概念词语不完善时，会导致从知识文本中识别出的概念的数量较少，从而导致概念的识别率较低。
104.为了提高概念的识别率，本公开实施例提供一种概念词语确定方法，电子设备获取到待处理知识文本后，采用数据处理模型对待处理知识文本进行处理，从待处理知识文本中确定目标句子，并对目标句子进行全切分处理，得到词语集合。之后，电子设备根据词语集合包括的每个词语所属的目标句子，从词语集合中确定概念词语集合。由于目标句子是包含概念词语的概率满足预设规则的句子，即目标句子是可能性较大的、包括概念词语的句子。通过对目标句子进行全切分处理得到词语集合，降低了概念抽取的复杂度。在保证复杂度低的基础上，基于每个词语所属的目标句子包括概念词语的概率值，通过对概率值的阈值控制(即是否大于预设概率值)来确定概念词语集合，能够极大地提高新概念词语的识别率和准确性，从而提高待处理知识文本中的概念的识别率。
105.图2是根据一示例性实施例示出的一种概念词语确定方法的流程图，如图2所示，该方法可以包括以下步骤201-步骤204。
106.201、获取待处理知识文本。
107.当电子设备需要对预设领域的知识文本进行概念抽取时，可以先从不同渠道获取预设领域的多个知识文本，并根据预设领域的知识图谱，从该多个知识文本中获取包括有已有概念词语的知识文本，将获取到的知识文本作为待处理知识文本。本公开实施例以一个待处理知识文本为例进行描述。
108.202、采用数据处理模型对待处理知识文本进行处理，从待处理知识文本中确定目标句子。
109.电子设备在获取到待处理知识文本之后，可以采用预存的数据处理模型对待处理知识文本进行处理，以从待处理知识文本中确定目标句子，该目标句子为包含概念词语的概率满足预设规则的句子。
110.可选的，在本公开实施例中，上述数据处理模型可以是一个注意力机制模型，还可
以是神经网络模型，如卷积神经网络模型、序列生成式模型等，还可以包括两个注意力机制模型，如包括第一处理模型和第二处理模型。其中，第一处理模型用于确定包含概念词语的目标段落，第二处理模型用于确定包含概念词语的目标句子。本公开实施例在此对数据处理模型不做限制。
111.可选的，在本公开实施例中，电子设备可以采用以下几种方式，从待处理知识文本中确定目标句子。
112.方式1，从待处理知识文本中确定目标段落，并基于目标段落确定目标句子。
113.上述数据处理模型包括第一处理模型，待处理知识文本包括至少一个段落，每个段落包括至少一个句子的情况下，电子设备可以采用第一处理模型对至少一个段落进行处理，得到每个段落包含概念词语的概率。也就是说，将每个段落输入第一处理模型后，输出每个段落对应的结果(包含概念词语的概率)。然后，电子设备可以将至少一个段落中，段落包含概念词语的概率大于第一预设值的段落确定为目标段落，并根据目标段落确定目标句子。可见，电子设备在确定包含有概念词语的目标句子时，通过先确定包含有概念词语的目标段落，再在这些目标段落中确定目标句子，这样逐层缩小确定范围最终确定出目标句子，能够提高确定目标句子的效率。
114.作为一种可能的实现，电子设备可以将每个目标段落包括的所有句子确定为目标句子。
115.作为另一种可能的实现，数据处理模型还可以包括第二处理模型，在该情况下，电子设备可以采用第二处理模型对目标段落中的句子进行处理，得到目标段落中的每个句子包含概念词语的概率。之后，电子设备可以将目标段落中的句子中，句子包含概念词语的概率大于第二预设值的句子确定为目标句子。
116.上述两种方式相比，第一种方式比第二种方式简单易实现。第二种方式中通过对目标段落中的句子进行处理得到目标句子，使得需要全切分处理的目标句子的数量减少，从而降低了概念识别的复杂度。
117.值得注意的是，在本公开实施例中，电子设备在执行步骤202之前可以训练第一处理模型和第二处理模型，并预存在电子设备中备用。或者，第一处理模型和第二处理模型也可以是其他设备，如服务器训练好之后发送至电子设备的，本公开实施例在此不做限定。
118.电子设备训练第一处理模型的过程为：电子设备可以先获取预设领域的初始知识文本样本，并根据预设领域的预设知识图谱，从初始知识文本样本中，确定包括有概念词语的目标知识文本样本，该每个目标知识文本样本中包括至少一个段落样本。然后，电子设备可以根据知识图谱，从至少一个段落样本中确定第一段落样本和第二段落样本，第一段落样本为包括概念词语的样本，第二段落样本为未包括概念词语的样本。之后，电子设备可以基于目标知识文本样本、第一段落样本和第二段落样本，训练第一处理模型。第一处理模型可以是段落级注意力机制模型。这样，电子设备经过从初始知识文本样本中确定目标知识文本样本、从目标知识文本样本中确定第一段落样本和第二段落样本、基于目标知识文本样本、第一段落样本和第二段落样本训练第一神经网络，最终得到了第一处理模型。由于该第一处理模型是采用包含有概念词语的知识文本，以及这些知识文本中包含有概念词语的段落和未包含概念词语的段落的样本数据训练得到的，因此第一处理模型能够用于从待处理知识文本中确定包含概念词语的目标段落。
119.可以理解的是，上述初始知识文本样本可以与待处理知识文本不同，也可以部分不同，还可以相同，本公开实施例在此不做限制。
120.电子设备训练第二处理模型的过程为：电子设备先根据预设领域的知识图谱，从第一段落样本中确定第一句子样本和第二句子样本，第一句子样本为包括概念词语的样本，第二句子样本为未包括概念词语的样本。之后，电子设备可以基于第一段落样本、第一句子样本和第二句子样本，训练第二处理模型。该第二处理模型可以是句子级注意力机制模型。由于第二处理模型是采用包含有概念词语的段落样本，以及这些段落样本中包含概念词语的句子和未包含概念词语的句子的样本数据训练得到的，因此该第二处理模型能够用于从目标段落中确定包含概念词语的目标句子。
121.方式2，采用数据处理模型对待处理知识文本中的每个句子进行处理，得到目标句子。
122.电子设备可以采用数据处理模型对待处理知识文本中的每个句子进行处理，得到每个句子包含概念词语的概率，并将待处理知识文本中，句子包含概念词语的概率大于第二预设值的句子确定为目标句子。该情况下，数据处理模型可以是一个注意力机制模型、神经网络模型等。这样，电子设备通过对待处理文本中的每个句子逐个进行处理，来确定出包含有概念词语的目标句子，能够保证确定出的目标句子的准确性。
123.或者，电子设备也可以按照上述方式1，采用数据处理模型先确定目标段落，然后从目标段落中确定目标句子。
124.203、对目标句子进行全切分处理，得到词语集合。
125.电子设备在确定出目标句子之后，可以对每个目标句子进行全切分处理，以得到词语集合。全切分处理指的是对每个目标句子采用所有可能的切分方式进行切分。
126.示例性的，假设目标句子为“水牛奶就是水牛产的奶。”。那么电子设备可以对该句子进行全切分，在此列举部分切分方式。
127.全切分1：水牛奶就是水牛产的奶。
128.全切分2：水牛奶就是水牛产的奶。
129.全切分3：水牛奶就是水牛产的奶。
130.全切分4：水牛奶就是水牛产的奶。
131.全切分5：水牛奶就是水牛产的奶。
132.204、根据词语集合包括的每个词语所属的目标句子，从词语集合中确定概念词语集合。
133.电子设备在得到词语集合之后，可以根据词语集合包括的每个词语所属的目标句子，从词语集合中确定候选概念集合，并采用预设的概念词语规则，从候选概念集合中确定出概念词语集合。
134.可选的，在本公开实施例中，电子设备可以根据词语集合包括的每个词语所属的目标句子包含概念词语的概率，确定候选概念集合。在具体实现中，当每个词语所属的目标句子为一个句子时，电子设备可以在该词语所属的目标句子包含概念词语的概率大于预设概率值的情况下，确定该词语为概念词语，对每个词语进行确定后便得到候选概念集合。当每个词语所属的目标句子包括多个句子时，电子设备可以根据多个句子中每个句子包含概念词语的概率，确定候选概念集合。可见，每个词语所属的目标句子的数量不同时，电子设
备可以通过不同的方式来确定候选概念集合。当目标句子为一个句子时，电子设备可以直接根据目标句子包含有概念词语的概率来确定该词语是否是概念词语。当目标句子包括多个句子时，电子设备结合多个句子包含有概念词语的概率来确定该词语是否是概念词语。使得确定出的候选概念集合更加准确、合理。
135.可以理解的是，上述目标句子包含概念词语的概率可以指的是目标段落包含概念词语的概率。
136.可选的，在本公开实施例中，电子设备根据多个句子中每个句子包含概念词语的概率，确定候选概念集合的过程为：作为一种实现方式，电子设备可以确定多个句子中每个句子包含概念词语的概率中的最大概率值，在最大概率值大于预设概率值的情况下，确定该词语为概念词语，从而得到候选概念集合。作为另一种实现方式，电子设备可以确定多个句子中每个句子包含概念词语的概率的平均值，在该平均值大于预设概率值的情况下，确定该词语为概念词语，从而得到候选概念集合。由于多个概率值的平均值或者是最大值能够反映该词语包含概念词语的概率，因此通过平均值或者是最大值大于预设概率值的方式，来确定该词语为概念词语。不仅实现方式多样，而且确定出的结果准确。
137.可选的，在本公开实施例中，上述采用预设的概念词语规则，从候选概念集合中确定出概念词语集合的具体实现中，电子设备可以利用词性，判断候选概念集合中的词语是否为名词，来确定候选概念集合中的概念词语。或者，电子设备可以利用句子中词语的结构信息，例如是否为主谓宾结构，来确定概念词语。或者，电子设备可以采用概念链接或者概念扩展的方式来确定概念词语集合。或者，电子设备也可以采用其他方式从候选概念集合中确定概念词语集合，在此不做限定。这样，电子设备先基于每个词语所属的目标句子包含概念词语的概率，来确定出候选概念集合，然后通过概念词语规则，如词性、词语的结构信息等来进一步从候选概念集合中筛选得到概念词语集合，经过两次筛选使得得到的概念词语集合更加准确。
138.需要说明的是，在本公开实施例中，上述涉及的预设概率值、第一预设值、第二预设值的三个值可以完全相同，也可以完全不同，还可以部分相同，本公开实施例在此不做限定。
139.上述实施例提供的技术方案至少带来以下有益效果：概念词语确定装置获取到待处理知识文本后，能够采用数据处理模型对待处理知识文本进行处理，从待处理知识文本中确定出目标句子，并对目标句子进行全切分处理，得到词语集合。之后，概念词语确定装置可以根据词语集合包括的每个词语所属的目标句子，从词语集合中确定概念词语集合。由于目标句子是包含概念词语的概率满足预设规则的句子，即目标句子是可能性较大的、包括概念词语的句子。通过对目标句子进行全切分处理得到词语集合，降低了概念抽取的复杂度。在保证复杂度低的基础上，基于每个词语所属的目标句子包括概念词语的概率，来确定概念词语集合，能够极大地提高新概念词语的识别率和准确性，从而提高待处理知识文本中的概念的识别率。
140.图3是根据一示例性实施例示出的一种概念词语确定装置的逻辑结构框图。参照图3，该概念词语确定装置应用于电子设备，该概念词语确定装置包括：获取模块31、确定模块32和切分模块33。
141.获取模块31，被配置为执行获取待处理知识文本；
142.确定模块32，被配置为执行采用数据处理模型对所述获取模块获取到的所述待处理知识文本进行处理，从所述待处理知识文本中确定目标句子，所述目标句子为包含概念词语的概率满足预设规则的句子；
143.切分模块33，被配置为执行对所述确定模块确定的所述目标句子进行全切分处理，得到词语集合；
144.所述确定模块32，还被配置为执行根据所述切分模块得到的所述词语集合包括的每个词语所属的目标句子，从所述词语集合中确定概念词语集合。
145.可选的，数据处理模型包括第一处理模型，所述待处理知识文本包括至少一个段落，每个段落包括至少一个句子；
146.所述确定模块32，具体被配置为执行：
147.采用所述第一处理模型对所述至少一个段落进行处理，得到每个段落包含概念词语的概率；
148.将所述至少一个段落中，段落包含概念词语的概率大于第一预设值的段落确定为目标段落；
149.根据所述目标段落确定所述目标句子。
150.可选的，确定模块32，具体被配置为执行：
151.将每个所述目标段落包括的句子确定为所述目标句子；
152.或者，
153.所述数据处理模型还包括第二处理模型，采用所述第二处理模型对所述目标段落中的句子进行处理，得到所述目标段落中的每个句子包含概念词语的概率；
154.将所述目标段落中的句子中，句子包含概念词语的概率大于第二预设值的句子确定为所述目标句子。
155.可选的，确定模块32，具体被配置为执行：
156.采用所述数据处理模型对所述待处理知识文本中的每个句子进行处理，得到每个句子包含概念词语的概率；
157.将所述待处理知识文本中，句子包含概念词语的概率大于第二预设值的句子确定为所述目标句子。
158.可选的，确定模块32，具体被配置为执行：
159.根据所述词语集合包括的每个词语所属的目标句子，从所述词语集合中确定候选概念集合；
160.采用预设的概念词语规则，从所述候选概念集合中确定所述概念词语集合。
161.可选的，确定模块32，具体被配置为执行：
162.当每个词语所属的目标句子为一个句子时，在所述词语所属的目标句子包含概念词语的概率大于预设概率值的情况下，确定所述词语为概念词语，得到所述候选概念集合；
163.当每个词语所属的目标句子包括多个句子时，根据所述多个句子中每个句子包含概念词语的概率，确定所述候选概念集合。
164.可选的，确定模块32，具体被配置为执行：
165.确定所述多个句子中每个句子包含概念词语的概率中的最大概率值，在所述最大概率值大于所述预设概率值的情况下，确定所述词语为概念词语，得到所述候选概念集合；
166.或者，
167.确定所述多个句子中每个句子包含概念词语的概率的平均值，在所述平均值大于所述预设概率值的情况下，确定所述词语为概念词语，得到所述候选概念集合。
168.可选的，如图3所示，概念词语确定装置还包括：训练模块34；
169.所述获取模块31，还被配置为执行获取初始知识文本样本；
170.所述确定模块32，还被配置为执行根据预设的知识图谱，从所述初始知识文本样本中，确定包括有概念词语的目标知识文本样本，所述目标知识文本样本中包括至少一个段落样本；根据所述知识图谱，从所述至少一个段落样本中确定第一段落样本和第二段落样本，所述第一段落样本为包括概念词语的样本，所述第二段落样本为未包括概念词语的样本；
171.所述训练模块34，被配置为执行基于所述目标知识文本样本、所述第一段落样本和所述第二段落样本，对第一神经网络进行训练得到所述第一处理模型。
172.可选的，确定模块32，还被配置为执行根据所述知识图谱，从所述第一段落样本中确定第一句子样本和第二句子样本，所述第一句子样本为包括概念词语的样本，所述第二句子样本为未包括概念词语的样本；
173.所述训练模块34，还被配置为执行基于所述第一段落样本、所述第一句子样本和所述第二句子样本，对第二神经网络进行训练得到第二处理模型。
174.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
175.图4是根据一示例性实施例示出的一种电子设备的结构框图，该电子设备可以是概念词语确定装置，该概念词语确定装置可以是：智能手机、平板电脑、笔记本电脑或台式电脑。
176.概念词语确定装置可以包括至少一个处理器41，通信总线42，存储器43以及至少一个通信接口44。
177.处理器41可以是一个处理器(central processing units，cpu)，微处理单元，或一个或多个用于控制本公开方案程序执行的集成电路。
178.通信总线42可包括一通路，在上述组件之间传送信息。
179.通信接口44，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线接入网(radio access network，ran)，无线局域网(wireless local area networks，wlan)等。
180.存储器43可以是只读存储器(read-only memory，rom)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，ram)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理单元相连接。存储器也可以和处理单元集成在一起。
181.其中，存储器43用于存储执行本公开方案的应用程序代码，并由处理器41来控制执行。处理器41用于执行存储器43中存储的应用程序代码，从而实现本公开方法中的功能。
182.在具体实现中，作为一种实施例，处理器41可以包括一个或多个cpu，例如图4中的cpu0和cpu1。
183.在具体实现中，作为一种实施例，概念词语确定装置可以包括多个处理器，例如图4中的处理器41和处理器45。这些处理器中的每一个可以是一个单核(single-cpu)处理器，也可以是一个多核(multi-cpu)处理器。
184.在具体实现中，作为一种实施例，概念词语确定装置还可以包括输入设备46和输出设备47。输入设备46和处理器41通信，可以以多种方式接受用户的输入。例如，输入设备46可以是鼠标、键盘、触摸屏设备或传感设备等。输出设备47和处理器41通信，可以以多种方式来显示信息。例如，输出设备47可以是液晶显示器(liquid crystal display，lcd)，发光二级管(light emitting diode，led)显示设备等。
185.本领域技术人员可以理解，图4中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
186.本公开还提供了一种包括指令的计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述计算机可读存储介质中的指令由计算机的处理器执行时，使得计算机能够执行上述所示实施例提供的概念词语确定方法。例如，计算机可读存储介质可以为包括指令的存储器43，上述指令可由电子设备的处理器41执行以完成上述方法。可选地，计算机可读存储介质可以是rom、ram、cd-rom、磁带、软盘和光数据存储设备等。
187.本公开还提供了一种包含指令的计算机程序产品，当其在电子设备上运行时，使得电子设备执行上述所示实施例提供的概念词语确定方法。
188.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
189.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。