一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

命名实体识别模型训练方法及命名实体识别方法与流程

2022-05-31 17:12:08 来源:中国专利 TAG:


1.本说明书实施例涉及数据处理技术领域,特别涉及一种命名实体识别模型训练方法。


背景技术:

2.命名实体识别(ner,named entity recognition)是信息抽取中的一项基本任务,目的是识别文本中指定类别的实体,主要包括人名、地名、机构名、专有名词等。
3.现有技术中,主要通过序列标注的方法进行命名实体识别,即预测文本中的每个词对应的标签,对文本的不同组成成分进行分析。命名实体识别可以对搜索场景的各种下游任务,包括类目预测、查询改写等带来显著提升。
4.但在某些场景中,如电商搜索场景,通常会出现多语言搜索词,由于标注时间不同、标注人员不同、标注规范随时间变化等原因,很难获得多语言统一一致的标签,而一些语言可能在某些标签下没有进行人工标注,利用已有的标签信息来优化没有标签的多语言搜索词的命名实体识别,存在一定挑战。


技术实现要素:

5.有鉴于此,本说明书实施例提供了一种命名实体识别模型训练方法。本说明书一个或者多个实施例同时涉及一种命名实体识别方法,一种命名实体识别模型训练装置,一种命名实体识别装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。
6.根据本说明书实施例的第一方面,提供了一种命名实体识别模型训练方法,包括:获取第一训练集、第二训练集和预训练的资源模型,其中,所述第一训练集包括多个标注有资源类别的第一资源词条,第二训练集包括未标注的第二资源词条,所述资源模型基于多个标注有资源类别的第三资源词条对第一预设语言模型训练得到,针对所述第三资源词条标注的资源类别种类大于针对所述第一资源词条标注的资源类别种类;利用所述第一训练集,对第二预设语言模型进行训练,得到目标模型;从所述第二训练集中提取任一第二资源词条,将该第二资源词条分别输入所述资源模型和所述目标模型,得到该第二资源词条的第一资源类别和第二资源类别;根据所述第一资源类别和所述第二资源类别调整所述目标模型的模型参数,返回执行所述从所述第二训练集中提取任一第二资源词条的步骤,在达到第一预设训练停止条件的情况下,确定训练后的所述目标模型作为命名实体识别模型。
7.根据本说明书实施例的第二方面,提供了一种命名实体识别方法,包括:获取待识别文本;将所述待识别文本输入至训练好的命名实体识别模型,得到所述待识别文本中的命名实体以及所述命名实体的目标资源类别,所述命名实体识别模型为通过上述命名实体识别模型训练方法训练得到的。
8.根据本说明书实施例的第三方面,提供了命名实体识别模型训练装置,包括:第一获取模块,被配置为获取第一训练集、第二训练集和预训练的资源模型,其中,所述第一训练集包括多个标注有资源类别的第一资源词条,第二训练集包括未标注的第二资源词条,所述资源模型基于多个标注有资源类别的第三资源词条对第一预设语言模型训练得到,针对所述第三资源词条标注的资源类别种类大于针对所述第一资源词条标注的资源类别种类;第一训练模块,被配置为利用所述第一训练集,对第二预设语言模型进行训练,得到目标模型;输入模块,被配置为从所述第二训练集中提取任一第二资源词条,将该第二资源词条分别输入所述资源模型和所述目标模型,得到该第二资源词条的第一资源类别和第二资源类别;确定模块,被配置为根据所述第一资源类别和所述第二资源类别调整所述目标模型的模型参数,返回执行所述从所述第二训练集中提取任一第二资源词条的步骤,在达到第一预设训练停止条件的情况下,确定训练后的所述目标模型作为命名实体识别模型。
9.根据本说明书实施例的第四方面,提供了一种一种命名实体识别装置,包括:第二获取模块,被配置为获取待识别文本;识别模块,被配置为将所述待识别文本输入至训练好的命名实体识别模型,得到所述待识别文本中的命名实体以及所述命名实体的目标资源类别,所述命名实体识别模型为通过上述命名实体识别模型训练方法训练得到的。
10.根据本说明书实施例的第五方面,提供了一种计算设备,包括:存储器和处理器;所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述命名实体识别模型训练方法或命名实体识别方法的步骤。
11.根据本说明书实施例的第六方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现上述命名实体识别模型训练方法或命名实体识别方法的步骤。
12.根据本说明书实施例的第七方面,提供了一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述命名实体识别模型训练方法或命名实体识别方法的步骤。
13.本说明书提供的一种命名实体识别模型训练方法,获取第一训练集、第二训练集和预训练的资源模型,其中,所述第一训练集包括多个标注有资源类别的第一资源词条,第二训练集包括未标注的第二资源词条,所述资源模型基于多个标注有资源类别的第三资源词条对第一预设语言模型训练得到,针对所述第三资源词条标注的资源类别种类大于针对所述第一资源词条标注的资源类别种类;利用所述第一训练集,对第二预设语言模型进行训练,得到目标模型;从所述第二训练集中提取任一第二资源词条,将该第二资源词条分别输入所述资源模型和所述目标模型,得到该第二资源词条的第一资源类别和第二资源类别;根据所述第一资源类别和所述第二资源类别调整所述目标模型的模型参数,返回执行所述从所述第二训练集中提取任一第二资源词条的步骤,在达到第一预设训练停止条件的
情况下,确定训练后的所述目标模型作为命名实体识别模型。为了提升目标端命名实体识别性能,通过利用资源或标签丰富的资源模型来提升目标模型性能,得到命名实体识别模型,无需花费大量人力物力,就可以快速提高命名实体识别模型的鲁棒性和可信度,且效果好。
附图说明
14.图1是本说明书一个实施例提供的一种命名实体识别模型训练方法的流程图;图2是本说明书一个实施例提供的一种命名实体识别方法的流程图;图3是本说明书一个实施例提供的一种命名实体识别方法的处理过程流程图;图4是本说明书一个实施例提供的一种命名实体识别模型训练装置的结构示意图;图5是本说明书一个实施例提供的一种命名实体识别装置的结构示意图;图6是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
15.在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
16.在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
17.应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
18.首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
19.电商英文搜索词,也即电商英文,是指购物网站国外买家搜索商品使用的搜索词,如babyclothes,mp3,mp4等,搜索词经常是多语言的,包含英语俄语西语法语等语种。
20.术语(term):指查询词(query)或搜索词中的单个文字单元,如汉语中的字或词、英文中的单词(word),再如上述搜索词中的mp3、mp4都是term。
21.命名实体识别,对一个文本识别出各个短语的语义标签。
22.xmlr:基于子字的上下文词向量表示。
23.然后,对本说明书一个或多个实施例提供的命名实体识别模型训练方法进行说明。
24.命名实体识别是信息抽取中的一项基本任务,目的是识别文本中指定类别的实体,主要包括人名、地名、机构名、专有名词等。
25.现有技术中,主要通过序列标注的方法进行命名实体识别,即预测文本中的每个词对应的标签,对文本的不同组成成分进行分析。命名实体识别可以对搜索场景的各种下游任务,包括类目预测、查询改写等带来显著提升。例如通过多语言电商query ner对用户输入的query进行成份识别的重要方法。
26.但在某些场景中,如电商搜索场景,通过会出现多语言搜索词,由于标注时间不同、标注人员不同、标注规范随时间变化等原因,很难获得多语言统一一致的标签,而一些语言可能在某些标签下没有进行人工标注,利用已有的标签信息来优化没有标签的多语言搜索词的命名实体识别,存在一定挑战。例如人工标注,虽然其标注效果好,但其费时费力费钱,新语种适配资源消耗大;再如基于词典的命名实体识别,虽然不需要标注数据、简单易操作,但效果差,需要利用翻译等资源来构造多语言词典。
27.此外,随着学术界和工业界对不同嵌入更深入的研究,适配于多个语种的统一多语言预训练语言模型被提出。统一多语言预训练模型具有较好的语言适配性和多语言通用性。因此,基于多语言模型(多语言预训练语言模型)的潜力,本说明书提供了一种命名实体识别模型训练方法,获取第一训练集、第二训练集和预训练的资源模型,其中,所述第一训练集包括多个标注有资源类别的第一资源词条,第二训练集包括未标注的第二资源词条,所述资源模型基于多个标注有资源类别的第三资源词条对第一预设语言模型训练得到,针对所述第三资源词条标注的资源类别种类大于针对所述第一资源词条标注的资源类别种类;利用所述第一训练集,对第二预设语言模型进行训练,得到目标模型;从所述第二训练集中提取任一第二资源词条,将该第二资源词条分别输入所述资源模型和所述目标模型,得到该第二资源词条的第一资源类别和第二资源类别;根据所述第一资源类别和所述第二资源类别调整所述目标模型的模型参数,返回执行所述从所述第二训练集中提取任一第二资源词条的步骤,在达到第一预设训练停止条件的情况下,确定训练后的所述目标模型作为命名实体识别模型。为了提升目标端命名实体识别性能,通过利用资源或标签丰富的资源模型来提升目标模型性能,得到命名实体识别模型,无需花费大量人力物力,就可以快速提高命名实体识别模型的鲁棒性和可信度,且效果好。应用广泛,可以有效适用于跨领域和跨语言的命名实体识别任务或方法,可以提高基于命名实体识别模型进行命名实体识别的准确度,一定程度上提高用户粘度,从而提高命名实体识别模型对应的搜索平台的收益。
28.在本说明书中,提供了一种命名实体识别模型训练方法,本说明书同时涉及一种命名实体识别方法,一种命名实体识别模型训练装置,一种命名实体识别装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
29.参见图1,图1示出了本说明书一个实施例提供的一种命名实体识别模型训练方法的流程图,具体包括以下步骤。
30.步骤102:获取第一训练集、第二训练集和预训练的资源模型,其中,所述第一训练集包括多个标注有资源类别的第一资源词条,第二训练集包括未标注的第二资源词条,所述资源模型基于多个标注有资源类别的第三资源词条对第一预设语言模型训练得到,针对所述第三资源词条标注的资源类别种类大于针对所述第一资源词条标注的资源类别种类。
31.实现命名实体识别模型训练方法的执行主体可以是具有命名实体识别模型训练功能的计算设备,例如具有命名实体识别模型训练功能的服务器、终端等。
32.具体的,资源词条是指针对某资源或某对象的词条,如资源描述词条、资源搜索词
条;第一资源词条是指训练目标模型的样本;第二资源词条是指训练命名实体识别模型的样本;第三资源词条是指训练资源模型的样本;资源类别是指资源词条的类别,如品牌、材质、型号等,第一资源词条相对于第三资源词条来说,第一资源词条为低资源标注词条,第三资源词条为高资源标注词条,也即第三资源词条标注的资源类别种类大于针对第一资源词条标注的资源类别种类,例如第三资源词条有20种资源类别,第一资源词条有5种资源类别;第一训练集是指用于训练目标模型的样本组成的集合,也即多个标注有资源类别的第一资源词条的集合;第二训练集是指用于训练命名实体识别模型的样本组成的集合,也即多个未标注的第二资源词条的集合;资源模型是指利用高资源标注词条预训练模型,也就是source模型;第一预设语言模型是指任意一种多语言模型,例如xlm-roberta多语言预训练模型、tulrv2多语言预训练模型、ernie-m多语言预训练模型等。
33.实际应用中,获取第一训练集、第二训练集和预训练的资源模型的方式有多种,例如,可以是运营人员向执行主体发送命名实体识别模型的训练指令,或者发送第一训练集、第二训练集和资源模型的获取指令,相应地,执行主体在接收到该指令后,开始对第一训练集、第二训练集和资源模型进行获取;也可以是服务器每隔预设时长,自动获取第一训练集、第二训练集和资源模型,例如,经过预设时长后,具有命名实体识别模型训练功能的服务器自动获取指定存取区域内的第一训练集、第二训练集和资源模型;或者经过预设时长后,具有命名实体识别模型训练功能的终端自动获取存储于本地的第一训练集、第二训练集和资源模型。本说明书对获取第一训练集、第二训练集和资源模型的方式不做任何限定。
34.在本说明书实施例的一种可能的实现方式中,在获取资源模型之前,还需要对利用多个标注有资源类别的第三资源词条,对第一预设语言模型进行训练,得到资源模型。也即所述获取第一训练集、第二训练集和预训练的资源模型之前,还包括:从所述多个标注有资源类别的第三资源词条中提取任一第三资源词条;将该第三资源词条输入所述第一预设语言模型中,得到该第三资源词条的第三资源类别;根据所述第三资源类别和该第三资源词条携带的所述资源类别,计算第一差异值;若所述第一差异值大于第一预设阈值,则调整所述第一预设语言模型的模型参数,并返回执行所述从所述多个标注有资源类别的第三资源词条中提取任一第三资源词条的步骤,在达到第二预设训练停止条件的情况下,确定训练后的第一预设语言模型为资源模型。
35.具体的,第三资源类别是指第一预设语言模型对第三资源词条的进行预测的资源类别;第一差异值是指基于第三资源类别与第三资源词条标注的资源类别(标签)的差异性确定的数值;第一预设阈值是指预先设置的一个数值,用于衡量第一预设语言模型是否达标;第二训练停止条件可以是第一差异值小于或等于预设阈值,还可以是迭代训练次数达到预设迭代值。
36.实际应用中,可以从多个标注有资源类别的第三资源词条中提取一个第三资源词条,然后将第三资源词条输入至第一预设语言模型,然后第一预设语言模型对该第三资源词条进行标注,根据标注结果确定第三资源词条的第三资源类别。然后将第三资源词条携带的资源类别作为标签,将第三资源类别与该标签进行对比,根据预设的第一差异算法,确
定第一差异值,进而比较第一差异值与第一预设阈值的大小,在第一差异值大于第一预设阈值的情况下,调整第一预设语言模型的模型参数,然后再次从多个标注有资源类别的第三资源词条中提取一个第三资源词条,进行下一轮训练。当第一差异值小于或等于第一预设阈值,或者迭代训练次数达到预设迭代值时,停止训练,将训练好的第一预设语言模型确定为资源模型。如此,通过多个标注有资源类别的高标注的第三资源词条对第一预设语言模型进行训练,能够提高资源模型进行资源标注的准确性和标注能力,进而可以基于标注能力强的资源模型对目标模型进行属性增强,也即训练目标模型,提高命名实体识别模型的识别命名实体的准确性和效率。
37.步骤104:利用所述第一训练集,对第二预设语言模型进行训练,得到目标模型。
38.在获取到第一训练集、第二训练集和资源模型的基础上,进一步地,利用第一训练集对第二语言模型进行训练得到目标模型。
39.具体的,第一预设语言模型是指任意一种多语言模型,例如xlm-roberta多语言预训练模型、tulrv2多语言预训练模型、ernie-m多语言预训练模型等;资源模型是指利用低资源标注词条训练的还需要进一步训练或者提高性能的模型,也即target模型。
40.实际应用中,在获取了第一训练集之后,就可以利用第一训练集中多个标注有资源类别的第一资源词条,对应第二多语言模型进行,得到目标模型。训练第二预设语言模型的方法有多种:例如从第一训练集中的第一个第一资源词条开始,将第一个第一资源词条输入至第二预设语言模型,对第二预设语言模型进行训练;然后将第二个第一资源词条输入至第二预设语言模型,对第二预设语言模型进行训练,以此类推,直至将最后一个第一资源词条输入至第二预设语言模型,对第二预设语言模型进行训练,得到目标模型。
41.在本说明书实施例的一种可能的实现方式中,在训练第二预设语言模型时,还可以随机从第一训练集中提取第一资源词条,对第二预设语言模型进行迭代训练。也即所述利用所述第一训练集,对第二预设语言模型进行训练,得到目标模型,具体实现过程可以如下:从所述第一训练集中提取任一第一资源词条;将该第一资源词条输入所述第二预设语言模型中,得到该第一资源词条的第四资源类别;根据所述第四资源类别和该第一资源词条携带的所述资源类别,计算第二差异值;若所述第二差异值大于第二预设阈值,则调整所述第二预设语言模型的模型参数,并返回执行所述从所述第一训练集中提取任一第一资源词条的步骤,在达到第三预设训练停止条件的情况下,确定训练后的第二预设语言模型为目标模型。
42.具体的,第四资源类别是指第二预设语言模型对第一资源词条的进行预测的资源类别;第二差异值是指基于第四资源类别与第一资源词条标注的资源类别(标签)的差异性确定的数值;第二预设阈值是指预先设置的一个数值,用于衡量第二预设语言模型是否达标;第三训练停止条件可以是第二差异值小于或等于预设阈值,还可以是迭代训练次数达到预设迭代值。如此,通过多个标注有资源类别的高标注的第三资源词条对第一预设语言模型进行训练,能够提高资源模型进行资源标注的准确性和标注能力,进而可以基于标注能力强的资源模型对目标模型进行属性增强,也即训练目标模型,提高命名实体识别模型
的识别命名实体的准确性和效率。
43.实际应用中,可以从第一训练集中提取一个第一资源词条,然后将第一资源词条输入至第二预设语言模型,然后第二预设语言模型对该第一资源词条进行标注,根据标注结果确定第一资源词条的第四资源类别。然后将第一资源词条携带的资源类别作为标签,将第四资源类别与该标签进行对比,根据预设的第二差异算法,确定第二差异值,进而比较第二差异值与第二预设阈值的大小,在第二差异值大于第一预设阈值的情况下,调整第二预设语言模型的模型参数,然后再次从第一训练集中提取一个第一资源词条,进行下一轮训练。当第二差异值小于或等于第二预设阈值,或者迭代训练次数达到预设迭代值时,停止训练,将训练好的第二预设语言模型确定为目标模型。如此,通过多个标注有资源类别的低标注的第一资源词条对第二预设语言模型进行训练,能够提高训练第二预设语言模型的速度,从而提高得到目标模型的效率,进一步地提高基于目标模型进行训练得到命名实体模型的速度和效率。
44.需要说明的是,所述第一资源词条为第一语种的第一资源描述词条或第二语种的资源搜索词条,所述第三资源词条为第二语种的第二资源描述词条,所述第一语种与所述第二语种为任意两种不同的语种。其中,资源描述词条是指描述某对象的词、短语、句子等,如商品标题;资源搜索词条是指查询某对象时所用的查询词、查询文本、查询短语等,如商品搜索词。
45.实际应用中,为了提高命名实体识别模型能够识别出不同领域或者不同语言的命名实体模型,也即提高命名实体识别模型的识别准确率,在对资源模型进行训练时采用高标注的第二语种的第二资源描述词条,如包含20种资源类别的英语商品标题;在对目标模型进行训练时采用低标注的第一语种的第一资源描述词条,如包含5种资源类别的法语商品标题。使与第一资源描述词条不同语言的第二资源描述词条对资源模型进行训练,进一步地基于资源模型在目标模型的基础上对命名实体识别模型进行训练,也即对目标模型进行属性增强,使命名实体识别模型可以识别多语言的命名实体,提高了命名实体识别模型的识别准确率。或者在对目标模型进行训练时采用低标注的第二语种的资源搜索词条,如包含10种资源类别的英语商品查询词,使与第一资源描述词条不同领域的资源搜索词条对资源模型进行训练,进一步地基于资源模型在目标模型的基础上对命名实体识别模型进行训练,也即对目标模型进行属性增强,使命名实体识别模型可以识别多领域的命名实体,提高了命名实体识别模型的识别准确率。
46.此外,为了使命名实体识别模型可以同时识别多领域和多语言的命名实体,也即进一步提高命名实体识别模型的识别准确率,可以先采用低标注的第一语种的第一资源描述词条对目标模型进行训练,再采用低标注的第二语种的资源搜索词条对目标模型进行训练;或者先采用低标注的第二语种的资源搜索词条对目标模型进行训练,再采用低标注的第一语种的第一资源描述词条对目标模型进行训练。因此,通过本方法训练的命名实体识别模型可以有效适用于跨领域和跨语言的命名实体识别任务或方法中,通过对资源搜索词条(query)或资源描述词条(title)不同组成成分进行训练,命名实体识别模型可以应用于对搜索场景的各种下游任务,能够显著提升类目预测、搜索词改写、相关性模型等任务的效率。
47.步骤106:从所述第二训练集中提取任一第二资源词条,将该第二资源词条分别输
入所述资源模型和所述目标模型,得到该第二资源词条的第一资源类别和第二资源类别。
48.在利用第一训练集对第二语言模型进行训练得到目标模型的基础上,进一步地,从第二训练集中提取任一第二资源词条,将该第二资源词条分别输入资源模型和目标模型,得到该第二资源词条的第一资源类别和第二资源类别。
49.具体的,第一资源类别是指资源模型对该第二资源词条进行预测或标注,得到的资源类别;第二资源类别是指目标模型对该第二资源词条进行预测或标注,得到的资源类别。
50.实际应用中,可以从多个未标注的第二资源词条中提取任意一个第二资源词条,也即从第二训练集中提取任意一个未标注的第二资源词条,然后将该第二资源词条输入至资源模型中,由资源模型基于序列标注的方法预测并输出第二资源词条的第一资源类别,并将第二资源词条输入至目标模型中,由目标模型基于序列标注的方法预测并输出第二资源词条的第二资源类别。
51.需要说明的是,可以将该第二资源词条同时输入资源模型和目标模型,得到该第二资源词条的第一资源类别和第二资源类别;还可以先将第二资源词条输入资源模型得到该第二资源词条的第一资源类别,再将第二资源词条输入目标模型得到该第二资源词条的第二资源类别;也可以先将第二资源词条输入目标模型得到该第二资源词条的第二资源类别,再将将第二资源词条输入资源模型得到该第二资源词条的第一资源类别。本说明书对此不作限定。
52.步骤108:根据所述第一资源类别和所述第二资源类别调整所述目标模型的模型参数,返回执行所述从所述第二训练集中提取任一第二资源词条的步骤,在达到第一预设训练停止条件的情况下,确定训练后的所述目标模型作为命名实体识别模型。
53.在从第二训练集中提取任一第二资源词条,将该第二资源词条分别输入资源模型和目标模型,得到该第二资源词条的第一资源类别和第二资源类别的基础上,进一步地,根据第一资源类别和第二资源类别调整目标模型的模型参数,并继续训练,直至达到第一预设训练停止条件,得到命名实体识别模型。
54.具体的,命名实体识别模型是指对文本中的命名实体定位并分类为预先定义的类别的模型。第三训练停止条件可以是损失值小于或等于预设阈值,还可以是迭代训练次数达到预设迭代值。
55.实际应用中,在获得了第一资源类别和第二资源类别的基础上,可以基于第一资源类别和第二资源类别来调整目标模型的模型参数,调整模型的方法有多种:例如以第二资源类别为预测值、以第一资源类别为标签值,基于预设的损失函数,来计算目标模型的损失值,进而基于损失值来调整目标模型的模型参数;又如根据预先设置的参数调整公式,将第一资源类别和第二资源类别作为两个输入,直接调整目标模型的模型参数。再调整了目标模型的模型参数之后,继续训练目标模型,直至达到第一预设停止条件,如迭代次数达到预设迭代值或者第一训练集中的所有第一资源词条都用于训练,停止训练目标模型,将训练完成的目标模型确定为命名实体识别模型。
56.在本说明书实施例的一种可能的实现方式中,为了提高训练效率,基于第一资源类别和第二资源类别确定损失值,再基于损失值调整目标模型的模型参数。也即所述根据所述第一资源类别和所述第二资源类别调整所述目标模型的模型参数,具体实现过程如
下:根据所述第一资源类别和所述第二资源类别,确定所述目标模型的损失值;根据所述损失值,调整所述目标模型的模型参数。
57.具体的,损失值是指基于预测值与标签的差异性确定的数值,也即基于第二资源类别和第一资源类别确定的数值。
58.实际应用中,在确定第一资源类别和第二资源类别之后,可以将第一资源类别和第二资源类别输入至预先设置的损失函数中进行计算,进而得到目标模型的损失值。然后在基于损失值,调整目标模型的模型参数,如以第二资源类别为预测值、以第一资源类别为标签值,基于预设的损失函数,来计算目标模型的损失值,进而基于损失值来调整目标模型的模型参数,如将损失值传递给目标模型的最后一层,损失值可以表示当前误差的大小,因而最后一层可以自动根据接收到的损失值调整自身参数,之后最后一层可以将损失值反向传递给前一层,前一层接收到损失值后,也可以自动根据接收到的损失值调整自身参数,以此类推,直至损失值传递至目标模型的第一层,完成一次参数调整。如此,可以提高模型参数的调整速率和可靠性,使目标模型快速完成训练,进而提高获取命名实体识别模型的训练效率和准确率。
59.由于第二资源类型为目标模型的预测结果,即第二资源类型为预测值,然后可以根据第一资源类别和所第二资源类别的类型,从第一资源类别和第二资源类别中确定出标签。进而基于预测值和标签,也即第二资源类型和标签,确定目标模型的损失值。具体实现方式有多种,说明书对此不作限定。
60.在本说明书实施例的第一种可能的实现方式中,所述根据所述第一资源类别和所述第二资源类别,确定所述目标模型的损失值,具体实现过程可以如下:若所述第二资源类别的类型为非实体类型,则识别所述第一资源类别的类型;在所述第一资源类别的类型为实体类型的情况下,确定所述第一资源类别为标签;根据所述标签和所述第二资源类别,确定所述目标模型的所述损失值。
61.具体的,实体类型是指命名实体对应的资源类别的类型,非实体类型是指非命名实体对应的资源类别的类型,例如第二资源类别在序列标注的情况下,包含序列标注b或序列标注i时,第二资源类别的类型为实体类型;包含序列标注o时,第二资源类别的类型为非实体类型。
62.实际应用中,可以先识别第二资源类别的类型,若第二资源类别的类型为非实体类型,则继续识别第一资源类别的类型。若第一资源类别的类型为实体类型,则将第一资源类别确定为标签,进而根据标签和第二资源类别,利用预设的损失函数,计算目标模型的所述损失值。也即在第二资源类别的类型为非实体类型且第一资源类别的类型为实体类型时,以第一资源类别为标签,基于第一资源类别和第二资源值,确定目标模型的损失值。
63.例如,第二资源类别的类型为o,且第一资源类别的类型为b或i,则以第一资源类别为标签,基于第一资源类别和第二资源值,确定目标模型的损失值。
64.在本说明书实施例的第二种可能的实现方式中,所述根据所述第一资源类别和所述第二资源类别,确定所述目标模型的损失值,具体实现过程可以如下:若所述第二资源类别的类型为实体类型,则确定所述第二资源类别为标签;
根据所述标签和所述第二资源类别,确定所述目标模型的所述损失值。
65.实际应用中,可以先识别第二资源类别的类型,若第二资源类别的类型为实体类型,则将第二资源类别确定为标签,进而根据标签和第二资源类别,利用预设的损失函数,计算目标模型的所述损失值。也即在第二资源类别的类型为实体类型时,以第二资源类别为标签,基于第二资源类别和第二资源值,确定目标模型的损失值。
66.具体的,实体类型是指命名实体对应的资源类别的类型,非实体类型是指非命名实体对应的资源类别的类型,例如第二资源类别在序列标注的情况下,包含序列标注b或序列标注i时,第二资源类别的类型为实体类型;包含序列标注o时,第二资源类别的类型为非实体类型。
67.例如,第二资源类别的类型为b或i,则以第一资源类别为标签,基于第二资源类别和第二资源值,确定目标模型的损失值。
68.在本说明书实施例的第三种可能的实现方式中,所述根据所述第一资源类别和所述第二资源类别,确定所述目标模型的损失值,具体实现过程可以如下:若所述第二资源类别的类型为非实体类型,则识别所述第一资源类别的类型;在所述第一资源类别的类型为非实体类型的情况下,确定所述第一资源类别或所述第二资源类别为标签;根据所述标签和所述第二资源类别,确定所述目标模型的所述损失值。
69.具体的,实体类型是指命名实体对应的资源类别的类型,非实体类型是指非命名实体对应的资源类别的类型,例如第二资源类别在序列标注的情况下,包含序列标注b或序列标注i时,第二资源类别的类型为实体类型;包含序列标注o时,第二资源类别的类型为非实体类型。
70.实际应用中,可以先识别第二资源类别的类型,若第二资源类别的类型为非实体类型,则继续识别第一资源类别的类型。若第一资源类别的类型也为非实体类型,则将第一资源类别和第二资源类别中的任意一个确定为标签,进而根据标签和第二资源类别,利用预设的损失函数,计算目标模型的所述损失值。也即在第二资源类别的类型为非实体类型且第一资源类别的类型为非实体类型时,以第一资源类别或第二资源类别为标签,基于第一资源类别和第二资源值,或者第二资源类别和第二资源值,确定目标模型的损失值。
71.例如,第二资源类别的类型为o,且第一资源类别的类型为0,则以第一资源类别或第二资源类别为标签,基于第一资源类别和第二资源值,或者第二资源类别和第二资源值,确定目标模型的损失值。
72.通过本说明书提供的命名实体识别模型训练方法训练的命名实体识别模型,分别在英文型号词和材质词(无监督任务)上进行实验:在跨领域的title
ꢀ‑
》 query方面,该命名实体识别模型在材质词上取得了81.52%的f1(衡量命名实体识别模型精确度的一种指标,包括准确率和召回率);在跨语言的英语材质词方面,命名实体识别模型取得了82.61%的f1;在多源跨语言的型号词方面,命名实体识别模型的f1提升至73.7%。
73.本说明书提供了一种命名实体识别模型训练方法,获取第一训练集、第二训练集和预训练的资源模型,其中,所述第一训练集包括多个标注有资源类别的第一资源词条,第二训练集包括未标注的第二资源词条,所述资源模型基于多个标注有资源类别的第三资源词条对第一预设语言模型训练得到,针对所述第三资源词条标注的资源类别种类大于针对
所述第一资源词条标注的资源类别种类;利用所述第一训练集,对第二预设语言模型进行训练,得到目标模型;从所述第二训练集中提取任一第二资源词条,将该第二资源词条分别输入所述资源模型和所述目标模型,得到该第二资源词条的第一资源类别和第二资源类别;根据所述第一资源类别和所述第二资源类别调整所述目标模型的模型参数,返回执行所述从所述第二训练集中提取任一第二资源词条的步骤,在达到第一预设训练停止条件的情况下,确定训练后的所述目标模型作为命名实体识别模型。为了提升目标端命名实体识别性能,通过利用资源或标签丰富的资源模型来提升目标模型性能,得到命名实体识别模型,无需花费大量人力物力,就可以快速提高命名实体识别模型的鲁棒性和可信度,且效果好。
74.参见图2,图2示出了本说明书一个实施例提供的一种命名实体识别方法的流程图,具体包括以下步骤。
75.步骤202:获取待识别文本。
76.具体的,待识别文本是指需要进行识别命名实体的文本,如用户在某网页或网站搜索某物品的搜索文本、搜索语句、搜索词等等。
77.实际应用中,在检测到某用户在搜索平台或购物平台的搜索框中输入文字并点击确认搜索时,即可以确定用户在搜索框中输入的文字为待识别文本。例如,用户在购物平台的搜索框中输入“2022夏季新款纯棉睡衣”,然后并点击确认搜索,则“2022夏季新款纯棉睡衣”为待识别文本。
78.步骤204:将所述待识别文本输入至训练好的命名实体识别模型,得到所述待识别文本中的命名实体以及所述命名实体的目标资源类别,所述命名实体识别模型为通过上述命名实体识别模型训练方法训练得到的。
79.具体的,命名实体是指待识别文本中实体对应的文字,也即识别文本中为实体类型的资源类别对应的文字;目标资源类别为命名实体的资源类别。
80.实际应用中,将待识别文本输入至命名实体识别模型中,命名实体识别模型基于序列标注的方法,对待识别文本中的每个文字单元预测其对应的资源类别,然后从这些资源类别提取出类型为实体类型的初始资源类别,进一步地,基于序列标注的原理,将初始资源类别对应的文字单元和初始资源类别进行组合,得到命名实体以及命名实体的目标资源类别。
81.例如,待识别文本为“小红春季修身棉麻连衣裙”,将“小红春季修身棉麻连衣裙”输入至命名实体识别模型中,命名实体识别模型基于序列标注的方法对“小红春季修身棉麻连衣裙”中的每个字预测其对应的资源类别,得到:“小(b-品牌)红(i-品牌)春(b-时间季节)季(i-时间季节)修(o-后缀)身(o-后缀)棉(b-材质)麻(i-材质)连(b-品类)衣(i-品类)裙(i-品类)”,其中b和i表示实体类型,o表示非实体类型,且b表示命名实体的开始(begin),i表示命名实体的中间字符,则可以将“小(b-品牌)红(i-品牌)”进行组合,得到第一个命名实体和第一个命名实体的目标资源类别:“小红(品牌)”;将“春(b-时间季节)季(i-时间季节)”进行组合,得到第二个命名实体和第二个命名实体的目标资源类别:“春季(时间季节)”;将“棉(b-材质)麻(i-材质)”进行组合,得到第三个命名实体和第三个命名实体的目标资源类别:“棉麻(材质)”;将“连(b-品类)衣(i-品类)裙(i-品类)”进行组合,得到第四个命名实体和第四个命名实体的目标资源类别:“连衣裙(品类)”。
82.又如,待识别文本为“pear n2 pro small cup”,将“pear n2 pro small cup”输入至命名实体识别模型中,命名实体识别模型基于序列标注的方法对“pear n2 pro small cup”中的每个单词预测其对应的资源类别,得到“pear(b-品牌) n2(b-型号) pro(i-型号) small(o-前缀) cup(b-品类)”,其中b和i表示实体类型,o表示非实体类型,且b表示命名实体的开始(begin),i表示命名实体的中间字符,则可以将“pear(b-品牌)”进行组合,得到第一个命名实体和第一个命名实体的目标资源类别:“pear(品牌)”;将“n2(b-型号) pro(i-型号)”进行组合,得到第二个命名实体和第二个命名实体的目标资源类别:“n2 pro(型号)”;将“cup(b-品类)”进行组合,得到第三个命名实体和第三个命名实体的目标资源类别:“cup(品类)”。
83.本说明书提供的一种命名实体识别方法,获取待识别文本;将所述待识别文本输入至训练好的命名实体识别模型,得到所述待识别文本中的命名实体以及所述命名实体的目标资源类别,所述命名实体识别模型为通过上述命名实体识别模型训练方法训练得到的。为了提升目标端命名实体识别性能,通过利用资源或标签丰富的资源模型来提升目标模型性能,得到命名实体识别模型,无需花费大量人力物力,就可以快速提高命名实体识别模型的鲁棒性和可信度,且效果好。应用广泛,可以有效适用于跨领域和跨语言的命名实体识别任务或方法,可以提高基于命名实体识别模型进行命名实体识别的准确度,一定程度上提高用户粘度,从而提高命名实体识别模型对应的搜索平台的收益。
84.下述结合附图3,以本说明书提供的命名实体识别方法在电商领域的应用为例,对所述命名实体识别方法进行进一步说明。其中,图3示出了本说明书一个实施例提供的一种命名实体识别方法的处理过程流程图,具体包括以下步骤。
85.步骤302:从多个标注有资源类别的第二语种的第二商品描述词条中提取任一第二商品描述词条。
86.步骤304:将该第二商品描述词条输入第一预设语言模型中,得到该第二商品描述词条的第三资源类别。
87.步骤306:根据第二商品描述词条和该第二商品描述词条携带的资源类别,计算第一差异值。
88.步骤308:若第一差异值大于第一预设阈值,则调整第一预设语言模型的模型参数,并返回执行从多个标注有资源类别的第二语种的第二商品描述词条中提取任一第二商品描述词条的步骤,在达到第二预设训练停止条件的情况下,确定训练后的第一预设语言模型为商品模型。
89.步骤310:获取第一训练集、第二训练集和商品模型,其中,第一训练集包括多个标注有资源类别的第一语种的第一商品描述词条,第二训练集包括未标注的第二商品词条,第一语种与第二语种为任意两种不同的语种。
90.可选地,第一训练集还可以包括多个标注有资源类别的第二语种的商品搜索词条。
91.此外,针对第二商品描述词条标注的资源类别种类大于针对第一商品描述词条标注的资源类别种类。
92.步骤312:从第一训练集中提取任一第一商品描述词条。
93.步骤314:将该第一商品描述词条输入第二预设语言模型中,得到该第一商品描述
词条的第四资源类别。
94.步骤316:根据第四资源类别和该第一商品描述词条携带的资源类别,计算第二差异值。
95.步骤318:若第二差异值大于第二预设阈值,则调整第二预设语言模型的模型参数,并返回执行从第一训练集中提取任一第一商品描述词条的步骤,在达到第三预设训练停止条件的情况下,确定训练后的第二预设语言模型为目标模型。
96.步骤320:从第二训练集中提取任一第二商品词条,将该第二商品词条分别输入商品模型和目标模型,得到该第二商品词条的第一资源类别和第二资源类别。
97.步骤322:若第二资源类别的类型为非实体类型,则识别第一资源类别的类型。
98.步骤324:在第一资源类别的类型为实体类型的情况下,确定第一资源类别为标签。
99.步骤326:在第一资源类别的类型为非实体类型的情况下,确定第一资源类别或第二资源类别为标签。
100.步骤328:若第二资源类别的类型为实体类型,则确定第二资源类别为标签。
101.步骤330:根据标签和第二资源类别,确定目标模型的损失值。
102.步骤332:根据损失值,调整目标模型的模型参数,返回执行从第二训练集中提取任一第二商品词条的步骤,在达到第一预设训练停止条件的情况下,确定训练后的目标模型作为命名实体识别模型。
103.步骤334:获取待识别商品搜索文本。
104.步骤336:将待识别商品搜索文本输入至训练好的命名实体识别模型,得到待识别商品搜索文本中的命名实体以及命名实体的目标资源类别。
105.本说明书提供的一种命名实体识别方法,为了提升目标端命名实体识别性能,通过利用资源或标签丰富的资源模型来提升目标模型性能,得到命名实体识别模型,无需花费大量人力物力,就可以快速提高命名实体识别模型的鲁棒性和可信度,且效果好。应用广泛,可以有效适用于跨领域和跨语言的命名实体识别任务或方法,可以提高基于命名实体识别模型进行命名实体识别的准确度,一定程度上提高用户粘度,从而提高命名实体识别模型对应的搜索平台的收益。
106.与上述方法实施例相对应,本说明书还提供了命名实体识别模型训练装置实施例,图4示出了本说明书一个实施例提供的一种命名实体识别模型训练装置的结构示意图。如图4所示,该装置包括:第一获取模块402,被配置为获取第一训练集、第二训练集和预训练的资源模型,其中,所述第一训练集包括多个标注有资源类别的第一资源词条,第二训练集包括未标注的第二资源词条,所述资源模型基于多个标注有资源类别的第三资源词条对第一预设语言模型训练得到,针对所述第三资源词条标注的资源类别种类大于针对所述第一资源词条标注的资源类别种类;第一训练模块404,被配置为利用所述第一训练集,对第二预设语言模型进行训练,得到目标模型;输入模块406,被配置为从所述第二训练集中提取任一第二资源词条,将该第二资源词条分别输入所述资源模型和所述目标模型,得到该第二资源词条的第一资源类别和第
二资源类别;确定模块408,被配置为根据所述第一资源类别和所述第二资源类别调整所述目标模型的模型参数,返回执行所述从所述第二训练集中提取任一第二资源词条的步骤,在达到第一预设训练停止条件的情况下,确定训练后的所述目标模型作为命名实体识别模型。
107.可选地,所述确定模块408,还被配置为:根据所述第一资源类别和所述第二资源类别,确定所述目标模型的损失值;根据所述损失值,调整所述目标模型的模型参数。
108.可选地,所述确定模块408,还被配置为:若所述第二资源类别的类型为非实体类型,则识别所述第一资源类别的类型;在所述第一资源类别的类型为实体类型的情况下,确定所述第一资源类别为标签;根据所述标签和所述第二资源类别,确定所述目标模型的所述损失值。
109.可选地,所述确定模块408,还被配置为:若所述第二资源类别的类型为实体类型,则确定所述第二资源类别为标签;根据所述标签和所述第二资源类别,确定所述目标模型的所述损失值。
110.可选地,所述确定模块408,还被配置为:若所述第二资源类别的类型为非实体类型,则识别所述第一资源类别的类型;在所述第一资源类别的类型为非实体类型的情况下,确定所述第一资源类别或所述第二资源类别为标签;根据所述标签和所述第二资源类别,确定所述目标模型的所述损失值。
111.可选地,所述装置还包括第二训练模块,被配置为:从所述多个标注有资源类别的第三资源词条中提取任一第三资源词条;将该第三资源词条输入所述第一预设语言模型中,得到该第三资源词条的第三资源类别;根据所述第三资源类别和该第三资源词条携带的所述资源类别,计算第一差异值;若所述第一差异值大于第一预设阈值,则调整所述第一预设语言模型的模型参数,并返回执行所述从所述多个标注有资源类别的第三资源词条中提取任一第三资源词条的步骤,在达到第二预设训练停止条件的情况下,确定训练后的第一预设语言模型为资源模型。
112.可选地,所述第一训练模块404,被配置为:从所述第一训练集中提取任一第一资源词条;将该第一资源词条输入所述第二预设语言模型中,得到该第一资源词条的第四资源类别;根据所述第四资源类别和该第一资源词条携带的所述资源类别,计算第二差异值;若所述第二差异值大于第二预设阈值,则调整所述第二预设语言模型的模型参数,并返回执行所述从所述第一训练集中提取任一第一资源词条的步骤,在达到第三预设
训练停止条件的情况下,确定训练后的第二预设语言模型为目标模型。
113.可选地,所述第一资源词条为第一语种的第一资源描述词条或第二语种的资源搜索词条,所述第三资源词条为第二语种的第二资源描述词条,所述第一语种与所述第二语种为任意两种不同的语种。
114.本说明书提供的一种命名实体识别模型训练装置,获取第一训练集、第二训练集和预训练的资源模型,其中,所述第一训练集包括多个标注有资源类别的第一资源词条,第二训练集包括未标注的第二资源词条,所述资源模型基于多个标注有资源类别的第三资源词条对第一预设语言模型训练得到,针对所述第三资源词条标注的资源类别种类大于针对所述第一资源词条标注的资源类别种类;利用所述第一训练集,对第二预设语言模型进行训练,得到目标模型;从所述第二训练集中提取任一第二资源词条,将该第二资源词条分别输入所述资源模型和所述目标模型,得到该第二资源词条的第一资源类别和第二资源类别;根据所述第一资源类别和所述第二资源类别调整所述目标模型的模型参数,返回执行所述从所述第二训练集中提取任一第二资源词条的步骤,在达到第一预设训练停止条件的情况下,确定训练后的所述目标模型作为命名实体识别模型。为了提升目标端命名实体识别性能,通过利用资源或标签丰富的资源模型来提升目标模型性能,得到命名实体识别模型,无需花费大量人力物力,就可以快速提高命名实体识别模型的鲁棒性和可信度,且效果好。应用广泛,可以有效适用于跨领域和跨语言的命名实体识别任务或方法,可以提高基于命名实体识别模型进行命名实体识别的准确度,一定程度上提高用户粘度,从而提高命名实体识别模型对应的搜索平台的收益。
115.上述为本实施例的一种命名实体识别模型训练装置的示意性方案。需要说明的是,该命名实体识别模型训练装置的技术方案与上述的命名实体识别模型训练方法的技术方案属于同一构思,命名实体识别模型训练装置的技术方案未详细描述的细节内容,均可以参见上述命名实体识别模型训练方法的技术方案的描述。
116.与上述方法实施例相对应,本说明书还提供了命名实体识别装置实施例,图5示出了本说明书一个实施例提供的一种命名实体识别装置的结构示意图。如图5所示,该装置包括:第二获取模块502,被配置为获取待识别文本;识别模块504,被配置为将所述待识别文本输入至训练好的命名实体识别模型,得到所述待识别文本中的命名实体以及所述命名实体的目标资源类别,所述命名实体识别模型为通过上述命名实体识别模型训练方法训练得到的。
117.本说明书提供的一种命名实体识别装置,获取待识别文本;将所述待识别文本输入至训练好的命名实体识别模型,得到所述待识别文本中的命名实体以及所述命名实体的目标资源类别,所述命名实体识别模型为通过上述命名实体识别模型训练方法训练得到的。为了提升目标端命名实体识别性能,通过利用资源或标签丰富的资源模型来提升目标模型性能,得到命名实体识别模型,无需花费大量人力物力,就可以快速提高命名实体识别模型的鲁棒性和可信度,且效果好。应用广泛,可以有效适用于跨领域和跨语言的命名实体识别任务或方法,可以提高基于命名实体识别模型进行命名实体识别的准确度,一定程度上提高用户粘度,从而提高命名实体识别模型对应的搜索平台的收益。
118.上述为本实施例的一种命名实体识别装置的示意性方案。需要说明的是,该命名
实体识别装置的技术方案与上述的命名实体识别方法的技术方案属于同一构思,命名实体识别装置的技术方案未详细描述的细节内容,均可以参见上述命名实体识别方法的技术方案的描述。
119.图6示出了本说明书一个实施例提供的一种计算设备600的结构框图。该计算设备600的部件包括但不限于存储器610和处理器620。处理器620与存储器610通过总线630相连接,数据库650用于保存数据。
120.计算设备600还包括接入设备640,接入设备640使得计算设备600能够经由一个或多个网络660通信。这些网络的示例包括公用交换电话网(pstn,public switched telephone network)、局域网(lan,local area network)、广域网(wan,wide area network)、个域网(pan,personal area network)或诸如因特网的通信网络的组合。接入设备640可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(nic,network interface controller))中的一个或多个,诸如ieee802.11无线局域网(wlan,wireless local area network)无线接口、全球微波互联接入(wi-max,worldwide interoperability for microwave access)接口、以太网接口、通用串行总线(usb,universal serial bus)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc,near field communication)接口,等等。
121.在本说明书的一个实施例中,计算设备600的上述部件以及图6中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图6所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
122.计算设备600可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或pc的静止计算设备。计算设备600还可以是移动式或静止式的服务器。
123.其中,处理器620用于执行如下计算机可执行指令,该计算机可执行指令被处理器执行时实现上述命名实体识别模型训练方法或命名实体识别方法的步骤。
124.上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的命名实体识别模型训练方法或命名实体识别方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述命名实体识别模型训练方法或命名实体识别方法的技术方案的描述。
125.本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述命名实体识别模型训练方法或命名实体识别方法的步骤。
126.上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的命名实体识别模型训练方法或命名实体识别方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述命名实体识别模型训练方法或命名实体识别方法的技术方案的描述。
127.本说明书一实施例还提供一种计算机程序,其中,当所述计算机程序在计算机中
执行时,令计算机执行上述命名实体识别模型训练方法或命名实体识别方法的步骤。
128.上述为本实施例的一种计算机程序的示意性方案。需要说明的是,该计算机程序的技术方案与上述的命名实体识别模型训练方法或命名实体识别方法的技术方案属于同一构思,计算机程序的技术方案未详细描述的细节内容,均可以参见上述命名实体识别模型训练方法或命名实体识别方法的技术方案的描述。
129.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
130.所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、电载波信号、电信信号以及软件分发介质等。
131.需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
132.在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
133.以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献