HowNet的自然语言处理方法、系统及应用与流程

hownet的自然语言处理方法、系统及应用
技术领域
1.本发明涉及自然语言处理技术领域，更具体的说是涉及hownet的自然语言处理方法、系统及应用。


背景技术：

2.随着人工智能技术的发展，让计算机理解人类语言逐渐成为人们新的需求和目标，自然语言处理也因此逐渐成为人类科技发展过程中一个新的课题。现有的自然语言处理技术集中在模型训练方面，基于深度学习模型的技术路线一般可用于图像识别、机器翻译、自然语言处理等领域。
3.深度学习把自然语言看成是和图像、声音一样可以进行数字化解析的数据，通过人工标注数据中不同的类别，让计算机获得结构化的数据，再通过设定好的训练模型反复训练，从而获得语言中各类型数据的数学分布特征，并以此反映一般的语言规律。其基本的技术方案如下：首先，为特定场景设计相应的训练模型，确定需要提取的数据特征集；其次，组织标注人员对大量数据依据数据特征集进行人工标注，从而获得训练数据；然后，将训练数据导入训练模型进行训练，训练结束后进行测试；最后，根据测试结果，进一步调整特征选取和模型参数设置，再反复训练模型以达到预期效果。
4.然而，现有的自然语言处理技术缺点是：依赖规模庞大的人工标注数据，缺乏有效方法保证标注数据的质量；处理过程不透明，无法及时溯源，且修改成本高；根据人工标注数据训练，很难识别理解人类语言的深层语义和细微差别。


技术实现要素：

5.有鉴于此，本发明提供了一种hownet的自然语言处理方法、系统及应用，以解决背景技术提到的问题。
6.为了实现上述目的，本发明提供如下技术方案：hownet的自然语言处理方法，具体步骤如下：提出hownet认知体系，通过hownet义原表和hownet知识库描述语言构建hownet知识库；遵循自然语言内部的预设规律，构建hownet的语言解析规则库；构建hownet解析器，调用hownet知识库和语言解析规则，并对文本数据语法、语义、概念关系等信息自动标注；通过hownet解析器输出结构化的文本解析结果和概念间的语义结构关系。
7.可选的，在上述的hownet的自然语言处理方法中，构建hownet知识库具体步骤如下：
确定hownet认知理论体系，并在所述hownet认知理论体系下确定认知概念及认知概念之间的关系，形成hownet义原表；构建语义角色框架和知识描述规范体系，形成hownet知识库描述语言；通过hownet知识库描述语言，利用义原表和语义角色框架对真实概念进行描述，形成hownet知识库。
8.可选的，在上述的hownet的自然语言处理方法中，建立hownet的语言解析规则库包括：构建hownet语言解析规则库的总控模块。该部分包括总领规则、总控规则、入口规则等，主要管理规则模块的创建、运行及调用条件。
9.构建hownet语言解析规则库的基础规则模块。该部分主要依据语言的预设规律创建适用于自然语言语义、语法、语用结构解析的规则库，主要用于后续自然语言文本的基础解析。
10.构建hownet语言解析规则库的项目规则模块。该部分主要依据不同项目的多样化需求，建构相应的语言解析方案。
11.可选的，在上述的hownet的自然语言处理方法中，对文本数据语法、语义、概念关系等信息自动标注具体步骤如下：通过加工输入文本，hownet解析器实现文本从非结构化到结构化的转变，自动标注文本的语义语法信息，并通过可视化的方式展现文本的语义结构关系；其中，结构化实现依赖于hownet知识库描述语言对通用概念的描述和反映自然语言内部规律的语言解析规则。
12.hownet的自然语言处理系统，包括：知识库构建模块，提出hownet认知体系，通过hownet义原表和hownet知识库描述语言构建hownet知识库；规则库构建模块，遵循自然语言内部的预设规律，构建hownet的语言解析规则库；解析器构建模块，构建hownet解析器，调用hownet知识库和语言解析规则，并对文本数据语法、语义、概念关系等信息自动标注；输出模块，通过hownet解析器输出结构化的文本解析结果和概念间的语义结构关系。
13.可选的，在上述的hownet的自然语言处理系统中，知识库构建模块包括：义原表单元，确定hownet认知理论体系，并在所述hownet认知理论体系下确定认知概念及认知概念之间的关系，形成hownet义原表；描述语言单元，构建语义角色框架和知识描述规范体系，形成hownet知识库描述语言；形成单元，通过hownet知识库描述语言，利用义原表和语义角色框架对真实概念进行描述，形成hownet知识库。
14.可选的，在上述的hownet的自然语言处理系统中，规则库构建模块包括：第一规则单元，构建hownet语言解析规则库的总控模块。该部分包括总领规则、总控规则、入口规则等，主要管理规则模块的创建、运行及调用条件。
15.第二规则单元，构建hownet语言解析规则库的基础规则模块。该部分主要依据语言的预设规律创建适用于自然语言语义、语法、语用结构解析的规则库，主要用于后续自然
语言文本的基础解析。
16.第三规则单元，构建hownet语言解析规则库的项目规则模块。该部分主要依据不同项目的多样化需求，建构相应的语言解析方案。
17.可选的，在上述的hownet的自然语言处理系统中，解析器构建模块：通过加工输入文本，hownet解析器实现文本从非结构化到结构化的转变，自动标注文本的语义语法信息，并通过可视化的方式展现文本的语义结构关系；其中，结构化实现依赖于hownet知识库描述语言对通用概念的描述和反映自然语言内部规律的语言解析规则。
18.hownet的自然语言处理方法的应用，包括hownet的自然语言处理方法，具体步骤如下：在hownet解析器中输入待解析的自然语言文本；利用hownet知识库和hownet解析器对输入文本进行基础加工，对自然语言文本的分词、词义和词性判别、命名实体识别分析；利用hownet知识库和hownet解析器对处理结果的结构化解析和二次加工；输出文本结构化解析结果。
19.经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种hownet的自然语言处理方法、系统及应用，可为计算机和自然语言处理系统提供其所需要的和所能处理的庞大的知识系统和中文文本语义解析技术，同时构建与之相关的一套知识描述规范体系和文本解析器，从而实现对中文文本的语义解析，包括但不限于分词、词性标注、语义消歧、命名实体识别、语义依存分析等。
附图说明
20.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
21.图1为本发明的自然语言处理方法流程图；图2为本发明的自然语言处理系统框图；图3为本发明的自然语言处理方法的应用流程图。
具体实施方式
22.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
23.实施例1：本发明实施例公开了一种hownet的自然语言处理方法，如图1所示，具体步骤如下：提出hownet认知体系，通过hownet义原表和hownet知识库描述语言构建hownet知识库；
遵循自然语言内部的预设规律，构建hownet的语言解析规则库；构建hownet解析器，调用hownet知识库和语言解析规则，并对文本数据语法、语义、概念关系等信息自动标注；通过hownet解析器输出结构化的文本解析结果和概念间的语义结构关系。
24.为了进一步优化上述技术方案，构建hownet知识库具体步骤如下：确定hownet认知理论体系，并在hownet认知理论体系下确定认知概念及认知概念之间的关系，形成hownet义原表；构建语义角色框架和知识描述规范体系，形成hownet知识库描述语言；通过hownet知识库描述语言，利用义原表和语义角色框架对真实概念进行描述，形成hownet知识库。
25.为了进一步优化上述技术方案，建立hownet的语言解析规则库包括：构建hownet语言解析规则库的总控模块。该部分包括总领规则、总控规则、入口规则等，主要管理规则模块的创建、运行及调用条件。
26.构建hownet语言解析规则库的基础规则模块。该部分主要依据语言的预设规律创建适用于自然语言语义、语法、语用结构解析的规则库，主要用于后续自然语言文本的基础解析。
27.构建hownet语言解析规则库的项目规则模块。该部分主要依据不同项目的多样化需求，建构相应的语言解析方案。
28.为了进一步优化上述技术方案，hownet知识库描述语言包括：词汇特征及动态角色、标识符号和标点、词序，明确不同概念描述的方法、义原表和语义角色框架的应用以及特殊符号的具体功能，并利用义原表和语义角色框架精细地描述各种概念。
29.hownet知识库描述语言通过显性表示各类义原之间的关系，采用立体化的多层嵌套的格局，极大地增强了这种描述语言的表达能力和计算能力。
30.hownet知识库描述语言（kdml）是一种面向计算机的、可以进行计算的描述语言，通过计算可以得到概念与概念，概念的属性与属性之间的关系。hownet知识库描述语言在概念表达上非常直观、可读性较好，在描述能力上也具备描述复杂概念的能力，同时非常方便进行意义间的计算。
31.为了进一步优化上述技术方案，对文本数据语法、语义、概念关系等信息自动标注具体步骤如下：通过加工输入文本，hownet解析器实现文本从非结构化到结构化的转变，自动标注文本的语义语法信息，并通过可视化的方式展现文本的语义结构关系；其中，结构化实现依赖于hownet知识库描述语言对通用概念的描述和反映自然语言内部规律的语言解析规则。
32.实施例2：本发明实施例公开了一种hownet的自然语言处理系统，如图2所示，包括：知识库构建模块，提出hownet认知体系，通过hownet义原表和hownet知识库描述语言构建hownet知识库；规则库构建模块，遵循自然语言内部的预设规律，构建hownet的语言解析规则库；解析器构建模块，构建hownet解析器，调用hownet知识库和语言解析规则，并对文本数据语法、语义、概念关系等信息自动标注；
输出模块，通过hownet解析器输出结构化的文本解析结果和概念间的语义结构关系。
33.为了进一步优化上述技术方案，知识库构建模块包括：义原表单元，确定hownet认知理论体系，并在hownet认知理论体系下确定认知概念及认知概念之间的关系，形成hownet义原表；描述语言单元，构建语义角色框架和知识描述规范体系，形成hownet知识库描述语言；形成单元，通过hownet知识库描述语言，利用义原表和语义角色框架对真实概念进行描述，形成hownet知识库。
34.为了进一步优化上述技术方案，规则库构建模块包括：第一规则单元，构建hownet语言解析规则库的总控模块。该部分包括总领规则、总控规则、入口规则，主要管理规则模块的创建、运行及调用条件。
35.第二规则单元，构建hownet语言解析规则库的基础规则模块。该部分主要依据语言的预设规律创建适用于自然语言语义、语法、语用结构解析的规则库，主要用于后续自然语言文本的基础解析。
36.第三规则单元，构建hownet语言解析规则库的项目规则模块。该部分主要依据不同项目的多样化需求，建构相应的语言解析方案。
37.为了进一步优化上述技术方案，解析器构建模块：通过加工输入文本，hownet解析器实现文本从非结构化到结构化的转变，自动标注文本的语义语法信息，并通过可视化的方式展现文本的语义结构关系；其中，结构化实现依赖于hownet知识库描述语言对通用概念的描述和反映自然语言内部规律的语言解析规则。
38.实施例3：本发明实施例公开了一种hownet的自然语言处理方法的应用，如图3所示，包括hownet的自然语言处理方法，具体步骤如下：在hownet解析器中输入待解析的自然语言文本；利用hownet知识库和hownet解析器对输入文本进行基础加工，对自然语言文本的分词、词义和词性判别、命名实体识别分析；利用hownet知识库和hownet解析器对处理结果的结构化解析和二次加工；其中，二次加工主要指信息标注及提取，hownet的自然语言处理技术不仅可以对自然语言文本进行结构化解析，而且可以提取其中的关键信息，进而输出文本结构化解析结果。
39.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
40.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。