文本结构的表征方法、装置、计算机设备及存储介质与流程

1.本发明涉及自然语言处理技术领域，尤其涉及一种文本结构的表征方法、装置、计算机设备及存储介质。


背景技术：

2.知识图谱是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合，并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论。它能为学科研究提供切实的、有价值的参考。在大数据时代背景下，各行各业都包含着海量的数据以及多个数据源融合交叉应用，与企业相关的政策信息也不例外。传统的数据管理以及展示模式并不能让新入职者、甚至从业者快速地学习与企业相关的政策知识体系。
3.目前与企业相关的政策文本处理方案还普遍停留在es（elasticsearch，弹性检索）等传统关系数据库的查找上。政策文本具有很强的逻辑层次性，不同条件之间存在明显的嵌套与关联等关系。传统关系数据库难以体现出政策文本的内在层次结构，也难以针对政策文本的层次结构进行分析，严重限制了对于政策文本分析的深度与广度。


技术实现要素：

4.本发明实施例提供一种文本结构的表征方法、装置、计算机设备及存储介质，以解决传统关系数据库难以体现出政策文本的内在层次结构，也难以针对政策文本的层次结构进行分析，严重限制了对于政策文本分析的深度与广度的问题。
5.一种文本结构的表征方法，包括：获取携带项目主题的政策文本，基于政策文本获取标准化实体词和文本逻辑关系；基于标准化实体词和文本逻辑关系，建立政策文本对应的至少一个最小逻辑单元；基于图数据库的图谱结构，将项目主题作为根节点，将每一最小逻辑单元作为最小叶节点，并根据文本逻辑关系将根节点和每一最小叶节点进行连接，形成政策文本对应的政策表征结构；将与政策表征结构相关的其他政策文本对应的其他节点进行关联，形成政策文本对应的政策图谱。
6.进一步地，基于政策文本获取标准化实体词和文本逻辑关系，包括：采用深度学习模型抽取政策文本中的文本逻辑关系和具有实际意义的初始实体词，其中，文本逻辑关系是通过逻辑表达式来实现的；将初始实体词标准化，形成标准化实体词。
7.进一步地，文本逻辑关系包括逻辑表达式，逻辑表达式包括至少一个逻辑表达符；基于标准化实体词和文本逻辑关系，建立政策文本对应的至少一个最小逻辑单
元，包括：提取逻辑表达式中的每一逻辑表达符，获取与每一逻辑表达符表达的逻辑关系相对应的标准化实体词作为逻辑单元实体词；结合逻辑表达符和逻辑单元实体词，形成最小逻辑单元。
8.进一步地，将与政策表征结构相关的其他政策文本对应的其他节点进行关联，包括：将与根节点相关的其他政策文本对应的其他节点进行关联；或者，将与最小叶节点相关的其他政策文本对应的其他节点进行关联。
9.进一步地，在形成政策文本对应的政策表征结构之后，还包括：基于政策表征结构进行分析，获取政策文本的从属类别。
10.进一步地，在形成政策文本对应的政策表征结构之后，还包括：基于图数据库，对政策表征结构进行项目匹配，获取满足相似度阈值的其他项目作为推荐项目。
11.进一步地，在形成政策文本对应的政策图谱之后，还包括：获取目标对象的已申请项目列表；基于已申请项目列表对应的所有政策图谱进行项目匹配，获取可申请项目列表。
12.一种文本结构的表征装置，包括：获取文本逻辑模块，用于获取携带项目主题的政策文本，基于政策文本获取标准化实体词和文本逻辑关系；建立最小单元模块，用于基于标准化实体词和文本逻辑关系，建立政策文本对应的至少一个最小逻辑单元；形成表征结构模块，用于基于图数据库的图谱结构，将项目主题作为根节点，将每一最小逻辑单元作为最小叶节点，并根据文本逻辑关系将根节点和每一最小叶节点进行连接，形成政策文本对应的政策表征结构；形成政策图谱模块，用于将与政策表征结构相关的其他政策文本对应的其他节点进行关联，形成政策文本对应的政策图谱。
13.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述文本结构的表征方法。
14.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述文本结构的表征方法。
15.上述文本结构的表征方法、装置、计算机设备及存储介质，通过将政策文本转换为基于图数据库的结构化的政策表征结构来存储政策信息，将项目名称和最小逻辑单元作为根节点和叶节点和其他政策文本对应的其他节点进行关联，可充分体现出政策文本内部条件之间的关联关系，也能够通过内部条件的特征解析出不同政策之间的嵌套和关联关系，具体地：1、图数据库通过更好地代表真实世界中对应数据的方式存储政策文本对应的每一最小逻辑单元，可以提高相关人员匹配对应可申报项目的效率，便于团队新成员更容易
地理解和推理政策要求；2、通过结构化的政策表征结构存储政策文本信息，能够一目了然地表征政策文本中实体之间的层次关系和关联逻辑，便于快速实现对于文本信息的解析、提高分析效率以及快速地查找文本中含有特定关系的表达式或者实体词。
16.3、通过收录全国各个地区的政策文本，打通政策内部条款之间的关系，以及政策间各个条款的关系，利于快速判定政策之间的相似度或将政策进行归类；同时也可与企业库建立关联关系，快速查找出与企业相匹配的政策。
附图说明
17.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
18.图1绘示本发明一实施例中文本结构的表征方法的应用环境示意图；图2绘示本发明一实施例中文本结构的表征方法的流程图；图3绘示本发明另一实施例中文本结构的表征方法的第一流程图；图4绘示本发明另一实施例中文本结构的表征方法的第二流程图；图5绘示本发明另一实施例中文本结构的表征方法的第三流程图；图6绘示本发明另一实施例中文本结构的表征方法的第四流程图；图7绘示本发明一实施例中文本结构的表征装置的示意图；图8绘示本发明一实施例中计算机设备的示意图。
具体实施方式
19.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.本发明实施例提供的文本结构的表征方法，可应用在如图1的应用环境中，该文本结构的表征方法应用在文本结构的表征系统中，该文本结构的表征系统包括客户端和服务器，其中，客户端通过网络与服务器进行通信。客户端又称为用户端，是指与服务器相对应，为客户端提供本地服务的程序。进一步地，客户端为计算机端程序、智能设备的app程序或嵌入其他app的第三方小程序。该客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等计算机设备上。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
21.传统关系数据库难以表示出丰富的实体关系在于：关系数据库中的关系是外键，是指向其他表中主键的指针，而这些指针的变化不是可以轻易观察和操控的。
22.相对于传统关系数据库，图数据库是通过可视化技术来描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系的存储引擎，它将顶点和边的基本图结构与持久化技术和遍历（查询）语言结合起来，以创建一个用于存储和快速检索高度
关联的数据而优化的数据库。在图数据库中，实体之间的关系与数据中的实体同等或更重要。被同等重视的实体和关系与传统关系数据库相比时可以更准确、轻松地表示和推理真实世界的关系，表示事物之间丰富多样的关系，又可以根据这些关系进行模式识别。
23.在一实施例中，如图2所示，基于上述图数据库的优势，本技术提供一种文本结构的表征方法，以该方法应用在图1中的服务器为例进行说明，具体包括如下步骤：s10.获取携带项目主题的政策文本，基于政策文本获取标准化实体词和文本逻辑关系。
24.其中，项目主题是与企业相关的政策对应的主题。标准化实体词是对于政策项目按规定格式存储的实体词。文本逻辑关系是将政策文本按照逻辑关系进行梳理后得到的知识要素文本。逻辑关系包含“and和”、“or或”、“not非”、以及“xor异或”等四种简单运算。现实世界中错综复杂的问题，常常可以用这几种简单逻辑运算的排列组合来表达。
25.s20.基于标准化实体词和文本逻辑关系，建立政策文本对应的至少一个最小逻辑单元。
26.其中，最小逻辑单元是只包含一种逻辑关系的单元，也即只包括“and”、“or”、“not”、以及“xor”中的一种逻辑关系的单元。
27.具体地，通过政策文本整体包含的逻辑关系，可匹配出多个只包含一种逻辑关系的最小逻辑单元。
28.s30.基于图数据库的图谱结构，将项目主题作为根节点，将每一最小逻辑单元作为最小叶节点，并根据文本逻辑关系将根节点和每一最小叶节点进行连接，形成政策文本对应的政策表征结构。
29.其中，政策表征结构也即已图谱结构将政策文本对应的信息进行表征的结构。
30.具体地，本实施例提供的方法将以项目主题为根节点、以文本逻辑关系为基础建立的图谱结构进行保存，便于后续对于政策文本的快速匹配、查询以及政策分析和挖掘等。
31.s40.将与政策表征结构相关的其他政策文本对应的其他节点进行关联，形成政策文本对应的政策图谱。
32.其中，政策图谱是通过不同的政策之间包含的相同或相似的节点进行关联后得到的多个政策文本形成的结构。
33.具体地，与企业相关的政策之间存在明显的关联和嵌套关系，如申报项目a必须先申报项目b。政策文本信息的提取后如何结构化存储直接影响到政策信息利用的广度和深度。本技术通过将所有项目对应的政策表征结构进行关联后形成政策图谱，能够显著提高本文信息的使用和分析效率、快速解析和查找文本内容之间的关联关系以及本文间的关联关系、利于相近政策条款查找和对政策文本进行归类以及快速完成政策与企业的匹配工作。
34.在步骤s10至s40中，本实施例通过将含有逻辑性的政策文本，进行层次化和结构化包括实体词提取和逻辑拼接后组成至少一条有实际意义的表达式，多个表达式经过逻辑组合可形成更加复杂的语义。以单个标准化实体词为节点，以逻辑关系为连接，组成基础表达式，从而得到基础表达式。
35.基于标准化实体词或者表达式为节点，将多个表达式通过逻辑关系进行连接。其中，表达式之间表现为标准化实体词间的逻辑关系是以标准化实体词为节点；若表现为表
达式整体的关系，则建立表达式节点，将表达式全部的标准化实体词节点指向表达式节点后，将表达式节点与其他表达式相连接。
36.基于以上逻辑迭代政策文本的所有逻辑层级，最终将政策文本以政策图谱的形式来表现自身以及与其他政策文本之间的逻辑层级和关系。
37.在一具体实施例中，如图3所示，在步骤s10中，即基于政策文本获取标准化实体词和文本逻辑关系，具体包括如下步骤：s11.采用深度学习模型抽取政策文本中的文本逻辑关系和具有实际意义的初始实体词，其中，文本逻辑关系是通过逻辑表达式来实现的。
38.s12.将初始实体词标准化，形成标准化实体词。
39.其中，深度学习模型于本实施例中是通过大量政策文本进行训练过的用于对新的政策文本进行逻辑关系的判定的模型。该模型可根据实体词的意义对实体词进行分类，为实体词之间的逻辑装搭提供基础。
40.初始实体词是通过深度学习模型的解析后获取的各种具有实际意义而未经标准化处理过的各种实体词。
41.逻辑表达式是通过逻辑表达符，比如或且非（/， ，~）等进行表达的关系式。标准化实体词是将初始实体词进行标准化过程，比如：噪声移除、词汇规范化以及对象标准化之后得到的实体词。
42.具体地，图数据库的整体架构首先有大量的训练数据，这些训练数据从政策文本中通过深度神经网络提取并组装而来，然后基于这些数据来构建政策数据库，用于各种政策文本的查询和比对。
43.深度神经网络用于解析政策文本的层次结构，主要涉及实体的抽取和标准化、标准化实体之间关系的建立以及组织和存储抽取的实体与关系，便于政策数据库中的政策文本能够被迅速访问和操作。
44.原始的政策文本一般为文本格式，存储于数据库（包括但不限于sql数据库等）中；经过解析的政策文本可存储于图数据库中，图数据库的存储媒介一般采用neo4j、janusgraph以及hugegraph等，此处不作具体限定。
45.对原始的政策文本对应的实体词形成标准化实体词过程主要包括以下三个部分：1.噪声移除；2.词汇规范化以及3.对象标准化。
46.在噪声移除阶段，噪音与一个词语的多种表达形式有关。例如，“play”，“player”，“played”，“plays”和“playing”都是单词“play”的变种。尽管它们具有不同的意思，但是根据上下文来看是意思是相似的。这个步骤是将一个单词的所有不同形式转换为它的规范形式（也被称为词条（lemma））。
47.对于标准化的步骤来说在特征工程里是文本处理的一个关键步骤。因为它将高维的特征（n个不同的特征）转换到了低维空间（1个特征）。
48.常见的词汇标准化的实践有：a.词干提取（stemming）：词干提取是一个初级的、基于规则的脱去后缀（如“ing”，“ly”，“es”，“s”等等）的过程。
49.b.词元化（lemmatization）：词元化，是一个组织好的、一步一步地获取词根的过程。并使用了词汇表（单词在字典里的重要性）和形态学分析（单词结构与语法关系）。
50.在对象标准化阶段主要关注文本数据包含的一些不存在于标准词汇字典里的单词或短语。这些单词或短语是无法被搜索引擎和模型所识别的。比如：首字母缩略词，井字标签与它后面的词汇，以及口语俚语等。对此可使用正则表达式和人工准备的数据字典，来进行修正。
51.在一具体实施例中，文本逻辑关系包括逻辑表达式，逻辑表达式包括至少一个逻辑表达符。如图4所示，在步骤s20中，即基于标准化实体词和文本逻辑关系，建立政策文本对应的至少一个最小逻辑单元，具体包括如下步骤：s21.提取逻辑表达式中的每一逻辑表达符，获取与每一逻辑表达符表达的逻辑关系相对应的标准化实体词作为逻辑单元实体词。
52.s22.结合逻辑表达符和逻辑单元实体词，形成最小逻辑单元。
53.具体地，本实施例提供的方法首先通过将最小逻辑单元组装为全文逻辑表达式对应的文本逻辑关系，用于体现出最小逻辑单元的层次关系；然后，可将逻辑表达式中标准化实体和层次关系存入政策数据库的模式层和数据层。比如，最小逻辑单元的模式层可为：时间-地点-科目词-运算符-值，数据层：上年度-在深圳-纳税总额-不少于-5亿。逻辑表达式的模式层：或且非（/， ，~）表达式。
54.举例说明根据政策文本的内容建立实体词之间的关系，组成条件的最小逻辑单元：“营业收入” “大于” “300万”。通过多个这样的最小逻辑单元的组合可构成政策数据库中的数据层，比如：最小逻辑单元1 （最小逻辑单元2/（最小逻辑单元3 （~最小逻辑单元4）））；该句表示满足最小逻辑单元1且满足最小逻辑单元2；或者满足最小逻辑单元1且满足最小逻辑单元3且不满足最小逻辑单元4。
55.在一具体实施例中，如图5所示，在步骤s40中，即将与政策表征结构相关的其他政策文本对应的其他节点进行关联，具体包括如下步骤：s41.将与根节点相关的其他政策文本对应的其他节点进行关联。
56.或者，s42.将与最小叶节点相关的其他政策文本对应的其他节点进行关联。
57.具体地，本实施例提供的方法可将不同政策间具有相同描述的条件进行关联，从而实现政策间嵌套和关联关系的构造。具体可分为以下集中情况：子节点与其他政策根节点建立连接，表示项目之间的嵌套关系；对比不同政策文本的最小逻辑单元内的标准化实体词，获得这些实体词的关系，进而建立政策之间的关系；或通过最小逻辑单元内的实体词与其他政策文本建立关联，从而获得项目之间的嵌套关系。
58.项目之间的子节点相关联，表示项目之间的关联关系；或者根节点连接到其他政策文本的根节点或叶节点上表示并列关系或者顺序关系等；本实施例提供的方法可通过多个政策文本对应的图数据库经过节点关联后形成的政策图谱展示项目之间的各种关系，从而便捷地挖掘出项目之间的关联程度，便于项目决策人基于政策图谱快速作出选择。
59.在一具体实施例中，在步骤s30之后，即在形成政策文本对应的政策表征结构之后，还具体包括如下步骤：
s301.基于政策表征结构进行分析，获取政策文本的从属类别。
60.具体地，本实施例提供的方法还可对政策及企业建立类别标签。根据叶节点的信息可以将政策进行分类，比如，工业制造类、信息技术类、进出口类以及是否有用博士后工作站等。本实施例通过判断政策从属类别，进而可以判断申报企业所需要满足的从属类别，从而为政策和企业打属性标签。
61.在一具体实施例中，在步骤s40之后，即在形成政策文本对应的政策表征结构之后，还具体包括如下步骤：s401.基于图数据库，对政策表征结构进行项目匹配，获取满足相似度阈值的其他项目作为推荐项目。
62.其中，相似度阈值是两个政策对应的项目主题之间的项目相似度，可根据具体需要进行设定，此处不作具体限定。
63.具体地，本实施例提供的方法通过从图数据库中提取并解析出相关的政策表征结构对应的知识要素，对比不同政策文本的最小逻辑单元内的标准化实体词，获得这些实体词之间的关系，进而建立政策之间的关系。
64.在一具体实施例中，如图6所示，在步骤s40之后，即在形成政策文本对应的政策图谱之后，还具体包括如下步骤：s4031.获取目标对象的已申请项目列表。
65.s4032.基于已申请项目列表对应的所有政策图谱进行项目匹配，获取可申请项目列表。
66.具体地，本实施例提供的方法通过获得政策之间的关联和嵌套关系后，即可以根据公司已申请的项目情况，进而推荐其他相似或者下一步可申请的项目列表。
67.上述文本结构的表征方法、装置、计算机设备及存储介质，通过将政策文本转换为基于图数据库的结构化的政策表征结构来存储政策信息，将项目名称和最小逻辑单元作为根节点和叶节点和其他政策文本对应的其他节点进行关联，可充分体现出政策文本内部条件之间的关联关系，也能够通过内部条件的特征解析出不同政策之间的嵌套和关联关系，具体地：1、图数据库通过更好地代表真实世界中对应数据的方式存储政策文本对应的每一最小逻辑单元，可以提高相关人员匹配对应可申报项目的效率，便于团队新成员更容易地理解和推理政策要求；2、通过结构化的政策表征结构存储政策文本信息，能够一目了然地表征政策文本中实体之间的层次关系和关联逻辑，便于快速实现对于文本信息的解析、提高分析效率以及快速地查找文本中含有特定关系的表达式或者实体词。
68.3、通过收录全国各个地区的政策文本，打通政策内部条款之间的关系，以及政策间各个条款的关系，利于快速判定政策之间的相似度或将政策进行归类；同时也可与企业库建立关联关系，快速查找出与企业相匹配的政策。
69.应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
70.在一实施例中，提供一种文本结构的表征装置，该文本结构的表征装置与上述实
施例中文本结构的表征方法一一对应。如图7所示，该文本结构的表征装置包括获取文本逻辑模块10、建立最小单元模块20、形成表征结构模块30和形成政策图谱模块40。各功能模块详细说明如下：获取文本逻辑模块10，用于获取携带项目主题的政策文本，基于政策文本获取标准化实体词和文本逻辑关系；建立最小单元模块20，用于基于标准化实体词和文本逻辑关系，建立政策文本对应的至少一个最小逻辑单元；形成表征结构模块30，用于基于图数据库的图谱结构，将项目主题作为根节点，将每一最小逻辑单元作为最小叶节点，并根据文本逻辑关系将根节点和每一最小叶节点进行连接，形成政策文本对应的政策表征结构；形成政策图谱模块40，用于将与政策表征结构相关的其他政策文本对应的其他节点进行关联，形成政策文本对应的政策图谱。
71.关于文本结构的表征装置的具体限定可以参见上文中对于文本结构的表征方法的限定，在此不再赘述。上述文本结构的表征装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
72.在一实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于文本结构的表征方法相关的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种文本结构的表征方法。
73.在一实施例中，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例文本结构的表征方法，例如图2所示s10至步骤s40。或者，处理器执行计算机程序时实现上述实施例中文本结构的表征装置的各模块/单元的功能，例如图7所示模块10至模块40的功能。为避免重复，此处不再赘述。
74.在一实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例文本结构的表征方法，例如图2所示s10至步骤s40。或者，该计算机程序被处理器执行时实现上述装置实施例中文本结构的表征装置中各模块/单元的功能，例如图7所示模块10至模块40的功能。为避免重复，此处不再赘述。
75.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术各实施例中所使用的对存储器、存储、数据库或其他介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（rom）、可编程rom（prom）、电可编
程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双数据率sdram（ddrsdram）、增强型sdram（esdram）、同步链路（synchlink） dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。
76.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
77.以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。