一种产业链认知图谱的自下而上构建方法及系统与流程
本发明涉及知识图谱构建,尤其涉及一种产业链认知图谱的自下而上构建方法及系统。
背景技术:
1、产业链认知图谱是以产业本体为骨架、以行业实体为节点、以实际生产关系为边,面向产业情报组织与分析的“科技—产业—经济”多维语义网络。该图谱可广泛应用于产业规划研究、金融风险控制、产业互联网平台建设、科技成果转化等场景。目前,产业链认知图谱的构建主要面临以下技术瓶颈:
2、其一,传统构建方法严重依赖人工定义,难以适应产业快速迭代。现有技术多采用自上而下的专家本体工程范式,需由领域专家预先定义产业链本体分类树。这种模式不仅人力成本高昂,且随着新兴产业形态的持续涌现和产业链结构的动态演变,预定义静态本体难以及时更新和扩展。部分方案采用bert等传统预训练模型进行知识抽取,但由于bert基于字词级上下文建模,对产品间多跳、嵌套的复杂语义关系识别能力有限,抽取精度难以满足应用需求。
3、其二,基于大语言模型的构建方法存在知识“幻觉”问题。近年来虽有研究尝试利用大语言模型进行自下而上的知识图谱自动构建,但大语言模型在生成过程中易编造不存在的实体与关系,输出结果可靠性不足。通用大语言模型虽具备较强的语义理解泛化能力,但在产业链这一垂直领域中因缺乏领域知识的有效约束,抽取结果的准确性和可控性难以保证。
4、其三,现有方法知识图谱多为扁平网络,缺乏层次结构。扁平化的知识表示在产业分析、行业知识管理等专业场景中,难以支撑从宏观到微观的多维度产业透视分析。纯语义聚类方法易受文本噪声和同义词干扰,错误合并实质不同但词形相近的实体;纯结构聚类方法依赖图拓扑信息,忽视实体语义特征,聚类结果往往偏离产业实际。
5、有鉴于此,亟须一种能够自动、高效、精准地构建具有层次化结构的产业链认知图谱的技术方案。
技术实现思路
1、本发明提供一种产业链认知图谱的自下而上构建方法及系统,旨在解决现有技术中存在的上述至少部分问题。
2、为实现上述目的,本发明提供一种产业链认知图谱的自下而上自动构建方法,包括:
3、获取多源异构产业文本数据;
4、基于预定义的关系类型体系,利用经垂直领域微调的大语言模型对所述多源异构产业文本数据进行产业链关系三元组抽取,得到初始产业链知识图谱;所述关系类型体系至少包括用于表达产业内部纵向分解关系的第一类关系和用于表达产业之间横向投入产出关联的第二类关系;
5、对所述初始产业链知识图谱中的各实体进行向量化表示,根据各实体的向量表示进行自下而上的层次聚类,生成多级概念主题树;
6、将所述多级概念主题树与所述初始产业链知识图谱融合,得到具有层次结构的最终产业链认知图谱。
7、优选地,所述第一类关系为“下位产品”关系,所述第二类关系为“下游行业”关系。
8、优选地,所述“下位产品”关系包括以下六种子类型:细分产品、下位词、功能模块、规格型号、应用领域和技术代际;所述“下游行业”关系包括以下八种子类型:原材料型下游、生产设备型下游、零部件型下游、应用场景型下游、工艺流程型下游、衍生物型下游、产业环节型下游和能源资源依赖型下游。
9、优选地,所述大语言模型的获取方式包括:采用专家标注与语言模型扩展相结合的方式构建训练数据集;应用低秩适配方法对基座大语言模型进行微调;将微调后的大语言模型进行量化压缩,部署于本地计算设备。
10、优选地,所述利用大语言模型进行产业链关系三元组抽取,包括:构建产业链关系抽取提示词,所述提示词至少包含角色设定信息、关系类型定义信息和输出格式限定信息;将所述提示词输入所述大语言模型,获取所述大语言模型输出结构化三元组数据。
11、优选地,所述对所述初始产业链知识图谱中各实体进行向量化表示,包括:利用预训练语义编码模型对各实体的名称、定义和上下文摘要进行编码,得到各实体的语义向量;利用图注意力网络对所述初始产业链知识图谱的图拓扑结构进行编码,得到各实体的图嵌入向量;将各实体的所述语义向量与所述图嵌入向量进行拼接,得到各实体的融合向量。
12、优选地,所述自下而上的层次聚类,包括:采用统一流形逼近与投影算法对所述融合向量进行降维;采用基于密度的层次聚类算法对降维后的向量进行聚类,在不同密度层次上识别产业概念簇;采用ward链接准则对聚类结果层次凝聚,生成所述多级概念主题树。
13、优选地,所述将所述多级概念主题树与所述初始产业链知识图谱融合,包括:将所述多级概念主题树中各概念节点作为新增产业概念实体加入所述初始产业链知识图谱;为各概念节点与其所属聚类簇中各成员实体之间建立第一类补充关系;将所述初始产业链知识图谱中各实体间的已有关系沿所述多级概念主题树进行层级提升与合并优化,生成第二类补充关系。
14、本发明还提供一种产业链认知图谱的自下而上构建系统,包括:数据获取模块,用于获取多源异构产业文本数据;抽取器模块,用于基于预定义的关系类型体系,利用大语言模型对所述多源异构产业文本数据进行产业链关系三元组抽取,得到初始产业链知识图谱;编码器模块,用于对所述初始产业链知识图谱中的各实体进行语义向量编码,并对所述多源异构产业文本数据进行分块和向量化编码以构建向量索引;聚类器模块,用于对各实体进行语义向量与图嵌入向量的融合编码,并根据融合向量进行层次聚类,生成多级概念主题树;融合器模块,用于将所述多级概念主题树与所述初始产业链知识图谱融合,得到层次结构的最终产业链认知图谱,并输出至图数据库存储。
15、本发明通过将产业生产关系精炼为“下位产品”(6个子类)和“下游行业”(8个子类)两类核心关系,在保持产业链关系表达完整性的前提下,显著提升了知识组织的规范性和查询效率,相较于关系类型繁多、边界模糊的现有方案具有明显优势。
16、本发明采用低秩适配方法对基座大语言模型进行垂直领域微调,并结合量化压缩技术进行轻量化部署。经微调和量化后的模型在产业链关系抽取任务上取得了超越通用大语言模型的性能表现,同时存储占用和推理成本大幅降低,为产业链知识图谱的规模化构建提供了经济可行的技术路径。
17、本发明提出语义向量与图嵌入向量相融合的实体表示方法,并采用umap降维、hdbscan密度聚类与ward层次凝聚的组合策略进行层次聚类。相较于纯语义聚类或纯结构聚类方案,本发明的融合方法在簇内语义内聚性、簇间边界清晰度和层级抽象合理性等方面均表现更优,能够自动生成符合产业认知逻辑的多级概念主题树。
1.一种产业链认知图谱的构建方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述“下位产品”关系包括以下六种子类型:细分产品、下位词、功能模块、规格型号、应用领域和技术代际;
3.根据权利要求1所述的方法,其特征在于,利用所述垂直领域微调的大语言模型进行产业链关系三元组抽取,包括:
4.根据权利要求1所述的方法,其特征在于,所述对所述初始产业链知识图谱中的各实体进行向量化表示,包括:
5.根据权利要求1所述的方法,其特征在于,所述层次聚类包括:采用统一流形逼近与投影算法对所述融合向量进行降维;
6.根据权利要求1所述的方法,其特征在于,所述将所述多级概念主题树与所述初始产业链知识图谱融合,包括:
7.一种产业链认知图谱的构建系统,其特征在于,包括:
8.根据权利要求7所述的系统,其特征在于,所述聚类器模块包括:
9.根据权利要求7所述的系统,其特征在于,所述融合器模块包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com