行业数字化转型场景图谱生成方法、系统、设备及介质与流程
本发明属于人工智能,更具体的说是涉及一种行业数字化转型场景图谱生成方法、系统、设备及介质。
背景技术:
1、在重点行业数字化转型实践中,数字化转型服务商与制造业企业在需求理解、方案对接、路径规划等方面沟通成本高、共识难达成,其根本原因在于工业化语言与数字化语言之间存在壁垒,双方缺乏共同的结构化对接载体。目前行业内主要依赖专家经验手工构建数字化转型场景图谱,但传统方式高度依赖领域专家手工标注实体关系与业务规则,构建成本高昂、迭代周期漫长,且不同专家理解与划分标准不一致,图谱标准化程度低、可复用性差,难以形成统一规范的行业数字化转型场景图谱。
2、近年来,大语言模型在知识抽取与结构化生成方面展现出能力,但现有技术多聚焦于通用知识图谱构建,缺乏面向行业数字化转型场景的专用生成框架。通用方法生成的图谱内容与行业实际需求脱节,输出格式不统一、字段不完整,难以直接用于行业场景的规范化表达;场景划分和要素关联高度依赖专家经验,标准不一,难以复用;图谱构建后难以根据不同行业动态调整和扩展,更新维护成本高。同时,现有技术未能与大模型生成后的用户交互、二次编辑、场景解答等功能形成闭环,图谱构建完成后难以持续演进和智能应用。
3、在场景优先级评估、图谱更新与应用输出方面,现有技术多依赖主观打分或简单加权,难以客观反映实施难度、预期收益和风险水平;图谱更新常采用全量重建方式,新资料出现后更新困难,难以保持时效性;图谱应用形式单一,难以与业务系统深度融合,用户交互和智能问答能力不足。上述问题导致现有行业数字化转型场景图谱构建效率低、动态调整困难、缺乏协同机制、理论方法落地难,亟需一种适应行业数字化转型特点的智能化场景图谱生成方法。
技术实现思路
1、针对以上问题,本发明的目的在于提供一种行业数字化转型场景图谱生成方法、系统、设备及介质,借助大模型与行业图谱骨架协同驱动的图谱生成与动态维护机制,实现了行业数字化转型场景图谱的高效、规范、动态和智能化生成,提升了图谱构建效率、标准化程度与智能应用能力。
2、本发明为实现上述目的,通过以下技术方案实现:
3、第一方面,本技术实施例提供一种行业数字化转型场景图谱生成方法,包括如下步骤:
4、s1:采集多源异构数据,所述多源异构数据包括文档类数据、表格类数据、网页与接口类数据、传感类数据;对所述多源异构数据进行预处理,得到标准化数据;所述预处理包括解析、清洗、去重和实体消歧;
5、s2:基于与预设图谱骨架对齐的结构化输出模板,利用预训练语言模型从所述标准化数据中抽取行业、产业链环节、业务活动、转型场景和四类数字化要素,并进行层级标注、优先级标注和关联关系识别,经校验后得到场景图谱关联数据;
6、s3:以所述预设图谱骨架为模板执行填空式本体生成,得到动态本体,并基于动态本体对场景图谱关联数据进行知识融合与图谱建模,存储于图数据库,得到行业数字化转型场景图谱;
7、s4:对所述行业数字化转型场景图谱中的场景进行优先级评估,并将评估得到的场景优先级作为属性写入所述图数据库中对应的场景节点;
8、s5:根据更新触发条件,利用新增的多源异构数据更新所述行业数字化转型场景图谱;
9、s6:对所述行业数字化转型场景图谱进行可视化渲染和/或应用输出。
10、在一个可选的实施方式中,所述步骤s1包括:
11、对所述多源异构数据执行如下解析流程,生成解析结果数据:
12、从文档类数据中提取文本层,当文本层缺失或乱码时,采用光学字符识别页面图像;
13、按行解析表格类数据,得到字段与取值对应的记录;
14、通过超文本传输协议接口或采集程序按固定字段抓取网页与接口类数据;
15、按采样协议或按时间戳与设备标识解析传感类数据,得到带时间标识的记录,并对所述带时间标识的记录按时间戳对齐;
16、将所述解析结果数据统一转换为utf-8文本,并添加来源、类型、采集时间三类元数据标签;
17、清洗归一化所述utf-8文本,删除页眉页脚、目录、空白行和重复段落,并对全角/半角、简繁体进行归一化,得到归一化文本;
18、按段落计算所述归一化文本的内容指纹,相同内容指纹仅保留一条,得到去重文本;
19、针对所述去重文本中含义相同但表述不同的概念,先通过语义词典做同义归并;对未被语义词典覆盖的概念,利用以下公式计算两个向量的余弦相似度:
20、
21、当不低于预设相似度阈值时,判定为同一实体并合并,且保留各自出处,得到消歧文本;
22、按规则检查所述消歧文本的必填字段与命名规范,并按预设比例抽检样本,通过下式计算合格率:
23、
24、其中,为抽检合格的样本数,为抽检样本总数;当低于预设合格率阈值时,整批退回重处理;当大于等于预设合格率阈值时,将消歧文本作为标准化数据。
25、在一个可选的实施方式中,所述步骤s2包括:
26、预定义与预设图谱骨架对齐的javascript对象表示法输出模板;所述预设图谱骨架包括1个行业层级、5类产业链环节、个业务活动及对应转型场景、四类数字化要素;所述javascript对象表示法输出模板的字段包括行业、产业链环节、业务活动、转型场景、四类数字化要素、层级和优先级;所述四类数字化要素包括数据要素、知识模型、工具软件和人才技能;
27、向预训练语言模型输入所述标准化数据与预设数量的标注示例,通过预训练语言模型按所述javascript对象表示法输出模板逐项填充,输出结构化抽取结果;
28、所述结构化抽取结果中识别转型场景,按粒度由粗到细划分第一层级行业级、第二层级领域级、第三层级企业级、第四层级岗位级,并将识别出的转型场景区分为主场景与细分场景,所述细分场景为主场景的进一步分解,细分场景继承所属主场景的四类数字化要素,并将所划分的层级写入所述结构化抽取结果中对应转型场景的层级字段;所述层级标注用于构建层级索引;
29、对所述结构化抽取结果中的主场景,在所述主场景的四类数字化要素字段中标注数据要素、知识模型、工具软件和人才技能;
30、对所述结构化抽取结果中的主场景和细分场景,根据预设的转型导向在所述结构化抽取结果的优先级字段中标记为基础必选级、核心关键级或前瞻创新级;
31、从所述结构化抽取结果中识别跨产业链环节的协同关系和跨业务活动的集成关系,将所述协同关系和所述集成关系写入所述结构化抽取结果的关联关系字段,作为待映射为图谱边的关联关系;
32、对标注后的结构化抽取结果执行校验与消歧,包括:检查字段类型与枚举值是否合法;检查层级归属关系是否完整,即第四层级、第三层级、第二层级分别归属其直接上一层级,对缺失的层级归属关系予以补全或标记;同一实体出现多种表述时,统计每种表述在所述结构化抽取结果中的出现频次,选择出现频次最高的表述作为该实体的表述;同一关系出现矛盾时,统计每种关系表述在所述结构化抽取结果中的来源数量,选择来源数量最多的关系表述作为该关系的表述;获取所述预训练语言模型在生成每条结构化抽取结果时输出的生成概率,将所述生成概率作为该条结构化抽取结果的置信度,低于预设置信度阈值0.7的转入人工复核队列;
33、基于校验与消歧后的结构化抽取结果构成场景图谱关联数据。
34、在一个可选的实施方式中,所述步骤s3包括:
35、获取所述预设图谱骨架中已定义的实体类型和关系类型,根据目标行业在所述预设图谱骨架中填充具体实例与属性规范,得到动态本体;所述实体类型包括行业、产业链环节、业务活动、转型场景和四类数字化要素;所述关系类型包括归属、包含、关联、分解、跨环节协同和跨业务协同;
36、构建图数据库,将所述图数据库的节点类型和边类型与所述javascript对象表示法输出模板的字段对齐;
37、在所述图数据库中按照所述动态本体定义节点类型和边类型,通过分解关系连接主场景与细分场景,将所述四类数字化要素作为属性挂载于主场景节点,细分场景复用所属主场景的四类数字化要素;
38、基于所述动态本体,将所述场景图谱关联数据中的实体映射为所述图数据库的图谱节点并生成节点标识,将所述场景图谱关联数据中的关系映射为所述图数据库的图谱边并生成边索引;
39、计算新抽取实体的向量与已有图谱中的实体向量的余弦相似度,当所述余弦相似度不低于预设融合相似度阈值时,将新抽取实体与已有实体合并为同一节点,以减少所述图数据库中的冗余节点;
40、针对所述图数据库中缺失的关系边,统计该关系边两端实体在已有图谱中的历史共现次数,计算所述历史共现次数与所述两端实体总出现次数的比值,当所述比值不低于预设共现概率阈值时,在所述两端实体之间补全该关系边,并在补全的关系边上标注推断来源;
41、当同一实体的同一属性存在多个取值时,统计每个取值在所述场景图谱关联数据中的出现频次,选择出现频次最高的取值作为该属性的最终取值;当存在多个取值的出现频次相同时,选择更新时间最新的取值作为该属性的最终取值;
42、按照所述动态本体定义的节点类型和边类型,对映射得到的图谱节点和图谱边、合并后的节点以及补全的关系边进行组织,得到行业数字化转型场景图谱;
43、将所述行业数字化转型场景图谱存储于所述图数据库,其中,节点表示实体并带有类型、名称、来源属性,边表示关系并带有关系类型与置信度,所述图数据库支持按行业命名空间隔离和版本号管理,并导出资源描述框架格式和/或javascript对象表示法链接数据格式。
44、在一个可选的实施方式中,所述步骤s4包括:
45、从所述图数据库中读取每个场景节点的节点属性数量,根据所述节点属性数量计算数字化要素成熟度;读取每个场景节点在所述图数据库中的关联边数量和层级深度,根据所述关联边数量和所述层级深度计算实施难度;读取每个场景节点关联的历史收益统计值,根据所述历史收益统计值计算预期收益;读取每个场景节点关联的历史风险统计值,根据所述历史风险统计值计算实施风险;将所述数字化要素成熟度、所述实施难度、所述预期收益和所述实施风险归一化到到;
46、所述数字化要素成熟度按如下公式计算:
47、
48、其中,为第个场景节点的数字化要素成熟度,、、、分别为第个场景节点的数据要素属性、知识模型属性、工具软件属性和人才技能属性的取值,存在时取,不存在时取;
49、所述实施难度按如下公式计算:
50、
51、其中,为第个场景节点的实施难度,为第个场景节点在所述图数据库中的关联边数量,为所述图数据库中所有场景节点的关联边数量的平均值,为第个场景节点的层级深度,为所述图数据库中所有场景节点的层级深度的最大值;
52、所述预期收益按如下公式计算:
53、
54、其中,为第个场景节点的预期收益,为第个场景节点关联的历史收益统计值的数量,为第个历史收益统计值;
55、所述实施风险按如下公式计算:
56、
57、其中,为第个场景节点的实施风险,为第个场景节点关联的历史风险统计值的数量,为第个历史风险统计值;
58、将计算得到的所述数字化要素成熟度、所述实施难度、所述预期收益和所述实施风险分别按如下公式归一化到到:
59、
60、其中,为第个场景节点的待归一化指标值,为所有场景节点在该指标上的取值集合,为所述取值集合中的最小值,为所述取值集合中的最大值,为归一化后的指标值;
61、通过层次分析法对归一化后的数字化要素成熟度、实施难度、预期收益和实施风险进行两两比较,构建判断矩阵并计算权重向量,进行一致性检验,当一致性比率小于预设一致性阈值时判定权重分配合理,其中:
62、
63、为所述判断矩阵的最大特征值,为所述判断矩阵的阶数,为预设的平均随机一致性指标;
64、按所述权重向量对归一化后的数字化要素成熟度、实施难度、预期收益和实施风险进行加权求和,得到每个场景的综合得分:
65、
66、其中,为第个场景节点的综合得分,、、、分别为所述权重向量中数字化要素成熟度、实施难度、预期收益和实施风险的权重分量,且满足,、、、分别为第个场景节点归一化后的数字化要素成熟度、实施难度、预期收益和实施风险;
67、按综合得分对所有场景排序,形成优先级清单,并将各场景的综合得分及优先级作为属性写入所述图数据库中对应的场景节点。
68、在一个可选的实施方式中,所述步骤s5包括:
69、设置定时触发和/或事件触发作为更新触发条件,所述事件触发包括新资料入库;
70、满足更新触发条件时,采集新增的多源异构数据,对所述新增的多源异构数据执行所述预处理,得到新增标准化数据;
71、基于所述结构化输出模板和所述预训练语言模型,从所述新增标准化数据中抽取行业、产业链环节、业务活动、转型场景和四类数字化要素,得到新增场景图谱关联数据;
72、基于所述动态本体对所述新增场景图谱关联数据进行知识融合与图谱建模,生成增量节点和增量关系;
73、将所述增量节点和增量关系合并至所述行业数字化转型场景图谱,仅写入新增或更新部分并更新所述图数据库的索引和邻接表,赋予新版本号。
74、在一个可选的实施方式中,所述步骤s6包括:
75、对所述行业数字化转型场景图谱进行可视化渲染,前端基于所述图数据库的层级索引按层级渲染出拓扑图和/或层级图,接收用户对节点和边的编辑操作并写回所述图数据库,接收场景检索、要素查询、关系链路追踪和多维统计请求并基于所述图数据库的邻接表从所述行业数字化转型场景图谱中返回相应结果;
76、对所述行业数字化转型场景图谱进行应用输出,按模板从所述行业数字化转型场景图谱中提取行业数字化转型场景图谱矩阵图、数字化要素清单与场景优先级清单并导出为报告,通过应用程序接口网关以标准接口向企业数字化平台、工业互联网平台和/或业务系统输出资源描述框架格式和/或javascript对象表示法链接数据格式的图谱数据;
77、通过问答服务接收用户问题,所述问答服务对所述用户问题进行语义解析得到检索条件,根据所述检索条件在所述行业数字化转型场景图谱和所述标准化数据中检索出相关实体、相关关系与原文片段,根据所述相关实体、相关关系与原文片段生成自然语言回答,并对所述自然语言回答中的内容标注来源。
78、第二方面,本技术实施例还提供了一种行业数字化转型场景图谱生成系统,包括:
79、数据采集与预处理模块,用于采集多源异构数据,所述多源异构数据包括文档类数据、表格类数据、网页与接口类数据、传感类数据;对所述多源异构数据进行预处理,得到标准化数据;所述预处理包括解析、清洗、去重和实体消歧;
80、抽取模块,用于基于与预设图谱骨架对齐的结构化输出模板,利用预训练语言模型从所述标准化数据中抽取行业、产业链环节、业务活动、转型场景和四类数字化要素,并进行层级标注、优先级标注和关联关系识别,经校验后得到场景图谱关联数据;
81、图谱生成模块,用于以所述预设图谱骨架为模板执行填空式本体生成,得到动态本体,并基于动态本体对场景图谱关联数据进行知识融合与图谱建模,存储于图数据库,得到行业数字化转型场景图谱;
82、优先级评估模块,用于对所述行业数字化转型场景图谱中的场景进行优先级评估,并将评估得到的场景优先级作为属性写入所述图数据库中对应的场景节点;
83、更新模块,用于根据更新触发条件,利用新增的多源异构数据更新所述行业数字化转型场景图谱;
84、输出模块,用于对所述行业数字化转型场景图谱进行可视化渲染和/或应用输出。
85、第三方面,本技术实施例还提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现如上文任一项所述行业数字化转型场景图谱生成方法的步骤。
86、第四方面,本技术实施例还提供了一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上文任一项所述行业数字化转型场景图谱生成方法的步骤。
87、从以上技术方案可以看出,本发明具有以下优点:
88、本技术提供的行业数字化转型场景图谱生成方法中,通过多源异构数据的统一采集与预处理、基于预设图谱骨架和结构化输出模板的智能抽取、填空式动态本体生成与图数据库建模、场景优先级的量化评估与属性回写、增量更新以及可视化交互与智能应用输出,实现了行业数字化转型场景图谱的自动化、标准化、动态化和智能化生成,提升了图谱构建效率、数据质量、结构一致性、评估客观性和应用交互能力,为行业数字化转型提供了统一、规范、可复用的结构化载体。
89、本技术对文档类数据、表格类数据、网页与接口类数据、传感类数据分别进行解析,并通过清洗归一化、内容指纹去重、语义词典归并、向量相似度消歧、必填字段检查与抽检合格率控制等处理,将不同来源、不同格式的数据统一转换为标准化数据,保证了行业数据来源的完整性和格式的一致性,提升了数据的可追溯性和可用性,为图谱构建提供了高质量的数据基础。
90、本技术通过预定义与预设图谱骨架对齐的结构化输出模板约束预训练语言模型的生成过程,使模型逐项填充行业、产业链环节、业务活动、转型场景、四类数字化要素、层级和优先级等字段,并结合层级划分、主场景与细分场景分解、四类数字化要素标注、优先级标记、关联关系识别、校验消歧和置信度复核,实现了图谱抽取的自动化,保证了输出内容的格式统一、字段完整和语义一致,提升了图谱构建的规范性和可复用性。
91、本技术以预设图谱骨架为模板执行填空式本体生成,得到动态本体,并在图数据库中定义节点类型和边类型,通过分解关系连接主场景与细分场景,将四类数字化要素挂载于主场景节点,再利用实体向量余弦相似度进行节点合并、基于历史共现统计进行关系补全、基于出现频次和更新时间进行属性冲突消解,同时支持行业命名空间隔离、版本号管理以及资源描述框架格式和javascript对象表示法链接数据格式导出,提升了图谱的一致性、可扩展性和互操作性。
92、本技术从图数据库中客观读取场景节点的节点属性数量、关联边数量、层级深度、历史收益统计值和历史风险统计值,按照相应公式计算数字化要素成熟度、实施难度、预期收益和实施风险,并进行归一化处理,再通过层次分析法构建判断矩阵、计算权重向量和进行一致性检验,最终加权求和得到每个场景的综合得分并写回对应场景节点,提升了场景优先级评估的客观性、可解释性和决策支持能力,同时评估结果可用于图数据库索引构建优先级或图谱查询时的排序与过滤。
93、本技术通过定时触发和/或事件触发采集新增的多源异构数据,经预处理、抽取、知识融合与图谱建模生成增量节点和增量关系,仅写入新增或更新部分并赋予新版本号,实现了图谱的增量更新与版本管理;同时支持前端按层级渲染拓扑图和/或层级图、节点和边二次编辑并写回图数据库、场景检索、要素查询、关系链路追踪、清单报告导出、应用程序接口网关标准输出以及基于检索结果生成自然语言回答并标注来源的问答服务,形成了图谱构建、更新、交互与应用的闭环,提升了图谱的时效性、可用性和与企业数字化平台、工业互联网平台及业务系统的融合能力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com