图拓扑检索与连通图补全方法与流程
本发明涉及一种图拓扑检索与连通图补全方法。适用于数据库智能查询。
背景技术:
1、随着企业级业务系统的迭代升级,业务数据库通常包含数十至数百张数据表,表间通过外键、维度表、枚举映射形成复杂的关联网络。以自然语言问数为代表的智能数据交互技术,依托大语言模型将用户自然语言请求转换为可执行的结构化查询语句,大幅降低了业务数据的使用门槛。
2、在现有技术落地过程中,若将全库表结构、字段定义与表间关联关系全部作为上下文输入大语言模型,一方面受限于模型上下文窗口长度,无法完整承载大规模schema信息;另一方面,长上下文易出现注意力稀释问题,无关schema片段会干扰模型判断,导致生成的查询语句出现遗漏表关联、错误关联、幻觉表名等问题。因此工程中普遍采用schema召回机制,仅向模型输入与用户查询相关的部分表结构信息。
3、现有schema召回多采用语义匹配、结构匹配等多路策略筛选相关表节点,再提取两端均在召回集合内的关联边生成候选子图。但该技术方案存在以下突出缺陷:
4、1、召回生成的候选子图常存在拓扑不连通问题,多个业务相关的表分属不同连通组件,缺少连接所需的中间桥接表或关联关系,无法形成完整的表连接路径,导致下游无法生成正确的多表关联查询。
5、2、现有的图补全方法多直接套用通用图论的最短路径算法,对所有节点无差别对待,未区分业务数据库中实体表、维度表、枚举本体的角色差异,易将维度表、枚举类节点误用为长距离桥接,生成无业务语义的无效连接路径,甚至出现维表枢纽过度扇出的问题。
6、3、在大规模业务库场景下,现有技术难以平衡查询效率与结果完整性:扩大召回范围会导致上下文规模膨胀,降低模型生成质量与查询效率;缩小召回范围则易遗漏关键关联,加剧子图断裂问题。
7、4、传统图数据检索仅返回节点集合,缺乏对拓扑结构的深度分析,无法提供连通组件分布、节点类别构成等细粒度信息,难以支撑结果解释与参数调优。
技术实现思路
1、本发明要解决的技术问题是:针对上述存在的问题,提供一种图拓扑检索与连通图补全方法。
2、本发明所采用的技术方案是:一种图拓扑检索与连通图补全方法,包括:
3、将目标业务数据库中的数据表及表间关联关系,抽象为图节点与图边,构成schema关系图;
4、接收查询请求,并采用至少两种召回策略在所述schema关系图中召回相关节点,对各策略召回的节点按照预设合并规则进行合并,得到候选节点集合;
5、基于候选节点集合在所述schema关系图中提取两端均属于候选节点集合的关联边,生成候选子图;
6、对所述候选子图进行连通性分析,识别得到所述候选子图包含的所有连通组件;
7、当所述候选子图包含至少两个连通组件时,将每个连通组件分别封装为一个超节点,从所述schema关系图中筛选出不属于候选节点集合的节点作为候选桥接节点,基于所述schema关系图的边关系,构建包含超节点与候选桥接节点的超图;
8、在所述超图中,对每组成对的连通组件超节点搜索满足预设最大路径长度的候选路径,计算各候选路径的路径质量得分,并基于质量得分进行筛选,得到每对超节点对应的目标连接路径;
9、将各目标连接路径在所述schema关系图中对应的节点与边并入所述候选子图,得到补全后的连通子图,并将所述连通子图作为结构化查询生成的约束上下文输出。
10、通过上述技术手段,通过超图抽象将多组件连通补全问题转化为低复杂度的超节点间路径搜索问题,大幅压缩路径搜索空间,提升大规模图下的补全运行效率;通过连通补全自动填补召回子图中的断裂关联,使输出子图具备完整连通性,为下游结构化查询生成提供连贯的表关联约束,有效减少遗漏关联、错误关联等问题,在不输入全量schema的前提下保障多表查询的生成成功率,实现上下文规模控制与信息完整性的平衡。
11、作为优选方案,所述图节点的类别属性至少包括实体类、关系类、维度表类与枚举本体类;所述从schema关系图中筛选候选桥接节点,包括:筛选出不属于候选节点集合、且类别为实体类或关系类的节点作为候选桥接节点。
12、通过上述技术手段,基于业务数据库的节点类型属性对候选桥接节点进行类型约束,从搜索空间层面直接排除枚举本体、维度表类节点的桥接资格,从根源上避免枚举、维表被误用为长距离连接桥梁,保证补全路径的骨干节点均为具备业务关联意义的实体或关系类节点,显著提升补全结果的业务合理性。
13、作为优选方案,所述预设合并规则为加权合并规则,包括:
14、为各召回策略分配对应的策略权重,为节点在单策略召回结果中的排序位次分配对应的位置权重,计算每个节点的综合加权得分,按照综合加权得分由高到低排序,并截取不超过预设最大数量的节点,形成候选节点集合。
15、通过上述技术手段,通过策略权重区分不同召回策略的可信度,通过位置权重体现节点排序的相关性强弱,实现多路召回结果的科学融合;同时通过最大节点数截断,从召回阶段严格控制初始子图的规模,避免后续补全后上下文过度膨胀,在保障召回相关性的前提下平衡召回全面性与计算复杂度。
16、作为优选方案,所述对候选子图进行连通性分析,还输出各连通组件的节点类别分布、叶组件标识以及孤立节点列表中的至少一项;其中,仅由维度表类与枚举本体类节点构成的连通组件标记为叶组件。
17、通过上述技术手段,提供细粒度的组件级拓扑特征,包括节点类别构成、叶组件属性与孤立节点信息,既为后续路径过滤提供判断依据,也为运维人员调参与结果解释提供数据支撑,提升方案的可解释性与可调试性。
18、作为优选方案,在筛选目标连接路径前,先对候选路径执行过滤步骤:剔除中间包含叶组件的候选路径,以及中间节点为维度表类或枚举本体类的候选路径;再对剩余候选路径按照路径质量得分排序筛选。
19、通过上述技术手段,通过前置过滤规则直接剔除不符合业务语义的无效候选路径,减少后续路径质量评估的计算量,同时进一步保障补全路径不会以叶组件、维度表或枚举节点作为中间桥接,避免生成无业务意义的冗长维度链或枚举连接,确保补全路径符合业务数据库的建模逻辑。
20、作为优选方案,所述路径质量得分,由路径长度惩罚因子与路径中间各节点类别对应的加权因子连乘得到;其中实体类、关系类节点对应的加权因子高于维度表类、枚举本体类节点对应的加权因子,路径长度越长,路径长度惩罚因子数值越小。
21、通过上述技术手段,采用多因子量化评估路径质量,通过长度惩罚因子优先选择跳数更少的短路径,控制补全后子图的规模;通过节点类别加权因子引导路径优先选择实体、关系类骨干节点,用业务语义权重修正纯拓扑最短路径,避免出现伪最短路径,实现拓扑最短与语义最优的平衡。
22、作为优选方案,所述召回策略包括语义召回、结构召回、关系召回与样本召回中的至少两种;其中,语义召回基于查询语义匹配相关的节点和边;结构召回根据图结构特征识别重要的拓扑元素;关系召回通过关系类型和属性进行精确匹配;样本召回基于数据样本的统计特征进行选择。
23、通过上述技术手段,多维度召回策略从语义、拓扑、关系、统计多个维度覆盖相关节点,避免单一召回策略的片面性,提升召回全面性;限制单对组件的保留路径条数,进一步控制补全后子图的规模,避免补全带来的节点过度扩张,保障下游上下文的信息密度。
24、一种图拓扑检索与连通图补全装置,包括:
25、图构建模块,用于将目标业务数据库中的数据表及表间关联关系,抽象为图节点与图边,构成schema关系图;
26、多维度召回模块,用于接收查询请求,并采用至少两种召回策略在所述schema关系图中召回相关节点,对各策略召回的节点按照预设合并规则进行合并,得到候选节点集合;
27、子图生成模块,用于基于候选节点集合在所述schema关系图中提取两端均属于候选节点集合的关联边,生成候选子图;
28、连通性分析模块,用于对所述候选子图进行连通性分析,识别得到所述候选子图包含的所有连通组件;
29、超图构建模块,用于当所述候选子图包含至少两个连通组件时,将每个连通组件分别封装为一个超节点,从所述schema关系图中筛选出不属于候选节点集合的节点作为候选桥接节点,基于所述schema关系图的边关系,构建包含超节点与候选桥接节点的超图;
30、路径评估筛选模块,用于在所述超图中,对每组成对的连通组件超节点搜索满足预设最大路径长度的候选路径,计算各候选路径的路径质量得分,并基于质量得分进行筛选,得到每对超节点对应的目标连接路径;
31、连通补全模块,用于将各目标连接路径在所述schema关系图中对应的节点与边并入所述候选子图,得到补全后的连通子图,并将所述连通子图作为结构化查询生成的约束上下文输出。
32、一种计算机设备,包括处理器和存储器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现所述的图拓扑检索与连通图补全方法的步骤。
33、一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现所述的图拓扑检索与连通图补全方法的步骤。
34、本发明的有益效果是:本发明通过超图降维的连通补全机制,自动发现并填补召回子图中缺失的桥接节点与关联边,使输出子图具备完整连通性,为下游结构化查询生成提供连贯的多表关联约束,从根源上解决召回子图断裂导致无法生成正确多表查询的核心问题;在实际业务库验证场景中,可显著提升复杂多表问数的查询生成通过率。
35、本发明将业务数据库节点划分为实体、关系、维度表、枚举本体等类别,在超图构建、路径过滤、质量评估全流程执行差异化策略,从根源上避免枚举、维表被误用为长距离桥接,抑制维表枢纽过度扇出问题,补全结果完全符合业务数据库的建模逻辑,具备强业务可解释性。
36、本发明从召回阶段的节点数截断、路径搜索的长度上限,到单对组件路径条数限制,在多个环节设置规模约束,既保证子图连通性与信息完整性,又严格控制补全后子图的膨胀程度,避免全量schema输入带来的上下文过长、注意力稀释等问题,在大规模业务库场景下兼顾运行效率与查询效果。
37、本发明连通性分析输出组件类别分布、叶组件标识、孤立节点等多维度拓扑信息,不仅为补全算法提供精细输入,也支撑运维人员进行效果调参与问题排查,改变了传统图检索仅返回节点集合的浅度输出模式。
38、本发明整合语义、结构、关系、样本多路召回策略,从文本语义、拓扑重要性、关联类型、数据统计多个维度匹配相关节点,弥补单一语义召回易遗漏拓扑关键节点的缺陷,提升了初始召回的覆盖度与准确性,为后续补全提供优质基础。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com