一种面向复杂金融指标的查询裁决方法及系统与流程

摘要: 本发明涉及金融科技领域,特别是涉及一种面向复杂金融指标的查询裁决方法及系统。背景技术:1、目前金融机构中的数据查询通常主要采用以下几类方式:2、(1)人工sql...
一种面向复杂金融指标的查询裁决方法及系统与流程

本发明涉及金融科技领域,特别是涉及一种面向复杂金融指标的查询裁决方法及系统。

背景技术:

1、目前金融机构中的数据查询通常主要采用以下几类方式:

2、(1)人工sql查询方式

3、由数据开发或分析人员根据需求手工编写sql语句完成查询。该方式对人员经验依赖强,响应周期长,不同人员对指标口径、维度选择及过滤条件的理解存在差异,容易造成结果不一致。而且,人工sql存在技术依赖强、响应慢、指标口径易出错的问题。

4、(2)bi报表配置方式

5、通过可视化工具预定义指标与维度组合,再由用户通过拖拽或筛选完成查询。该方式适用于标准化报表,但灵活性不足,对于新指标、新口径、新组合的支持通常依赖人工开发维护,只能查询预定义指标,指标-维度组合也需要人工开发和维护。

6、(3)单阶段自然语言转sql方式(nl2sql)

7、部分系统尝试直接使用大模型将自然语言问题转换为sql语句。但在金融数据中台场景中,这种方式存在以下缺陷:

8、金融指标体系复杂,同一业务指标可能存在多个监管口径、风控口径或经营口径;

9、指标并非可在任意维度下统计,存在严格的指标-维度合法性边界;

10、查询权限、字段权限、监管限制、脱敏规则等会进一步限制可查询范围;

11、用户自然语言表述通常不完整、不规范,缺少时间基准、统计粒度或口径选择;

12、高频并发场景下,直接生成sql的方式可控性和稳定性不足。

13、目前在金融机构的数据查询场景中,常见技术方式至少存在以下缺陷:

14、4.1缺少“可查询性”判定机制

15、现有系统大多默认用户问题“可以直接查”,但在金融场景下,查询请求首先需要判断:指标是否可识别;维度是否可识别;时间口径是否完整;指标与维度是否为合法组合;是否触及监管、风控或权限边界。

16、4.2缺少对治理约束的结构化求解机制

17、现有技术多将自然语言直接映射到sql,缺少一个独立的、可校验的中间治理层。一旦自然语言存在歧义、缺项或非法组合,系统往往只能报错或生成错误sql,而难以进行约束纠偏、降级处理或安全改写。

18、4.3缺少“纠偏/降级/改写”的机制

19、用户在自然语言中提出的查询往往并不完全符合治理约束,例如:查询口径缺失;维度非法;时间基准不明确;权限不足。

20、现有系统通常只能失败返回,不能自动进行“补齐、替换、降级、脱敏”等安全改写。

21、4.4缺少“改写轨迹”和“冲突记忆”

22、在企业级金融查询场景中,系统不仅需要返回结果,还需要说明“为什么可以这样查”“经过了哪些纠偏”“采用了什么口径”,便于审计、复盘与持续优化。现有通用nl2sql方法通常缺少这类轨迹记录和冲突复用机制。

技术实现思路

1、本发明的目的是为了克服上述背景技术的不足,提供一种面向复杂金融指标的查询裁决方法及系统,使其能够在金融复杂指标治理场景下,实现自然语言查询的可控执行、可解释返回和持续学习优化。

2、本发明提供的一种面向复杂金融指标的查询裁决方法,包括如下步骤:步骤一、接收用户输入的自然语言查询请求;步骤二、从自然语言查询请求中提取包括指标候选、维度候选、时间候选、粒度候选与附加限制在内的查询要素作为候选结果;步骤三、基于候选结果构建多层图结构表示的治理查询意图图;步骤四、基于治理查询意图图对当前查询请求执行具备双层机制的可查询性裁决;步骤五、根据指标-维度-口径-权限约束图谱,对当前查询请求执行约束求解,确定满足治理要求的可执行查询路径;步骤六、当可查询性裁决结果为可纠偏后查询或可降级后查询时进入纠偏或降级改写阶段;步骤七、根据约束求解路径和最终改写结果生成受治理查询中间表示;步骤八、将受治理查询中间表示编译为sql语句、指标服务请求、宽表查询语句这些目标执行指令;步骤九、完成查询执行后进一步对查询结果执行异常检测与样本沉淀处理;步骤十、对于不可查询或已成功纠偏的请求,将对应冲突模式、改写策略、最终执行计划及验证结果写入规则库或知识库。

3、在上述技术方案中,所述步骤三中,所述治理查询意图图采用多层图结构表示,所述多层图结构表示包括语义层、治理层和执行层,其中:语义层用于承载用户原始自然语言中的短语片段、时间表达、限定词、修饰词及上下文语义片段;治理层用于承载标准指标节点、标准维度节点、标准口径节点、权限节点、监管约束节点及场景节点;执行层用于承载聚合粒度节点、过滤条件节点、输出字段节点、目标执行引擎节点和风险等级节点。

4、在上述技术方案中,所述步骤三中,所述语义层、治理层和执行层的各层节点之间通过以下边关系连接:语义映射边,用于表示自然语言片段与标准指标、标准维度、标准口径之间的候选映射关系;依赖边,用于表示指标与口径、指标与时间基准、维度与权限范围之间的依赖关系;合法组合边,用于表示某指标在哪些维度和口径下被合法统计;冲突边,用于表示指标与维度、时间口径、权限范围之间的不兼容关系;降级替代边,用于表示当原始查询不可直接满足时,使用何种降级维度、替代口径或脱敏结果替代。

5、在上述技术方案中,所述步骤三中,治理查询意图图中的每个候选节点生成候选置信度向量,所述候选置信度向量包括语义匹配得分、历史共现得分、场景一致性得分、规则匹配得分和词面归一化得分。

6、在上述技术方案中,所述步骤四的具体过程如下:所述可查询性裁决采用“硬约束校验 + 联合评分裁决”的双层机制,其中,硬约束校验包括:(1)候选指标是否存在标准指标编码;(2)候选维度是否存在标准维度编码;(3)候选指标与候选维度之间是否存在合法组合关系;(4)候选时间表达是否可被规范化为合法时间基准;(5)当前用户权限是否允许访问所请求粒度和字段范围;(6)当前查询是否触发监管禁止规则、脱敏规则或风控禁止规则;联合评分裁决包括以下得分项:(1)指标语义置信度得分;(2)维度语义置信度得分;(3)指标-维度组合得分;(4)指标-口径组合得分;(5)维度-权限组合得分;(6)时间基准一致性得分;(7)业务场景一致性得分;(8)历史相似查询成功得分;将硬约束校验结果与联合评分结果输入约束裁决模块,并输出以下四类状态之一:(1)可直接查询:所有硬约束满足,且联合评分高于第一阈值;(2)可纠偏后查询:硬约束存在口径缺失、时间表达不规范、别名未归一化低风险问题,且联合评分位于第一阈值与第二阈值之间;(3)可降级后查询:原始查询在粒度、维度或权限上不满足直接执行条件,但通过替代维度、聚合降级、口径替代或结果脱敏后仍可形成合法执行计划,且联合评分位于第二阈值与第三阈值之间;(4)不可查询:存在关键要素缺失、核心监管冲突、不可替代的权限冲突,或联合评分低于第三阈值;同时,约束裁决模块记录触发当前裁决状态的主导原因,包括缺失口径、维度非法、权限不足、时间基准模糊、监管冲突。

7、在上述技术方案中,所述步骤五的具体过程如下:基于硬约束对候选查询路径进行剪枝,移除触发监管禁止、权限越界或不可替代非法组合的路径,所述硬约束包括监管约束、权限约束、字段可见性约束、脱敏约束和不可突破的指标-维度非法组合约束;基于半硬约束对剩余候选路径执行补全、规范化和依赖修正,包括补全口径、规范时间基准、匹配合法聚合粒度,所述半硬约束包括指标口径依赖约束、时间基准依赖约束、聚合粒度约束和场景限定约束;基于软约束对剩余路径进行最优路径搜索,选取语义偏离度最小、维度降级损失最小、口径替换损失最小且解释性最高的候选路径,所述软约束包括用户历史查询偏好、机构常用统计习惯、历史高频模板和历史成功路径偏好。

8、在上述技术方案中,所述步骤六中,所述纠偏或降级改写包括以下一种或多种:(1)时间口径补全与规范化,将表达改写为标准时间范围和标准时间基准;(2)指标名称归一化,将业务别名、缩写、俗称映射为标准指标编码;(3)维度名称归一化,将自然语言中的非标准维度表述映射为标准维度编码;(4)非法维度替换,当原始维度不可用时,将其替换为最接近的合法维度;(5)细粒度降级,将明细级查询改写为聚合级查询;(6)权限降级,将不可访问的字段结果改写为脱敏统计结果或只返回上层聚合结果;(7)口径默认化,当指标存在多个标准口径而用户未明确指定时,根据用户角色、业务场景或监管优先级自动选择默认口径;(8)过滤条件补全,当查询语义中隐含客户类型、产品范围、机构范围条件时,自动补全合法过滤条件;所述步骤七中,对生成的受治理查询中间表示执行schema校验、字段类型校验、枚举域校验、字段依赖关系校验、权限一致性校验及风险等级一致性校验,仅当校验通过时,才进入查询编译阶段。

9、在上述技术方案中,所述步骤八中,执行查询编译前先进行编译前一致性验证,所述一致性验证包括:(1)字段映射一致性验证,用于校验标准指标编码、标准维度编码与底层数据表字段映射是否存在且唯一;(2)口径一致性验证,用于校验当前口径与时间基准、过滤条件及聚合粒度之间是否一致;(3)权限一致性验证,用于校验当前执行计划是否超出用户可访问字段范围和粒度范围;(4)执行风险验证,用于识别是否存在跨大表全扫、超大结果集、异常高基数字段组合或高风险跨域查询;仅当编译前一致性验证通过时才执行sql拼接、接口参数组装或查询计划下发;若一致性验证不通过,则自动回退重新执行改写或参数修正;若回退后仍不满足执行条件,则输出不可查询结果或进入人工审核路径。

10、在上述技术方案中,所述步骤九中,所述执行异常检测是当检测到异常时,系统将当前查询请求、治理查询意图、裁决状态、改写轨迹、受治理查询中间表示、最终执行计划、异常类型及异常结果写入失败样本库;所述样本沉淀处理是当查询执行成功且结果通过校验或被用户采纳时,系统将对应查询路径、改写轨迹和执行结果写入成功样本库、模板库和冲突记忆库。

11、本发明还提拱了一种面向复杂金融指标的查询裁决系统,包括具有处理器和存储器的计算机装置,所述处理器处理存储于存储器中的计算机程序,该计算机程序能够执行面向复杂金融指标的查询裁决方法。

12、本发明面向复杂金融指标的查询裁决方法及系统,具有以下有益效果:

13、通过ai增强架构,系统不再将自然语言直接转换为sql,而是先形成受治理约束的查询意图和查询计划,再生成可执行查询语句,从而提高金融复杂指标场景下的可控性、稳定性和可解释性。