一种面向免疫规划数据分析的确定性查询编译方法及系统与流程

摘要: 本发明涉及自然语言处理与数据库查询,具体涉及一种面向免疫规划数据分析的确定性查询编译方法及系统。背景技术:1、免疫规划业务具备强政务合规、强标准化统计口径、强数...
一种面向免疫规划数据分析的确定性查询编译方法及系统与流程

本发明涉及自然语言处理与数据库查询,具体涉及一种面向免疫规划数据分析的确定性查询编译方法及系统。

背景技术:

1、免疫规划业务具备强政务合规、强标准化统计口径、强数据隔离、高频自助问数四大特征。日常工作中,工作人员需频繁查询分区域、分年龄段、分疫苗种类、分时段的接种人数、应种人数、累计接种率、及时接种率等指标。传统人工编写sql门槛高、效率低,而现有技术的自助查询系统主要存在以下技术缺陷:

2、灵活性差且迭代成本高:传统方案采用人工编写固定报表加表单筛选的方式,新增统计维度或自定义指标需开发人员修改代码并重启服务,基层技术人员无自主扩展能力,无法支撑临时、多样化的数据分析需求。

3、sql幻觉导致结果不可复现:主流端到端大语言模型text-to-sql方案依靠概率生成sql,相同问句可能生成结构完全不同的sql,导致统计数值漂移;模型易编造不存在的表或字段,无法满足政务医疗场景对数据精准、可追溯的硬性要求。

4、缺失国标统计口径导致计算错误:通用text-to-sql方案未内置疾控行业强制标准。一是无法处理累计接种率“脱靴”计算规则(即应种人数=统计月末前未接种目标人群+统计当月新增接种人群);二是在单次门诊同步接种多种疫苗或多联多价疫苗场景下,模型多采用join关联查询,造成接种人次重复计数;三是无法稳定生成剂次间隔、年龄段判定、notexists未接种人群筛选等细分规则逻辑。

5、权限管控滞后导致越权风险:通用方案权限校验多在应用层执行sql前拦截,存在绕过漏洞;无法在sql语法构建阶段自动绑定“谁管理谁统计”的属地隔离规则,且缺少敏感字段自动脱敏逻辑。

6、现有技术中虽存在“大模型解析语义+规则编译器生成sql”的初步分层设想,但在技术实现层面,现有的通用规则编译器仅能处理单表聚合或简单多表join映射。面对免疫规划场景下高复杂度的嵌套子查询动态生成(如基于状态流转的脱靴notexists判定)、同源多事件语义级去重(如基于多维度特征的半连接合并),以及底层语法树级别的行级权限物理隔离需求,现有通用编译器的架构机制存在根本性技术局限,无法直接通过规则配置适配。若强行适配,会导致编译逻辑死循环或生成的sql语法树结构混乱,无法实现确定性查询与权限防绕过。

技术实现思路

1、本发明旨在提供一种面向免疫规划数据分析的确定性查询编译方法及系统,以根治大语言模型直接生成sql带来的幻觉,固化管理领域专业口径,实现权限自动注入与系统的动态扩展。

2、本发明提供一种面向免疫规划数据分析的确定性查询编译方法,包括:接收自然语言问句;大语言模型将其解析为结构化dsl,大模型不生成sql;基于目录驱动定位物理表/字段;确定性编译器调用国标累计接种率rate脱靴模板(内置notexists未接种判定等);构建半连接组inoc合并同一次接种为单一exists;进行时间双语义与疫苗名模糊匹配;编译期自动注入“谁管理谁统计”权限并执行ast双校验;无llm参与下确定性生成目标方言sql并执行返回结果。

3、作为优选地,该面向免疫规划数据分析的确定性查询编译方法,包括以下步骤:s1,接收用户输入的免疫规划自然语言问句;

4、s2,通过大语言模型对所述自然语言问句进行意图抽取,输出标准化的结构化领域特定语言dsl,所述dsl包含统计指标、分组维度、时间约束、数据筛选条件及shape结构轴;所述大语言模型不读取数据库表结构,且不生成任何结构化查询语言sql;

5、s3,基于目录驱动机制,通过独立目录存储模块读取所述dsl中的语义标签,匹配对应的物理表、字段映射及目标数据库方言;

6、s4,确定性编译器调用内置的国标累计接种率rate脱靴模板对所述dsl中的统计指标进行编译,所述rate脱靴模板将应种人数定义为统计月末前未接种目标人群与统计当月新增接种人群之和,并在编译过程中内置未接种判定notexists子查询、剂次间隔约束及目标年龄段判定口径;

7、s5,所述确定性编译器构建半连接组inoc,依据接种人、接种机构、接种时间三维度判定单次接种事件,将属于同一次同步接种的多个剂次或多种疫苗合并为单一exists半连接子查询,以替换多表join关联查询;

8、s6,所述确定性编译器执行时间语义解析与疫苗名称标准化模糊匹配,自动区分半开区间与闭区间时间语义并转换为where条件,以及将输入的疫苗简称映射为数据库标准全称;

9、s7,在sql抽象语法树ast构建阶段,自动注入属地管理单位行级过滤条件,并通过ast校验机制对生成的查询进行合规性校验;

10、s8,在无大语言模型参与的情况下,依据固定规则确定性生成适配目标数据库方言的sql语句;

11、s9,将所述sql下发至数据仓库执行,并采集数据质量标签;

12、s10,返回查询数值、数据质量标签、口径说明及角色化业务提示。

13、作为优选地,所述步骤s2中的大语言模型仅具备语义抽取功能,不具备sql生成能力;所述方法在步骤s2之前或之中,内置意图分类器过滤非免疫规划无关问句。

14、作为优选地,所述步骤s3中的目录驱动机制具体为:将指标-计算逻辑映射、维度-表字段映射、疫苗名词枚举及数据库方言适配规则存储于配置表或配置文件中;当新增统计指标、疫苗品类或区域维度时,仅在目录存储中新增映射记录,无需修改后端代码及重启服务即可实现元数据热更新;且元数据配置方言与数据库查询方言物理隔离。

15、作为优选地,所述步骤s4中的国标累计接种率rate脱靴模板,固化了29类国家免疫规划标准统计指标的编译规则,分子分母计算逻辑独立封装于编译程序中,不受外部输入及大语言模型输出干预。

16、作为优选地,所述步骤s7中的ast校验机制包括:

17、s7-1.操作类型白名单校验:仅允许生成select查询语句,拦截数据修改及建表语句,并强制附加limit行数限制;

18、s7-2.表白名单校验:校验访问的表是否属于接种业务白名单;

19、s7-3.字段级脱敏校验:对包含儿童身份编码的敏感字段在ast层面执行脱敏重写。

20、作为优选地,所述步骤s9中的数据质量标签包括:数据完整度、缺失接种记录占比、不合规剂次记录数量以及统计周期数据补录标记。

21、作为优选地,采用四层链路架构,依次为语义解析层、确定性编译层、权限注入校验层、查询执行层,并配套独立目录存储模块,各模块功能独立解耦:

22、语义解析模块:用于调用大语言模型将自然语言问句解析为标准化dsl,内置意图分类器拦截无关问句;

23、目录存储模块:用于存储指标、维度、物理表/字段映射、疫苗名词枚举及方言适配规则,支持物理隔离与热更新;

24、确定性编译模块:包含rate脱靴模板子组件、半连接组inoc子组件、时间语义转换子组件、疫苗名称模糊匹配子组件及多方言sql生成子组件,用于依据目录元数据将dsl确定性编译为sql;

25、权限注入模块:内置sqlvalidator语法树校验器,用于在编译期自动注入属地管理单位过滤条件,并执行ast多层合规校验及敏感字段脱敏重写;

26、查询执行模块:用于管理数据库连接池、下发sql执行、采集数据质量标签,并封装口径说明及角色化提示返回前端。

27、作为优选地,所述系统部署于疾控中心本地服务器或政务云容器中,支持内网隔离环境下的离线本地化大模型运行,数据交互全程不依赖公网接口。

28、本发明还公开了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现以上任一项所述的方法。

29、本发明还公开了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以上任一项所述的方法。

30、与现有技术相比,传统通用编译器在处理多联多价疫苗同次接种时,依赖外键join进行表关联,这在面对千万级接种明细数据时会产生笛卡尔积导致数据库宕机。本发明提出了半连接组inoc机制,在编译器内部通过提取接种人、机构、时间三维特征,在ast(抽象语法树)构建阶段将多表join重写为exists半连接子查询。这一过程涉及编译器底层查询计划树的语义等价转换,突破了现有通用规则编译器仅做字段替换的技术局限,在保证统计口径100%确定性的同时,将复杂查询的执行耗时从分钟级降至秒级,具有精准高效的技术效果。本发明获得的有益效果具体为:

31、(1)消除sql幻觉,数据稳定可审计:大模型仅做语义抽取,sql全流程由固定规则生成,相同dsl每次编译生成的sql完全一致,统计数值无漂移;全链路保存dsl、模板、sql、权限过滤日志,支持事后审计溯源。

32、(2)统一国标口径,根除计算错误:将29类国标指标固化为不可篡改的rate脱靴模板,解决多区域口径不统一问题;半连接组inoc机制依靠三维判定统一替换多表join为exists查询,消除多联疫苗同步接种带来的人次重复统计误差。

33、(3)底层编译期权限管控,满足合规要求:区别于应用层后置拦截,在sql语法树构建阶段自动绑定辖区过滤条件及敏感字段脱敏,不存在权限绕过漏洞,符合医疗卫生数据安全等保规范。

34、(4)无代码热扩展,降低运维成本:采用目录驱动配置化管理,新增指标或疫苗品类仅需在目录新增配置行,服务不中断、无需开发介入,适配业务长期演进。

35、(5)兼顾易用性与专业性:业务人员无需掌握sql语法及标准疫苗学名,自然语言即可查询,系统自动输出标准化口径说明,降低使用门槛。

36、(6)性能损耗可控:编译期一次性嵌入过滤条件,减少数据库扫描数据量,适配千万级接种明细数据的快速聚合查询。