低代码平台中预警模型的AI辅助构建方法及系统与流程

摘要: 本发明涉及代码开发,具体地说是低代码平台中预警模型的ai辅助构建方法及系统。背景技术:1、目前数据分析与预警配置领域主要包括传统sql查询方式、传统bi工具、基...
低代码平台中预警模型的AI辅助构建方法及系统与流程

本发明涉及代码开发,具体地说是低代码平台中预警模型的ai辅助构建方法及系统。

背景技术:

1、目前数据分析与预警配置领域主要包括传统sql查询方式、传统bi工具、基于ai的智能bi三类。

2、传统sql查询方式,工作原理为:技术人员通过sql编辑器编写查询语句,从数据库中提取数据并编写预警逻辑。系统构造为:数据源 → sql编写 → 预警逻辑脚本 → 定时任务执行 → 发送通知。存在问题如下:需要用户掌握sql编程技能,学习成本高;复杂预警逻辑(如环比、同比)需要编写复杂的sql子查询;预警规则修改需要技术人员介入,响应慢;业务人员无法独立完成分析和预警配置。导致的不良结果如下:技术门槛高,普通业务人员无法使用;依赖专业技术人员,响应业务需求周期长;人力资源成本高。

3、传统bi工具,工作原理: 用户通过可视化界面拖拽字段生成图表,然后手动配置简单的预警规则系统构造:数据源连接 → 字段选择面板 → 可视化画布 → 手动配置预警规则。存在问题如下:建模过程缺乏智能辅助,用户需要从大量表和字段中手动选择,不清楚哪些表与当前分析需求相关,多表关联时需要用户手动指定关联条件,不知道应该设置哪些筛选和输出条件,业务人员不懂数据计算逻辑,复杂预警配置困难。导致的不良结果如下:建模效率低,用户需要反复尝试;复杂预警配置门槛高,业务人员无法独立完成;数据分析价值无法充分发挥。

4、基于ai的智能bi,工作原理: 用户通过自然语言提问,ai自动生成查询和图表。系统构造:自然语言输入 → nlp理解 → sql生成 → 查询执行 → 结果展示存在问题如下:ai生成结果存在不确定性,ai理解可能偏差,结果不可控,用户难以验证和调试生成的逻辑,ai只能帮助生成查询,无法解决复杂预警配置问题,用户仍需手动配置部分预警规则。导致的不良结果如下:用户不敢在严肃业务场景中使用,复杂预警配置门槛问题未解决。

5、如何提供低门槛、低成本、建模效率高、业务场景应用范围广的数据分析预警模型构建方案,是需要解决的技术问题。

技术实现思路

1、本发明的技术任务是针对以上不足,提供低代码平台中预警模型的ai辅助构建方法及系统,来解决如何提供低门槛、低成本、建模效率高、业务场景应用范围广的数据分析预警模型构建方案的技术问题。

2、第一方面,本发明一种低代码平台中预警模型的ai辅助构建方法,包括:

3、基于预警需求的表和字段推荐:对用户输入的预警需求进行分词处理和实体识别,得到包括预警需求原文、分词结果和实体列表的需求解析结果,并基于需求解析结果和预构建的数据字典索引,调用ai进行多维度相似度计算,得到综合相似度,基于综合相似度进行表和字段的推荐,输出推荐的数据表列表和字段列表作为推荐结果,其中,数据列表和字段列表中内容包括名称、相似度和推荐理由;

4、关联条件的智能推荐:对于用户拖拽到画布上的数据表,通过多策略融合推断的方式推断任意两个数据表之间的关联关系,得到表间关联条件列表,基于表间关联条件列表、构建连通所有数据表的完整关联路径,将表间关联条件列表和完整关联路径可视化展示给用户,记录用户选择的关联条件,并更新历史关联记录库;

5、预警配置字段的缺失识别与计算:评估当前预警模型画布是否满足预警需求所需的基本要素,输出完整性判断结果和确实资源类型标识,调用ai定位实现预警需求所缺失的表、字段或关联关系,输出缺失资源推荐列表,根据缺失资源推荐列表、预警需求以及画布已有的数据表、字段和表间关联关系,推导计算字段的完整方案,向用户说明配置方案,在用户确认后,在画布上完成预警模型配置。

6、作为优选,基于预警需求的表和字段推荐,包括如下操作:

7、数据字典索引构建:预先扫描所有数据源,提取表名、字段名、业务领域标签以及历史查询频率,并为每个表和字段生成语义向量,形成可检索的索引结构,得到包括表级和字段级的元数据、语义向量、历史使用频率以及业务标签的数据字典索引,其中,为每个表和字段生成语义向量时,通过向量化模型将表名、字段名及描述文本转换为固定长度的向量表示;

8、用户输入解析:使用中文分词工具对预警需求进行分词,得到分词结果,并基于业务词典或命名实体识别模型,识别出业务相关实体,输出包括预警需求原文、分词结果和实体列表的结构化对象作为需求解析结果;

9、多维度相似度计算:将需求解析结果与数据字典索引中的每个表、每个字段进行多维度相似度计算,并基于多维度相似度计算综合相似度,多维相似度计算时,以表和字段为候选对象,对于每个候选对象,将用户输入的关键词与候选对象名称进行字符串匹配、得到名称相似度,将用户输入的预警需求原文或分词结果的语义向量与候选对象的描述/名称的语义向量计算余弦相似度、得到语义相似度,比较用户实体中的业务领域标签与候选对象的业务标签是否匹配、得到领域相似度,从数据字典索引中读取候选对象的历史使用频率、得到使用频率,将名称相似度、语义相似度、领域相似度和使用频率加权求和,得到综合相似度;

10、排序与推荐返回:按综合相似度降序排列候选对象,返回top-n推荐结果,供用户选择添加到画布,其中,推荐结果中包括推荐的数据表列表和字段列表,数据表列表和字段列表中均包括名称、相似度和推荐理由,推荐理由来源于匹配度最高的维度或用户输入中识别到的关键实体。

11、作为优选,关联条件的智能推荐,包括如下操作:

12、获取画布上的表集合:监听画布变化事件,当用户添加或移除数据表时,接收用户在建模画布上选择的数据表,实时更新当前表集合,提取每个数据表的元数据;

13、多策略融合关联条件:对于画布上任意两个数据表,并行采用多种策略推断候选关联条件,融合多种策略产生的候选关联条件,按照置信度排序,得到表间关联条件列表,表间关联条件列表中每条记录包括表的字段、推断策略、置信度以及推荐理由;

14、生成完整关联路径:基于表间关联条件列表,以数据表为节点、表间关联条件为边构建无向图,选择一个数据表为主表,通过广度优先搜索或最小树算法,生成连通所有数据表的完整关联路径;

15、推荐与用户确认:将表间关联条件列表和完整关联路径可视化展示给用户,接收用户的确认或修改;

16、学习与记录:记录用户最终采用的表间关联条件,更新历史关联记录库,用于未来推荐优化。

17、作为优选,其中,多策略融合推断包括基于历史关联记录推理策略、基于外键约束推断策略、基于命名规则推断策略以及基于数据分布推断策略;

18、基于历史关联记录推理策略:记录用户对特定表组合所配置的历史表间关联条件,关联条件推荐时,如果遇到相同表组合,优先推荐表组合下历史使用频率最高或者最接近的表间关联条件;

19、基于外键约束推断策略:检测数据库中定义的外键约束定义,若存在数据表a的字段指向数据表b的字段的外键关系,则直接推荐该外键约束所定义的表间关联条件;

20、基于命名规则推断策略:提取两个数据表的字段名称,计算字段名称的最长公共子序列长度作为字段名相似度,如果字段名相似度超过阈值,则推荐对应字段作为表间关联条件,其中字段名相似度计算公式为:

21、字段名相似度 = lcs(字段a, 字段b) / max(len(字段a), len(字段b)),

22、其中,lcs为最长公共子序列长度;

23、基于数据分布推断策略:对两个数据表的候选字段分别采样取值集合,计算两集合的交集与并集,基于交集和并基计算重叠率,如果重叠率高于阈值,则推断该字段为关联条件,重叠率计算公式如下:

24、重叠率 = |a.values∩b.values| / |a.values∪b.values|,

25、a.values∩b.values|表示数据表a候选字段对应集合与数据表b候选字段对应集合之间的交集,|a.values∪b.values|表示数据表a候选字段对应集合与数据表b候选字段对应集合之间的并集;

26、其中,多种策略推断融合的优先级顺序为:外键约束>历史关联记录>命名规则推断>数据分布推断。

27、作为优选,预警配置字段的缺失识别与计算,包括如下操作:

28、分析画布完整性:对于用户已经搭建的画布,扫描画布上已选择的库表资源、已配置的表间关联关系以及已选择的输出字段,分析用户输入的预警需求、提取包括监控对象、分析类型和触发条件的基本要素,判断当前预警模型画布是否满足预警所需的基本要素,输出画布完整性评估结果,画布完整性评估结果中包括完整性判断结果、缺失资源类型标识,其中,完整性判断结果为满足或不满足,缺失资源类型标识包括时间维度缺失、维度表缺失、关联关系缺失以及主数据表缺失;

29、识别缺失的关键资源:根据画布完整性评估结果、用户输入的预警需求以及画布现有资源,定位实现预警需求所缺失的表、字段或表间关联关系,输出缺失资源推荐列表,缺失资源推荐列表中每条记录包括缺失资源类型标识、推荐的资源名称、推荐理由;

30、推导计算字段的配置方式:根据缺失资源推荐列表、用户输入的预警需求以及画布已有的数据表、字段和表间关联关系,推导所需关联关系、计算逻辑、时间周期,生成完整的配置方案,配置方案中包括字段名称、推导依据、数据来源分析、分组维度、计算逻辑表达式及预警触发条件,其中,通过推导所需关联关系确定如何获取对比数据,通过推导计算逻辑确定数学公式、聚合方式和函数窗口,通过推导时间周期确定分析周期为日、周、月或季度;

31、自动执行预警信息配置:以自然语言的形式向用户说明计算逻辑和需要的关联,展示配置方案并等待用户调整或确认配置方案,在用户确认后,在画布上执行添加表、创建关联、配置计算字段及设置预警条件操作,配置完成后由用户检查调整确认,确认无误后保存预警模型画布。

32、第二方面,本发明一种低代码平台中预警模型的ai辅助构建系统,包括基于预警需求的表和字段推荐模块、关联条件的智能推荐模块、预警配置字段的缺失识别与计算模块;

33、基于预警需求的表和字段推荐模块用于执行如下操作:对用户输入的预警需求进行分词处理和实体识别,得到包括预警需求原文、分词结果和实体列表的需求解析结果,并基于需求解析结果和预构建的数据字典索引,调用ai进行多维度相似度计算,得到综合相似度,基于综合相似度进行表和字段的推荐,输出推荐的数据表列表和字段列表作为推荐结果,其中,数据列表和字段列表中内容包括名称、相似度和推荐理由;

34、关联条件的智能推荐模块用于执行如下操作:对于用户拖拽到画布上的数据表,通过多策略融合推断的方式推断任意两个数据表之间的关联关系,得到表间关联条件列表,基于表间关联条件列表、构建连通所有数据表的完整关联路径,将表间关联条件列表和完整关联路径可视化展示给用户,记录用户选择的关联条件,并更新历史关联记录库;

35、预警配置字段的缺失识别与计算模块用于执行如下操作:评估当前预警模型画布是否满足预警需求所需的基本要素,输出完整性判断结果和确实资源类型标识,调用ai定位实现预警需求所缺失的表、字段或关联关系,输出缺失资源推荐列表,根据缺失资源推荐列表、预警需求以及画布已有的数据表、字段和表间关联关系,推导计算字段的完整方案,向用户说明配置方案,在用户确认后,在画布上完成预警模型配置。

36、作为优选,基于预警需求的表和字段推荐模块用于执行如下操作:

37、数据字典索引构建:预先扫描所有数据源,提取表名、字段名、业务领域标签以及历史查询频率,并为每个表和字段生成语义向量,形成可检索的索引结构,得到包括表级和字段级的元数据、语义向量、历史使用频率以及业务标签的数据字典索引,其中,为每个表和字段生成语义向量时,通过向量化模型将表名、字段名及描述文本转换为固定长度的向量表示;

38、用户输入解析:使用中文分词工具对预警需求进行分词,得到分词结果,并基于业务词典或命名实体识别模型,识别出业务相关实体,输出包括预警需求原文、分词结果和实体列表的结构化对象作为需求解析结果;

39、多维度相似度计算:将需求解析结果与数据字典索引中的每个表、每个字段进行多维度相似度计算,并基于多维度相似度计算综合相似度,多维相似度计算时,以表和字段为候选对象,对于每个候选对象,将用户输入的关键词与候选对象名称进行字符串匹配、得到名称相似度,将用户输入的预警需求原文或分词结果的语义向量与候选对象的描述/名称的语义向量计算余弦相似度、得到语义相似度,比较用户实体中的业务领域标签与候选对象的业务标签是否匹配、得到领域相似度,从数据字典索引中读取候选对象的历史使用频率、得到使用频率,将名称相似度、语义相似度、领域相似度和使用频率加权求和,得到综合相似度;

40、排序与推荐返回:按综合相似度降序排列候选对象,返回top-n推荐结果,供用户选择添加到画布,其中,推荐结果中包括推荐的数据表列表和字段列表,数据表列表和字段列表中均包括名称、相似度和推荐理由,推荐理由来源于匹配度最高的维度或用户输入中识别到的关键实体。

41、作为优选,关联条件的智能推荐模块用于执行如下操作:

42、获取画布上的表集合:监听画布变化事件,当用户添加或移除数据表时,接收用户在建模画布上选择的数据表,实时更新当前表集合,提取每个数据表的元数据;

43、多策略融合关联条件:对于画布上任意两个数据表,并行采用多种策略推断候选关联条件,融合多种策略产生的候选关联条件,按照置信度排序,得到表间关联条件列表,表间关联条件列表中每条记录包括表的字段、推断策略、置信度以及推荐理由;

44、生成完整关联路径:基于表间关联条件列表,以数据表为节点、表间关联条件为边构建无向图,选择一个数据表为主表,通过广度优先搜索或最小树算法,生成连通所有数据表的完整关联路径;

45、推荐与用户确认:将表间关联条件列表和完整关联路径可视化展示给用户,接收用户的确认或修改;

46、学习与记录:记录用户最终采用的表间关联条件,更新历史关联记录库,用于未来推荐优化。

47、作为优选,多策略融合推断包括基于历史关联记录推理策略、基于外键约束推断策略、基于命名规则推断策略以及基于数据分布推断策略;

48、基于历史关联记录推理策略:记录用户对特定表组合所配置的历史表间关联条件,关联条件推荐时,如果遇到相同表组合,优先推荐表组合下历史使用频率最高或者最接近的表间关联条件;

49、基于外键约束推断策略:检测数据库中定义的外键约束定义,若存在数据表a的字段指向数据表b的字段的外键关系,则直接推荐该外键约束所定义的表间关联条件;

50、基于命名规则推断策略:提取两个数据表的字段名称,计算字段名称的最长公共子序列长度作为字段名相似度,如果字段名相似度超过阈值,则推荐对应字段作为表间关联条件,其中字段名相似度计算公式为:

51、字段名相似度 = lcs(字段a, 字段b) / max(len(字段a), len(字段b)),

52、其中,lcs为最长公共子序列长度;

53、基于数据分布推断策略:对两个数据表的候选字段分别采样取值集合,计算两集合的交集与并集,基于交集和并基计算重叠率,如果重叠率高于阈值,则推断该字段为关联条件,重叠率计算公式如下:

54、重叠率 = |a.values∩b.values| / |a.values∪b.values|,

55、a.values∩b.values|表示数据表a候选字段对应集合与数据表b候选字段对应集合之间的交集,|a.values∪b.values|表示数据表a候选字段对应集合与数据表b候选字段对应集合之间的并集;

56、其中,多种策略推断融合的优先级顺序为:外键约束>历史关联记录>命名规则推断>数据分布推断。

57、作为优选,预警配置字段的缺失识别与计算模块用于执行如下操作:

58、分析画布完整性:对于用户已经搭建的画布,扫描画布上已选择的库表资源、已配置的表间关联关系以及已选择的输出字段,分析用户输入的预警需求、提取包括监控对象、分析类型和触发条件的基本要素,判断当前预警模型画布是否满足预警所需的基本要素,输出画布完整性评估结果,画布完整性评估结果中包括完整性判断结果、缺失资源类型标识,其中,完整性判断结果为满足或不满足,缺失资源类型标识包括时间维度缺失、维度表缺失、关联关系缺失以及主数据表缺失;

59、识别缺失的关键资源:根据画布完整性评估结果、用户输入的预警需求以及画布现有资源,定位实现预警需求所缺失的表、字段或表间关联关系,输出缺失资源推荐列表,缺失资源推荐列表中每条记录包括缺失资源类型标识、推荐的资源名称、推荐理由;

60、推导计算字段的配置方式:根据缺失资源推荐列表、用户输入的预警需求以及画布已有的数据表、字段和表间关联关系,推导所需关联关系、计算逻辑、时间周期,生成完整的配置方案,配置方案中包括字段名称、推导依据、数据来源分析、分组维度、计算逻辑表达式及预警触发条件,其中,通过推导所需关联关系确定如何获取对比数据,通过推导计算逻辑确定数学公式、聚合方式和函数窗口,通过推导时间周期确定分析周期为日、周、月或季度;

61、自动执行预警信息配置:以自然语言的形式向用户说明计算逻辑和需要的关联,展示配置方案并等待用户调整或确认配置方案,在用户确认后,在画布上执行添加表、创建关联、配置计算字段及设置预警条件操作,配置完成后由用户检查调整确认,确认无误后保存预警模型画布。

62、本发明的低代码平台中预警模型的ai辅助构建方法及系统具有以下优点:

63、1、降低预警模型构建门槛:非技术人员无需掌握sql或复杂的数据分析知识,即可在统一流程中快速构建专业的预警模型。与传统方式对比:

64、2、统一的预警模型构建流程:用户无需分多步操作,在统一的构建流程中完成预警模型的完整配置。具体表现为: ai识别预警需求后,自动推荐计算字段;在同一对话流程中引导用户设置预警阈值和判断条件,用户无需在不同界面之间切换,构建完成后即可直接执行预警模型;

65、3、提高建模效率:ai全程辅助预警模型构建,大幅缩短构建时间,大幅提高构建成功率。