基于元数据因果图谱的BI指标分层归因与异常推演方法与流程
本发明涉及bi数据智能分析,尤其是涉及基于元数据因果图谱的bi指标分层归因与异常推演方法。
背景技术:
1、随着企业数字化经营体系的完善,bi(business intelligence)系统已成为企业经营指标监控、数据分析、决策支撑的核心载体。企业海量经营指标的实时监控与异常分析,是实现精细化运营、风险前置管控的关键环节。当前行业内主流的bi指标异常智能归因方案多依托机器学习、大数据相关性分析算法实现异常溯源,在实际应用中存在诸多固有缺陷。
2、首先,传统ai归因核心依赖数据数值相关性进行概率匹配推演,无标准化业务逻辑约束,仅能挖掘数据表层数值关联,无法识别指标背后的业务规则、计算逻辑、层级关联关系,极易出现“数据相关、业务无关”的误归因问题,归因准确率低、结果可解释性差。其次,现有归因算法缺乏层级化、体系化的异常拆解逻辑,对公司、区域、渠道、产品等多维度混杂的异常信息无法有序拆解,分析结果杂乱冗余,有效信息占比极低,难以快速锁定异常根因。最后,现有技术仅具备异常问题定位能力,无法量化各类影响因子对核心指标的贡献占比,亦无法结合业务语义生成可直接落地的结构化分析报告,仅能实现被动问题发现,无法支撑量化决策与智能化业务解读,技术落地实用性较差。
3、综上,现有bi指标归因技术存在无业务逻辑支撑、归因准确率低、异常拆解混乱、无精准量化能力、输出结果无业务语义的行业痛点,亟需一种基于真实元数据业务规则、分层精准溯源、可量化、可智能生成业务推演结果的智能化归因技术方案。
技术实现思路
1、本发明的目的是提供基于元数据因果图谱的bi指标分层归因与异常推演方法,旨在克服现有传统bi指标ai归因技术依赖概率匹配、无业务逻辑、结果杂乱、无法量化、缺乏智能业务解读的缺陷,依托bi全量四维元数据构建业务化因果图谱,结合分层逐级溯源与干扰智能过滤机制,实现基于真实业务规则的精准归因,通过元数据规则驱动量化模型完成异常量化,并融合大语言模型实现智能化因果推理与结构化报告输出,大幅提升归因准确率、可解释性与业务落地价值。
2、为实现上述目的,本发明提供了基于元数据因果图谱的bi指标分层归因与异常推演方法,包括以下步骤:
3、s1、归集并标准化处理bi系统全量元数据,构建包括指标计算依赖元数据、维度层级元数据、数据血缘元数据、业务关联元数据的四维元数据体系,固化所有指标的计算口径、依赖关系、层级归属、数据流转、业务规则核心信息;
4、s2、基于s1中四维元数据的固有业务关联关系,定义标准化图谱构建规则,生成包括指标节点、维度节点、数据源节点、业务场景节点及对应业务因果关联边的可视化因果图谱;
5、s3、基于s1中维度层级元数据与s2的因果图谱,启动自上而下三级逐层溯源算法,从公司全局维度、中层细分业务维度、末梢最小业务单元维度逐级收敛异常范围,完成多维度异常的有序拆解与定位;
6、s4、调用元数据干扰标签体系,自动识别无效干扰场景,对干扰类数据波动进行权重降级与剔除,提纯真实业务异常信息;
7、s5、基于指标计算依赖元数据和维度层级元数据,构建异常贡献度量化模型,精准计算各异常因子对核心指标的影响数值、贡献占比及阈值偏离幅度;
8、s6、基于s2的因果图谱、s3的分层溯源结果、s4的干扰过滤结果、s5的量化指标数据,融合大语言模型完成因果推理,生成结构化归因报告与业务推演结果并对外输出。
9、优选的,s1的具体内容如下:
10、s11、指标计算依赖元数据全面归集bi系统所有核心指标、衍生指标、基础指标的原生计算口径、嵌套计算公式、字段依赖关系、聚合逻辑、统计周期、运算优先级规则,明确总指标与子指标之间的数学约束关系,为后续异常量化模型、贡献度计算提供底层运算依据;
11、s12、维度层级元数据梳理企业经营分析全业务维度体系,包括公司、区域、渠道、产品、客户、时间等维度的上下级从属关系、层级包含关系、维度权重配比、维度拆分规则,构建自上而下的标准化维度层级树,为三级分层溯源算法、维度贡献量化提供层级拓扑依据;
12、s13、数据血缘元数据追溯各指标数据从原始数据源采集、数据清洗、etl加工、分层聚合、报表展示的全链路流转关系,记录数据来源、加工节点、更新频率、数据依赖链路,用于区分指标波动是业务真实波动还是数据链路异常波动;
13、s14、业务关联元数据绑定各指标对应的业务场景、经营规则、考核逻辑、行业基准、业务阈值,建立指标与业务场景、业务流程、经营节点的对应关系。
14、优选的,s2的具体内容如下:
15、s21、基于s1输出的标准化四维元数据底座,对四类元数据进行规则解析、去重、归一化处理,形成图谱建模的结构化规则源;
16、s22、基于s21解析后的元数据结构,自动生成图谱全部实体节点;
17、s23、以s11指标计算依赖关系构建计算依赖边,以维度层级从属关系构建层级从属边,以数据血缘流转关系构建数据流转边,以业务场景匹配关系构建业务驱动边,构成图谱的因果拓扑核心;
18、s24、基于s23的因果拓扑对图谱关系启动业务校验机制进行合规性筛选;
19、s25、s24校验完成后,固化最终指标因果图谱拓扑结构,形成稳定可复用的bi指标因果推理网络。
20、优选的,s3的具体内容如下:
21、s31、第一级为公司全局维度筛查,基于顶层核心指标时序数据波动,结合因果图谱顶层关联关系,判定企业整体指标异常状态,锁定异常所属一级业务板块,区分是整体系统性异常还是局部业务异常;
22、s32、第二级为中层细分业务维度拆解,基于s1维度层级元数据的中层维度结构,对异常业务板块进行横向多维度拆解,依次遍历区域、渠道、产品线、客户类型等核心细分维度,结合因果图谱关联边定位高关联异常细分维度,收敛异常范围;
23、s33、第三级为末梢最小业务单元定位,继续下沉至最小统计粒度业务单元,包括单区域、单渠道、单产品、单周期等末梢维度,依托因果图谱的指标计算依赖与层级从属关系,精准锁定引发顶层指标异常的最细粒度根因载体,完成异常定性定位。
24、优选的,s4的具体内容如下:
25、s41、自动调取当前分析任务对应的全量元数据标签,包括时间维度标签、系统运维标签、数据管控标签、业务场景标签四大类,将原始异常数据的标签进行精准映射匹配,批量标记所有潜在干扰数据样本;
26、s42、基于s41的匹配结果,对照预设八大类标准化干扰场景库,完成干扰类型精准归类;
27、s43、针对不同干扰执行差异化处理,对强干扰因子,将其对应数据波动分量执行100%权重降级;对弱干扰因子,依据元数据预设干扰系数进行比例权重衰减;
28、s44、完成s43的干扰差异化处理后,重新生成提纯后的指标时序数据集,同步生成干扰过滤明细日志;
29、s45、最终输出纯净的真实业务异常数据,作为s5异常量化建模的唯一输入数据源。
30、优选的,s5的具体内容如下:
31、s51、基于指标计算依赖元数据的标准阈值与统计口径,通过指标基准偏离度公式计算各子指标、各细分维度指标的异常偏离程度,量化指标异常严重等级;
32、s52、基于维度层级元数据固化的维度权重系数,通过单因子异常贡献占比公式计算各异常因子对顶层核心指标的贡献占比,精准区分核心根因与次要扰动因素;
33、s53、通过多因子叠加指标修正计算公式还原多维异常叠加后的整体波动效果,精准剥离叠加干扰,得到单一因子真实影响数值。
34、优选的,s51中指标基准偏离度公式用于量化当前指标相对标准业务阈值的异常偏离程度,是判定异常等级的基础公式,具体如下:
35、;
36、其中,为指标异常偏离度,为指标实时实测值,为元数据固化的指标标准阈值/基准值;偏离度正负对应指标正向异动、负向异常,绝对值越大代表异常程度越严重。
37、优选的,s52中单因子异常贡献占比公式是依托s1维度层级元数据中存储的各子指标维度权重,精准计算单一异常因子对核心总指标的影响权重,具体如下:
38、;
39、其中,为第个异常因子的贡献占比;为第个子指标的异常偏离度;为s1维度层级元数据固化的第个子指标对应总指标的业务权重系数;为参与计算的有效异常因子总数。
40、优选的,s53中多因子叠加指标修正计算公式用于还原多维度异常叠加下的总指标理论波动值,精准区分单一因素、叠加因素的异常影响,具体如下:
41、;
42、其中,为多因子叠加后的指标理论值,为第个子指标实测值;为s1指标计算依赖元数据固化的第个子指标标准值。
43、优选的,s6的具体工作内容如下:
44、s61、自动归集s2-s5过程中的标准化成果,构建大语言模型专属推理输入数据集;
45、s62、以元数据业务规则为推理边界,以因果图谱拓扑关系为传导逻辑,结合指标计算口径、维度层级从属关系、量化贡献权重开展闭环推理;
46、s63、大语言模型基于历史时序数据基线、当前异常量化幅度、各因子贡献权重,结合元数据固化的指标联动规则,推演核心业务场景的后续走势,预判未来周期内核心指标的波动区间、变化趋势、风险等级;
47、s64、按照预设的标准模板,自动整合推理结论与推演数据,生成完整结构化归因分析报告。
48、因此,本发明采用上述内容的基于元数据因果图谱的bi指标分层归因与异常推演方法,与现有技术相比,具有以下有益效果:
49、1、本技术区别于传统无逻辑数据相关性分析模式,严格依托指标计算依赖、维度层级、数据血缘、业务关联四类标准化元数据固有的业务逻辑关系,构建具备严格业务约束的指标因果图谱,将传统概率匹配式归因升级为可溯源、可复现的业务规则逻辑推演式归因,从根源上规避无效关联错误归因,有效提高归因准确率;
50、2、本技术依托维度层级元数据构建自上而下“全局-细分-末梢”三级业务维度溯源推演逻辑,逐层拆解多维混杂异常问题;同时基于元数据标签体系智能识别并过滤节假日、数据补录、系统波动等无效干扰因子,解决传统归因结果杂乱、有效信息稀缺的技术痛点;
51、3、摒弃传统ai黑盒拟合权重方式,完全依托指标计算依赖元数据与维度层级元数据的固化规则、权重系数、统计口径构建量化模型,精准量化各单一因子对整体指标的影响占比与偏离幅度,实现从“定性找问题”到“定量判权重”的技术升级;
52、4、实现元数据量化结果与大模型因果推理的深度融合,基于结构化溯源结果、量化数据、图谱因果逻辑,通过大语言模型完成业务语义级因果推理、异常解读与趋势推演,自动生成标准化结构化归因报告,实现“数据计算-逻辑归因-业务解读-结果输出”的全流程智能化闭环。
53、下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com