一种基于机器学习的数据运营分析方法及系统与流程
本申请涉及数据运营分析,具体而言,涉及一种基于机器学习的数据运营分析方法及系统。
背景技术:
1、上游一次常规升级把字段从单层平铺改成多层嵌套,下游解析器没同步更新,新格式整段塌成连续空值。清洗模块按“数值字段缺失则用全局均值兜底”的默认规则,把这些空值补成同一个具体数值,等于把原本代表“无行为”的语义,统一改写成了“平均行为”。
2、进入特征工程阶段后,衍生指标围绕这个均值出现了明显的人工聚集。筛选模块用统计相关性评估,就把这个虚假特征误判为高区分度核心特征,直接选入模型并赋予高权重。训练阶段,损失函数被这个失真分布主导,反向传播把权重矩阵往拟合该聚集的方向猛拉,模型最终收敛到一个错误的局部极值。
3、部署到生产后,真实数据里再也找不到这个虚假聚集,模型输出大幅跳变,运营策略也跟着翻车,整条 ml(machine learning,机器学习)运营分析链路基本失效。
技术实现思路
1、本申请公开了一种基于机器学习的数据运营分析方法和系统,旨在解决上游业务系统底层数据结构静默变更导致下游数据接入与分析链路发生隐蔽级联异常,进而对机器学习模型的训练和推理产生严重干扰的问题。
2、本申请的技术方案如下:
3、第一方面,本申请公开了一种基于机器学习的数据运营分析方法,应用于数据治理平台的服务器集群,该方法包括:
4、获取原始输入数据,当根据预设的数据项解析规则未能从原始输入数据中提取出目标数据项的标量数值时,对原始输入数据中与目标数据项对应的文本片段进行结构特征分析,以区分目标数据项的解析受阻状态与常规缺失状态,并为目标数据项生成指示解析受阻状态或常规缺失状态的元数据标识;
5、根据元数据标识识别处于解析受阻状态的目标数据项,阻断目标数据项进入数值填补流程,并生成表征各目标数据项有效性的特征变量掩码信息;基于特征变量掩码信息为包含目标数据项的衍生统计指标生成衍生掩码信息,并结合特征变量掩码信息与衍生掩码信息对候选特征变量进行有效性筛选,将有效样本比例低于预设阈值的候选特征变量与业务目标之间的关联度评估置零后,从候选特征变量集合中予以剔除;
6、在训练机器学习模型时,根据特征变量掩码信息与衍生掩码信息,对被掩码标记为无效的特征变量通道,限制特征变量通道对模型损失计算的贡献,并阻断特征变量通道对模型参数更新的驱动作用;
7、在接收实时业务数据时,对实时业务数据进行数据项解析与特征变量治理,并基于机器学习模型进行模式识别,输出模式识别结果;
8、根据模式识别结果与实时业务数据中解析受阻数据项的分布情况,对数据项解析规则进行自适应更新,并将更新后的数据项解析规则应用于后续数据项解析,形成离线数据治理与在线模式识别的端到端闭环。
9、第二方面,本申请还公开了一种基于机器学习的数据运营分析系统,包括处理器与存储器,存储器存储有计算机程序指令,该系统包括:
10、数据项解析模块,与处理器耦合,用于获取原始输入数据,当根据预设的数据项解析规则未能从原始输入数据中提取出目标数据项的标量数值时,对原始输入数据中与目标数据项对应的文本片段进行结构特征分析,以区分目标数据项的解析受阻状态与常规缺失状态,并为目标数据项生成指示解析受阻状态或常规缺失状态的元数据标识;
11、特征变量治理模块,与数据项解析模块耦合,用于根据元数据标识识别处于解析受阻状态的目标数据项,阻断目标数据项进入数值填补流程,并生成表征各目标数据项有效性的特征变量掩码信息;基于特征变量掩码信息为包含目标数据项的衍生统计指标生成衍生掩码信息,并结合特征变量掩码信息与衍生掩码信息对候选特征变量进行有效性筛选,将有效样本比例低于预设阈值的候选特征变量与业务目标之间的关联度评估置零后,从候选特征变量集合中予以剔除;
12、模型训练模块,与特征变量治理模块耦合,用于根据特征变量掩码信息与衍生掩码信息,在训练机器学习模型时限制被掩码标记为无效的特征变量通道对模型损失计算的贡献,并阻断特征变量通道对模型参数更新的驱动作用;
13、模式识别模块,与数据项解析模块、特征变量治理模块及模型训练模块耦合,用于在接收实时业务数据时对实时业务数据进行数据项解析与特征变量治理,并基于模型训练模块输出的机器学习模型进行模式识别,输出模式识别结果;
14、解析规则更新模块,与模式识别模块及数据项解析模块耦合,用于根据模式识别结果与实时业务数据中解析受阻数据项的分布情况,对数据项解析规则进行自适应更新,并将更新后的数据项解析规则回写至数据项解析模块,形成离线数据治理与在线模式识别的端到端闭环。
15、本申请针对上游数据结构静默变更导致下游ml模型失效的问题,设计了“接入—特征—训练—推理”全链路的治理闭环。
16、接入环节:对原始数据进行结构特征分析,精准区分“解析受阻”和“常规缺失”两种状态,生成元数据标识,避免把解析失败误当缺失值用均值填补。
17、特征环节:依据标识识别解析受阻项,阻断其进入数值填补流程,生成特征变量掩码和衍生掩码;有效样本比例过低的候选特征直接置零关联度并剔除,防止虚假特征进入模型。
18、训练环节:用掩码限制无效特征对损失计算和参数更新的贡献,确保模型不被噪声主导,使其收敛到真实业务分布。
19、推理环节:在线识别实时数据中的解析受阻分布,据此自适应更新解析规则,形成离线治理与在线识别的端到端闭环。
20、效果:从接入到推理全链路覆盖数据治理与模型保护,显著提升系统的准确性、鲁棒性和自适应能力。
1.一种基于机器学习的数据运营分析方法,应用于数据治理平台的服务器集群,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述数据项解析包括:
3.根据权利要求1所述的方法,其特征在于,所述结合所述特征变量掩码信息与所述衍生掩码信息对候选特征变量进行有效性筛选,包括:
4.根据权利要求1所述的方法,其特征在于,所述阻断所述特征变量通道对模型参数更新的驱动作用,包括:
5.根据权利要求1所述的方法,其特征在于,所述限制所述特征变量通道对模型损失计算的贡献,包括:
6.根据权利要求1所述的方法,其特征在于,所述模式识别包括:
7.根据权利要求4所述的方法,其特征在于,将所述瞬时输入梯度置零,包括:
8.根据权利要求4所述的方法,其特征在于,所述执行状态门控判定,包括:
9.根据权利要求4所述的方法,其特征在于,所述执行状态门控判定,包括:
10.一种基于机器学习的数据运营分析系统,包括处理器与存储器,所述存储器存储有计算机程序指令,其特征在于,所述系统包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com