一种异构引擎规则适配方法、装置及电子设备与流程
本技术涉及数据处理领域,特别是涉及一种异构引擎规则适配方法、装置及电子设备。
背景技术:
1、在数据平台中,同一项数据治理要求通常需要在关系型数据库、数据仓库、批处理计算框架、流处理框架以及接口服务中重复落地。例如,一条“手机号非空时应在去除首尾空白后满足指定格式,空字符串与null均按缺失处理”的规则,可能需要同时转换为不同引擎的执行方式。而不同引擎在空值传播、隐式类型转换、字符串长度、正则表达式、字符集与排序规则、日期时间、十进制精度、异常处理、聚合顺序以及流式窗口等方面存在差异,同一治理规则即使语法能够成功转换,也可能产生不同的通过记录、失败记录或异常记录。因此,针对异构引擎,会存在针对同一规则的执行结果不同的情况。
技术实现思路
1、本技术实施例的目的在于提供一种异构引擎规则适配方法、装置及电子设备,以解决异构引擎针对同一规则的执行结果不同的问题。具体技术方案如下:
2、在本技术实施例的第一方面,提供一种异构引擎规则适配方法,所述方法包括:
3、获取并识别数据治理规则,得到规则类别、治理对象和目标执行范围;
4、对数据治理规则进行解析,根据解析结果及规则类别、治理对象和目标执行范围,构建包含数据绑定和表达式语法树的初始治理规则中间表示grir;
5、根据规则模板、字段元数据和治理策略,补全初始grir的语义契约,得到包含语义契约的grir;语义契约显式规定数据治理规则在不同数据状态下应产生的含义;
6、读取目标引擎的类型、版本及运行配置,建立并绑定对应的引擎语义画像;引擎语义画像用于对目标引擎提供的语义能力、默认行为和限制条件进行结构化描述;
7、根据grir的语法树结构、数据类型、约束边界和语义标签生成测试向量,并对每条测试向量记录覆盖的grir语义节点;
8、针对每个grir语义节点,根据引擎语义画像生成至少一个实现候选路径;基于语义契约与引擎语义画像,计算各实现候选路径的语义损失和执行代价,选择满足预设语义损失约束且执行代价最小的目标路径;
9、按照目标路径进行代码编译,生成各目标引擎可执行代码以及grir语义节点到代码片段的来源映射;
10、在相互隔离的引擎环境中加载相同逻辑测试数据并执行目标引擎可执行代码,得到引擎输出结果;
11、对引擎输出结果进行规范化,得到规范化结果,其中,规范化结果至少包含测试记录标识、治理状态、规范化观测值和grir语义节点轨迹;
12、根据数据治理规则的输出契约对各规范化结果执行等价比较;在等价的情况下生成证据包并发布。
13、在一种可能的实施方式中,所述grir还包括规则标识、数据绑定、表达式语法树、语义契约、输出契约、运行契约和来源追踪信息;
14、其中,所述数据绑定表示逻辑字段与实际数据源的映射关系;所述表达式语法树为以运算为节点的有向树结构;所述输出契约用于规定所述数据治理规则对应的输出结果的数据结构;所述运行契约用于规定所述数据治理规则对应的运行过程的行为约束;所述来源追踪信息包括各grir语义节点对应的来源规则片段、解析位置和变更版本。
15、在一种可能的实施方式中,所述测试向量包括基础值,所述根据初始grir的语法树结构、数据类型、约束边界和语义标签生成测试向量,包括:
16、针对可空字段生成null、空字符串、仅含空白字符和正常值;所述正常值为符合业务含义的合法数据;
17、针对布尔组合生成true、false和unknown传播路径;
18、针对类型转换生成可转换值、不可转换值和超范围值;得到所述测试向量。
19、在一种可能的实施方式中,所述测试向量包括边界值,所述根据初始grir的语法树结构、数据类型、约束边界和语义标签生成测试向量,包括:
20、针对数值规则生成最小值、最大值、正负零、精度临界值、舍入临界值和溢出值;
21、针对字符串规则生成多字节字符、组合字符、全角半角、大小写、控制字符、转义字符、超长字符和正则边界值,生成所述测试向量。
22、在一种可能的实施方式中,所述测试向量包括异常值,所述根据初始grir的语法树结构、数据类型、约束边界和语义标签生成测试向量,包括:
23、针对日期时间规则生成闰年、月末、非法日期、不同时区、夏令时切换点;所述非法日期表示符合日期格式但不存在的值,所述不同时区表示同一个时刻在不同时区下的表示差异;所述夏令时切换点表示夏令时开始和结束的时刻;
24、针对流式规则生成按序事件、乱序事件、重复事件、窗口边界事件、允许迟到范围内事件和超过迟到阈值的事件,生成所述测试向量。
25、在一种可能的实施方式中,所述测试向量包括组合值,所述根据初始grir的语法树结构、数据类型、约束边界和语义标签生成测试向量,包括:
26、根据所述grir语义节点的依赖关系构建边界组合图,在确保节点覆盖以及预设关键组合覆盖的情况下,对测试数据量进行压缩,得到所述测试向量。
27、在一种可能的实施方式中,在所述根据所述数据治理规则的输出契约对各所述规范化结果执行等价比较之后,所述方法还包括:
28、若各所述规范化结果不等价,则确定首个分歧grir语义节点,对该grir语义节点生成补偿改写并重新执行,或在无法保持语义时阻止所述证据包发布。
29、在一种可能的实施方式中,所述确定首个分歧grir语义节点,对该grir语义节点生成补偿改写,包括:
30、获取各引擎执行轨迹和目标代码到grir语义节点的映射,对同一测试记录的中间节点结果进行对齐,从根节点向叶节点或采用二分定位方式确定首个出现差异的grir语义节点,将该grir语义节点作为首个分歧grir语义节点;
31、根据该grir语义节点的节点类型、目标引擎画像和差异模式,从补偿策略库中生成候选修正。
32、在本技术实施例的第二方面,提供一种异构引擎规则适配装置,所述装置包括:
33、治理规则获取模块,用于获取并识别数据治理规则,得到规则类别、治理对象和目标执行范围;
34、grir构建模块,用于对数据治理规则进行解析,根据解析结果及规则类别、治理对象和目标执行范围,构建包含数据绑定和表达式语法树的初始治理规则中间表示grir;
35、语义契约补全模块,用于根据规则模板、字段元数据和治理策略,补全初始grir的语义契约,得到包含语义契约的grir;语义契约显式规定数据治理规则在不同数据状态下应产生的含义;
36、语义画像建立模块,用于读取目标引擎的类型、版本及运行配置,建立并绑定对应的引擎语义画像;引擎语义画像用于对目标引擎提供的语义能力、默认行为和限制条件进行结构化描述;
37、测试向量生成模块,用于根据grir的语法树结构、数据类型、约束边界和语义标签生成测试向量,并对每条测试向量记录覆盖的grir语义节点;
38、目标路径确定模块,用于针对每个grir语义节点,根据引擎语义画像生成至少一个实现候选路径;基于语义契约与引擎语义画像,计算各实现候选路径的语义损失和执行代价,选择满足预设语义损失约束且执行代价最小的目标路径;
39、代码编译模块,用于按照目标路径进行代码编译,生成各目标引擎可执行代码以及grir语义节点到代码片段的来源映射;
40、目标引擎执行模块,用于在相互隔离的引擎环境中加载相同逻辑测试数据并执行目标引擎可执行代码,得到引擎输出结果;
41、结果规范化模块,用于对引擎输出结果进行规范化,得到规范化结果,其中,规范化结果至少包含测试记录标识、治理状态、规范化观测值和grir语义节点轨迹;
42、等价比较模块,用于根据数据治理规则的输出契约对各规范化结果执行等价比较;在等价的情况下生成证据包并发布。
43、在一种可能的实施方式中,所述grir还包括规则标识、数据绑定、表达式语法树、语义契约、输出契约、运行契约和来源追踪信息;
44、其中,所述数据绑定表示逻辑字段与实际数据源的映射关系;所述表达式语法树为以运算为节点的有向树结构;所述输出契约用于规定所述数据治理规则对应的输出结果的数据结构;所述运行契约用于规定所述数据治理规则对应的运行过程的行为约束;所述来源追踪信息包括各grir语义节点对应的来源规则片段、解析位置和变更版本。
45、在一种可能的实施方式中,所述测试向量包括基础值,所述测试向量生成模块,具体用于:
46、针对可空字段生成null、空字符串、仅含空白字符和正常值;所述正常值为符合业务含义的合法数据;
47、针对布尔组合生成true、false和unknown传播路径;
48、针对类型转换生成可转换值、不可转换值和超范围值;得到所述测试向量。
49、在一种可能的实施方式中,所述测试向量包括边界值,所述测试向量生成模块,具体用于:
50、针对数值规则生成最小值、最大值、正负零、精度临界值、舍入临界值和溢出值;
51、针对字符串规则生成多字节字符、组合字符、全角半角、大小写、控制字符、转义字符、超长字符和正则边界值,生成所述测试向量。
52、在一种可能的实施方式中,所述测试向量包括异常值,所述测试向量生成模块,具体用于:
53、针对日期时间规则生成闰年、月末、非法日期、不同时区、夏令时切换点;所述非法日期表示符合日期格式但不存在的值,所述不同时区表示同一个时刻在不同时区下的表示差异;所述夏令时切换点表示夏令时开始和结束的时刻;
54、针对流式规则生成按序事件、乱序事件、重复事件、窗口边界事件、允许迟到范围内事件和超过迟到阈值的事件,生成所述测试向量。
55、在一种可能的实施方式中,所述测试向量包括组合值,所述测试向量生成模块,具体用于:
56、根据所述grir语义节点的依赖关系构建边界组合图,在确保节点覆盖以及预设关键组合覆盖的情况下,对测试数据量进行压缩,得到所述测试向量。
57、在一种可能的实施方式中,所述装置还包括:
58、补偿重写模块,用于若各所述规范化结果不等价,则确定首个分歧grir语义节点,对该grir语义节点生成补偿改写并重新执行,或在无法保持语义时阻止所述证据包发布。
59、在一种可能的实施方式中,所述补偿重写模块,具体用于:
60、获取各引擎执行轨迹和目标代码到grir语义节点的映射,对同一测试记录的中间节点结果进行对齐,从根节点向叶节点或采用二分定位方式确定首个出现差异的grir语义节点,将该grir语义节点作为首个分歧grir语义节点;
61、根据该grir语义节点的节点类型、目标引擎画像和差异模式,从补偿策略库中生成候选修正。
62、在本技术实施例的第三方面,提供一种电子设备,包括:
63、存储器,用于存放计算机程序;
64、处理器,用于执行存储器上所存放的程序时,实现本技术实施例第一方面所述的方法。
65、在本技术实施例的第四方面,提供一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现本技术实施例第一方面所述的方法。
66、本技术实施例与现有技术相比,至少存在如下技术效果:
67、本技术实施例提供一种异构引擎规则适配方法、装置及电子设备,获取并识别数据治理规则,得到规则类别、治理对象和目标执行范围;对数据治理规则进行解析,根据解析结果及规则类别、治理对象和目标执行范围,构建包含数据绑定和表达式语法树的初始治理规则中间表示grir;根据规则模板、字段元数据和治理策略,补全初始grir的语义契约,得到包含语义契约的grir;语义契约显式规定数据治理规则在不同数据状态下应产生的含义;读取目标引擎的类型、版本及运行配置,建立并绑定对应的引擎语义画像;引擎语义画像用于对目标引擎提供的语义能力、默认行为和限制条件进行结构化描述;根据grir的语法树结构、数据类型、约束边界和语义标签生成测试向量,并对每条测试向量记录覆盖的grir语义节点;针对每个grir语义节点,根据引擎语义画像生成至少一个实现候选路径;基于语义契约与引擎语义画像,计算各实现候选路径的语义损失和执行代价,选择满足预设语义损失约束且执行代价最小的目标路径;按照目标路径进行代码编译,生成各目标引擎可执行代码以及grir语义节点到代码片段的来源映射;在相互隔离的引擎环境中加载相同逻辑测试数据并执行目标引擎可执行代码,得到引擎输出结果;对引擎输出结果进行规范化,得到规范化结果,其中,规范化结果至少包含测试记录标识、治理状态、规范化观测值和grir语义节点轨迹;根据数据治理规则的输出契约对各规范化结果执行等价比较;在等价的情况下生成证据包并发布。
68、应用本技术实施例的方法,通过grir将治理意图、数据绑定和语义契约与目标引擎语法分离,使得一条规则可面向多个数据库、批处理引擎和流处理引擎编译,从而减少重复规则脚本和引擎专属分支,便于统一维护与版本控制,提升数据治理规则的跨引擎复用能力。且在规则发布前使用相同语义的测试向量、多引擎隔离执行和规范结果比较,能够发现仅靠语法检查无法识别的空值、精度、时区、字符和流式窗口差异,避免了相同治理规则在不同环境中形成相互矛盾的告警、阻断和修复结果。
69、通过对目标引擎进行引擎语义画像的构建,可以通过版本化语义画像对引擎差异进行统一管理,在新增引擎时可以只补充画像与适配器,而不需要重写治理规则;以及在引擎升级时可依据画像变化精确识别受影响规则并进行增量验证,降低全量回归测试资源消耗。此外,本技术实施例的版本化等价证据包可以完整关联规则、引擎画像、目标代码、测试数据和验证结果,可作为发布门禁、变更审计和故障复现依据。当某个引擎实现无法满足语义契约时,系统阻止该实现进入生产环境,从而降低治理规则误报、漏报和错误修复对生产数据的影响。
70、当然,实施本技术实施例的任一方法并不一定需要同时达到以上所述的所有优点。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com