一种基于列式存储与策略引擎的分级数据产品化分发系统、方法及存储介质与流程

本技术涉及数据处理与分发，更具体地说，本技术涉及一种基于列式存储与策略引擎的分级数据产品化分发系统、方法及存储介质。

背景技术：

1、随着大数据技术的快速发展，企业内部积累了海量多源异构数据，如何将原始数据转化为可复用的数据产品并实现安全高效的分发，成为数据资产化落地的核心难题。现有技术中主要存在以下技术缺陷：

2、其一，传统行式存储架构在面向数据分析场景的大规模数据查询与提取时，io开销大、查询延迟高，无法支撑数据产品化过程中高频次、多维度的数据检索与加工需求；且数据存储与数据产品分发相互割裂，数据从存储层到分发层需要经过多次格式转换与数据搬运，时效性差且资源消耗严重。

3、其二，数据分级多依赖人工标注或简单的规则匹配，分级维度单一，无法综合数据敏感度、业务价值、访问频次、质量等级等多维度因素实现动态分级；且分级结果与分发策略脱节，分级信息无法自动驱动权限控制、脱敏规则与分发路径的自适应调整，策略配置繁琐且灵活性不足。

4、其三，数据产品化程度低，多数分发系统仅实现原始数据的传输，缺乏标准化的数据产品封装机制；分发过程缺乏统一的调度与管控，无法根据数据等级、接收方权限、网络状态等因素动态选择最优分发路径与传输方式，存在数据泄露风险且分发效率低下。

5、因此，针对上述问题提出一种基于列式存储与策略引擎的分级数据产品化分发系统、方法及存储介质。

技术实现思路

1、为了克服现有技术的上述缺陷，本技术提供一种基于列式存储与策略引擎的分级数据产品化分发系统、方法及存储介质，以解决上述背景技术中提出的问题。

2、第一方面

3、为实现上述目的，本技术提供如下技术方案：一种基于列式存储与策略引擎的分级数据产品化分发系统，包括列式存储模块、数据分级引擎模块、策略引擎模块、数据产品化封装模块以及智能分发调度模块：

4、所述列式存储模块，用于按照列存储架构对原始多源数据进行分区存储与压缩编码，构建面向分析型负载的底层数据底座，并对外提供列式查询接口；

5、所述数据分级引擎模块，内置多维度数据分级评估模型，用于从列式存储模块中抽取数据特征，综合数据敏感度、业务价值、数据质量、访问热度四个维度对数据资产进行量化评估，输出数据等级标签，并将分级结果回写至列式存储的元数据列；

6、所述策略引擎模块，内置分级策略映射规则库与动态规则推理机制，用于接收数据分级结果，基于分级标签自动匹配对应的数据脱敏规则、访问权限规则、分发路径规则与传输加密规则，生成可执行的分发策略集；

7、所述数据产品化封装模块，用于根据分发策略集对原始数据进行标准化加工，包括数据脱敏、元数据注入、产品规格定义与数据资产标识生成，形成标准化的数据产品；

8、所述智能分发调度模块，用于根据分发策略与接收方属性，结合实时网络状态与链路负载，采用智能调度算法选择最优分发通道与传输模式，完成数据产品的安全下发，并对分发全链路进行监控与审计。

9、进一步的，所述列式存储模块包含数据分区单元、压缩编码单元、列索引单元与元数据管理单元；

10、所述数据分区单元按照时间维度与业务维度对数据进行双层分区，每个分区内按列独立存储；

11、所述压缩编码单元针对不同数据类型的列采用差异化压缩算法，数值型列采用差值压缩与字典编码组合，字符串型列采用前缀编码与轻量级哈希压缩；

12、所述列索引单元为高频查询列建立倒排索引与布隆过滤器索引；

13、所述元数据管理单元维护每列数据的统计特征、分级标签、权限标识与血缘信息。

14、进一步的，所述数据分级引擎模块包含特征抽取单元、分级评估单元与等级校准单元；

15、所述特征抽取单元从列式存储中批量读取待分级数据列，自动提取数据字段类型、内容模式、出现频次、缺失率特征；

16、所述分级评估单元基于多维度加权评估模型对每个数据表或数据字段进行综合评分，根据评分区间映射为多级数据等级；

17、所述等级校准单元引入人工复核反馈机制，对边界评分数据进行二次校准，并将校准结果反馈至分级评估模型进行参数迭代优化。

18、进一步的，所述策略引擎模块包含规则库单元、规则推理单元与策略生成单元；

19、所述规则库单元以分级标签为主键，存储预定义的脱敏规则、权限规则、加密规则与分发路由规则；

20、所述规则推理单元支持基于条件组合的动态规则推导，当数据同时命中多个分级维度时，按最严原则进行规则合并与冲突消解；

21、所述策略生成单元将推理后的规则转化为可执行的策略指令，下发至数据产品化封装模块与智能分发调度模块。

22、进一步的，所述数据产品化封装模块包含脱敏执行单元、产品定义单元与资产标识单元；

23、所述脱敏执行单元根据策略指令对不同等级数据字段执行对应脱敏算法，高等级数据采用不可逆脱敏，中等级数据采用可逆掩码，低等级数据保留原始值；

24、所述产品定义单元为数据产品配置统一的元数据描述，包括产品名称、数据范围、更新频率、使用说明；

25、所述资产标识单元为每个数据产品生成全局唯一的数字资产标识，关联对应的分级信息与授权信息。

26、进一步的，所述智能分发调度模块包含通道管理单元、调度决策单元、传输执行单元与审计日志单元；

27、所述通道管理单元维护多条异构分发通道，包括直连推送、api网关、消息队列与离线介质传输；

28、所述调度决策单元基于数据等级、接收方权限、数据量大小与网络状态，采用多属性决策算法选择最优分发通道与传输参数；

29、所述传输执行单元按选定通道执行数据下发，传输过程中全程采用对应等级的加密算法；

30、所述审计日志单元记录分发全链路操作，形成不可篡改的分发审计链。

31、第二方面

32、一种基于列式存储与策略引擎的分级数据产品化分发方法，应用于一种基于列式存储与策略引擎的分级数据产品化分发系统，包括以下步骤：

33、s1、数据列式存储构建：采集多源原始数据，按列存储架构进行数据写入，执行分区、压缩与索引构建，建立元数据体系；

34、s2、多维度数据智能分级：从列式存储中抽取数据特征，通过多维度分级评估模型计算综合评分，映射生成数据等级标签并回写元数据；

35、s3、分级驱动的策略自动生成：策略引擎接收分级标签，匹配规则库并执行动态规则推理，生成包含脱敏、权限、加密与路由的完整分发策略集；

36、s4、数据产品标准化封装：依据分发策略对原始数据执行脱敏加工，注入标准化元数据，绑定资产标识，封装形成标准化数据产品；

37、s5、智能调度与安全分发：接收分发请求，结合数据等级、接收方属性与实时网络状态，调度最优分发通道完成数据产品下发，并记录全链路审计日志。

38、进一步的，s2中所述多维度分级评估模型的执行过程为：

39、首先构建分级指标体系，包含数据敏感度、业务价值、数据质量、访问热度四个一级维度，每个一级维度下设若干二级指标；

40、然后对各二级指标进行归一化处理，采用层次分析法确定各维度权重系数；

41、接着对每条数据资产逐项评分并加权求和，得到综合评分值；

42、最后根据预设的评分区间阈值，将数据资产划分为多个等级，等级数量可配置。

43、进一步的，s3中所述动态规则推理过程为：

44、当单条数据资产对应多个分级标签时，策略引擎读取每条标签对应的规则集合；

45、按照规则优先级与安全最严原则进行规则冲突检测与合并；

46、对合并后的规则进行完整性校验，确保脱敏、权限、加密、路由四类规则完备；

47、最终输出结构化的策略指令集，供下游模块解析执行；

48、s5中所述智能调度采用多属性决策机制，决策属性包括数据安全等级、数据产品体量、接收方网络带宽、通道当前负载与通道安全等级；通过对各属性进行归一化加权计算得到各候选通道的综合得分，选择得分最高的通道作为分发路径。

49、第三方面

50、一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时，应用于基于列式存储与策略引擎的分级数据产品化分发系统。

51、本技术的技术效果和优点：

52、1、与现有技术相比，该一种基于列式存储与策略引擎的分级数据产品化分发系统、方法及存储介质采用存储与分发一体化架构，大幅提升处理效率：本发明将列式存储作为数据底座，分级计算、产品封装与分发调度均直接基于列式存储进行，避免了数据在不同系统间的重复搬运与格式转换；同时列式存储的高压缩比与列级查询能力，显著降低了数据读取与加工的io开销，整体数据产品化分发效率提升显著。

53、2、多维度智能分级模型，分级结果更精准合理：突破传统单一规则分级的局限，综合敏感度、价值、质量、热度四个维度构建量化评估模型，并引入人工校准反馈机制实现模型自优化，分级结果更加贴合业务实际；分级结果直接回写列式存储元数据列，实现分级信息与数据资产的永久绑定。

54、3、分级与策略深度联动，实现策略自动适配：通过策略引擎建立分级标签与分发策略的自动映射关系，支持多规则动态推理与冲突消解，数据等级一经确定即可自动生成对应的脱敏、权限、加密与路由策略，无需人工逐一对接配置，策略配置效率与一致性大幅提升。

55、4、全链路产品化与安全管控，分发过程安全可控：构建标准化数据产品封装机制，将原始数据转化为带元数据、带资产标识、带安全属性的标准化数据产品；结合智能分发调度算法，根据数据等级动态选择分发通道与加密强度，全程留痕可审计，实现数据分发全生命周期的安全管控。