基于多源材料解析与规则评估的数据盘点方法与流程

本发明涉及数据治理，更具体地说，它涉及基于多源材料解析与规则评估的数据盘点方法。

背景技术：

1、在制造执行、质量追溯、仓储管理和接口集成系统中，数据治理人员通常需要把数据库表、字段、脚本、接口文档、页面说明和运行日志汇总到同一盘点任务中。实际环境中，业务数据经常先由页面提交进入应用服务，再写入数据库，随后通过网关或接口同步到下游系统；这一路径会同时留下访问日志、数据库审计记录、接口调用记录和超时配置。传统盘点流程更偏向静态元数据处理，常按表名规则、字段名称、文档描述、引用次数或资产目录层级进行过滤和归类。临时表、历史表、系统表、备份表在真实项目中并不一定都是无效对象，部分表会承担过站、质检、入库、设备采集后的中间落地或历史留存任务。如果盘点任务没有把页面、数据库、接口三类运行记录放在同一请求通道内校验，就难以判断某个低频表是否参与生产数据流转。此时，删除策略容易把需要保留的承载对象排除在目录之外，后续数据血缘、接口映射、标准映射和版本比对会出现人工补查压力。因而，需要一种面向多源材料和计算机运行记录的盘点处理方式，在规则过滤前保留疑似对象，在对象聚合后结合业务字段和运行通路依据确定清单层级。

技术实现思路

1、本发明提供基于多源材料解析与规则评估的数据盘点方法，解决了背景技术中提出的技术问题。

2、为了实现上述的发明目的，本发明提供如下的技术方案。

3、基于多源材料解析与规则评估的数据盘点方法，包括建立盘点任务，解析多源材料形成统一片段表，还包括：

4、标准化片段名称与文本；

5、对命中异常名称规则的片段写入异常名称标记并保留至对象保留分生成后确定输出去向；

6、按用于识别工单、物料、批次、工序、设备、检验和入库字段的目标业务字段族规则写入业务字段标记；

7、按实体名称、脚本引用、接口参数对应关系、同义表达以及相同目标业务字段族且字段名称或字段说明一致的关系聚合对象组；

8、以页面提交时刻至接口发出时刻且未超过接口超时时长的区间为事务窗口，依据数据表写入时刻是否位于事务窗口内部生成事务窗口内嵌值；

9、将未具有异常名称标记且具有业务字段标记的片段确定为第一片段项，将具有异常名称标记、具有业务字段标记且事务窗口内嵌值表示位于事务窗口内部的片段确定为第二片段项；

10、根据第一片段项和第二片段项生成对象保留分，存在第一片段项或第二片段项的对象组划入核心盘点层，不存在第一片段项和第二片段项但存在业务字段标记或事务窗口内嵌值表示位于事务窗口内部的对象组划入次要保留层，其余对象组划入冗余痕迹层；

11、由核心盘点层和次要保留层生成带来源回溯信息的数据盘点清单。

12、与现有技术相比，本发明具有如下实质性特点和显著进步：

13、本发明在数据盘点过程中引入页面提交时刻、数据表写入时刻、接口发出时刻和接口超时时长，使系统能够依据既有日志判断数据库写入事件是否位于真实业务调用链路中；同时将异常名称规则的命中结果延后到对象组聚合和对象保留分生成后处理，避免仅凭表名、频次或活跃度提前移出低频业务表。由此，数据盘点清单能够同时保留材料来源、日志位置和分层结果，降低目录断链、重复扫描和人工回查成本，并提高跨源元数据归集、清单更新和待确认对象管理的稳定性。

1.基于多源材料解析与规则评估的数据盘点方法，包括建立盘点任务，解析多源材料形成统一片段表，其特征在于，还包括：

2.根据权利要求1所述的基于多源材料解析与规则评估的数据盘点方法，其特征在于，多源材料包括元数据材料、脚本材料、图像材料、业务文档材料、接口材料和运行日志材料；元数据材料包括数据库连接信息和数据字典，脚本材料包括etl脚本和报表脚本，图像材料包括系统截图，业务文档材料包括规格说明书、需求文档、设计文档、用户手册和建设标准文档，接口材料包括接口文档和接口配置，运行日志材料包括计算机运行日志；建立盘点任务时记录材料编号、来源系统、文件类型、采集时间和原始存储位置，文件类型用于选择材料解析器，采集时间和原始存储位置用于生成来源回溯信息。

3.根据权利要求2所述的基于多源材料解析与规则评估的数据盘点方法，其特征在于，按材料类型解析包括：通过数据库解析器提取库表字段，通过脚本解析器提取sql引用，通过文档解析器提取章节表格，通过接口解析器提取接口参数，通过图像解析器提取页面控件；库表字段、sql引用和接口参数参与对象组聚合，章节表格和页面控件写入统一片段表并作为实体名称、文本说明和业务流程节点的来源信息。

4.根据权利要求2所述的基于多源材料解析与规则评估的数据盘点方法，其特征在于，页面提交时刻从页面访问日志或应用请求日志读取，数据表写入时刻从数据库审计日志或事务日志读取，接口发出时刻从接口网关日志或调用日志读取，接口超时时长从接口客户端或网关现有配置读取；页面提交时刻、数据表写入时刻、接口发出时刻和接口超时时长缺失时保持空值。

5.根据权利要求3所述的基于多源材料解析与规则评估的数据盘点方法，其特征在于，统一片段表的每条片段保存材料编号、来源类型、来源系统、层级路径、实体类型、实体名称、文本说明、业务流程节点、采集时间、页面提交时刻、数据表写入时刻、接口发出时刻、接口超时时长、原材料路径和日志记录位置；层级路径和原材料路径用于生成来源回溯信息，实体类型用于对象组聚合，文本说明用于选择数据盘点清单中的主记录，业务流程节点用于数据盘点清单排序，采集时间用于生成来源回溯信息。

6.根据权利要求5所述的基于多源材料解析与规则评估的数据盘点方法，其特征在于，名称与文本标准化包括统一英文大小写、全半角字符和分隔符，对驼峰名称与下划线名称分词，使用盘点任务预设的业务词典归一工单、物料、批次、工序和设备的同义表达，并从数据字典、接口文档和字段注释中补充候选说明，将补充后的候选说明写入统一片段表并用于选择数据盘点清单中的主记录。

7.根据权利要求1所述的基于多源材料解析与规则评估的数据盘点方法，其特征在于，异常名称规则用于识别空表、备份表、僵尸表、单字段表、系统表、临时表、日志表和系统配置表；写入异常名称标记包括将命中临时表、历史表、系统表或备份表名称规则的片段至少保留至对象保留分生成步骤。

8.根据权利要求1所述的基于多源材料解析与规则评估的数据盘点方法，其特征在于，写入业务字段标记包括执行目标业务字段族规则，并在片段命中工单号、物料编码、工序编码、设备编码、批次号、检验单号、检验结果、质量项或入库单号中的任一业务字段时，将该片段确定为具有业务字段标记的片段。

9.根据权利要求1所述的基于多源材料解析与规则评估的数据盘点方法，其特征在于，生成事务窗口内嵌值包括：在同一应用请求通道内判断数据表写入时刻是否晚于页面提交时刻且早于接口发出时刻，并判断从页面提交时刻到接口发出时刻的间隔是否未超过接口超时时长；在判断结果成立时生成表示数据库写入事件位于事务窗口内部的事务窗口内嵌值，在判断结果不成立或任一所述时刻或接口超时时长缺失时生成表示不具备事务窗口位置依据的事务窗口内嵌值。

10.根据权利要求1所述的基于多源材料解析与规则评估的数据盘点方法，其特征在于，对象保留分为对象级分层状态值；同一对象组内存在第一片段项或第二片段项时，将对象保留分确定为核心盘点层状态；同一对象组内不存在第一片段项和第二片段项但存在具有业务字段标记的片段或事务窗口内嵌值表示数据库写入事件位于事务窗口内部的片段时，将对象保留分确定为次要保留层状态；同一对象组内不存在具有业务字段标记的片段且无片段的事务窗口内嵌值表示数据库写入事件位于事务窗口内部时，将对象保留分确定为冗余痕迹层状态；将数据盘点清单与上一版本目录比对，生成差异清单。