一种基于修复动作语法与全局约束优化的数据纠错方法及系统

本发明涉及数据治理与数据质量控制，尤其涉及一种面向企业多源异构数据的自动纠错方法及系统，具体为基于修复动作语法的候选生成、基于硬/软约束的全局一致性优化求解以及可审计证据输出与风险拒绝控制的数据纠错技术。

背景技术：

1、企业数据资产通常来自多个异构系统与处理链路，采集、同步、加工与人工录入过程容易引入缺失、格式异常、语义冲突及跨字段/跨表不一致等数据质量问题。数据质量问题会影响统计分析与业务决策，并可能导致下游模型训练与推断误差放大以及自动化流程风险累积。现有技术中，常见的数据纠错方法包括基于规则或约束的检测与修复、基于统计的填补与纠正，以及基于学习模型的修复建议生成。规则或约束方法具有确定性与可控性，但对语义类错误、跨字段关联错误的覆盖有限；学习模型能扩展覆盖面，但在缺乏全局一致性约束与可审计证据时，存在局部合理但全局不一致的风险，且在不确定性较高时直接写回可能引发业务连锁影响。因此，需要一种能够在保持候选修复可控、全局一致性可验证、输出结果可审计的同时，具备风险拒绝与集合化建议能力的数据纠错方案。

技术实现思路

1、本发明提供一种基于修复动作语法与全局约束优化的数据纠错方法及系统，旨在解决候选修复不可控、全局一致性难以保证以及纠错写回风险不可控的问题。本发明的方法至少包括如下步骤：（1）构建修复动作语法：将修复过程限定为可组合的原子修复动作及其参数空间，并建立动作串联、互斥、依赖及适用域等组合规则；（2）疑似错误定位：基于硬约束与软约束对数据进行校验，得到疑似错误字段值集合；（3）候选修复生成：依据修复动作语法对疑似错误字段值生成候选修复集合，并为每一候选绑定证据引用；（4）代价评估：对候选修复计算与修改幅度、统计一致性、约束满足影响及证据可信度相关的候选代价值；（5）全局优化求解：将候选选择建模为满足硬约束、最小化总代价值的全局约束优化问题，通过milp/maxsat/smt等求解器获得最优修复解；（6）输出与拒绝：输出纠错结果及审计证据，并基于解间隙、多最优性或证据可信度等条件触发风险拒绝，输出集合化候选修复建议并进入人工复核闭环。与上述方法相对应，本发明还提供一种数据纠错系统、电子设备及存储介质，用于实现上述方法。

2、具体如下：

3、一种基于修复动作语法与全局约束优化的数据纠错方法，包括：构建修复动作语法，所述修复动作语法至少包括原子修复动作集合、各原子修复动作的参数空间以及原子修复动作的组合规则；基于约束校验确定疑似错误集合，所述疑似错误集合至少包含一个疑似错误字段值；针对疑似错误字段值，依据修复动作语法生成候选修复集合，其中每一候选修复至少包括目标字段标识、修复动作标识、修复动作参数、候选修复值以及候选证据引用；构建包含硬约束与软约束的约束集合，并对候选修复集合进行代价评估以得到候选代价值，候选代价值至少与修改幅度、统计一致性以及对约束满足性的影响相关；将候选修复的选择过程构造成全局约束优化问题，并调用求解器在满足所述硬约束的前提下最小化总代价值，得到最优修复解；基于最优修复解输出纠错结果并生成审计证据；其中，当最优修复解满足预设风险拒绝条件时，输出集合化候选修复建议并触发人工复核流程。

4、其中，所述原子修复动作集合至少包括以下之一：格式规范化动作、单位换算动作、枚举归一动作、别名映射动作、字符串编辑动作、缺失填补动作、跨字段推导动作、外部码表对齐动作；

5、所述组合规则至少包括：动作可串联规则、动作互斥规则、动作参数依赖规则以及动作适用域规则；其中动作适用域规则用于限定原子修复动作对字段类型、数据域或业务实体的适用条件。通过在候选生成阶段校验动作适用域、参数依赖和互斥关系，能够排除不适用于目标字段或不能合法组合的修复动作序列，从而限制进入全局求解的候选范围。

6、其中，基于约束校验确定疑似错误集合至少包括以下之一：字段取值范围约束校验、正则模式约束校验、枚举集合约束校验、键约束校验、函数依赖约束校验、包含依赖约束校验、跨表参照约束校验、跨字段一致性约束校验；校验结果同时保留疑似错误字段标识与触发约束标识之间的对应关系，供候选生成和全局优化复用，使修复对象及其关联约束在后续处理中保持一致。

7、其中，生成候选修复集合包括至少两种来源的候选融合；所述来源至少包括以下之一：规则或词典生成、业务码表或主数据检索生成、基于历史干净样本统计生成、基于学习模型的候选生成或排序；

8、所述候选证据引用至少包括以下之一：触发的约束标识、码表条目标识、检索命中文档标识、历史样本簇标识、字段血缘来源标识、以及用于生成候选修复值的修复动作序列。证据引用与候选修复值及动作序列绑定保存，供代价评估提取证据可信度，并在输出修复结果时一并生成审计记录，以便复核所选修复值的来源及生成过程。

9、其中，所述候选代价值由多分量代价向量计算得到，多分量代价向量至少包括以下之一：编辑距离代价、语义相似度代价、统计一致性代价、约束违背增量代价、证据可信度惩罚代价；并且多分量代价向量通过非负权重加权求和得到候选代价值。通过对各代价分量归一化并加权，能够在同一尺度上比较候选的修改幅度、统计一致性和证据可信度，避免仅依据字符串修改距离选择修复值。

10、其中，所述全局约束优化问题至少包括：对每一疑似错误字段值从其候选修复集合中选择唯一候选的选择约束；以及用于保证记录级或表级一致性的约束；求解器为以下之一：整数线性规划求解器、最大可满足性求解器、可满足性模理论求解器。对于受同一约束关联的多个疑似错误字段，求解器联合选择其候选组合，而不是分别选择各字段的最低代价候选，使局部候选选择服从修复后数据的整体一致性要求。

11、其中，所述审计证据至少包括：被修改字段标识、修改前值、修改后值、采用的修复动作标识及参数、满足的硬约束列表、被违背的软约束列表及其惩罚项、以及对应的证据引用；

12、所述预设风险拒绝条件至少包括以下之一：最优修复解与次优修复解的总代价值差异小于预设阈值；存在多最优修复解；最优修复解的证据可信度低于预设阈值；最优修复解导致关键字段的约束违背风险大于预设阈值；

13、所述人工复核流程的复核结果用于更新至少以下之一：修复动作语法中的组合规则、候选生成的词典或码表、候选代价值的权重参数、以及软约束的权重参数。复核接受、修改和驳回结果分别用于识别可复用的映射关系、不适用的动作组合以及候选排序偏差，为后续同类错误的候选生成和代价参数调整提供依据。

14、一种数据纠错系统，实现所述的数据纠错方法，所述系统包括：动作语法构建模块，用于构建修复动作语法；错误定位模块，用于基于约束校验确定疑似错误集合；候选生成模块，用于依据修复动作语法为疑似错误字段值生成候选修复集合；约束构建模块，用于构建包含硬约束与软约束的约束集合；代价评估模块，用于对候选修复集合进行代价评估以得到候选代价值；全局求解模块，用于将候选选择构造成全局约束优化问题并调用求解器得到最优修复解；审计与拒绝模块，用于输出纠错结果并生成审计证据，以及在满足风险拒绝条件时输出集合化候选修复建议并触发人工复核流程；

15、所述候选生成模块包括：规则生成单元、码表检索单元以及学习排序单元；所述学习排序单元用于对来自规则生成单元与码表检索单元的候选修复进行重排序或裁剪；

16、所述约束构建模块用于将约束集合表示为约束图结构或约束关系表；所述约束图结构的节点对应字段或实体，边对应约束关系类型；

17、所述全局求解模块用于输出最优修复解以及次优修复解，所述审计与拒绝模块用于基于二者的总代价值差异判断是否触发风险拒绝；

18、还包括写回控制模块，用于在未触发风险拒绝时将纠错结果写回数据源，并在触发风险拒绝时将集合化候选修复建议写入待复核队列且禁止自动写回。

19、有益效果

20、本发明通过修复动作语法限定动作适用域、参数空间和组合关系，在候选生成阶段排除不合法的动作序列，使进入求解的候选具有明确的生成路径。候选修复值与动作序列及证据引用绑定保存，支持候选代价计算和修复后审计。全局约束优化对关联字段的候选组合进行联合选择，在满足硬约束的前提下比较修改代价与软约束惩罚，避免各字段独立选择后产生跨字段或跨表冲突。进一步地，基于最优解与次优解的代价差、多最优状态及证据可信度判断是否允许自动写回，在候选竞争或证据不足时输出集合化建议，降低不确定修复直接写入数据源的风险。人工复核结果用于修正已有映射、动作规则及代价参数，为后续同类错误提供反馈依据。上述过程将候选合法性、整体一致性和写回风险控制关联起来，同时保存从原值、动作到修复值的可复核记录。