数据处理方法、数据检索方法、设备及存储介质与流程

本技术涉及数据处理、信息检索及人工智能领域，尤其涉及一种数据处理方法、数据检索方法、设备及存储介质。

背景技术：

1、物流与供应链场景中，通常将运单、路由、网点、客服及异常事件等多源数据接入智能检索与生成系统，以支撑业务决策。

2、然而，现有方案多依赖离线清洗或面向单一数据源的规则校验，难以适应多源异构数据的高频更新；在不同系统对同一业务对象存在字段差异、时间偏差或语义不一致时，往往缺乏统一检测能力，致使数据质量评估滞后，并影响检索与生成结果的准确性和可靠性。

3、因此，如何在多数据源动态环境下提高数据质量检测的实时性与跨源一致性，并降低低质量数据对检索生成结果的影响，成为需要解决的技术问题。

技术实现思路

1、本技术实施例提供一种数据处理方法、数据检索方法、设备及存储介质，以解决上述技术问题。该方案面向多业务系统接入的业务数据处理场景，围绕业务数据的质量异常识别、质量评估以及与检索增强生成过程的联动控制进行设计，在多源异构数据动态更新的情况下，对存在质量异常的数据进行针对性处理，并依据数据质量对其在检索增强生成系统中的作用进行调节，从而提升数据质量检测与下游应用协同的及时性和有效性。

2、第一方面，本技术实施例提供一种数据处理方法，包括：

3、获取待处理数据，待处理数据中包括至少一个业务系统的业务数据；

4、对待处理数据进行异常检测，确定目标数据，目标数据为存在质量异常的业务数据；

5、对目标数据在至少一个维度上的异常检测结果进行加权计算处理，确定目标数据的质量评分；

6、根据质量评分，对检索增强生成系统中目标数据对应的检索权重进行动态调整。

7、在一个可能的实施例中，方法还包括：

8、确定目标数据的元数据标签，元数据标签用于标识目标数据所属的业务系统和业务归属信息；

9、根据元数据标签，从预设的映射关系中确定推送目标，推送目标为与目标数据关联的数据责任人；

10、根据质量评分、目标数据在检索增强生成系统中的检索使用权重、目标数据对应的时间敏感因子，确定影响因子，影响因子用于指示目标数据对检索增强生成结果的潜在影响程度；

11、根据影响因子确定目标数据的优先级；

12、根据优先级，向推送目标推送修复指令。

13、在一个可能的实施例中，在获取待处理数据之后，方法还包括：

14、识别待处理数据中各业务系统数据的字段定义和数据结构；

15、根据预设的统一语义模型，确定各业务系统数据字段与标准字段之间的映射关系；

16、根据映射关系，将各业务系统数据的字段对齐至统一语义模型下的标准字段格式。

17、在一个可能的实施例中，对待处理数据进行异常检测，确定目标数据，包括：

18、对对待处理数据中来自不同业务系统的同一实体的描述信息进行比对，检测是否存在跨数据源的数据冲突；

19、对待处理数据中的语义信息进行解析，检测是否存在语义异常；

20、对待处理数据中的必填字段进行空值校验，检测是否存在字段缺失；

21、对待处理数据进行重复识别，检测是否存在重复记录；

22、对待处理数据中的时间戳信息进行延迟判定，检测是否存在时效异常；

23、在存在数据冲突、语义异常、字段缺失、重复记录、时效异常中任意一项时，将业务数据确定为目标数据。

24、在一个可能的实施例中，确定目标数据的质量评分，包括：

25、确定目标数据在完整性维度的第一指标值，完整性维度用于表征目标数据中字段完整填充的程度；

26、确定目标数据在一致性维度的第二指标值，一致性维度用于表征目标数据与同源或跨源数据之间逻辑一致的程度；

27、确定目标数据在有效性维度的第三指标值，有效性维度用于表征目标数据的数据值是否符合预设格式规范、类型定义或语义规则的接受程度；

28、确定目标数据在唯一性维度的第四指标值，唯一性维度用于表征目标数据在所属的业务数据中是否存在重复记录以及重复记录所占的比例程度；

29、确定目标数据在时效性维度的第五指标值，时效性维度用于表征目标数据的更新时间与实际数据产生时间之间的延迟程度；

30、分别确定完整性维度、一致性维度、有效性维度、唯一性维度、时效性维度对应的权重系数；

31、根据第一指标值、第二指标值、第三指标值、第四指标值、第五指标值中的至少一项，以及对应的权重系数进行加权求和，得到质量评分。

32、在一个可能的实施例中，方法还包括：

33、确定影响因子对应的影响阈值；

34、在影响因子大于影响阈值时，对目标数据执行生成控制操作，生成控制操作包括以下至少一项：阻断目标数据参与检索增强生成系统的内容生成、在检索增强生成系统的生成结果中针对目标数据对应的信息注入数据待确认提示。

35、在一个可能的实施例中，根据优先级，向推送目标推送修复指令，包括：

36、确定目标数据对应数据问题的业务影响程度信息，业务影响程度信息包括以下至少一项：运输时效影响信息、客户服务影响信息；

37、确定目标数据对应数据问题的修复难度信息，修复难度信息包括以下至少一项：数据可追溯性信息、数据可修正性信息；

38、确定推送目标的响应能力信息；

39、根据业务影响程度信息、修复难度信息和响应能力信息，对优先级进行调整；

40、根据调整后的优先级，向推送目标发送修复指令。

41、第二方面，本技术实施例提供一种数据检索方法，包括：

42、获取查询语句；

43、根据检索权重，从目标数据源中召回查询语句对应的候选业务数据，其中，检索权重是根据第一方面的数据处理方法对目标数据对应的检索权重进行动态调整后得到的；

44、根据候选业务数据，确定查询语句对应的目标检索结果。

45、第三方面，本技术实施例提供一种数据处理装置，包括：

46、获取模块，用于获取待处理数据，待处理数据中包括至少一个业务系统的业务数据；

47、检测模块，用于对待处理数据进行异常检测，确定目标数据，目标数据为存在质量异常的业务数据；

48、确定模块，用于对目标数据在至少一个维度上的异常检测结果进行加权计算处理，确定目标数据的质量评分；

49、处理模块，用于根据质量评分，对检索增强生成系统中目标数据对应的检索权重进行动态调整。

50、第四方面，本技术实施例提供一种电子设备，包括：存储器，处理器；

51、存储器存储计算机执行指令；

52、处理器执行存储器存储的计算机执行指令，使得处理器执行上述提供的数据处理方法，或者使得处理器执行上述提供的数据检索方法。

53、第五方面，本技术实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现上述提供的数据处理方法，或者计算机执行指令被处理器执行时用于实现上述提供的数据检索方法。

54、第六方面，本技术实施例提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述提供的数据处理方法，或者计算机程序被处理器执行时实现上述提供的数据检索方法。

55、本技术实施例提供的数据处理方法、数据检索方法、设备及存储介质，通过获取包括至少一个业务系统业务数据的待处理数据，对待处理数据进行异常检测以确定存在质量异常的目标数据，并进一步确定目标数据的质量评分，且基于质量评分对检索增强生成系统中目标数据对应的检索权重进行动态调整，能够在多源异构数据动态变化的场景下及时识别低质量业务数据并量化其质量水平，进而降低质量异常数据对检索结果及生成结果的干扰，提高检索增强生成系统输出的准确性和可靠性。