面向智能体的多源异构业务数据处理方法、装置及程序

摘要: 本申请涉及数据处理,尤其涉及一种面向智能体的多源异构业务数据处理方法、装置及程序。背景技术:1、随着企业数据规模的持续增长,业务数据往往以关系型数据库、csv、...
面向智能体的多源异构业务数据处理方法、装置及程序

本申请涉及数据处理,尤其涉及一种面向智能体的多源异构业务数据处理方法、装置及程序。

背景技术:

1、随着企业数据规模的持续增长,业务数据往往以关系型数据库、csv、excel、json及文本文件等多种形式分散存储于不同的数据源中,形成多源异构的数据环境。在对这些多源异构业务数据进行处理时,首先需要从中识别和获取与业务需求相关的数据资源。

2、在现有技术中,数据资源的识别和获取通常由数据智能体在任务执行过程中完成,具体方式包括遍历数据目录、解析文件结构、读取样例数据以及推断字段含义等。当数据源数量较多、涉及大量数据库表、表格文件及业务文档时,数据智能体往往需要经过多轮探索才能定位所需的数据资源,此外,部分数据智能体还会直接将完整文件读取至模型上下文中,导致数据读取量过大,严重制约了多源异构业务数据的数据处理效率。同时,在多源异构数据环境中,具有相同业务含义的数据往往分散在多个数据源中且用途各不相同,即使数据智能体已识别出与任务相关的数据类别,仍可能无法准确确定实际需要使用的业务数据范围,此外,在建立跨源数据关联时,字段名称或语义上的相似并不能保证业务数据之间能够正确关联,进而导致后续的数据处理结果不可靠。

技术实现思路

1、本申请提供一种面向智能体的多源异构业务数据处理方法、装置及程序,一方面可提升多源异构业务数据的识别和获取效率,进而提升多源异构业务数据的处理效率,另一方面可准确确定实际需要使用的业务数据范围,并确保业务数据之间能够正确关联,提升数据处理结果的准确度。

2、本申请第一方面提供一种面向智能体的多源异构业务数据处理方法,包括如下步骤:

3、获取用户输入的数据处理请求,所述数据处理请求表示按照数据处理目标,对存储于智能体外的多源异构业务数据进行处理;

4、在业务知识模型中,确定与所述数据处理请求匹配的目标标准业务语义标签,所述业务知识模型中包括根据所述多源异构业务数据中的数据对象确定的标准业务语义标签、所述标准业务语义标签之间的业务关系以及所述标准业务语义标签对应的业务数据映射方式;

5、根据所述目标标准业务语义标签对应的业务数据映射方式,确定所述多源异构业务数据中的目标业务数据的探索范围,并生成语义锚点,所述语义锚点包括所述目标标准业务语义标签和所述探索范围,所述目标业务数据为处理所述数据处理请求时需要的业务数据;

6、在所述探索范围内,根据业务语义约束和可执行性验证,确定所述目标业务数据之间的数据关联关系,所述业务语义约束用于约束所述数据关联关系符合所述业务关系;

7、生成已确认资源集合,所述已确认资源集合包括所述语义锚点和所述数据关联关系;

8、将所述数据处理目标和所述已确认资源集合输入所述智能体,得到数据处理结果,所述智能体用于按照所述数据处理目标,根据所述已确认资源集合读取并处理所述目标业务数据。

9、本申请第二方面提供一种面向智能体的多源异构业务数据处理装置,包括如下模块:

10、获取模块,用于:获取用户输入的数据处理请求,所述数据处理请求表示按照数据处理目标,对存储于智能体外的多源异构业务数据进行处理;

11、第一确定模块,用于:在业务知识模型中,确定与所述数据处理请求匹配的目标标准业务语义标签,所述业务知识模型中包括根据所述多源异构业务数据中的数据对象确定的标准业务语义标签、所述标准业务语义标签之间的业务关系以及所述标准业务语义标签对应的业务数据映射方式;

12、第二确定模块,用于:根据所述目标标准业务语义标签对应的业务数据映射方式,确定所述多源异构业务数据中的目标业务数据的探索范围,并生成语义锚点,所述语义锚点包括所述目标标准业务语义标签和所述探索范围,所述目标业务数据为处理所述数据处理请求时需要的业务数据;

13、第三确定模块,用于:在所述探索范围内,根据业务语义约束和可执行性验证,确定所述目标业务数据之间的数据关联关系,所述业务语义约束用于约束所述数据关联关系符合所述业务关系;

14、生成模块,用于:生成已确认资源集合,所述已确认资源集合包括所述语义锚点和所述数据关联关系;

15、输入模块,用于:将所述数据处理目标和所述已确认资源集合输入所述智能体,得到数据处理结果,所述智能体用于按照所述数据处理目标,根据所述已确认资源集合读取并处理所述目标业务数据。

16、本申请第三方面提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一种所述的面向智能体的多源异构业务数据处理方法。

17、本申请第四方面提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述的面向智能体的多源异构业务数据处理方法。

18、本申请第五方面提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述的面向智能体的多源异构业务数据处理方法。

19、实施本申请的方法,在接收到数据处理请求后,首先在业务知识模型中确定与数据处理请求匹配的目标标准业务语义标签,根据目标标准业务语义标签对应的业务数据映射方式确定所需的目标业务数据的探索范围并生成语义锚点,接着在探索范围内根据业务语义约束和可执行性验证,确定目标业务数据之间的数据关联关系,并生成已确认资源集合,已确认资源集合包括语义锚点和数据关联关系,最后,智能体按照数据处理目标,根据已确认资源集合读取并处理目标业务数据,得到数据处理结果。该方法至少存在如下效果:

20、第一,智能体无需自行遍历数据目录、解析文件结构或者读取完整文件即可获取所需的目标业务数据及目标业务数据之间的数据关联关系,能够显著提升目标业务数据的识别和获取效率,进而提升多源异构业务数据的处理效率。

21、第二,通过语义锚点可将数据处理请求锚定至具体的数据字段,即使具有相同业务含义的数据分散在多个数据源中且用途各不相同,仍能准确确定目标业务数据的探索范围;其次,通过业务语义约束和可执行性验证确定数据关联关系,可避免仅依据字段名称或语义上的相似建立跨源数据关联,能够提升数据关联关系的可靠性,进而提升多源异构业务数据的处理结果的准确度。

1.一种面向智能体的多源异构业务数据处理方法,其特征在于,包括:

2.根据权利要求1所述的面向智能体的多源异构业务数据处理方法,其特征在于,所述在业务知识模型中,确定与所述数据处理请求匹配的目标标准业务语义标签,包括:

3.根据权利要求1所述的面向智能体的多源异构业务数据处理方法,其特征在于,所述根据所述目标标准业务语义标签对应的业务数据映射方式,确定所述多源异构业务数据中的目标业务数据的探索范围,包括:

4.根据权利要求1所述的面向智能体的多源异构业务数据处理方法,其特征在于,所述根据业务语义约束和可执行性验证,确定所述目标业务数据之间的数据关联关系,包括:

5.根据权利要求4所述的面向智能体的多源异构业务数据处理方法,其特征在于,所述数据属性包括数据类型、值域、唯一性、空值率以及基数,所述根据所述筛选后的候选关联关系对应的探索范围中数据字段的数据属性,对所述筛选后的候选关联关系进行可执行性验证,将通过验证的候选关联关系确定为所述数据关联关系,包括:

6.根据权利要求4所述的面向智能体的多源异构业务数据处理方法,其特征在于,所述根据所述业务语义约束,对所述候选关联关系进行筛选,得到筛选后的候选关联关系,包括:

7.根据权利要求1所述的面向智能体的多源异构业务数据处理方法,其特征在于,所述业务知识模型是预先通过如下步骤获取的:

8.根据权利要求7所述的面向智能体的多源异构业务数据处理方法,其特征在于,所述根据所述数据发现知识图谱,确定多个标准业务语义标签,包括:

9.一种面向智能体的多源异构业务数据处理装置,其特征在于,包括:

10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的面向智能体的多源异构业务数据处理方法。