数据处理方法、系统、计算机设备、可读存储介质和程序产品与流程

本技术涉及数据处理，特别是涉及一种数据处理方法、系统、计算机设备、计算机可读存储介质和计算机程序产品。

背景技术：

1、随着人工智能与分布式计算技术的飞速发展，智能节点作为边缘计算、认知物联网等系统的核心，需要处理的数据量和模态日益复杂，对其实时数据处理的效率提出了极高的要求。

2、在现有技术中，智能节点通常采用紧耦合的架构。其内部的数据处理链路是预先设定的，功能模块与特定的数据格式深度绑定。当节点接收到非预设格式的数据时，经过复杂且耗时的数据格式转换和协议适配才能被相应的功能模块处理。此外，不同功能模块之间由于缺乏统一的交互规范，跨模块协同处理时，数据需要在不同的私有协议间进行多次转换，导致了显著的性能损耗。

3、因此，如何提升数据处理效率，是本领域当前亟待解决的技术问题。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种的数据处理方法、系统、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种数据处理方法，应用于数据处理系统，包括：

3、将获取到的数据封装为预设形式的数据对象；

4、基于所述数据对象，确定对应所述数据的业务逻辑规则；

5、根据所述业务逻辑规则，确定模块调用指令，并基于所述模块调用指令，调用目标外部模块对所述数据对象进行处理；

6、获取所述目标外部模块在处理所述数据对象时的模块效用参数，并基于所述模块效用参数，更新所述业务逻辑规则，以优化后续基于所述业务逻辑规则的数据处理。

7、在其中一个实施例中，所述基于所述模块调用指令，调用目标外部模块对所述数据对象进行处理的步骤，包括：

8、根据所述模块调用指令，确定目标外部模块的标识；

9、基于所述目标外部模块的标识，通过服务发现机制，获取所述目标外部模块的服务地址；

10、按照预设的接口契约，利用所述服务地址向所述目标外部模块发起调用，以驱动所述目标外部模块对所述数据对象进行处理。

11、在其中一个实施例中，所述基于所述数据对象，确定对应所述数据的业务逻辑规则，包括：

12、解析所述数据对象中描述数据类型的语义描述，以及用于传递上下文信息的扩展参数；

13、当所述语义描述和扩展参数满足预设的条件表达式时，从预设规则集合中匹配多条中间业务逻辑规则；

14、比较所述中间业务逻辑规则对应的处理优先级，将处理优先级最高的中间业务逻辑规则确定为所述业务逻辑规则。

15、在其中一个实施例中，所述获取所述目标外部模块在处理所述数据对象时的模块效用参数的步骤，包括：

16、获取模块调用前后的数据对象快照和时间戳；

17、根据所述模块调用前后的数据对象快照，确定数据处理准确率；

18、根据所述模块调用前后的时间戳，确定数据处理时延；

19、基于所述数据处理准确率和数据处理时延，确定处理所述数据对象时的模块效用参数。

20、在其中一个实施例中，所述基于所述模块效用参数，更新所述业务逻辑规则，包括：

21、基于所述模块效用参数，调整所述业务逻辑规则的处理优先级；以及，

22、当所述处理优先级满足预设的处理条件时，将所述业务逻辑规则对应的目标外部模块进行预加载。

23、在其中一个实施例中，所述方法还包括：

24、基于所述数据处理系统的上下文标识，确定所述数据处理系统的全局身份标识；

25、基于所述全局身份标识建立操作日志，以从所述操作日志中，获取数据对象快照和时间戳。

26、第二方面，本技术还提供了一种数据处理系统，包括：

27、内容封装单元，用于将获取到的数据封装为预设形式的数据对象；

28、规则决策单元，用于基于所述数据对象，确定对应所述数据的业务逻辑规则；

29、扩展接口单元，用于根据所述业务逻辑规则，确定模块调用指令，并基于所述模块调用指令，调用目标外部模块对所述数据对象进行处理；

30、操作追溯单元，用于获取所述目标外部模块在处理所述数据对象时的模块效用参数，并基于所述模块效用参数，更新所述业务逻辑规则，以优化后续基于所述业务逻辑规则的数据处理。

31、第三方面，本技术还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

32、将获取到的数据封装为预设形式的数据对象；

33、基于所述数据对象，确定对应所述数据的业务逻辑规则；

34、根据所述业务逻辑规则，确定模块调用指令，并基于所述模块调用指令，调用目标外部模块对所述数据对象进行处理；

35、获取所述目标外部模块在处理所述数据对象时的模块效用参数，并基于所述模块效用参数，更新所述业务逻辑规则，以优化后续基于所述业务逻辑规则的数据处理。

36、第四方面，本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

37、将获取到的数据封装为预设形式的数据对象；

38、基于所述数据对象，确定对应所述数据的业务逻辑规则；

39、根据所述业务逻辑规则，确定模块调用指令，并基于所述模块调用指令，调用目标外部模块对所述数据对象进行处理；

40、获取所述目标外部模块在处理所述数据对象时的模块效用参数，并基于所述模块效用参数，更新所述业务逻辑规则，以优化后续基于所述业务逻辑规则的数据处理。

41、第五方面，本技术还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

42、将获取到的数据封装为预设形式的数据对象；

43、基于所述数据对象，确定对应所述数据的业务逻辑规则；

44、根据所述业务逻辑规则，确定模块调用指令，并基于所述模块调用指令，调用目标外部模块对所述数据对象进行处理；

45、获取所述目标外部模块在处理所述数据对象时的模块效用参数，并基于所述模块效用参数，更新所述业务逻辑规则，以优化后续基于所述业务逻辑规则的数据处理。

46、上述数据处理方法、系统、计算机设备、计算机可读存储介质和计算机程序产品，通过将获取到的数据封装为预设形式的数据对象；基于所述数据对象，确定对应所述数据的业务逻辑规则；根据所述业务逻辑规则，确定模块调用指令，并基于所述模块调用指令，调用目标外部模块对所述数据对象进行处理；获取所述目标外部模块在处理所述数据对象时的模块效用参数，并基于所述模块效用参数，更新所述业务逻辑规则，以优化后续基于所述业务逻辑规则的数据处理。本技术中，通过将获取到的数据先封装为统一预设形式的数据对象，实现了数据形态的标准化，从而解除了上层业务逻辑与底层异构数据源的刚性耦合；在此基础上，能够根据数据对象内容，匹配并调用相应的外部模块进行处理，实现了任务的模块化；进一步地，捕获外部模块在处理过程中的实际操作绩效，并以此为依据，形成一个反馈闭环来动态地、持续地更新原有的业务逻辑规则，达到了使数据处理系统的决策逻辑能够根据运行效果进行自适应调整与持续优化的技术效果，从而提升了复杂多变环境下的数据处理效率。