数据协同处理方法、装置、设备及可读存储介质与流程

本申请涉及数据处理，尤其涉及一种数据协同处理方法、装置、设备及可读存储介质。

背景技术：

1、随着物联网技术和人工智能技术的快速发展，智能网联汽车已成为汽车工业转型升级的重要方向。在自动驾驶、远程诊断、用户行为分析等业务场景下，车辆产生的数据量呈指数级增长，数据类型也日益复杂，涵盖了传感器原始数据、车辆状态信号、环境感知信息等多源异构数据。如何高效、实时地处理这些海量数据，并将其转化为有价值的业务服务，成为车联网领域亟待解决的关键问题。

2、现有技术中，针对车联网数据的处理通常采用传统的数据中台架构或单一的云计算模式。在处理流程上，往往采用静态配置的数据流管道，即预先定义好数据的采集、传输、处理和存储路径，业务逻辑与数据处理链路强绑定。当业务需求发生变化时，往往需要重新开发和部署数据链路，导致系统响应速度慢，灵活性差，无法满足自动驾驶等场景对数据流动态重构的要求。在算力分布上，要么主要集中在云端进行处理，要么局限于车端本地计算，缺乏车端、边缘端和云端之间的协同联动机制，无法保证关键业务的实时性和可靠性。

3、综上，如何解决现有技术中数据流静态配置无法适应动态业务场景、车-云-边算力资源协同调度能力弱以及数据处理实时性差的问题，成为本领域技术人员需要解决的技术难题。

技术实现思路

1、本申请提供一种数据协同处理方法、装置、设备及可读存储介质，旨在解决现有技术中数据流静态配置无法适应动态业务场景、车-云-边算力资源协同调度能力弱以及数据处理实时性差的技术问题。

2、第一方面，本申请提供一种数据协同处理方法，所述数据协同处理方法包括：

3、接收业务场景的数据需求，提取数据需求中的各个数据处理任务及之间的数据依赖关系；

4、以数据处理任务为节点，以数据依赖关系为边，生成有向无环拓扑图；

5、根据计算节点的状态信息及数据处理任务的属性信息，确定有向无环拓扑图中的各个节点的处理优先级及执行策略，并将数据处理任务分发至位于车辆端、边缘端或云端的计算节点进行处理。

6、可选的，所述数据处理任务基于语义实体进行，在所述接收业务场景的数据需求，提取数据需求中的各个数据处理任务及之间的数据依赖关系之前，包括：

7、提取车辆硬件的物理信号；

8、对物理信号进行标准化和特征提取，生成标准化的特征数据；

9、基于特征数据，构建面向业务场景的语义实体。

10、可选的，在所述将数据处理任务分发至位于车辆端、边缘端或云端的计算节点进行处理之后，包括：

11、接收计算节点处理后的数据，并将处理后的数据返回给应用服务的业务接口。

12、可选的，所述数据处理任务基于语义实体进行，所述数据协同处理方法还包括：

13、定义新的语义实体，并为新的语义实体对应的数据处理任务在有向无环拓扑图中配置数据流路径，以实现新业务的添加。

14、可选的，所述数据协同处理方法还包括：

15、对数据流的流转进行全链路的数据溯源、分级权限管控以及监控告警。

16、可选的，所述数据协同处理方法还包括：

17、当监测到计算节点故障时，将故障计算节点的数据处理任务迁移至其它可用计算节点。

18、第二方面，本申请提供了一种数据中台系统，所述数据中台系统包括：

19、物理信号层，提取车辆硬件的物理信号；

20、数据特征层，对物理信号进行标准化和特征提取，生成标准化的特征数据；

21、语义实体层，基于特征数据，构建面向业务场景的语义实体，以供数据处理任务调用；

22、业务应用层，基于语义实体，封装应用服务的业务接口。

23、第三方面，本申请提供了一种数据协同处理装置，所述数据协同处理装置包括：

24、接收模块，用于接收业务场景的数据需求，提取数据需求中的各个数据处理任务及之间的数据依赖关系；

25、生成模块，用于以数据处理任务为节点，以数据依赖关系为边，生成有向无环拓扑图；

26、分发模块，用于根据计算节点的状态信息及数据处理任务的属性信息，确定有向无环拓扑图中的各个节点的处理优先级及执行策略，并将数据处理任务分发至位于车辆端、边缘端或云端的计算节点进行处理。

27、第四方面，本申请提供了一种数据协同处理设备，包括处理器、存储器以及存储在所述存储器上并可被所述处理器执行的数据协同处理程序，其中所述数据协同处理程序被所述处理器执行时，实现如上述所述的数据协同处理方法的步骤。

28、第五方面，本申请提供了一种可读存储介质，所述可读存储介质上存储有数据协同处理程序，其中所述数据协同处理程序被处理器执行时，实现如上述所述的数据协同处理方法的步骤。

29、本申请提供的技术方案带来的有益效果包括：

30、本申请中，接收业务场景的数据需求，提取数据需求中的各个数据处理任务及之间的数据依赖关系；以数据处理任务为节点，以数据依赖关系为边，生成有向无环拓扑图；根据计算节点的状态信息及数据处理任务的属性信息，确定有向无环拓扑图中的各个节点的处理优先级及执行策略，并将数据处理任务分发至位于车辆端、边缘端或云端的计算节点进行处理。通过本申请，将模糊的业务需求转化为结构化的任务节点和依赖边，实现了业务逻辑与底层执行资源的解耦，从而能够使得数据流能够根据业务场景动态生成，而非静态固化，解决了现有技术中数据流采用静态配置、无法适应自动驾驶等动态业务场景的问题，提升了系统对多变业务需求的响应速度和适配能力。利用有向无环图（dag）图论模型描述任务调度问题，能够清晰地表征任务间的先后约束和并行可能性，可视化的拓扑结构便于后续的调度算法进行全局优化，支持复杂应用场景的动态重构，极大地提高了数据处理的灵活性。基于多维状态感知的动态调度机制，实现了算力资源与任务需求的最优匹配。实现了车辆端、边缘端及云端协同的算力资源优化配置，既满足了自动驾驶等场景对低延迟的要求，又利用了云端的强大算力进行模型训练或大数据分析，解决了现有技术中数据实时性差、动态调整链路弱的问题。

1.一种数据协同处理方法，其特征在于，包括：

2.如权利要求1所述的数据协同处理方法，其特征在于，所述数据处理任务基于语义实体进行，在所述接收业务场景的数据需求，提取数据需求中的各个数据处理任务及之间的数据依赖关系之前，包括：

3.如权利要求1所述的数据协同处理方法，其特征在于，在所述将数据处理任务分发至位于车辆端、边缘端或云端的计算节点进行处理之后，包括：

4.如权利要求2所述的数据协同处理方法，其特征在于，所述数据处理任务基于语义实体进行，所述数据协同处理方法还包括：

5.如权利要求1所述的数据协同处理方法，其特征在于，所述数据协同处理方法还包括：

6.如权利要求1所述的数据协同处理方法，其特征在于，所述数据协同处理方法还包括：

7.一种数据中台系统，其特征在于，包括：

8.一种数据协同处理装置，其特征在于，包括：

9.一种数据协同处理设备，其特征在于，包括处理器、存储器以及存储在所述存储器上并可被所述处理器执行的数据协同处理程序，其中所述数据协同处理程序被所述处理器执行时，实现如权利要求1至6中任一项所述的数据协同处理方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有数据协同处理程序，其中所述数据协同处理程序被处理器执行时，实现如权利要求1至6中任一项所述的数据协同处理方法的步骤。