一种基于物联网技术的数据处理方法和相关装置与流程

涉及物联网，尤其是涉及一种基于物联网技术的数据处理方法和相关装置。

背景技术：

1、随着物联网技术的迅速发展，云边协同架构已经成为物联网系统的主要架构之一。云侧的物联网平台，负责数据汇聚和业务闭环，边侧(如边缘网关)负责数据的采集和预处理。为提高海量数据的有效性与价值密度，具备智能计算能力的边，通常在数据上云之前会进行降频、清洗等操作以减少发送到云的数据量，云侧物联网平台则根据业务需求，对数据进行清洗、优化处理以减少存储的数据量。

2、目前数据处理策略配置复杂，需要显式指明数据处理任务运行在云侧还是边侧，且在两级或多级数据处理任务时，难以确定具体使用边侧点位清洗还是使用云侧流式清洗，且不同边侧设备能力不同，难以实现快速、高效、准确配置，造成资源浪费。

技术实现思路

1、本技术实施例提供了一种基于物联网技术的数据处理方法和相关装置，通过云管理平台根据获取到的数据处理规则生成数据处理任务，并和边缘节点交互确定边缘节点是否具有执行数据处理任务的能力，从而实现在云管理平台、边缘节点以及边缘设备之间合理确定数据处理任务的执行主体，实现高效准确的数据处理配置。该技术方法具体如下：

2、第一方面，本技术提供了一种基于物联网技术的数据处理方法，该方法应用于云管理平台，其中，该云管理平台用于管理基础设施，与该基础设施连接的有第一边缘节点，且第一边缘节点还连接有第一边缘设备，进而，第一边缘节点可以用于获取第一边缘设备采集到的第一业务数据，该方法具体包括以下步骤：云管理平台获取第一数据处理规则，其中，该第一数据处理规则包括第一属性标识和第一数据处理条件，而该第一属性标识用于标识第一业务数据中的第一属性数据，进而云管理平台根据第一数据处理规则，生成第一数据处理任务，再与第一边缘节点交互确定第一边缘节点具有执行第一数据处理任务的能力。由此向第一边缘节点发送第一数据处理任务，其中，第一数据处理任务用于指示第一边缘节点确定第一属性数据中满足第一数据处理条件的第一数据，再由云管理平台接收第一边缘节点发送的第一数据。

3、在本技术提供的方案中，用户可以通过登录云管理平台，或通过调用物联网应用的应用程序编程接口(application programming interface,api)，输入数据处理规则后，便无需再配置基于该数据处理规则而需要执行相应数据处理任务的主体是云侧还是边侧。由云管理平台与边缘节点交互确定边缘节点是否有能力执行该数据处理任务，确定是由边缘节点执行，还是由云管理平台执行。从而数据处理规则的相关配置可以快速准确的被布置到相应的执行主体，在保证数据处理任务高效配置的基础上，提升任务分配的合理性，同时促进云侧和边侧资源的合理分配和利用。

4、结合第一方面，在第一方面的一种可能的实现方式中，云管理平台与第一边缘节点交互确定第一边缘节点具有执行第一数据处理任务的能力，具体实现包括以下步骤：云管理平台向第一边缘节点发送第一查询信息，其中，该第一查询信息用于查询第一边缘节点是否具有执行第一数据处理任务的能力。之后，云管理平台获取来自第一边缘节点发送的第一响应信息，其中，该第一响应信息用于指示第一边缘节点具有执行第一数据处理任务的能力。由此，云管理平台可以根据第一响应信息确定第一边缘节点具有执行第一数据处理任务的能力。

5、在本技术提供的方案中，云管理平台确定边缘节点是否具有执行数据处理任务能力的方式可以是通过向边缘节点发送查询信息，或通过心跳协议、长连接协议等方式，确定数据处理任务是否交由边缘节点来进行。通过建立云边协同的能力协商机制，减少配置的复杂度，提升任务分配的精准性，同时使得资源得到最大化利用，即使是大量的边缘节点、边缘设备的处理场景下，也可以高效便捷的实现数据处理任务的合理分配。

6、结合第一方面，在第一方面的一种可能的实现方式中，云管理平台获取第二数据处理规则，其中，第二数据处理规则包括第二属性标识和第二数据处理条件，而该第二属性标识用于标识第一业务数据中的第二属性数据。云管理平台根据第二数据处理规则，生成第二数据处理任务，通过与第一边缘节点交互确定第一边缘节点不具有执行第二数据处理任务的能力。由云管理平台获取边缘节点上传的第二属性数据，由云管理平台执行第二数据处理任务，得到第二属性数据中满足第二数据处理条件的第二数据。

7、在本技术提供的方案中，云管理平台在和边缘节点交互确定其不具有执行数据处理任务的能力时，对于云管理平台获取的数据处理规则，及生成的数据处理任务，由云管理平台执行相应的数据处理任务并得到满足相应数据处理条件的数据。通过云管理平台和边缘节点间建立的能力协商机制，云管理平台可以自适应的调节数据处理任务的执行主体，在边缘节点计算资源不足、处理能力较弱时，由云管理平台利用平台计算能力的优势，为数据处理任务提供保证。

8、结合第一方面，在第一方面的一种可能的实现方式中，云管理平台获取第三数据处理规则，其中，第三数据处理规则包括第一属性标识、第二属性标识和第三数据处理条件，而该第三数据处理条件包括第一数据关联方式，第一数据关联方式用于关联第一属性数据和第二属性数据。云管理平台根据第三数据处理规则，生成第三数据处理任务，进一步的，由云管理平台获取第一数据和第二数据，并执行第三数据处理任务，得到第一数据中满足第三数据处理条件的第三数据和/或第二数据中满足第三数据处理条件的第四数据。

9、结合第一方面，在第一方面的一种可能的实现方式中，在云管理平台根据第三数据处理规则，生成第三数据处理任务之后，还可以通过和边缘节点交互确定边缘节点是否具有执行第三数据处理任务的能力，在边缘节点具有执行第三数据处理任务的能力下，向边缘节点发送第三数据处理任务，以指示边缘节点执行第三数据处理任务，得到第一数据中满足第三数据处理条件的第三数据和/或第二数据中满足第三数据处理条件的第四数据，并由云管理平台接收边缘节点发送的第四数据。

10、在本技术提供的方案中，云管理平台除了可以根据数据处理规则，分配单点位的数据处理任务外，在此基础上，还支持数据处理规则的跨点位配置和处理。对于满足第一数据处理条件的第一数据和满足第二条件的第二数据，通过配置第一属性数据和第二属性数据的关联方式，可以实现跨点位数据处理任务配置，进一步实现数据的流式处理，即，针对业务数据中的多个数据项，按照预定的数据处理规则进行处理，从而实现对复杂任务或者数据的处理，实现对大量数据的实时分析和处理。

11、结合第一方面，在第一方面的一种可能的实现方式中，第三数据处理规则中还包括数据处理方式，在执行第三数据处理任务，得到第一数据中满足第三数据处理条件的第三数据和/或第二数据中满足第三数据处理条件的第四数据的步骤中，具体还包括以下步骤：云管理平台根据数据处理方式删除第一数据和/或第二数据中不满足第三数据处理条件的数据，得到第一数据中满足第三数据处理条件的第三数据和/或第二数据中满足第三数据处理条件的第四数据。

12、在本技术提供的方案中，云管理平台支持数据处理方式的配置，通过配置数据处理方式，云管理平台或边缘节点在执行数据处理任务时，可以根据数据处理方式对获取的到业务数据或属性数据进行处理。示例性的，数据处理方式可以包括当某一条业务数据中的一个属性数据不满足数据处理条件的要求，则将整条业务数据删除或去除，或者将该属性数据从本条业务数据中拿掉，从而实现对数据的精准控制，进一步满足业务的实际需要。

13、结合第一方面，在第一方面的一种可能的实现方式中，该方法还包括以下步骤：云管理平台获取第四数据处理规则，其中，该第四数据处理规则包括第一属性标识、第三属性标识和第四数据处理条件，而第三属性标识用于标识第一业务数据中的第三属性数据，且第四数据处理条件包括第二数据关联方式，第二数据关联方式用于关联第一属性数据和第三属性数据。云管理平台根据第四数据处理规则，生成第四数据处理任务，在此基础上，获取第一数据和第三属性数据，并执行第三数据处理任务，以得到第一数据中满足第四数据处理条件的第五数据和/或第三属性数据中满足第四数据处理条件的第六数据。

14、在本技术提供的方案中，在第一属性数据已经历单点处理后，云管理平台还支持获取针对业务数据中未经过处理的第三属性数据进行数据处理规则的配置，且该数据处理配置规则可以直接是跨点位的数据处理规则。在该数据处理规则中，可以进一步定义数据处理的逻辑和方法，以实现对于处理过的第一数据和未经处理的第三属性数据的关联，进而依照数据处理规则中包含的数据处理条件进行处理，实现对于多种类型数据的跨点位处理。

15、结合第一方面，在第一方面的一种可能的实现方式中，基础设施还与第二边缘设备连接，其中，第二边缘设备用于上报采集到的第二业务数据，该方法还包括以下步骤：云管理平台获取第五数据处理规则，第五数据处理规则包括第四属性标识和第五数据处理条件，第四属性标识用于标识第二业务数据中的第四属性数据。云管理平台根据第五数据处理规则，生成第五数据处理任务，并与第二边缘设备交互确定第二边缘设备具有执行第五数据处理任务的能力，再向第二边缘设备发送第五数据处理任务，第五数据处理任务用于指示第二边缘设备确定第四属性数据中满足第五数据处理条件的第七数据，接收第七数据。

16、在本技术提供的方案中，在云管理平台与边缘设备直连的场景下，或边缘节点与边缘设备、云管理平台的场景下，在云管理平台与边缘设备交互确定边缘设备具有执行数据处理任务的情况下，配置边缘设备执行数据处理任务，进而减小边缘节点及云管理平台的数据处理压力，实现对于边缘设备计算能力的最大化利用，提升整体的资源利用率。

17、第二方面或第二方面任意一种实现方式是第一方面或第一方面任意一种实现方式对应的装置实现，具体的，本技术提供一种用于管理基础设施的云管理平台，其中，基础设施与第一边缘节点连接，而第一边缘节点和第一边缘设备连接，而第一边缘节点用于获取第一边缘设备采集到的第一业务数据。详细来说，本技术提供的一种云管理平台包括获取模块、生成模块、交互确定模块、发送模块以及接受模块，其中，获取模块用于获取第一数据处理规则，而第一数据处理规则包括第一属性标识和第一数据处理条件，第一属性标识用于标识第一业务数据中的第一属性数据。而云管理平台的生成模块用于根据第一数据处理规则，生成第一数据处理任务，交互确定模块用于与第一边缘节点交互确定第一边缘节点具有执行第一数据处理任务的能力，发送模块用于向第一边缘节点发送第一数据处理任务，第一数据处理任务用于指示第一边缘节点确定第一属性数据中满足第一数据处理条件的第一数据，接收模块用于接收第一边缘节点发送的第一数据。

18、第二方面或第二方面任意一种实现方式是第一方面或第一方面任意一种实现方式对应的装置实现，第一方面或第一方面任意一种实现方式中的描述适用于第二方面或第二方面任意一种实现方式，在此不再赘述。

19、第三方面，本技术提供了一种计算设备集群，包括至少一个计算设备，每个计算设备包括处理器和存储器；至少一个计算设备的处理器用于执行至少一个计算设备的存储器中存储的指令，以使得计算设备集群执行上述第一方面以及结合上述第一方面中的任意一种实现方式的方法。

20、第四方面，本技术提供了一种包含指令的计算机程序产品，当指令被计算机设备集群运行时，使得计算机设备集群执行上述第一方面以及结合上述第一方面中的任意一种实现方式的方法。

21、第五方面，本技术提供了一种计算机可读存储介质，包括计算机程序指令，当计算机程序指令由计算设备集群执行时，计算设备集群执行上述第一方面以及结合上述第一方面中的任意一种实现方式的方法。