数据汇聚方法及装置与流程

1.本发明涉及物联网技术领域，具体涉及一种数据汇聚方法及装置。


背景技术：

2.在物联网数据服务的各环节中，将物联网终端设备及物联网终端设备的厂商平台的数据汇聚到统一的服务节点进行处理、管理是后期物联网数据应用的重要的前置条件。
3.常见的数据汇聚的方式为：数据汇聚平台与各物联网终端设备或物联网终端设备的厂商平台建立独立的连接和数据上报规范，通过联调接入数据。数据汇聚平台后期要维护多个独立的上报数据场景。
4.随着物联网终端设备部署规模的不断扩张，数据汇聚平台接入终端设备厂商类型的不断增加，对接的协议及上报属性内容也越来越繁杂，后期的数据上报模块的开发及维护复杂度急剧上升，数据汇聚平台不堪重负！


技术实现要素：

5.有鉴于此，本发明实施例提供了一种数据汇聚方法及装置，能够在日益增多的物联网终端设备不断接入的情况下，物联网数据汇聚平台的开发及维护始终处于低成本、高可用的健康状态。
6.根据本发明实施例的第一方面，提供一种数据汇聚方法，包括：获取物联网终端设备的第一上报数据；根据数据汇聚平台中预存的与所述物联网终端设备的产品信息相匹配的产品模板对所述第一上报数据进行转换，以获得满足所述数据汇聚平台的目标格式的第二上报数据，其中，所述产品模板包括所述第一上报数据与所述第二上报数据的映射关系。
7.在本发明的另一个实施例中，上述第一上报数据包含第一属性键对应的属性值，上述第二上报数据包含第二属性键对应的属性值，上述产品模板包括所述第一属性键与所述第二属性键的映射关系，其中，上述根据数据汇聚平台中预存的与所述物联网终端设备的产品信息相匹配的产品模板对所述第一上报数据进行转换，以获得满足所述数据汇聚平台的目标格式的第二上报数据，包括：将所述第一上报数据的第一属性键对应的属性值作为所述第二上报数据的第二属性键对应的属性值，以将所述第一上报数据转换为所述第二上报数据。
8.在本发明的另一个实施例中，在上述获取物联网终端设备的第一上报数据之前，上述数据汇聚方法还包括：接收所述数据汇聚平台的用户在产品模板定义界面上定义的上报模板参数；根据所述上报模板参数生成所述产品模板，并将所述产品模板保存至所述数据汇聚平台中。
9.在本发明的另一个实施例中，上述产品模板中的上报模板参数包括所述物联网终端设备的产品行业、所述物联网终端设备的厂商、上报协议和/或上报数据的属性。
10.在本发明的另一个实施例中，上述上报数据的属性包括用户自定义属性。
11.在本发明的另一个实施例中，上述数据汇聚方法还包括：对所述第二上报数据进
行持久化处理。
12.在本发明的另一个实施例中，上述第一上报数据或所述第二上报数据包括设备报文、心跳报文或告警报文；所述产品模板包括设备模板、心跳模板和/或告警模板。
13.根据本发明实施例的第二方面，提供一种数据汇聚装置，包括：获取模块，用于获取物联网终端设备的第一上报数据；转换模块，用于根据数据汇聚平台中预存的与所述物联网终端设备的产品信息相匹配的产品模板对所述第一上报数据进行转换，以获得满足所述数据汇聚平台的目标格式的第二上报数据，其中，所述产品模板包括所述第一上报数据与所述第二上报数据的映射关系。
14.根据本发明实施例的第三方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一所述的方法。
15.根据本发明实施例的第四方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述任一所述的方法。
16.根据本发明实施例提供的技术方案，通过根据数据汇聚平台中预存的与所述物联网终端设备的产品信息相匹配的产品模板对所述第一上报数据进行转换，将其转换成满足所述数据汇聚平台的目标格式的第二上报数据，可以在日益增多的物联网终端设备不断接入的情况下，物联网数据汇聚平台的开发及维护始终处于低成本、高可用的健康状态。
附图说明
17.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1所示为本发明一实施例提供的数据汇聚方法的流程示意图。
19.图2所示为本发明另一实施例提供的数据汇聚方法的流程示意图。
20.图3所示为本发明一实施例提供的产品模板的示意图。
21.图4所示为本发明一实施例提供的数据汇聚装置的框图。
22.图5所示为本发明一实施例提供的电子设备的框图。
具体实施方式
23.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
24.图1所示为本发明一实施例提供的数据汇聚方法的流程示意图。该方法可以由计算机设备(例如，服务器)执行。如图1所示，该方法包括如下内容。
25.s110：获取物联网终端设备的第一上报数据。
26.物联网终端设备包括但不限于烟感器、井盖、门禁、电视机等需要上报数据的设备，本发明对物联网终端设备的具体类型不作具体限定。
27.第一上报数据可以是物联网终端设备的设备报文、心跳报文或告警报文等，本发
明对此不作具体限定。其中，设备报文是物联网终端设备上报的终端设备的参数信息，例如物联网终端设备的厂商信息、设备编号以及其他设备信息等。心跳报文(也可以称为健康报文)是物联网终端设备上报的关于终端设备健康的数据，例如，物联网终端设备可以每隔10h发送一次心跳报文，以便监控物联网终端设备的健康状态。告警报文(也可以称为业务报文)是物联网终端设备上报的告警信息。例如，当发生火灾时，烟感器上报的告警报文可以包括该物联网终端设备的厂商信息、设备编号、时间、温度、烟雾浓雾等信息。
28.需要说明的是，上述第一上报数据可以由物联网终端设备直接上报至数据汇聚平台；也可以由物联网终端设备的厂商收集物联网终端设备的上报数据，将其转换成第一上报数据后，再上报至数据汇聚平台，本发明对此不作具体限定。
29.s120：根据数据汇聚平台中预存的与所述物联网终端设备的产品信息相匹配的产品模板对所述第一上报数据进行转换，以获得满足所述数据汇聚平台的目标格式的第二上报数据，其中，所述产品模板包括所述第一上报数据与所述第二上报数据的映射关系。
30.第一上报数据的格式可以是物联网终端设备的厂商自定义的，不同厂商的物联网终端设备的第一上报数据的格式可以是不同的。第二上报数据的格式满足所述数据汇聚平台的目标格式。产品模板包括第一上报数据与第二上报数据的映射关系，使得数据汇聚平台可以根据产品模板将不同数据格式的上报数据转换为满足数据汇聚平台的目标格式的数据，以便于后续数据汇聚平台的维护。
31.需要说明的是，上述产品模板可以包括设备模板、心跳模板和/或告警模板等子模板。当接收到设备报文时,可以根据产品模板中的设备模板对设备报文进行转换；当接收到心跳报文时,可以根据产品模板中的心跳模板对心跳报文进行转换；当接收到告警报文时,可以根据产品模板中的告警模板对告警报文进行转换。应当理解，本发明对产品模板中的子模板的数量及类型不作具体限定。
32.具体地，接收到第一上报数据后，可以从第一上报数据中获取物联网终端设备的产品信息，例如，产品行业/产品类型(例如烟感器、井盖、门禁等)、厂商和/或产品型号等；将该产品信息与数据汇聚平台中预存的至少一个产品模板进行匹配，获得物联网终端设备所匹配的产品模板。
33.简单地说，每种产品行业/产品类型可以对应一个产品模板，可以直接根据产品行业/产品类型信息进行产品模板匹配，得到匹配结果。例如，烟感器的上报数据对应烟感器产品模板；井盖的上报数据对应井盖产品模板；门禁的上报数据对应门禁产品模板。
34.另外，考虑到存在多个厂商生产同一类型的产品的情况，也可以根据产品行业和厂商信息进行产品模板匹配，得到匹配结果。以烟感器为例，其中一个厂商的烟感器的上报数据可以对应烟感器产品模板1，另一个厂商的烟感器的上报数据可以对应烟感器产品模板2。
35.此外，每个厂商也可以针对同一产品类型生产不同型号的产品。例如，厂商a可以生产型号m和型号n的烟感器。那么，可以根据产品行业/产品类型、厂商和产品型号信息进行产品模板匹配，得到匹配结果。即，厂商a生产的型号m的烟感器的上报数据对应烟感器产品模板m，厂商a生产的型号n的烟感器的上报数据对应烟感器产品模板n。
36.应当理解，本发明对数据汇聚平台中预存的产品模板的数量、形式不作具体限定，可以根据物联网终端设备厂商的不同需求预设相应的产品模板。
37.根据本发明实施例提供的技术方案，通过根据数据汇聚平台中预存的与所述物联网终端设备的产品信息相匹配的产品模板对所述第一上报数据进行转换，将其转换成满足所述数据汇聚平台的目标格式的第二上报数据，可以在日益增多的物联网终端设备不断接入的情况下，物联网数据汇聚平台的开发及维护始终处于低成本、高可用的健康状态。
38.在本发明的另一个实施例中，上述第一上报数据包含第一属性键对应的属性值，第二上报数据包含第二属性键对应的属性值，产品模板包括所述第一属性键与所述第二属性键的映射关系，其中，上述根据数据汇聚平台中预存的与所述物联网终端设备的产品信息相匹配的产品模板对所述第一上报数据进行转换，以获得满足所述数据汇聚平台的目标格式的第二上报数据，包括：将所述第一上报数据的第一属性键对应的属性值作为所述第二上报数据的第二属性键对应的属性值，以将所述第一上报数据转换为所述第二上报数据。
39.由于不同商家针对上报数据的同一属性定义的属性键不同，不便于后续的存储、管理和应用。在本发明实施例中，在第一上报数据的第一属性键与第二上报数据的第二属性键之间建立映射关系。例如，第一属性键(key)为a，对应的属性值(value)为a，第二属性键(key)为b，通过数据映射，可以将属性键a对应的属性值a作为属性键b对应的属性值，以得到第二上报数据中属性键b对应的属性值a。
40.根据本发明实施例提供的技术方案，能够通过数据映射的方式，根据第一上报数据中的第一属性键的属性值，获得第二上报数据中的第二属性键的属性值，从而实现第一上报数据与第二上报数据之间的数据转换，以便于得到满足数据汇聚平台目标格式的第二上报数据，便于后续数据的保存、管理与应用，减小数据汇聚平台的维护复杂度。
41.图2所示为本发明另一实施例提供的数据汇聚方法的流程示意图。在本发明图1所示实施例的基础上延伸出本发明图2所示实施例。下面着重描述图2所示实施例与图1所示实施例的不同之处，相同之处不再赘述。如图2所示，该数据汇聚方法包括如下内容。
42.s130：接收所述数据汇聚平台的用户在产品模板定义界面上定义的上报模板参数。
43.数据汇聚平台的用户可以为物联网终端设备的厂商，通过在数据汇聚平台注册账号，在用户界面上定义产品模板相关的上报模板参数，以得到与该厂商的产品相匹配的至少一个产品模板。应当理解，还可以是数据汇聚平台的工作人员根据与物联网终端设备的厂商对接的相关参数规范，完成产品模板的定义，本发明对此不作具体限定。
44.在本发明的一个实施例中，产品模板可以如图3所示，产品模板中的上报模板参数包括所述物联网终端设备的产品行业/产品类型、所述物联网终端设备的厂商、终端设备型号、上报协议和/或上报数据的属性等，本发明对此不作具体限定。
45.物联网终端设备的厂商可以在产品模板定义界面上定义产品行业(产品类型)、厂商、或终端设备型号等，以便于与第一上报数据中的产品信息进行匹配，从而根据匹配的产品模板对第一上报数据进行数据转换。
46.物联网终端设备的厂商可以根据自身需要在产品模板定义界面上选择合适的上报协议，例如http协议、mqtt协议等，并将第一上报数据按照选定的协议类型进行上报。
47.另外，物联网终端设备的厂商可以定义上报数据(例如，设备报文、心跳报文、告警报文)的属性。属性可以包括公有属性和用户自定义属性。公有属性也可以称为必填属性。
除此之外，物联网终端设备的厂商可以根据自身需要，在产品模板中定义专属的个性化属性，即，用户自定义属性。
48.针对每一个属性，可以具有对应的目标属性键key(即，数据汇聚平台所采用的目标属性键)。另外，为了满足不同物联网终端设备的厂商的个性化需求，每个属性均支持厂商的自定义属性键key。目标属性键key与自定义属性键key建立有映射关系。
49.在上报第一上报数据时，第一上报数据采用自定义属性键key(例如，自定义属性键key为a)的方式上报，数据汇聚平台根据产品模板中自定义属性键key(a)与目标属性键key(b)之间的映射关系，将第一上报数据转换为满足数据汇聚平台的目标格式的第二上报数据。具体地，可以通过数据映射，可以将自定义属性键key(a)对应的属性值a作为目标属性键key(b)对应的属性值，以得到第二上报数据中属性键b对应的属性值a，从而将第一上报数据转换为第二上报数据。
50.应当理解，上述产品模板的形式、内容等仅为示例性描述，本发明对此不作具体限定。
51.s140：根据所述上报模板参数生成所述产品模板，并将所述产品模板保存至所述数据汇聚平台中。
52.具体地，可以将产品模板持久化处理到数据汇聚平台。
53.s110：获取物联网终端设备的第一上报数据。
54.s120：根据数据汇聚平台中预存的与所述物联网终端设备的产品信息相匹配的产品模板对所述第一上报数据进行转换，以获得满足所述数据汇聚平台的目标格式的第二上报数据，其中，所述产品模板包括所述第一上报数据与所述第二上报数据的映射关系。
55.根据本发明实施例提供的技术方案，通过接收所述数据汇聚平台的用户在产品模板定义界面上定义的上报模板参数，根据所述上报模板参数生成所述产品模板，并将所述产品模板保存至所述数据汇聚平台中，可以通过在产品模板定义界面上定义上报模板参数的参数获得产品模板，降低了数据汇聚平台的开发难度。通过根据数据汇聚平台中预存的与所述物联网终端设备的产品信息相匹配的产品模板对所述第一上报数据进行转换，将其转换成满足所述数据汇聚平台的目标格式的第二上报数据，可以在日益增多的物联网终端设备不断接入的情况下，物联网数据汇聚平台的开发及维护始终处于低成本、高可用的健康状态。
56.在发明的另一个实施例中，上述数据汇聚方法还包括：对所述第二上报数据进行持久化处理。
57.通过对满足数据汇聚平台规范的第二上报数据进行持久化处理，可以降低数据汇聚平台的维护复杂度，还可以减少对数据库的访问量，提高平台运行效率。
58.在本发明的另一个实施例中，可以对第二上报数据进行处理、分析等操作，本发明对第二上报数据的后续应用不作具体限定。
59.在本发明的另一个实施例中，首先，对第一上报数据进行鉴权；当鉴权成功时，获取第一上报数据；其次，对第一上报数据进行验证，当验证成功时，根据数据汇聚平台中预存的与所述物联网终端设备的产品信息相匹配的产品模板对所述第一上报数据进行转换，以获得满足所述数据汇聚平台的目标格式的第二上报数据，其中，所述产品模板包括所述第一上报数据与所述第二上报数据的映射关系。
60.具体地，数据汇聚平台响应于访问请求信息(该访问请求信息中携带ip地址和产品信息)，发送密钥信息至上述ip地址，其中，该密钥信息中携带产品信息；接收第一上报数据，对第一上报数据进行鉴权，当鉴权成功时，获取第一上报数据。
61.具体地，对第一上报数据进行鉴权，即判断第一上报数据中是否携带密钥信息，当第一上报数据中携带密钥信息时，即鉴权成功。
62.对所述第一上报数据进行验证，即，判断密钥信息和第一上报数据中的产品信息是否匹配，当匹配时，即验证成功。应当理解，本发明对鉴权和验证的过程不作具体限定。
63.上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。
64.下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
65.图4所示为本发明一实施例提供的数据汇聚装置的框图。如图4所示，该数据汇聚装置400包括：
66.获取模块410，用于获取物联网终端设备的第一上报数据；
67.转换模块420，用于根据数据汇聚平台中预存的与所述物联网终端设备的产品信息相匹配的产品模板对所述第一上报数据进行转换，以获得满足所述数据汇聚平台的目标格式的第二上报数据，其中，所述产品模板包括所述第一上报数据与所述第二上报数据的映射关系。
68.根据本发明实施例提供的技术方案，通过根据数据汇聚平台中预存的与所述物联网终端设备的产品信息相匹配的产品模板对所述第一上报数据进行转换，将其转换成满足所述数据汇聚平台的目标格式的第二上报数据，可以在日益增多的物联网终端设备不断接入的情况下，物联网数据汇聚平台的开发及维护始终处于低成本、高可用的健康状态。
69.在本发明的另一个实施例中，上述第一上报数据包含第一属性键对应的属性值，所述第二上报数据包含第二属性键对应的属性值，所述产品模板包括所述第一属性键与所述第二属性键的映射关系，其中，转换模块420还用于将所述第一上报数据的第一属性键对应的属性值作为所述第二上报数据的第二属性键对应的属性值，以将所述第一上报数据转换为所述第二上报数据。
70.在本发明的另一个实施例中，上述数据汇聚装置400还包括接收模块430，用于在上述获取物联网终端设备的第一上报数据之前，接收所述数据汇聚平台的用户在产品模板定义界面上定义的上报模板参数；生成模块440，用于根据所述上报模板参数生成所述产品模板，并将所述产品模板保存至所述数据汇聚平台中。
71.在本发明的另一个实施例中，上述产品模板中的上报模板参数包括所述物联网终端设备的产品行业、所述物联网终端设备的厂商、上报协议和/或上报数据的属性。
72.在本发明的另一个实施例中，上述上报数据的属性包括用户自定义属性。
73.在本发明的另一个实施例中，上述数据汇聚装置400还包括处理模块450，用于对上述第二上报数据进行持久化处理。
74.在本发明的另一个实施例中，上述第一上报数据或第二上报数据包括设备报文、心跳报文或告警报文；所述产品模板包括设备模板、心跳模板和/或告警模板。
75.上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的
实现过程，在此不再赘述。
76.图5所示为本发明一实施例提供的电子设备500的框图。
77.参照图5，电子设备500包括处理组件510，其进一步包括一个或多个处理器，以及由存储器520所代表的存储器资源，用于存储可由处理组件510的执行的指令，例如应用程序。存储器520中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件510被配置为执行指令，以执行上述数据汇聚方法。
78.电子设备500还可以包括一个电源组件被配置为执行电子设备500的电源管理，一个有线或无线网络接口被配置为将电子设备500连接到网络，和一个输入输出(i/o)接口。电子设备500可以操作基于存储在存储器520的操作系统，例如windows server
tm
，mac os x
tm
，unix
tm
，linux
tm
，freebsd
tm
或类似。
79.一种非临时性计算机可读存储介质，当存储介质中的指令由上述电子设备500的处理器执行时，使得上述电子设备500能够执行一种数据汇聚方法，包括：获取物联网终端设备的第一上报数据；根据数据汇聚平台中预存的与所述物联网终端设备的产品信息相匹配的产品模板对所述第一上报数据进行转换，以获得满足所述数据汇聚平台的目标格式的第二上报数据，其中，所述产品模板包括所述第一上报数据与所述第二上报数据的映射关系。
80.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
81.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
82.在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
83.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
84.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
85.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个
人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序校验码的介质。
86.另外，还需要说明的是，本案中各技术特征的组合方式并不限本案权利要求中所记载的组合方式或是具体实施例所记载的组合方式，本案所记载的所有技术特征可以以任何方式进行自由组合或结合，除非相互之间产生矛盾。
87.需要注意的是，以上列举的仅为本发明的具体实施例，显然本发明不限于以上实施例，随之有着许多的类似变化。本领域的技术人员如果从本发明公开的内容直接导出或联想到的所有变形，均应属于本发明的保护范围。
88.应当理解，本发明实施例中提到的第一、第二等限定词，仅仅为了更清楚地描述本发明实施例的技术方案使用，并不能用以限制本发明的保护范围。
89.以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。