一种数据采集和动态解析方法及系统与流程

1.本发明涉及物联网领域，尤其涉及一种数据采集和动态解析方法及系统。


背景技术：

2.随着物联网应用的普及与应用，物联网前端硬件的智慧感知、联网、处理、协调、信息化、数字化和智能化也越来越重要；当前物联网正在渗透到各行种业，如智慧路灯、工地环境质量监测、园区烟感、冷链的温湿度、水产养殖业的水质监测、智慧农业的光照、co2浓度控制等，涉及范围越来越大，越来越深入，然而每种传感器的数据解析不一样，有整形，有浮点型，有关联计算，在这种情况下，如何实现低成本数据采集，采集后联网数据能动态解析数据，给物联网带来了挑战。


技术实现要素：

3.本发明的主要目的在于提供一种数据采集和动态解析方法及系统，旨在降低数据采集和解析成本，提升兼容性与灵活性。
4.为实现上述目的，本发明提供一种数据采集和动态解析方法，所述方法包括以下步骤：
5.数据服务器在接收到数据采集装置上传的若干传感器的检测数据时，获取并分析所述数据的来源socket；
6.查找预先建立的“设备号与socket缓存”映射表，获取与所述数据的来源socket相对应的设备号；
7.根据所述设备号调用数据库中预先存储的数据解析规则对所述若干传感器的检测数据进行解析并存储。
8.本发明进一步地技术方案是，所述解析规则的配置在所述数据库中使用字符串的配置方式，所述数据服务器读取所述解析规则后使用eval函数进行相应计算。
9.本发明进一步地技术方案是，所述解析规则的配置内容字段至少包括传感器数量、传感器识别号、参数识别号、计算方式中的一种或几种，各个字段之间采用&与/分隔。
10.本发明进一步地技术方案是，所述根据所述设备号调用数据库中预先存储的数据解析规则对所述若干传感器的检测数据进行解析并存储的步骤之后还包括：
11.将解析结果传送至所述数据库，由所述数据库将所述解析结果存储至实时数据，以及历史数据。
12.本发明进一步地技术方案是，所述数据服务器在接收到数据采集装置上传的若干传感器的检测数据时，获取并分析所述数据的来源socket的步骤之前包括：
13.所述数据服务器判断所述数据采集装置、若干传感器是否为相应的设备类型；
14.如果是，则主动定时下发读取数据命令至所述数据采集装置，由所述数据采集装置将所述读取数据命令下发至所述若干传感器，所述若干传感器根据所述读取数据命令将响应数据上传至所述数据采集装置。
15.本发明数据采集和动态解析方法的有益效果是：本发明通过数据服务器在接收到数据采集装置上传的若干传感器的检测数据时，获取并分析所述数据的来源socket；查找预先建立的“设备号与socket缓存”映射表，获取与所述数据的来源socket相对应的设备号；根据所述设备号调用数据库中预先存储的数据解析规则对所述若干传感器的检测数据进行解析并存储，实现了对各个设备的动态数据解析，不仅数据采集成本低，而且数据解析智能灵活动态，可以用于物联网的数据采集，以及数据上传到平台后的智能处理入库方法。
16.为实现上述目的，本发明还提出一种数据采集和动态解析系统，所述数据采集和解析系统包括若干传感器、数据采集装置、数据服务器和数据库，其中，所述若干传感器分别与所述数据采集装置通信连接，所述数据采集装置与所述数据服务器通信连接，所述数据服务器还与所述数据库连接；
17.所述数据服务器用于在接收到数据采集装置上传的若干传感器的检测数据时，获取并分析所述数据的来源socket；查找预先建立的“设备号与socket缓存”映射表，获取与所述数据的来源socket相对应的设备号；根据所述设备号调用数据库中预先存储的数据解析规则对所述若干传感器的检测数据进行解析并存储。
18.本发明进一步地技术方案是，所述数据采集装置采用具备联网功能的dtu。
19.本发明进一步地技术方案是，所述数据采集装置与所述数据服务器之间采用4g、wifi或者网口连接，具备的协议只支持心跳、tcp透传。
20.本发明进一步地技术方案是，所述数据采集装置的硬件接口采用rs232接口或rs485接口。
21.本发明进一步地技术方案是，所述数据库采用mysql或者oracle数据库管理系统。
22.本发明数据采集和动态解析系统的有益效果是：本发明不仅数据采集成本低，更具备兼容性和灵活性，而且对各个设备的动态数据解析智能灵活动态，可以用于物联网的数据采集，以及数据上传到平台后的智能处理入库方法，有利于批量安装于规模普及。
附图说明
23.图1是本发明数据采集和动态解析方法第一实施例的流程示意图；
24.图2是数据采集装置的结构示意图；
25.图3是数据服务器的结构示意图；
26.图4是数据库的结构示意图；
27.图5是解析规则的配置内容字段示意图；
28.图6是本发明数据采集和动态解析方法第二实施例的流程示意图；
29.图7是本发明数据采集和动态解析的结构示意图。
30.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
31.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
32.请参照图1，本发明提出一种数据采集和动态解析方法，本发明数据采集和解析方法第一实施例包括以下步骤：
33.步骤s10，数据服务器在接收到数据采集装置上传的若干传感器的检测数据时，获
取并分析所述数据的来源socket。
34.本实施例中，所述数据采集装置可以根据实际需要，同时接多个和/或多种类的传感器。
35.如图2所示，所述数据采集装置是一个透传装置，可以向所述若干传感器转发来自所述数据服务器的指令，并且可以把各个行业的传感器数据采集并上传至所述数据服务器，可根据所述传感器的种类适配不同的低成本数据采集装置，例如行业中通用的dtu(将ip数据转换为串口数据)，不需要专门的plc或者控制板，所以成本低，维护也更加简单。
36.所述数据采集装置据别联网功能，联网方式可以多样，例如4g，wifi，网口等，具备的协议只支持心跳，tcp透传，硬件接口rs232接口、rs485接口等，具备这些特点的dtu，可以连接对应硬件接口的传感器，当dtu接收到所述数据服务器下发的读数据指令时，便向对应串口传发数据，接在串口上的所述若干传感器就会响应数据，dtu接收到响应数据后，转发给所述数据服务器，从而实现了低成本数据采集。
37.如图3所示，所述数据服务器，用于实现与所述数据采集装置进行数据交互、数据入库、数据解析。所述数据服务器具备定时规则的功能，缓存了数据库中对应设备的所有读数据指令，并且定时下发。
38.所述数据服务器在定时获取数据时，通过获取数据库中的各个设备的定时指令，从而定时下发到相应的设备，设备收到指令后，转发给对应的传感器，传感器回复数据，所述数据采集装置向所述数据服务器转发，从而实现了数据的定时获取。
39.步骤s20，查找预先建立的“设备号与socket缓存”映射表，获取与所述数据的来源socket相对应的设备号。
40.本实施例中，所述dtu上传到数据服务器的心跳包中，含有设备号；所述数据服务器接收到心跳包后，在内存中建立“设备号与socket缓存”映射表；所述数据服务器接收来自dtu的数据后，首先判断数据的来源socket，与“设备号与socket缓存”映射表一一对比，找到对应的设备号，表明来自dtu的数据是属于这个设备的数据。
41.步骤s30，根据所述设备号调用数据库中预先存储的数据解析规则对所述若干传感器的检测数据进行解析并存储。
42.本实施例所述数据服务器在获取到与所述数据的来源socket相对应的设备号后，根据设备号调用数据库中预先存储的数据解析规则对所述若干传感器的检测数据进行解析并存储。本实施例中，所述数据服务器在解析数据时，通过获取数据库中各个设备的不同解析方式对数据进行解析，从而实现了对多种设备数据的动态解析。
43.其中，如图4所示，所述数据库是指mysql或者oracle等数据库管理系统，用于存储定时指令，解析规则，实时数据，历史数据，供数据解析服务器/其他应用使用。
44.具体地，本实施例中，所述解析规则的配置在所述数据库中使用字符串的配置方式，所述数据服务器读取所述解析规则后使用eval函数进行相应计算，从而实现了每个设备的不同数据解析方式。具体地，本实话例中，eval函数是程序中自带的内置功能函数，可直接调用。
45.本实施例中，如图5所示，所述解析规则的配置内容字段至少包括传感器数量、传感器识别号、参数识别号、计算方式中的一种或几种，各个字段之间采用&与/分隔，方便数据服务器识别。
46.例如：
47.[{"value":"&1&07:temp/100-40:humidity/100:pressure/100:windspeed/100:winddirection/10"}]
[0048]
甚至可以在计算方式里写入相应函数的名称(系统自带的函数名称，或者自定义的函数名称)，同样可以识别，例如：
[0049]
[{"value":"&3&1c:nan/1:nan/1:w_o2/w_o2*buffer.from('w_o2','hex').readfloatle(0)&1a:nan/1:nan/1:w_ph/100:nan/1&26:w_ec/10:nan/1"}]
[0050]
[{"value":"&1&1c:nan/1:nan/1:w_o2/w_o2*1/1*mul(3,3) sub(3,3)]。
[0051]
本实施例通过上述技术方案，数据服务器在接收到数据采集装置上传的若干传感器的检测数据时，获取并分析所述数据的来源socket；查找预先建立的“设备号与socket缓存”映射表，获取与所述数据的来源socket相对应的设备号；根据所述设备号调用数据库中预先存储的数据解析规则对所述若干传感器的检测数据进行解析并存储，实现了对各个设备的动态数据解析，不仅数据采集成本低，而且数据解析智能灵活动态，可以用于物联网的数据采集，以及数据上传到平台后的智能处理入库方法。
[0052]
进一步地，请参照图6，基于图1所示的第一实施例，提出本发明数据采集和解析方法第二实施例，本实施例与图1所示的第一实施例的区别在于，上述步骤s10，数据服务器在接收到数据采集装置上传的若干传感器的检测数据时，获取并分析所述数据的来源socket的步骤之前包括：
[0053]
步骤s00，所述数据服务器判断所述数据采集装置、若干传感器是否为相应的设备类型。
[0054]
步骤s01，如果是，则主动定时下发读取数据命令至所述数据采集装置，由所述数据采集装置将所述读取数据命令下发至所述若干传感器，所述若干传感器根据所述读取数据命令将响应数据上传至所述数据采集装置。
[0055]
具体地，所述数据服务器在定时获取数据时，通过获取数据库中的各个设备的定时指令，从而定时下发到相应的设备，设备收到指令后，转发给对应的传感器，传感器回复数据，所述数据采集装置向所述数据服务器转发，从而实现了数据的定时获取。
[0056]
上述步骤s30，根据所述设备号调用数据库中预先存储的数据解析规则对所述若干传感器的检测数据进行解析并存储的步骤之后还包括：
[0057]
步骤s40，将解析结果传送至所述数据库，由所述数据库将所述解析结果存储至实时数据，以及历史数据。
[0058]
本实施例通过上述技术方案，所述数据服务器判断所述数据采集装置、若干传感器是否为相应的设备类型；如果是，则主动定时下发读取数据命令至所述数据采集装置，由所述数据采集装置将所述读取数据命令下发至所述若干传感器，所述若干传感器根据所述读取数据命令将响应数据上传至所述数据采集装置；数据服务器在接收到数据采集装置上传的若干传感器的检测数据时，获取并分析所述数据的来源socket；查找预先建立的“设备号与socket缓存”映射表，获取与所述数据的来源socket相对应的设备号；根据所述设备号调用数据库中预先存储的数据解析规则对所述若干传感器的检测数据进行解析并存储；将解析结果传送至所述数据库，由所述数据库将所述解析结果存储至实时数据，以及历史数据，实现了数据的定时获取，对各个设备的动态数据解析，不仅数据采集成本低，而且数据
解析智能灵活动态，可以用于物联网的数据采集，以及数据上传到平台后的智能处理入库方法。
[0059]
综上所述，本发明数据采集和动态解析方法的有益效果是：本发明通过数据服务器在接收到数据采集装置上传的若干传感器的检测数据时，获取并分析所述数据的来源socket；查找预先建立的“设备号与socket缓存”映射表，获取与所述数据的来源socket相对应的设备号；根据所述设备号调用数据库中预先存储的数据解析规则对所述若干传感器的检测数据进行解析并存储，实现了对各个设备的动态数据解析，不仅数据采集成本低，而且数据解析智能灵活动态，可以用于物联网的数据采集，以及数据上传到平台后的智能处理入库方法。
[0060]
为实现上述目的，本发明还提出一种数据采集和动态解析系统，如图7所示，所述系统包括若干传感器、数据采集装置、数据服务器和数据库，其中，所述若干传感器分别与所述数据采集装置通信连接，所述数据采集装置与所述数据服务器通信连接，所述数据服务器还与所述数据库连接。
[0061]
所述数据服务器用于在接收到数据采集装置上传的若干传感器的检测数据时，获取并分析所述数据的来源socket；查找预先建立的“设备号与socket缓存”映射表，获取与所述数据的来源socket相对应的设备号；根据所述设备号调用数据库中预先存储的数据解析规则对所述若干传感器的检测数据进行解析并存储。
[0062]
本实施例中，本实施例中，所述数据采集装置可以根据实际需要，同时接多个和/或多种类的传感器。
[0063]
所述数据采集装置是一个透传装置，可以向所述若干传感器转发来自所述数据服务器的指令，并且可以把各个行业的传感器数据采集并上传至所述数据服务器，可根据所述传感器的种类适配不同的低成本数据采集装置，例如行业中通用的dtu(将ip数据转换为串口数据)，不需要专门的plc或者控制板，所以成本低，维护也更加简单。
[0064]
所述数据采集装置据别联网功能，联网方式可以多样，例如4g，wifi，网口等，具备的协议只支持心跳，tcp透传，硬件接口rs232接口、rs485接口等，具备这些特点的dtu，可以连接对应硬件接口的传感器，当dtu接收到所述数据服务器下发的读数据指令时，便向对应串口传发数据，接在串口上的所述若干传感器就会响应数据，dtu接收到响应数据后，转发给所述数据服务器，从而实现了低成本数据采集。
[0065]
所述数据服务器，用于实现与所述数据采集装置进行数据交互、数据入库、数据解析。所述数据服务器具备定时规则的功能，缓存了数据库中对应设备的所有读数据指令，并且定时下发。
[0066]
所述数据服务器在定时获取数据时，通过获取数据库中的各个设备的定时指令，从而定时下发到相应的设备，设备收到指令后，转发给对应的传感器，传感器回复数据，所述数据采集装置向所述数据服务器转发，从而实现了数据的定时获取。
[0067]
所述数据库是指mysql或者oracle等数据库管理系统，用于存储定时指令，解析规则，实时数据，历史数据，供数据解析服务器/其他应用使用。
[0068]
本发明数据采集和动态解析系统的有益效果是：本发明不仅数据采集成本低，更具备兼容性和灵活性，而且对各个设备的动态数据解析智能灵活动态，可以用于物联网的数据采集，以及数据上传到平台后的智能处理入库方法。
[0069]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。