智慧城市实时数据处理方法、系统及存储介质与流程

1.本发明涉及智慧城市监测技术领域，尤其涉及一种智慧城市实时数据处理方法、系统及存储介质。


背景技术：

2.在目前的智慧城市强实时数据传输方式中，大部分系统都基于springmvc做服务器上的接收程序，常用的同步阻塞方案，由于其tomcat容器的并发能力有限，单位时间能同时接收的传感器数据受到限制，造成延时增加，无法满足秒级实时传输的要求，通常依靠增加硬件来解决强实时数据的问题，这带来了巨大硬件成本和初期投入门槛高的问题。为了控制成本，则造成了处理能力下降，延迟增高，稳定性降低，可靠性不足的问题。


技术实现要素：

3.本发明的主要目的在于提出一种智慧城市实时数据处理方法、系统及存储介质，旨在降低智慧城市实时数据时延，提高数据处理能力、稳定性和可靠性。
4.为实现上述目的，本发明提供一种智慧城市实时数据处理方法，所述方法包括以下步骤：在从网络端口获得客户端上传的智慧城市实时数据后，通过异步非阻塞网络io模型返回报文给所述客户端；对所述智慧城市实时数据进行解码；将解码后的数据存入高速数据队列，在所述高速数据队列中，基于传感器数据项对数据进行管理；对所述高速数据队列中的数据按照预设方式进行编码，写入时序数据库，并进行csv持久化处理。
5.可选地，所述对所述智慧城市实时数据进行解码的步骤之前还包括：对所述智慧城市实时数据进行校验，如果校验通过，则执行步骤：对所述智慧城市实时数据进行解码。
6.可选地，所述对所述智慧城市实时数据进行校验的步骤包括：采用长度校验方式和有效性校验方式对所述智慧城市实时数据进行校验。
7.可选地，所述采用长度校验方式对所述智慧城市实时数据进行校验的步骤包括：采用长度校验公式，对所述智慧城市实时数据进行校验，检查智慧城市实时数据包是否完整，所述长度校验公式为：包字节数=包头字节数 数据字节数 校验字节数。
8.可选地，所述采用有效性校验方式对所述智慧城市实时数据进行校验的步骤包括：采用有效性校验公式检查所述智慧城市实时数据是否有效，所述有效性校验公式为：校验位=包头至校验位前所有字节进行位与操作结果。
9.可选地，所述对所述智慧城市实时数据进行解码的步骤包括：
从所述智慧城市实时数据中提取数据包；将提取的数据包，拆分为单个传感器数据项，以放入所述高速数据队列；所述将解码后的数据存入高速数据队列，在所述高速数据队列中，基于传感器数据项对数据进行管理的步骤包括：将解码后的各数据包以传感器数据项的方式分类存入所述高速数据队列；在所述高速数据队列中，基于传感器数据项，按照传感器组织和管理子队列的方式对数据进行管理。
10.可选地，所述对所述高速数据队列中的数据按照预设方式进行编码的步骤包括：对所述高速数据队列中的数据，按照传感器重组数据块的方式，以及按照时序数据库和csv文件要求重组数据块的方式进行编码。
11.本发明实施例还提出一种智慧城市实时数据处理系统，所述系统包括：客户端和网络服务器，其中：所述客户端，用于获取智慧城市实时数据，并上传至所述网络服务器；所述网络服务器，用于在从网络端口获得所述客户端上传的智慧城市实时数据后，通过异步非阻塞网络io模型返回报文给所述客户端；对所述智慧城市实时数据进行解码；将解码后的数据存入高速数据队列，在所述高速数据队列中，基于传感器数据项对数据进行管理；对所述高速数据队列中的数据按照预设方式进行编码，写入时序数据库，并进行csv持久化处理。
12.本发明实施例还提出一种智慧城市实时数据处理系统，所述系统包括存储器、处理器、以及存储在所述存储器上的智慧城市实时数据处理程序，所述智慧城市实时数据处理程序被所述处理器运行时执行如上所述的智慧城市实时数据处理方法。
13.本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质存储有智慧城市实时数据处理程序，所述智慧城市实时数据处理程序被处理器运行时执行如上所述的智慧城市实时数据处理方法。
14.本发明实施例提出的智慧城市实时数据处理方法、系统及存储介质，在从网络端口获得客户端上传的智慧城市实时数据后，通过异步非阻塞网络io模型返回报文给所述客户端；对所述智慧城市实时数据进行解码；将解码后的数据存入高速数据队列，在所述高速数据队列中，基于传感器数据项对数据进行管理；对所述高速数据队列中的数据按照预设方式进行编码，写入时序数据库，并进行csv持久化处理，由此，通过异步非阻塞网络io模式，增加并发能力，提升了数据吞吐量，实现了强实时的数据传输延时控制在毫秒级别，能满足强实时数据的低延迟和稳定、可靠性要求，解决了现有技术中的延时问题和稳定、可靠性问题。
附图说明
15.图1是本发明实施例涉及的智慧城市监测实时数据处理装置所属终端设备的功能模块示意图；图2是本发明智慧城市实时数据处理方法第一实施例的流程示意图；图3是本发明实施例高速数据队列中的数据结构示意图；图4是本发明智慧城市实时数据处理方法第二实施例的流程示意图；
图5是本发明智慧城市实时数据处理方法实施例的数据传输泳道图。
16.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
17.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
18.本发明实施例的主要解决方案是：在从网络端口获得客户端上传的智慧城市实时数据后，通过异步非阻塞网络io模型返回报文给所述客户端；对所述智慧城市实时数据进行解码；将解码后的数据存入高速数据队列，在所述高速数据队列中，基于传感器数据项对数据进行管理；对所述高速数据队列中的数据按照预设方式进行编码，写入时序数据库，并进行csv持久化处理，由此，通过异步非阻塞网络io模式，增加并发能力，提升了数据吞吐量，实现了强实时的数据传输延时控制在毫秒级别，能满足强实时数据的低延迟和稳定、可靠性要求，解决了现有技术中的延时问题和稳定、可靠性问题。
19.本发明实施例考虑到，现有相关方案中，智慧城市强实时数据传输方式中，常用的同步阻塞方案，并发能力有限，单位时间能同时接收的传感器数据受到限制，造成延时增加，无法满足秒级实时传输的要求，由此，本发明提出一种智慧城市实时数据接收处理解决方案，主要是通过异步非阻塞网络io模式，增加并发能力，提升数据吞吐量，实现强实时的数据传输延时控制在毫秒级别，满足强实时数据的低延迟，稳定，可靠性要求，解决现有技术中的延时问题和稳定、可靠性问题。
20.具体地，参照图1，图1为本发明智慧城市实时数据处理装置所属终端设备的功能模块示意图。该智慧城市实时数据处理装置可以为独立于终端设备的、能够数据处理的装置，其可以通过硬件或软件的形式承载于终端设备上。该终端设备可以为服务器等网络设备。
21.在本实施例中，该智慧城市实时数据处理装置所属终端设备至少包括输出模块110、处理器120、存储器130以及通信模块140。
22.存储器130中存储有操作系统以及智慧城市实时数据处理程序，输出模块110可为显示屏、扬声器等。通信模块140可以包括wifi模块、移动通信模块以及蓝牙模块等，通过通信模块140与外部设备或服务器进行通信。
23.其中，作为一种实施例方式，存储器130中的智慧城市实时数据处理程序被处理器执行时实现以下步骤：在从网络端口获得客户端上传的智慧城市实时数据后，通过异步非阻塞网络io模型返回报文给所述客户端；对所述智慧城市实时数据进行解码；将解码后的数据存入高速数据队列，在所述高速数据队列中，基于传感器数据项对数据进行管理；对所述高速数据队列中的数据按照预设方式进行编码，写入时序数据库，并进行csv持久化处理。
24.进一步地，存储器130中的智慧城市实时数据处理程序被处理器执行时还实现以下步骤：对所述智慧城市实时数据进行校验，如果校验通过，则执行步骤：对所述智慧城市
实时数据进行解码。
25.进一步地，存储器130中的智慧城市实时数据处理程序被处理器执行时还实现以下步骤：采用长度校验方式和有效性校验方式对所述智慧城市实时数据进行校验。
26.进一步地，存储器130中的智慧城市实时数据处理程序被处理器执行时还实现以下步骤：采用长度校验公式，对所述智慧城市实时数据进行校验，检查智慧城市实时数据包是否完整，所述长度校验公式为：包字节数=包头字节数 数据字节数 校验字节数。
27.进一步地，存储器130中的智慧城市实时数据处理程序被处理器执行时还实现以下步骤：采用有效性校验公式检查所述智慧城市实时数据是否有效，所述有效性校验公式为：校验位=包头至校验位前所有字节进行位与操作结果。
28.进一步地，存储器130中的智慧城市实时数据处理程序被处理器执行时还实现以下步骤：从所述智慧城市实时数据中提取数据包；将提取的数据包，拆分为单个传感器数据项，以放入所述高速数据队列；所述将解码后的数据存入高速数据队列，在所述高速数据队列中，基于传感器数据项对数据进行管理的步骤包括：将解码后的各数据包以传感器数据项的方式分类存入所述高速数据队列；在所述高速数据队列中，基于传感器数据项，按照传感器组织和管理子队列的方式对数据进行管理。
29.进一步地，存储器130中的智慧城市实时数据处理程序被处理器执行时还实现以下步骤：对所述高速数据队列中的数据，按照传感器重组数据块的方式，以及按照时序数据库和csv文件要求重组数据块的方式进行编码。
30.本实施例通过上述方案，在从网络端口获得客户端上传的智慧城市实时数据后，通过异步非阻塞网络io模型返回报文给所述客户端；对所述智慧城市实时数据进行解码；将解码后的数据存入高速数据队列，在所述高速数据队列中，基于传感器数据项对数据进行管理；对所述高速数据队列中的数据按照预设方式进行编码，写入时序数据库，并进行csv持久化处理，由此，通过异步非阻塞网络io模式，增加并发能力，提升了数据吞吐量，实现了强实时的数据传输延时控制在毫秒级别，能满足强实时数据的低延迟和稳定、可靠性要求，解决了现有技术中的延时问题和稳定、可靠性问题。
31.具体地，如图2所示，本发明智慧城市实时数据处理方法第一实施例包括以下步骤：步骤s10，在从网络端口获得客户端上传的智慧城市实时数据后，通过异步非阻塞网络io模型返回报文给所述客户端。
32.本实施例方法的执行主体可以为与客户端交互的网络服务器，在网络服务器上设置有网络端口，网络服务器通过网络端口接收客户端上传的数据。
33.在本实施例中，在从网络端口上获得客户端上传的数据后，采用异步非阻塞io模
式，立刻回报文给客户端，表示数据已经接收，这样能为下一份数据包流出资源。
34.相对通常的同步阻塞模式，要在处理完数据后才返回给客户端，这样客户端需要等待较长的时间，当后续数据到达时，因为等待前面的数据处理，造成了延时过大，后面数据处理又需要按照传感器来获得对应片段的数据，这样和数据进来时的结构不同，程序的算法会很复杂，造成系统稳定性，可靠性很差，容易过度占用资源而发生崩溃，内存溢出等故障。
35.本实施例中，采用异步非阻塞io模式后，客户端不需要长时间等待，降低了数据处理时的复杂性，使得客户端的并发链接数大量增加，可以到达同步阻塞式的1万倍。
36.步骤s20，对所述智慧城市实时数据进行解码；其中，作为一种实施方式，在对所述智慧城市实时数据进行解码的步骤之前还可以进一步包括：对所述智慧城市实时数据进行校验，如果校验通过，则执行步骤：对所述智慧城市实时数据进行解码。
37.其中，数据校验分为两种方式，即长度校验和有效性校验。长度校验采用的公式为：包字节数=包头字节数 数据字节数 校验字节数，检查包是否完整。有效性校验采用的公式为：校验位=包头至校验位前所有字节进行位与操作结果，检查是否有效。
38.对校验通过的数据进行解码，是指将包中数据提取出来，拆分为单个传感器数据项，为放入高速数据队列做好准备。
39.具体地，所述对所述智慧城市实时数据进行解码的步骤包括：从所述智慧城市实时数据中提取数据包；将提取的数据包，拆分为单个传感器数据项，以放入所述高速数据队列。
40.步骤s30，将解码后的数据存入高速数据队列，在所述高速数据队列中，基于传感器数据项对数据进行管理；将解码后的各数据包以传感器数据项的方式分类存入所述高速数据队列；在所述高速数据队列中，基于传感器数据项，按照传感器组织和管理子队列的方式对数据进行管理。
41.如图3所示，本实施例中，高速数据队列，按照传感器组织分类分别管理子队列，对于高频数据完全避免数据交叉带来的混乱，减少后面运算的复杂性，提升了处理速度。
42.步骤s40，对所述高速数据队列中的数据按照预设方式进行编码，写入时序数据库，并进行csv持久化处理。
43.在将解码后的数据存入高速数据队列后，对所述高速数据队列中的数据，按照传感器重组数据块的方式，以及按照时序数据库和csv文件要求重组数据块的方式进行编码。
44.数据编码即按照数据库和csv文件要求重组数据块，实现批量写入，减少写入次数，实现整块写入，提升处理速度。
45.由此，通过软件网络io模式着手，采用异步非阻塞io模式后，客户端不需要长时间等待，同时也将数据处理和数据接收解藕，降低了数据处理时的复杂性，使得客户端的并发链接数大量增加，可以到达同步阻塞式的1万倍，延时可以控制在100毫秒以内，上千支传感器以100hz发送数据接收稳定，收到数据包通过快速校验，粘包、错包、包时序混乱等问题发生概率小于1%。同时接收到的数据通过解码、队列、编码环节，降低了数据处理的复杂性，提
升了稳定性和可靠性，解决了内存占用问题。
46.本实施例通过上述技术方案，在从网络端口获得客户端上传的智慧城市实时数据后，通过异步非阻塞网络io模型返回报文给所述客户端；对所述智慧城市实时数据进行解码；将解码后的数据存入高速数据队列，在所述高速数据队列中，基于传感器数据项对数据进行管理；对所述高速数据队列中的数据按照预设方式进行编码，写入时序数据库，并进行csv持久化处理，由此，通过异步非阻塞网络io模式，增加并发能力，提升了数据吞吐量，实现了强实时的数据传输延时控制在毫秒级别，能满足强实时数据的低延迟和稳定、可靠性要求，解决了现有技术中的延时问题和稳定、可靠性问题。
47.进一步地，请参照图4，图4是本发明智慧城市实时数据处理方法第二实施例的流程示意图，与图2所示的第一实施例的区别在于，本实施例中，所述步骤s10之后还包括：s101，对所述智慧城市实时数据进行校验，具体步骤包括：采用长度校验方式和有效性校验方式对所述智慧城市实时数据进行校验。
48.数据校验是为保证数据的完整性进行的一种验证操作，通常用一种指定的算法对原始数据计算出一个校验值，接收方用同样的算法计算一次校验值，如果两次计算得到的校验值相同，则说明数据是完整的，否则说明数据不完整。
49.具体地，本实施例中，采用长度校验对所述智慧城市实时数据进行校验的步骤包括：采用公式：包字节数=包头字节数 数据字节数 校验字节数，对所述智慧城市实时数据进行校验，检查智慧城市实时数据包是否完整。
50.采用有效性校验对所述智慧城市实时数据进行校验的步骤包括：采用公式：校验位=包头至校验位前所有字节进行位与操作结果，检查所述智慧城市实时数据是否有效。
51.本实施例通过上述技术方案，在从网络端口获得客户端上传的智慧城市实时数据后，通过异步非阻塞网络io模型返回报文给所述客户端；采用长度校验和有效性校验对所述智慧城市实时数据进行校验；如果校验通过，则对所述智慧城市实时数据进行解码；将解码后的数据存入高速数据队列，在所述高速数据队列中，基于传感器数据项对数据进行管理；对所述高速数据队列中的数据按照预设方式进行编码，写入时序数据库，并进行csv持久化处理，由此，通过异步非阻塞网络io模式，增加并发能力，提升了数据吞吐量，实现了强实时的数据传输延时控制在毫秒级别，能满足强实时数据的低延迟和稳定、可靠性要求，解决了现有技术中的延时问题和稳定、可靠性问题。
52.以下对本发明智慧城市实时数据处理方法做进一步地详细阐述。
53.通常的同步阻塞模式，要在处理完数据后才返回给客户端，这样客户端需要等待较长的时间，当后续数据到达时，因为等待前面的数据处理，造成了延时过大，后面数据处理又需要按照传感器来获得对应片段的数据，这样和数据进来时的结构不同，程序的算法会很复杂，造成系统稳定性，可靠性很差，容易过度占用资源而发生崩溃，内存溢出等故障。
54.如图5所示，本发明采用异步非阻塞io模式后，客户端不需要长时间等待，同时也将数据处理和数据接收解藕，降低了数据处理时的复杂性，使得客户端的并发链接数大量增加，可以到达同步阻塞式的1万倍，同时接收到的数据通过解码、队列、编码环节，降低了数据处理的复杂性，提升了稳定性和可靠性，解决了内存占用问题。
55.本发明实施例提出的智慧城市实时数据处理方法，在从网络端口获得客户端上传的智慧城市实时数据后，通过异步非阻塞网络io模型返回报文给所述客户端；采用长度校验和有效性校验对所述智慧城市实时数据进行校验；如果校验通过，则对所述智慧城市实时数据进行解码；将解码后的数据存入高速数据队列，在所述高速数据队列中，基于传感器数据项对数据进行管理；对所述高速数据队列中的数据按照预设方式进行编码，写入时序数据库，并进行csv持久化处理，由此，通过异步非阻塞网络io模式，增加并发能力，提升了数据吞吐量，实现了强实时的数据传输延时控制在毫秒级别，能满足强实时数据的低延迟和稳定、可靠性要求，解决了现有技术中的延时问题和稳定、可靠性问题。
56.为实现上述目的，本发明还提出一种智慧城市实时数据处理系统，所述系统包括：客户端和网络服务器，其中：所述客户端，用于获取智慧城市实时数据，并上传至所述网络服务器；所述网络服务器，用于在从网络端口获得所述客户端上传的智慧城市实时数据后，通过异步非阻塞网络io模型返回报文给所述客户端；对所述智慧城市实时数据进行解码；将解码后的数据存入高速数据队列，在所述高速数据队列中，基于传感器数据项对数据进行管理；对所述高速数据队列中的数据按照预设方式进行编码，写入时序数据库，并进行csv持久化处理。
57.本实施例实现智慧城市实时数据处理的原理，请参照上述各实施例，在此不再赘述。
58.为实现上述目的，本发明还提出一种智慧城市实时数据处理系统，所述系统包括存储器、处理器、以及存储在所述存储器上的智慧城市实时数据处理程序，所述智慧城市实时数据处理程序被所述处理器运行时执行如上述实施例所述的方法。
59.本实施例实现智慧城市实时数据处理的原理，请参照上述各实施例，在此不再赘述。
60.为实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有智慧城市实时数据处理程序，所述智慧城市实时数据处理程序被处理器运行时执行如上实施例所述的方法的步骤，这里不再赘述。
61.本实施例实现智慧城市实时数据处理的原理，请参照上述各实施例，在此不再赘述。
62.本发明实施例提出的智慧城市实时数据处理方法、系统及存储介质，在从网络端口获得客户端上传的智慧城市实时数据后，通过异步非阻塞网络io模型返回报文给所述客户端；对所述智慧城市实时数据进行解码；将解码后的数据存入高速数据队列，在所述高速数据队列中，基于传感器数据项对数据进行管理；对所述高速数据队列中的数据按照预设方式进行编码，写入时序数据库，并进行csv持久化处理，由此，通过异步非阻塞网络io模式，增加并发能力，提升了数据吞吐量，实现了强实时的数据传输延时控制在毫秒级别，能满足强实时数据的低延迟和稳定、可靠性要求，解决了现有技术中的延时问题和稳定、可靠性问题。
63.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有
的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
64.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
65.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台推荐效果评价系统(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本发明每个实施例的方法。
66.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。