边缘网关与云服务器的数据传输方法及装置与流程

1.本发明属于物联网设备控制技术领域，具体地涉及一种边缘网关与云服务器的数据传输方法及装置。


背景技术：

2.目前，物联网的发展已经进入云时代，它是将物联网与互联网整合起来，在这个整合的综合性网络当中，存在着计算能力超级强大的服务器集群，它们对物联网终端设备可以实施控制管理。
3.虽然这种网络带来了极大便捷，但也因为边缘网关和终端设备众多而出现在云服务器中产生海量数据，使网络的响应速度变慢，生成的数据如果都在云服务器中进行处理，网络载荷将极大增加，数据会出现延迟。所以在网络的边缘，需要边缘计算生成，分析，处理数据，这就是边缘计算。
4.与传统的互联网部署应用环境发展成熟、应用广泛不同的是，物联网往往部署在没有网络信号或信号不稳定的偏远地区，此时无线解决方案无法满足这样的网络环境或者无线信号容易受到干扰，从而导致网络连接时断时续、卡顿，进而影响到物联网对网络终端设备工作状态的感知能力。
5.例如，综合杆箱是集无线通信、智慧照明、视频监控、交通管理、环境监测等功能于一体的基础设施，综合杆箱运行维护系统采用边缘网关的部署方式，采用边缘计算。综合杆箱数量多、相对密度大，综合杆箱运行维护系统的众多边缘网关由于挂载的各种终端设备种类多，数据量高，所以综合杆箱运行维护系统网络每天有大量的数据通过边缘网关计算处理、分析后再上传至云服务器，同时云服务器有新的更新操作也通过同一网络下发给边缘网关。另外综合杆箱运行维护系统的边缘网关的经常性维护内容还有网关挂载的终端设备减少或增加，以及日常性工作中边缘网关与云服务器的上传、下载的功能，从而实现网关该允许备份配置信息的时候能允许备份配置信息，及下载云服务器数据。边缘网关每隔一段时间联系一次云服务器以报告云服务器边缘网关的在线情况、工况情况，所以边缘网关每隔一段时间周期要检查一次下属设备的状态和边缘网关的工作情况并上报云服务器，云服务器根据具体网关上传的工况情况出具维护工单。云服务器在连接边缘网关后接收边缘网关上报的终端设备数据，将其填写入库，并显示、报警、提示维护人员，包括所属设备主机、设备名称、设备类型、巡检时间、巡检结果、设备状态，分别对应边缘网关名称、终端设备名称、设备类型；巡检时间为边缘网关上报的时间，巡检结果分别为闭合或弹出状态，设备状态为正常或异常，以便出具维护边缘网关工单。但是，一般不删除此边缘网关之前的信息记录，以便此边缘网关的信息能够回滚。
6.但是，由于主客观因素导致边缘网关常常无法确保时时刻刻能够在线，例如，因极端天气而出现跳闸、雷击、人为被盗等工况，同时由于边缘网关的部署地点、部署位置常常不易取网或网络环境不稳定，都会导致边缘网关不能随时保持网络在线的能力，这也让云服务器到边缘网关或边缘网关到云服务器的数据传输无法得到充分保障。本发明因此而
来。


技术实现要素：

7.针对上述存在的技术问题，本发明的目的是提供一种边缘网关与云服务器的数据传输方法及装置，减少了边缘网关与云服务器在数据传输过程中的连接次数，减少了网络流量，使得边缘网关无需过多的网络保证时间，从而额外的减少了网络带宽的占用和网络成本，降低了网络延迟，提高了网络使用效率。
8.本发明的技术方案是：
9.一种边缘网关与云服务器的数据传输方法，包括以下步骤：
10.s01：边缘网关发送心跳包连接云服务器；
11.s02：当云服务器有数据要下发边缘网关时，在边缘网关发送心跳包连接云服务器时告知边缘网关有数据要下发，边缘网关与云服务器建立数据传输连接，下载云服务器的数据；
12.s03：当边缘网关有信息要上传云服务器时，在边缘网关发送心跳包连接云服务器时告知云服务器有信息要上传，边缘网关与云服务器建立数据传输连接；若云服务器没有待下发数据，则边缘网关向云服务器上传信息；若云服务器有待下发数据，则边缘网关先暂停上传信息，下载云服务器的数据，下载数据完成后，边缘网关上传信息；
13.s04：当云服务器没有待下发数据，且边缘网关没有待上传信息时，在边缘网关发送心跳包连接云服务器时告知没有数据下发和上传，则中断通讯连接。
14.优选的技术方案中，所述步骤s03中所述下载数据完成后，将下载的数据与待上传信息进行对比，若为回滚信息，则边缘网关停止上传信息，删除待上传信息；若不是回滚信息，则边缘网关上传信息。
15.优选的技术方案中，所述步骤s03中将当前次的待上传信息存储于网关设备在线状态信息表，若边缘网关上传信息失败，则边缘网关将当前次的未能上传的信息存储于边缘网关设备在线历史状态信息表。
16.优选的技术方案中，所述边缘网关上传信息时，优先传输网关设备在线状态信息表中的数据，然后上传网关设备在线历史状态信息表中的数据。
17.优选的技术方案中，所述边缘网关与云服务器建立数据传输连接后，检测边缘网关是否在线，若云服务器与边缘网关建立通信连接的时间大于阈值，则判定边缘网关离线，当边缘网关离线时，待上传信息存储至网关设备在线历史状态信息表中。
18.优选的技术方案中，所述边缘网关定期删除存储于边缘网关设备在线历史状态信息表中的正常维护信息，保留异常信息。
19.本发明还公开了一种边缘网关与云服务器的数据传输装置，包括与云服务器连接的至少一个边缘网关，所述边缘网关连接至少一个终端设备，所述边缘网关包括：
20.心跳包发送模块，用于边缘网关发送心跳包连接云服务器；
21.数据传输模块，用于下载或上传数据；
22.比较模块，将下载的数据与待上传信息进行对比；
23.所述云服务器包括：
24.数据传输连接模块，边缘网关与云服务器建立数据传输连接；
25.分析处理模块，当云服务器有数据要下发边缘网关时，在边缘网关发送心跳包连接云服务器时告知边缘网关有数据要下发，边缘网关与云服务器建立数据传输连接，下载云服务器的数据；
26.当边缘网关有信息要上传云服务器时，在边缘网关发送心跳包连接云服务器时告知云服务器有信息要上传，边缘网关与云服务器建立数据传输连接；若云服务器没有待下发数据，则边缘网关向云服务器上传信息；若云服务器有待下发数据，则边缘网关先暂停上传信息，下载云服务器的数据，下载数据完成后，边缘网关上传信息；
27.当云服务器没有待下发数据，且边缘网关没有待上传信息时，在边缘网关发送心跳包连接云服务器时告知没有数据下发和上传，则中断通讯连接。
28.优选的技术方案中，所述边缘网关还包括存储模块，将当前次的待上传信息存储于网关设备在线状态信息表，若边缘网关上传信息失败，则边缘网关将当前次的未能上传的信息存储于边缘网关设备在线历史状态信息表。
29.优选的技术方案中，所述边缘网关上传信息时，优先传输网关设备在线状态信息表中的数据，然后上传网关设备在线历史状态信息表中的数据。
30.优选的技术方案中，所述边缘网关与云服务器建立数据传输连接后，检测边缘网关是否在线，若云服务器与边缘网关建立通信连接的时间大于阈值，则判定边缘网关离线，当边缘网关离线时，待上传信息存储至网关设备在线历史状态信息表中。
31.与现有技术相比，本发明的有益效果是：
32.1、本发明边缘网关与云服务器之间只在有数据传输时建立连接，没有数据需要传输时是不建立连接的，所以在边缘网关与云服务器的数据传输过程方式中减少了网关和云服务器连接的次数，这从主观上减少了网络流量，客观上符合边缘网关不能随时保持网络在线的现实。
33.2、如果边缘网关上传信息失败，即边缘网关的实时信息没有上传至云服务器，则转存至网关设备在线历史状态信息表中，等待云服务器与边缘网关连接时再传，此种设计使边缘网关的网络在线时间在无法得到保证之时能够起到边缘网关数据与云服务器数据传输的有效功能，使日常的网关和终端设备维护工作、网关终端的设备变动信息能够即时上报云服务器，在系统的设计上，边缘网关也无需过多的网络保证时间，从而额外的减少了网络带宽的占用和网络成本，降低了网络延迟，提高了网络使用效率。
34.3、另外网关历史信息的删除判断机制为删除平时维护正常信息(因为正常的维护信息没有保留价值，相对来说网关的维护正常值为多数)，保留故障信息(相对来说网关的维护故障值为少数)，减少了边缘网关对存储空间的占用，起到了提高网关运行效率与速度的目的，同时将故障信息保存上报至云服务器提高了物联网终端设备的维护、统计效率，可以针对性的、进一步减少网络终端设备的故障发生，对终端设备的可维护性设计也起到了使用统计数据支撑作用。
附图说明
35.下面结合附图及实施例对本发明作进一步描述：
36.图1为本发明边缘网关与云服务器的数据传输方法的流程图；
37.图2为本发明边缘网关与云服务器的数据传输装置的工作流程图。
具体实施方式
38.为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
39.实施例
40.如图1所示，一种边缘网关与云服务器的数据传输方法，包括以下步骤：
41.s01：边缘网关发送心跳包连接云服务器；
42.s02：当云服务器有数据要下发边缘网关时，在边缘网关发送心跳包连接云服务器时告知边缘网关有数据要下发，边缘网关与云服务器建立数据传输连接，下载云服务器的数据；
43.s03：当边缘网关有信息要上传云服务器时，在边缘网关发送心跳包连接云服务器时告知云服务器有信息要上传，边缘网关与云服务器建立数据传输连接；若云服务器没有待下发数据，则边缘网关向云服务器上传信息；若云服务器有待下发数据，则边缘网关先暂停上传信息，下载云服务器的数据，下载数据完成后，边缘网关上传信息；
44.s04：当云服务器没有待下发数据，且边缘网关没有待上传信息时，在边缘网关发送心跳包连接云服务器时告知没有数据下发和上传，则中断通讯连接。
45.一较佳的实施例，步骤s03中所述下载数据完成后，将下载的数据与待上传信息进行对比，若为回滚信息，则边缘网关停止上传信息，删除待上传信息；若不是回滚信息，则边缘网关上传信息，待回滚信息生效运行后再行判断是否需要上传信息。
46.一较佳的实施例，步骤s03中将当前次的待上传信息存储于网关设备在线状态信息表，若边缘网关上传信息失败，则边缘网关将当前次的未能上传的信息存储于边缘网关设备在线历史状态信息表。
47.一较佳的实施例，边缘网关上传信息时，优先传输网关设备在线状态信息表中的数据，然后上传网关设备在线历史状态信息表中的数据。
48.一较佳的实施例，边缘网关与云服务器建立数据传输连接后，检测边缘网关是否在线，若云服务器与边缘网关建立通信连接的时间大于阈值，则判定边缘网关离线，当边缘网关离线时，待上传信息存储至网关设备在线历史状态信息表中。
49.一较佳的实施例，边缘网关定期删除存储于边缘网关设备在线历史状态信息表中的正常维护信息，保留异常信息。
50.另一实施例，本发明还公开了一种边缘网关与云服务器的数据传输装置，包括与云服务器连接的至少一个边缘网关，所述边缘网关连接至少一个终端设备，所述边缘网关包括：
51.心跳包发送模块，用于边缘网关发送心跳包连接云服务器；
52.数据传输模块，用于下载或上传数据；
53.比较模块，将下载的数据与待上传信息进行对比；
54.所述云服务器包括：
55.数据传输连接模块，边缘网关与云服务器建立数据传输连接；
56.分析处理模块，当云服务器有数据要下发边缘网关时，在边缘网关发送心跳包连
接云服务器时告知边缘网关有数据要下发，边缘网关与云服务器建立数据传输连接，下载云服务器的数据；
57.当边缘网关有信息要上传云服务器时，在边缘网关发送心跳包连接云服务器时告知云服务器有信息要上传，边缘网关与云服务器建立数据传输连接；若云服务器没有待下发数据，则边缘网关向云服务器上传信息；若云服务器有待下发数据，则边缘网关先暂停上传信息，下载云服务器的数据，下载数据完成后，将下载的数据与待上传信息进行对比，若为回滚信息，则边缘网关停止上传信息；若不是回滚信息，则边缘网关上传信息；
58.当云服务器没有待下发数据，且边缘网关没有待上传信息时，在边缘网关发送心跳包连接云服务器时告知没有数据下发和上传，则中断通讯连接。
59.如图2所示，该数据传输装置具体的工作流程如下：
60.a、网关向云服务器发送探测消息心跳包。
61.b、云服务器查找发送心跳包网关的mac地址。
62.c、如果云服务器包含发送心跳包网关的mac地址，则连接云服务器，否则判断云服务器是否登记发送心跳包网关的mac地址。
63.d、如连接云服务器成功或登记发送心跳包的网关mac地址，网关判断有无即时信息。如连接云服务器失败或云服务器不登记发送心跳包的网关mac地址，则程序结束。
64.e、网关如有即时信息，则发送即时信息，如发送成功，将网关设备在线状态信息表中标记为上传成功(mark字段赋值为1)，之后网关判断有无历史信息要发送；网关如没有即时信息要发送，也是判断有无历史信息要发送。
65.f、网关如有即时信息，但发送失败，则把即时信息保留进网关数据库；如判断没有历史信息需要发送，则程序结束。
66.g、如网关有历史信息要发送，但发送失败，则依然将历史信息保存在网关数据库，之后程序结束；如发送历史信息成功，则将网关设备在线历史状态信息表中的标记字段标记为上传成功(mark字段赋值为1)，之后删除数据库中日常维护信息为正常值的历史信息记录，之后程序结束。
67.具体的：
68.1、系统网关判断维护的目的
69.由于边缘网关下属的物联传感器设备的工作状态的变化、离线(断网)等因素，同时，边缘网关也要每隔一段时间联系一次云服务器以报告云服务器边缘网关的在线情况、工况情况，所以边缘网关每隔一段时间周期要检查一次下属设备的状态和边缘网关的工作情况并上报云服务器，云服务器根据具体网关上传的工况情况出具维护工单。
70.云服务器在连接上边缘网关后接收边缘网关上报的终端设备数据，将其填写入库，并显示、报警、提示维护人员，包括所属设备主机、设备名称、设备类型、巡检时间、巡检结果、设备状态，分别对应边缘网关名称、终端设备名称、设备类型；巡检时间为边缘网关上报的时间，巡检结果分别为闭合或弹出状态，设备状态为正常或异常，以便出具维护边缘网关工单。
71.2、如运行维护是减少终端设备数量，则减少设备的网关应判断其采集的数据量是否停止，如停止，则上报云服务器网关减少了终端设备；如为增加终端设备或更换终端设备，则判断增加或更换设备的网关的采集数据是否对应存在一致，如一致则上传云服务器
网关增加了终端设备，如不一致则返回网关判断维护目的(即上一步)。
72.在边缘网关与云服务器连接成功后网关上报终端设备改变信息，云服务器则将边缘网关改变的信息记录入库，但不删除此边缘网关之前的信息记录，以便此边缘网关的信息能够回滚。
73.3、同步到服务器。
74.网关同步至云服务器采用mqtt协议，边缘网关数据产生优先级为1、网关预置策略执行方法2、设备参数更新方法3、网关日志生成方法。
75.如果终端设备出现故障，边缘网关将记录故障发生的时间戳、正常、异常信息，同时形成网关日志，这些日志将要上传云服务器平台并在后续维护和故障排除中发挥积极重要的作用。网关日志记录在网关运行日志表中，其中记录了控制设备的id、操作的设备类型、操作的设备名称、操作类型、操作来源、操作涉及内容这些主要字段信息；产生日志的操作来源既有录入网关的本级自动策略，也有云平台发出的指令和用户现场接入控制，无论哪种操作方式、无论操作是否成功，数据库都将记录操作内容，并记录在数据库日志备注信息(status字段信息)，记录执行是否成功，并上传云服务器。每当网关向终端设备发出运行指令或平常的设备终端维护时，无论操作是否成功，网关都会相应记录操作内容，并上传云服务器。
76.网关与云服务器数据传输过程如下：
77.网关与云服务器的数据传输分为三个阶段：网关物理地址登记准备阶段、心跳包等待阶段和数据传输阶段。
78.①
网关物理地址登记准备阶段
79.网关物理地址登记准备阶段主要是网关首先向云服务器上报网关mac地址，然后云服务器端登记网关的mac物理地址信息，云服务器记录下网关的mac地址并连接通讯后，网关将采集到的终端设备信息汇集起来后发送给云服务器,从而实现网关同云服务器之间的数据上传目的。
80.比如网关的mac地址为45-32-e3-64-4e-f5，
81.可定义变量string gatewaymac＝45-32-e3-64-4e-e5；网关上报云服务器本机mac地址为gatewaymac，云服务器如果允许与其连接通讯，则存储gatewaymac地址信息，后面云服务器与mac地址为gatewaymac的网关会自动建立mqtt协议连接。
82.②
心跳包等待阶段(判断网关是否在线)
83.每隔一段时间网关向云服务器发送一次探测消息心跳包,探测是否能连接上云服务器以及云服务器是否有数据修改操作。一次发送探测消息心跳包到下一次发送探测消息心跳包之间的时间间隔称为心跳包等待阶段。心跳包等待阶段的长短可以根据数据传输的及时性要求在网关中设定,一般设置为几分钟不等，本系统采取人工动态输入心跳包时间间隔。
84.另外由于边缘网关数量多，所以边缘网关并不能频繁与服务器通信，否则会占据网络资源、产生大量的网络带宽成本，并且由于网络组网环境问题也无法保证边缘网关时时在线，所以每次网关探测心跳包通信连接的建立都由网关主动发起，使边缘网关在网络恢复或心跳包等待阶段结束后联系云服务器，以告知云服务器边缘网关在线。
85.③
数据连接传输方式
86.如果云服务器有数据要下发，先将数据存储在云服务器操作日志里，等待心跳包等待阶段结束，网关发送探测消息心跳包连接云服务器时告知边缘网关有信息要下发，此时边缘网关先停止自身要上传的信息，与云服务器建立连接，准备下载云服务器的配置信息，下载信息后和自身要上传的信息相比对，如果为回滚信息，则边缘网关删除自身要上传的信息(无必要再上传)，待回滚信息生效运行后再行判断是否需要上传信息，如果云服务器有信息下发而边缘网关长时间没有探测消息心跳包发送或无法建立连接，则首先判断网络问题，如无网络问题则可判断边缘网关离线或出故障。
87.边缘网关中的配置信息为现场工作人员将采集到的终端设备的数据变化信息及时录入网关数据库网关设备信息表中，如果边缘网关有新的信息需要上传云服务器。也是先将数据存储在网关操作日志里，待边缘网关发送探测消息心跳包至云服务器时告知云服务器有信息要上传，边缘网关与云服务器建立连接，如云服务器没有信息要下发，则边缘网关上传云服务器信息，如云服务器有信息下发，按前述边缘网关先暂停上传信息，待下载云服务器信息相比对后再判断是否上传。
88.如果云服务器和边缘网关都无数据要下发或上传，则在边缘网关向云服务器发送探测消息心跳包时相互告知没有数据下发、上传，此时不建立数据传输连接，直接中断通讯，直到下一次发送探测消息心跳包时再判断有无数据传输。
89.由于大多数时间里云服务器与边缘网关之间并无数据传输需求，所以此设计可有效减少云服务器与边缘网关通讯时长、连接的次数。
90.④
数据传输
91.当心跳包等待阶段结束后，云服务器或网关有数据下发或上传时，云服务器与边缘网关建立连接，进行数据传输。云服务器将操作参数数据配置信息下发给网关配置参数表，之后边缘网关上传信息数据给云服务器，而日常维护性信息的删减，网关将正常的数据信息删除，保留并上传故障信息。
92.传输流程：数据传输开始时边缘网关先与云服务器通过mqtt协议建立连接；连接建立后，边缘网关先下载获取云服务器的数据修改操作，经比对后仍需上传网关数据时边缘网关将根据采集到的网关设备在线状态信息表中的标记字段标记为未上传(mark字段赋值为0)的参数配置数据信息上传给云服务器，上传成功结束后将标记字段(mark字段)赋值为1，数据传输结束后边缘网关与云服务器中断连接，直到网关的心跳包等待时间到后再次发送探测消息心跳包以判断是否有数据传输。
93.在采集数据信息时，需要考虑离线情况，所以系统的断点续传功能尤为重要，可以保证数据的连续性，尤其是在网络信号不太稳定时。其基本思路是：
94.a、网关离线是基于使用mqtt协议与云服务器端连接交互判断的，所以能够检测到边缘网关是在线或是离线状态，但由于网络连接情况状况造成数据传输时间有间隔，所以数据传输不稳定。
95.b、存储的参数配置数据在网关设备在线状态信息表中是实时的，网关设备历史信息表网关设备在线历史状态信息表中则为未能上传至云服务器的参数配置历史数据，所以首先是要存储当前要传输的数据至网关设备在线状态信息表中，如果网关与云服务器建立的连接时间结束，网关自动离线，此时网关把当前次的未能上传的配置数据存放到网关设备在线历史状态信息表中，在网关设备在线历史状态信息表中此信息字段标记为未上传
(mark字段赋值为0)，并且网关设备在线状态信息表只存放当前次的数据，下一次网关与云服务器建立连接的时候依然是先传输网关设备在线状态信息表中的实时的数据，如果网关仍然离线，则把当前次的数据再一次存储至网关设备在线历史状态信息表中，同时将mark字段赋值为0，标记为未上传，以此类推。
96.网关设备在线状态信息表(gate_devonline)如下：
[0097][0098]
网关设备在线历史状态信息(gate_devonlinehistory)如下：
[0099]
[0100][0101]
c、边缘网关从离线状态转为在线状态时，边缘网关中存储的数据随探测消息心跳包一并上传上报，先上传网关设备在线状态信息表中的即时参数配置数据，上传成功后将上传的数据转储至网关设备在线状态信息表中，并将mark字段赋值为1，标记为已上传，再上传网关设备在线历史状态信息表中的历史参数配置数据同时将上传的信息记录mark字段赋值为1，标记为已上传。如云服务器操作记录中有新的修改配置操作数据，则边缘网关在数据上传结束后下载云服务器操作记录中的修改配置数据，如传输中断或网络断网，云服务器判定发送失败，下次连接时再补发，网关进入下一个心跳包等待阶段结束时，此时如网关连接的终端设备有数据变化，则网关进行配置数据备份。
[0102]
d、如果边缘网关维护过程中出现人为误操作，则边缘网关在对终端设备进行数据监测时会频繁出现错误提示，此种情况边缘网关会向云服务器上传错误提示信息，云服务器会下发工单，由现场人员确定后向边缘网关输入回滚指令，边缘网关向云服务器上传回滚请求信息，云服务器则把存储的边缘网关配置信息中的上一条信息转储至云服务器操作日志中，等待边缘网关发送探测消息心跳包时下载此配置信息并重新配置。
[0103]
e、定义整型变量regular为int regular＝10，定义整型变量heartbeat为int heartbeat＝240，定义整型变量cyclet为int cyclet＝3；
[0104]
如网关掉电，网关计时器则清零，上电后，网关计时器在心跳包等待阶段时长的基础上减去regular(秒)时长重新计时心跳包，regular(秒)时长后网关重新探测云服务器时，云服务器判断网关是否在线，如在线则连接发送数据；如心跳包等待阶段时长设定在
heartbeat(秒)时长以内，而云服务器出现有cyclet个心跳包等待阶段时间周期无法与网关联系，则云服务器判定网关离线；如云服务器掉电，网关在心跳包等待阶段结束后发送探测消息，此时云服务器无法响应网关，网关与云服务器无法连接，则进入下一个心跳包等待阶段，直到云服务器上电。
[0105]
4、程序结束。
[0106]
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。