数据上报方法和多平台数据管理系统与流程
本技术涉及物联网数据传输领域,尤其涉及一种数据上报方法和多平台数据管理系统。
背景技术:
1、本技术涉及工商业分布式能源物联网场景,常通过边缘网关采集本地时序数据库中的设备运行数据,并按平台规范封装后上传至云端平台。
2、然而,现有边缘上报多采用固定轮询、静态字段映射及mqtt(message queuingtelemetry transport,消息队列遥测传输协议)直连方式,数据在高频采集与多平台同步中易受网络抖动影响,且断连恢复多依赖全量持久化或固定间隔重连,导致传输确认状态难以精细追踪,消息缓冲释放与故障恢复效率受到限制。
3、因此,如何在多平台异构上报与网络波动环境下,提高数据传输的可靠性、适配性和恢复效率,成为亟待解决的技术问题。
技术实现思路
1、本技术实施例提供一种数据上报方法和多平台数据管理系统,用以在多平台异构上报与网络波动环境下,提高数据传输的可靠性、适配性和恢复效率。
2、第一方面,本技术实施例提供一种数据上报方法,应用于多平台数据管理系统,多平台数据管理系统包括控制单元、时序数据库和环形消息队列,控制单元配置有数据采集线程、数据读取线程和至少一个数据上传线程;方法包括:
3、通过数据采集线程查询时序数据库得到第一设备数据,并将第一设备数据写入环形消息队列中的待存储消息条目;
4、通过数据读取线程获取环形消息队列中待上传消息条目对应的第二设备数据、引用计数字段以及第二设备数据对应的基准指纹;第二设备数据为待上传消息条目中存储的、先前由数据采集线程写入的第一设备数据;引用计数字段包括主计数子字段和从计数子字段;
5、确定第二设备数据对应的待发送平台,并通过数据读取线程基于待发送平台的标准数据结构,对第二设备数据进行格式适配,生成待发送平台对应的目标设备数据;将目标设备数据发送至与待发送平台对应的数据上传线程;
6、通过数据上传线程将目标设备数据发送至待发送平台,并接收待发送平台返回的确认报文和平台解析数据;基于平台解析数据,确定第二设备数据对应的校验指纹;
7、通过数据上传线程,在接收到确认报文后对主计数子字段执行递减操作,以及,在校验指纹与基准指纹存在冲突的情况下,对从计数子字段执行递增操作;
8、在主计数子字段的数值归零,且从计数子字段满足预设冲突条件的情况下,将待上传消息条目移出环形消息队列;
9、其中,待发送平台配置有逻辑通道类型,逻辑通道类型包括强确认通道;预设冲突条件包括从计数子字段不超过预设冲突阈值,且所有强确认通道对应的校验冲突均为零。
10、在一个可能的实施例中,逻辑通道类型还包括弱确认通道;从计数子字段包括强通道冲突数和弱通道冲突数;
11、预设冲突条件包括弱通道冲突数不超过预设冲突阈值,且强通道冲突数为零;预设冲突阈值用于限定弱确认通道的校验冲突数的上限。
12、在一个可能的实施例中,方法还包括:
13、根据待发送平台的可靠性等级,将待发送平台划分为强确认通道和弱确认通道;
14、方法还包括:
15、根据待发送平台的历史确认成功率、平均响应延迟或数据解析错误率,动态调整其可靠性等级;
16、当弱确认通道的历史确认成功率超过第一阈值时升级为强确认通道,当强确认通道的确认成功率低于第二阈值时降级为弱确认通道。
17、在一个可能的实施例中,预设容忍阈值根据弱确认通道的历史延迟分布动态设定,包括等待时长阈值、发送次数阈值或基于滑动窗口的确认比例阈值;
18、预设冲突容忍阈值还可以根据待上传消息条目的数据类型动态设定:开关量数据的冲突容忍阈值低于模拟量数据的冲突容忍阈值。
19、在一个可能的实施例中,基准指纹嵌入待上传消息条目的描述符头部;基于平台解析数据,确定第二设备数据对应的校验指纹,包括:
20、从平台解析数据中提取参与指纹计算的关键字段,采用与生成基准指纹相同的算法对关键字段计算,得到校验指纹;
21、基于平台解析数据,确定第二设备数据对应的校验指纹之后,方法还包括:
22、从描述符头部读取基准指纹,将校验指纹与基准指纹进行比对;
23、若比对不一致,则确定校验指纹与基准指纹存在冲突。
24、在一个可能的实施例中,多平台数据管理系统还包括多个物联网设备;在通过数据采集线程查询时序数据库得到第一设备数据之前,方法还包括:
25、通过数据采集线程按照预设设备轮询顺序,依次将各物联网设备确定为待查询设备;
26、通过数据采集线程查询时序数据库得到第一设备数据,包括:
27、确定与待查询设备对应的数据查询模式;数据查询模式包括静态数据查询模式和动态数据查询模式;
28、若待查询设备对应的数据查询模式为静态数据查询模式,则根据待查询设备对应配置文件中的预设固定字段列表,构建静态查询语句,并执行静态查询语句得到第一设备数据;
29、若待查询设备对应的数据查询模式为动态数据查询模式,则获取时序数据库中存储的待查询设备对应的元数据,并对元数据进行动态字段识别,得到动态查询字段列表;
30、基于动态查询字段列表构建动态查询语句,并执行动态查询语句得到第一设备数据。
31、在一个可能的实施例中,数据采集线程的写入操作与数据读取线程的读取操作异步执行;
32、待存储消息条目在写入后经环形消息队列的先进先出顺序成为待上传消息条目;
33、数据采集线程在将第一设备数据写入待存储消息条目时,根据第一设备数据对应的传输平台数量初始化待存储消息条目的引用计数字段。
34、在一个可能的实施例中,在将第一设备数据写入环形消息队列中的待存储消息条目之前,方法还包括:
35、通过数据采集线程识别第一设备数据中的标签列、指标列和时间戳列;
36、将标签列转换为标准化属性字段,将指标列转换为标准化遥测字段,并将标签列和指标列对应的测量数据转换为统一的数值格式;
37、识别时间戳列的精度等级,将时间戳列转换为统一的时间格式;
38、基于标签列、指标列和时间戳列的转换结果,生成标准化查询数据;
39、将第一设备数据写入环形消息队列中的待存储消息条目,包括:
40、将标准化查询数据写入环形消息队列中尾指针所指向的待存储消息条目。
41、在一个可能的实施例中,数据采集线程将第一设备数据写入待存储消息条目时、数据读取线程从待上传消息条目中提取第二设备数据时、以及数据上传线程对待上传消息条目的主计数子字段执行递减操作和对从计数子字段执行递增操作时,采用互斥锁对环形消息队列的访问进行同步控制;
42、其中,数据采集线程和数据读取线程还采用条件变量进行同步控制,数据上传线程在主计数子字段归零且从计数子字段满足预设冲突条件时发送条件变量信号。
43、在一个可能的实施例中,互斥锁为环形消息队列的成员变量;
44、数据采集线程在将第一设备数据写入环形消息队列前获取互斥锁,写入完成后释放互斥锁;
45、数据读取线程在从环形消息队列中提取第二设备数据前获取互斥锁,提取完成后释放互斥锁。
46、在一个可能的实施例中,条件变量信号包括非满条件信号;采用互斥锁和条件变量对环形消息队列的访问进行同步控制,包括:
47、在数据采集线程获取互斥锁后,通过数据采集线程检测环形消息队列的队列容量状态;队列容量状态包括满队列状态;
48、在环形消息队列处于满队列状态时,通过数据采集线程释放互斥锁并进入非满条件等待;
49、在主计数子字段的数值归零、从计数子字段满足预设冲突条件,且数据上传线程持有互斥锁的情况下,通过数据上传线程移动头指针,将待上传消息条目移出环形消息队列,并发送非满条件信号;
50、数据采集线程响应于非满条件信号,重新获取互斥锁,并将新的第一设备数据写入环形消息队列。
51、在一个可能的实施例中,条件变量信号包括非空条件信号;队列容量状态包括空队列状态;在通过数据采集线程检测环形消息队列的队列容量状态后,方法还包括:
52、在环形消息队列处于空队列状态时,通过数据读取线程释放互斥锁并进入非空条件等待;
53、数据采集线程在将第一设备数据写入待存储消息条目后,发送非空条件信号;
54、数据读取线程响应于非空条件信号,重新获取互斥锁,并从待上传消息条目中提取第二设备数据。
55、在一个可能的实施例中,方法还包括:
56、按照预设周期读取环形消息队列的队列状态信息;
57、将队列状态信息和消息队列中各消息条目内存储的第一设备数据写入持久化文件;
58、在多平台数据管理系统处于异常重启的情况下,读取持久化文件中的队列状态信息和第一设备数据;
59、基于读取的队列状态信息和第一设备数据,重建环形消息队列;
60、在重建完成后,数据读取线程重新获取重建后的环形消息队列中待上传消息条目对应的第二设备数据、引用计数字段以及基准指纹;
61、通过数据读取线程,在环形消息队列的临界区外部,基于待发送平台的标准数据结构对第二设备数据重新进行格式适配,生成新的目标设备数据;
62、通过数据上传线程将目标设备数据发送至待发送平台,包括:
63、通过数据上传线程将新的目标设备数据发送至待发送平台。
64、在一个可能的实施例中,基于待发送平台的标准数据结构,对第二设备数据进行格式适配,生成待发送平台对应的目标设备数据,包括:
65、根据标准数据结构,将第二设备数据中的标准化属性字段和标准化遥测字段重组至标准数据结构的对应位置,生成待发送平台对应的目标设备数据;
66、其中,不同待发送平台对应不同的标准数据结构,同一第一设备数据基于不同标准数据结构生成不同的目标设备数据。
67、在一个可能的实施例中,多平台数据管理系统为每个待发送平台维护有待确认消息计数器,待确认消息计数器用于确定环形消息队列中尚未收到待发送平台返回的确认报文的消息条目数量;多平台数据管理系统还包括mqtt连接线程,mqtt连接线程建立并维护各待发送平台的mqtt连接;方法还包括:
68、当检测待发送平台的mqtt连接断开时,根据待发送平台对应的待确认消息计数器,确定待发送平台的重连优先级;
69、采用与重连优先级对应的重连策略执行待发送平台的重连流程,并在重连成功后,重新发送目标设备数据;
70、其中,重连策略至少包括重连初始间隔、退避增长系数以及最大重连次数。
71、在一个可能的实施例中,条件变量信号包括非满条件信号;数据上传线程为多个,且数量与待发送平台的数量相同,每个数据上传线程对应一个待发送平台;
72、将目标设备数据发送至与待发送平台对应的数据上传线程,包括:
73、将各目标设备数据分别分发至对应的数据上传线程;
74、各数据上传线程建立与对应待发送平台之间的独立通信链路;并行地向对应的待发送平台发送目标设备数据;各数据上传线程向对应的待发送平台发送目标设备数据的过程在环形消息队列的临界区外部执行;
75、各数据上传线程在接收到对应的待发送平台返回的确认报文后,分别获取互斥锁,对待上传消息条目的主计数子字段执行递减操作,以及,在校验指纹与基准指纹存在冲突的情况下,对从计数子字段执行递增操作;
76、在递减操作和递增操作均完成后释放互斥锁;
77、当执行递减操作的数据上传线程检测到主计数子字段的数值归零,且从计数子字段满足预设冲突条件时,数据上传线程在持有互斥锁的状态下移动头指针,以释放待上传消息条目占用的存储单元,并发送非满条件信号。
78、第二方面,本技术实施例提供一种数据上报装置,包括:
79、获取模块,用于通过数据采集线程查询时序数据库得到第一设备数据。
80、处理模块,用于将第一设备数据写入环形消息队列中的待存储消息条目。
81、获取模块,还用于通过数据读取线程获取环形消息队列中待上传消息条目对应的第二设备数据、引用计数字段以及第二设备数据对应的基准指纹;第二设备数据为待上传消息条目中存储的、先前由数据采集线程写入的第一设备数据;引用计数字段包括主计数子字段和从计数子字段。
82、处理模块,还用于确定第二设备数据对应的待发送平台,并通过数据读取线程基于待发送平台的标准数据结构,对第二设备数据进行格式适配,生成待发送平台对应的目标设备数据;将目标设备数据发送至与待发送平台对应的数据上传线程。
83、处理模块,还用于通过数据上传线程将目标设备数据发送至待发送平台,并接收待发送平台返回的确认报文和平台解析数据;基于平台解析数据,确定第二设备数据对应的校验指纹。
84、处理模块,还用于通过数据上传线程,在接收到确认报文后对主计数子字段执行递减操作,以及,在校验指纹与基准指纹存在冲突的情况下,对从计数子字段执行递增操作。
85、处理模块,还用于在主计数子字段的数值归零,且从计数子字段满足预设冲突条件的情况下,将待上传消息条目移出环形消息队列;
86、其中,待发送平台配置有逻辑通道类型,逻辑通道类型包括强确认通道;预设冲突条件包括从计数子字段不超过预设冲突阈值,且所有强确认通道对应的校验冲突均为零。
87、在一个可能的实施例中,逻辑通道类型还包括弱确认通道;从计数子字段包括强通道冲突数和弱通道冲突数;
88、预设冲突条件包括弱通道冲突数不超过预设冲突阈值,且强通道冲突数为零;预设冲突阈值用于限定弱确认通道的校验冲突数的上限。
89、在一个可能的实施例中,处理模块,还用于:
90、根据待发送平台的可靠性等级,将待发送平台划分为强确认通道和弱确认通道;
91、根据待发送平台的历史确认成功率、平均响应延迟或数据解析错误率,动态调整其可靠性等级;
92、当弱确认通道的历史确认成功率超过第一阈值时升级为强确认通道,当强确认通道的确认成功率低于第二阈值时降级为弱确认通道。
93、在一个可能的实施例中,预设容忍阈值根据弱确认通道的历史延迟分布动态设定,包括等待时长阈值、发送次数阈值或基于滑动窗口的确认比例阈值;
94、预设冲突容忍阈值还可以根据待上传消息条目的数据类型动态设定:开关量数据的冲突容忍阈值低于模拟量数据的冲突容忍阈值。
95、在一个可能的实施例中,处理模块,具体用于:
96、从平台解析数据中提取参与指纹计算的关键字段,采用与生成基准指纹相同的算法对关键字段计算,得到校验指纹;
97、从描述符头部读取基准指纹,将校验指纹与基准指纹进行比对;
98、若比对不一致,则确定校验指纹与基准指纹存在冲突。
99、在一个可能的实施例中,多平台数据管理系统还包括多个物联网设备;处理模块,还用于:
100、通过数据采集线程按照预设设备轮询顺序,依次将各物联网设备确定为待查询设备;
101、确定与待查询设备对应的数据查询模式;数据查询模式包括静态数据查询模式和动态数据查询模式;
102、若待查询设备对应的数据查询模式为静态数据查询模式,则根据待查询设备对应配置文件中的预设固定字段列表,构建静态查询语句,并执行静态查询语句得到第一设备数据;
103、若待查询设备对应的数据查询模式为动态数据查询模式,则获取时序数据库中存储的待查询设备对应的元数据,并对元数据进行动态字段识别,得到动态查询字段列表;
104、基于动态查询字段列表构建动态查询语句,并执行动态查询语句得到第一设备数据。
105、在一个可能的实施例中,数据采集线程的写入操作与数据读取线程的读取操作异步执行;
106、待存储消息条目在写入后经环形消息队列的先进先出顺序成为待上传消息条目;
107、数据采集线程在将第一设备数据写入待存储消息条目时,根据第一设备数据对应的传输平台数量初始化待存储消息条目的引用计数字段。
108、在一个可能的实施例中,处理模块,还用于:
109、通过数据采集线程识别第一设备数据中的标签列、指标列和时间戳列;
110、将标签列转换为标准化属性字段,将指标列转换为标准化遥测字段,并将标签列和指标列对应的测量数据转换为统一的数值格式;
111、识别时间戳列的精度等级,将时间戳列转换为统一的时间格式;
112、基于标签列、指标列和时间戳列的转换结果,生成标准化查询数据;
113、将标准化查询数据写入环形消息队列中尾指针所指向的待存储消息条目。
114、在一个可能的实施例中,数据采集线程将第一设备数据写入待存储消息条目时、数据读取线程从待上传消息条目中提取第二设备数据时、以及数据上传线程对待上传消息条目的主计数子字段执行递减操作和对从计数子字段执行递增操作时,采用互斥锁对环形消息队列的访问进行同步控制;
115、其中,数据采集线程和数据读取线程还采用条件变量进行同步控制,数据上传线程在主计数子字段归零且从计数子字段满足预设冲突条件时发送条件变量信号。
116、在一个可能的实施例中,互斥锁为环形消息队列的成员变量;
117、数据采集线程在将第一设备数据写入环形消息队列前获取互斥锁,写入完成后释放互斥锁;
118、数据读取线程在从环形消息队列中提取第二设备数据前获取互斥锁,提取完成后释放互斥锁。
119、在一个可能的实施例中,条件变量信号包括非满条件信号;处理模块,还用于:
120、在数据采集线程获取互斥锁后,通过数据采集线程检测环形消息队列的队列容量状态;队列容量状态包括满队列状态;
121、在环形消息队列处于满队列状态时,通过数据采集线程释放互斥锁并进入非满条件等待;
122、在主计数子字段的数值归零、从计数子字段满足预设冲突条件,且数据上传线程持有互斥锁的情况下,通过数据上传线程移动头指针,将待上传消息条目移出环形消息队列,并发送非满条件信号;
123、数据采集线程响应于非满条件信号,重新获取互斥锁,并将新的第一设备数据写入环形消息队列。
124、在一个可能的实施例中,条件变量信号包括非空条件信号;队列容量状态包括空队列状态;处理模块,还用于:
125、在环形消息队列处于空队列状态时,通过数据读取线程释放互斥锁并进入非空条件等待;
126、数据采集线程在将第一设备数据写入待存储消息条目后,发送非空条件信号;
127、数据读取线程响应于非空条件信号,重新获取互斥锁,并从待上传消息条目中提取第二设备数据。
128、在一个可能的实施例中,处理模块,还用于:
129、按照预设周期读取环形消息队列的队列状态信息;
130、将队列状态信息和消息队列中各消息条目内存储的第一设备数据写入持久化文件;
131、在多平台数据管理系统处于异常重启的情况下,读取持久化文件中的队列状态信息和第一设备数据;
132、基于读取的队列状态信息和第一设备数据,重建环形消息队列;
133、在重建完成后,数据读取线程重新获取重建后的环形消息队列中待上传消息条目对应的第二设备数据、引用计数字段以及基准指纹;
134、通过数据读取线程,在环形消息队列的临界区外部,基于待发送平台的标准数据结构对第二设备数据重新进行格式适配,生成新的目标设备数据;
135、通过数据上传线程将新的目标设备数据发送至待发送平台。
136、在一个可能的实施例中,处理模块,具体用于:
137、根据标准数据结构,将第二设备数据中的标准化属性字段和标准化遥测字段重组至标准数据结构的对应位置,生成待发送平台对应的目标设备数据;
138、其中,不同待发送平台对应不同的标准数据结构,同一第一设备数据基于不同标准数据结构生成不同的目标设备数据。
139、在一个可能的实施例中,多平台数据管理系统为每个待发送平台维护有待确认消息计数器,待确认消息计数器用于确定环形消息队列中尚未收到待发送平台返回的确认报文的消息条目数量;多平台数据管理系统还包括mqtt连接线程,mqtt连接线程建立并维护各待发送平台的mqtt连接;处理模块,还用于:
140、当检测待发送平台的mqtt连接断开时,根据待发送平台对应的待确认消息计数器,确定待发送平台的重连优先级;
141、采用与重连优先级对应的重连策略执行待发送平台的重连流程,并在重连成功后,重新发送目标设备数据;
142、其中,重连策略至少包括重连初始间隔、退避增长系数以及最大重连次数。
143、在一个可能的实施例中,条件变量信号包括非满条件信号;数据上传线程为多个,且数量与待发送平台的数量相同,每个数据上传线程对应一个待发送平台;处理模块,还用于:
144、将各目标设备数据分别分发至对应的数据上传线程;
145、各数据上传线程建立与对应待发送平台之间的独立通信链路;并行地向对应的待发送平台发送目标设备数据;各数据上传线程向对应的待发送平台发送目标设备数据的过程在环形消息队列的临界区外部执行;
146、各数据上传线程在接收到对应的待发送平台返回的确认报文后,分别获取互斥锁,对待上传消息条目的主计数子字段执行递减操作,以及,在校验指纹与基准指纹存在冲突的情况下,对从计数子字段执行递增操作;
147、在递减操作和递增操作均完成后释放互斥锁;
148、当执行递减操作的数据上传线程检测到主计数子字段的数值归零,且从计数子字段满足预设冲突条件时,数据上传线程在持有互斥锁的状态下移动头指针,以释放待上传消息条目占用的存储单元,并发送非满条件信号。
149、第三方面,本技术实施例提供一种多平台数据管理系统,包括控制单元、环形消息队列、时序数据库以及至少一个云平台;
150、控制单元配置有数据采集线程、数据读取线程和至少一个数据上传线程;
151、时序数据库用于存储设备数据;
152、控制单元用于执行如上第一方面和/或第一方面各种可能的实施方式,通过环形消息队列,经由数据采集线程、数据读取线程和至少一个数据上传线程向至少一个待发送云平台传输设备数据。
153、第四方面,本技术实施例提供一种电子设备,包括:存储器,处理器;
154、存储器存储计算机执行指令;
155、处理器执行存储器存储的计算机执行指令,使得处理器执行如上第一方面和/或第一方面各种可能的实施方式。
156、第五方面,本技术实施例提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被处理器执行时用于实现如上第一方面和/或第一方面各种可能的实施方式。
157、第六方面,本技术实施例提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如上第一方面和/或第一方面各种可能的实施方式。
158、本技术实施例提供的数据上报方法和多平台数据管理系统,该方法通过数据采集线程按照预设设备轮询顺序,依次将各物联网设备确定为待查询设备;确定与待查询设备对应的数据查询模式;若待查询设备对应的数据查询模式为静态数据查询模式,则根据待查询设备对应配置文件中的预设固定字段列表,构建静态查询语句,并执行静态查询语句得到第一设备数据;若待查询设备对应的数据查询模式为动态数据查询模式,则获取时序数据库中存储的待查询设备对应的元数据,并对元数据进行动态字段识别,得到动态查询字段列表;基于动态查询字段列表构建动态查询语句,并执行动态查询语句得到第一设备数据,将第一设备数据写入环形消息队列中尾指针所指向的待存储消息条目;通过数据读取线程获取环形消息队列中待上传消息条目对应的第二设备数据、引用计数字段以及第二设备数据对应的基准指纹;确定第二设备数据对应的待发送平台,并通过数据读取线程,在环形消息队列的临界区外部,根据标准数据结构,将第二设备数据中的标准化属性字段和标准化遥测字段重组至标准数据结构的对应位置,生成待发送平台对应的目标设备数据;将目标设备数据发送至与待发送平台对应的数据上传线程;通过数据上传线程将目标设备数据发送至待发送平台,并接收待发送平台返回的确认报文和平台解析数据,基于平台解析数据,确定第二设备数据对应的校验指纹;通过数据上传线程,在接收到确认报文后对主计数子字段执行递减操作,以及,在校验指纹与基准指纹存在冲突的情况下,对从计数子字段执行递增操作;在主计数子字段的数值归零,且从计数子字段满足预设冲突条件的情况下,将待上传消息条目移出环形消息队列。该方法在多平台上报与网络波动环境下,降低了队列阻塞和缓存堆积的可能性,提高多平台同步上报的可靠性和并发处理能力;同时,提高了不同平台之间的数据格式兼容性,增强上报过程中的确认状态管理能力,提升高频采集与多平台并发上报场景下的缓冲利用效率和网络波动下的恢复效率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com