一种物联网网关异步消息路由方法与流程
本发明涉及物联网,具体的说,涉及一种物联网网关异步消息路由方法。
背景技术:
1、在物联网应用场景下,协议网关是衔接南向现场设备与北向管理平台的核心中转枢纽,主要负责双向消息路由工作:一方面需要将南向现场设备产生的数据实时上传至北向管理平台,另一方面需要将北向管理平台下发的控制指令及时推送至南向现场设备。现有网关通常采用同步处理或单通道方式处理双向消息,南向数据上报与北向指令下发共享同一处理链路。面对大规模业务数据时容易出现数据拥塞、报文丢失等问题;在极端情况下还可能导致网关工作线程耗尽,引发系统级联故障。
2、公开号为cn115086385a的中国发明专利申请公开了一种车云间数据交互方法、装置及计算机可读存储介质。其中,该方法包括:建立车端设备的控制指令接收模块与云端设备的控制指令下发模块之间的第一传输控制协议数据传输链路;建立车端设备的车端数据上报模块与云端设备的车端数据接收模块之间的第二传输控制协议数据传输链路,第一传输控制协议数据传输链路与第二传输控制协议数据传输链路为不同的传输链路;基于第一传输控制协议数据传输链路将车端设备的车端数据上报给云端设备,以及基于第二传输控制协议数据传输链路接收云端设备下发的控制指令。
3、上述专利方案搭建两条相互独立的传输控制协议链路,实现车端与云端之间的数据交互,在物理通道层面将向云端上报车端业务数据与接收云端下发的控制指令完全解耦,从而一定程度的降低了数据阻塞风险。然而,该方案未实现两条数据传输链路之间的跨链路协同联动,也缺少基于消费处理能力的流量管控机制,当下游处理速率跟不上上游报文发送速率时,传输通道会持续处于满载状态,进而造成大量消息报文丢弃,致使系统整体吞吐量大幅衰减。
4、为了解决以上存在的问题,人们一直在寻求一种理想的技术解决方案。
技术实现思路
1、本发明的目的是针对现有技术的不足,从而提供一种能够根据下游消费能力动态调节上游发送速率,具备跨链路协同联动能力的物联网网关异步消息路由方法。
2、为了实现上述目的,本发明所采用的技术方案是:
3、本发明提供一种物联网网关异步消息路由方法,包括:
4、构建相互独立缓冲和独立消费的南向数据上报通道与北向指令下发通道;为所述北向指令下发通道配置发送窗口,为所述南向数据上报通道配置接收窗口;所述发送窗口和所述接收窗口均基于滑动窗口机制构建;
5、所述北向指令下发通道通过所述发送窗口控制北向平台向南向设备下发指令的速率;所述南向数据上报通道通过所述接收窗口控制南向设备向北向平台上报数据的速率;
6、持续监测所述南向数据上报通道的实际消费速率,依据所述实际消费速率动态调整所述发送窗口的大小,以控制所述北向指令下发通道内北向指令的流量。
7、通过构建相互独立缓冲和独立消费的南向数据上报通道与北向指令下发通道,在物理通道层面将南向数据上报与北向指令下发完全解耦,消除了双向消息处理之间的级联阻塞风险,保障了控制指令的实时性。同时,通过在南向数据上报通道与北向指令下发通道上分别基于滑动窗口机制构建接收窗口和发送窗口,并依据南向数据上报通道实际消费速率动态调整北向指令下发通道发送窗口大小,实现了端到端的流量控制与背压传导。当下游北向平台消费能力下降时,主动降低上游南向指令下发速率;当下游消费能力恢复时,自动放大窗口提升吞吐,使两向通道的吞吐能力动态匹配。
8、在一个优选技术方案中,所述依据所述实际消费速率动态调整所述发送窗口的大小的方法,包括:
9、根据北向平台的历史消费能力,配置北向平台的目标消费速率;当所述南向数据上报通道的实际消费速率大于所述北向平台的目标消费速率时,增大所述发送窗口;当所述南向数据上报通道的实际消费速率小于所述北向平台的目标消费速率时,减小所述发送窗口;
10、其中,调整后发送窗口值的计算表达式为:
11、w_s_new=w_s_old×(r_actual/r_target),w_s_new∈[w_s_min,w_s_max];
12、式中,为调整后发送窗口值,为调整前发送窗口值;为预设最小发送窗口值,为预设最大发送窗口值;为南向数据上报通道的实际消费速率,为根据北向平台的历史消费能力确定的目标消费速率。
13、通过将南向数据上报通道的实际消费速率与依据北向平台历史消费能力确定的目标消费速率进行比较,实现对北向指令下发通道发送窗口的精确、量化调整,使网关能够实时感知下游消费能力的变化,并将调整幅度限定在预设范围内。
14、在一个优选技术方案中,所述依据所述实际消费速率动态调整所述发送窗口的大小的方法,还包括防震荡机制与死锁预防机制;
15、所述防震荡机制包括:仅在所述实际消费速率与所述目标消费速率的比值偏离程度超过预设比值时触发窗口调整,且单次调整幅度不超过当前发送窗口值的预设百分比;
16、所述死锁预防机制包括:当所述实际消费速率持续为零且超过设定时间阈值时,判定北向平台发生异常,触发告警并将所述发送窗口固定为预设最小发送窗口值。
17、通过防震荡机制避免窗口频繁抖动导致系统不稳定;通过死锁预防机制避免窗口归零导致所有指令下发停滞。
18、在一个优选技术方案中,所述控制南向设备向北向平台上报数据的速率的方法,包括:
19、当南向设备向所述南向数据上报通道写入上报数据时,检查所述接收窗口是否具有可用配额;
20、若所述接收窗口具有可用配额,则将所述上报数据写入所述南向数据上报通道;当所述南向数据上报通道未满时,上报数据写入成功;
21、若所述接收窗口不具有可用配额,或者所述南向数据上报通道已满,则按照预设降级策略处理所述上报数据;
22、所述降级策略依据上报数据的消息类型确定,包括:对于错误消息或告警消息,覆盖最早的普通上报消息后入队;对于确认消息,直接入队;对于普通上报消息,按服务质量等级处理。
23、通过接收窗口的可用配额检查实现南向数据上报的准入控制,避免通道过载。当接收窗口不具有可用配额或通道已满时,按照预设降级策略对不同消息类型进行差异化处理,兼顾了不同消息的可靠性要求与系统资源保护。
24、在一个优选技术方案中,当所述上报数据为南向设备主动发起,且需要北向平台确认的上行请求消息时,需根据北向平台返回的确认消息进行请求与响应配对,具体步骤包括:
25、为所述南向数据上报通道维护第一未确认请求表,所述第一未确认请求表用于记录南向设备主动发起,且需要北向平台确认的上行请求消息;
26、当北向平台通过所述北向指令下发通道返回确认消息时,从所述确认消息中提取对应上行请求消息的请求序号,在所述第一未确认请求表内进行请求序号的匹配;若匹配成功,则移除对应记录并释放所述接收窗口配额;若匹配失败,则丢弃该确认消息;
27、若北向平台超时未返回确认消息,则对所述第一未确认请求表中超时未收到确认的记录,执行对应所述南向数据上报通道的超时回收与重发策略。
28、通过为南向数据上报通道维护第一未确认请求表,实现了南向设备主动上行请求与北向平台确认消息的精确配对,保障了各上行协议的确认语义,避免因消息丢失导致的重传风暴和协议状态错乱。超时回收与重发策略可针对不同协议类型执行差异化的超时时间、重试次数上限和回收策略。
29、在一个优选技术方案中,所述控制北向平台向南向设备下发指令的速率的方法,包括:
30、当北向平台向所述北向指令下发通道下发指令时,检查所述发送窗口是否具有可用配额;
31、若所述发送窗口具有可用配额,则将所述指令写入所述北向指令下发通道;当所述北向指令下发通道未满时,指令写入成功;
32、若所述发送窗口不具有可用配额,或者所述北向指令下发通道已满,则将所述指令暂存至待发送队列,等待所述发送窗口释放配额后再进行发送。
33、通过发送窗口的可用配额检查实现北向指令下行的流量控制。当发送窗口不具有可用配额或通道已满时,将指令暂存至待发送队列,确保生产者在任何状态下均不被阻塞,实现生产者零阻塞。
34、在一个优选技术方案中,当所述下发指令为北向平台下发,且需要南向设备响应的指令下行请求消息时,需根据南向设备返回的响应消息进行请求与响应配对,具体步骤包括:
35、为所述北向指令下发通道维护第二未确认请求表,所述第二未确认请求表用于记录北向平台下发,且需要南向设备响应的指令下行请求消息;
36、当收到南向设备通过所述南向数据上报通道返回的响应消息时,从所述响应消息中提取对应指令下行请求消息的请求序号,在所述第二未确认请求表内进行请求序号的匹配;若匹配成功,则移除对应记录并释放所述发送窗口配额;若匹配失败,则丢弃该响应消息;
37、若南向设备超时未返回响应消息,则对所述第二未确认请求表中超时未收到响应的记录,执行对应所述北向指令下发通道的超时回收与重发策略。
38、通过为北向指令下发通道维护第二未确认请求表,实现了北向指令下行请求与南向设备响应消息的精确配对。超时回收与重发策略可针对不同协议类型执行差异化的超时时间、重试次数上限和回收策略,保障了各协议的状态一致性和确认语义。
39、在一个优选技术方案中,还包括接收到网关关闭触发信号时,依次执行运行状态、静默状态、排空状态、关闭状态和完成状态的有序关闭方法:
40、在运行状态,判断网关的状态标识,若网关处于运行状态,则调用上下文取消函数,使所有监听上下文完成信号的协程接收到关闭通知,触发各协程的退出逻辑;
41、在所述运行状态之后,进入静默状态,拒绝新的北向指令写入所述北向指令下发通道,但允许南向数据继续经由所述南向数据上报通道上报;
42、在所述静默状态之后,进入排空状态,继续处理接收窗口或发送窗口内的未确认请求,同时继续消费所述南向数据上报通道与所述北向指令下发通道中的残留消息;
43、在所述排空状态之后,进入关闭状态,窗口清空且通道中消息消费完毕后,依次关闭所述南向数据上报通道和所述北向指令下发通道,使各消费者协程接收到通道关闭信息后自然退出;
44、在所述关闭状态之后,进入完成状态,通知所有协程退出,并释放资源。
45、通过运行状态、静默状态、排空状态、关闭状态和完成状态的五阶段关闭处理机制,实现网关优雅关闭。通过判断网关的状态标识,仅在网关处于运行状态时执行关闭,使关闭操作仅执行一次,从而避免重复关闭异常;上下文取消机制使所有协程同步感知关闭信号并有序退出;静默状态允许南向数据继续上报而拒绝新指令写入,排空状态为未确认请求提供处理时间窗口,确保协议状态一致。
46、在一个优选技术方案中,还包括:
47、北向消息消费者从所述南向数据上报通道读取消息后,根据所述消息的协议类型和服务质量等级匹配订阅该类型消息的客户端;
48、对每个匹配的客户端,采用非阻塞方式尝试将所述消息写入该客户端的独立发送队列;
49、若某个客户端的独立发送队列已满,根据该客户端的服务质量要求采取差异化处理;
50、所述差异化处理包括:若某客户端的服务质量等级为0,则跳过该客户端;若某客户端的服务质量等级为1及以上,则将所述消息暂存至重发队列待重发;不同客户端的发送互不影响。
51、为北向平台的每个客户端维护独立的发送队列,实现消息发送的物理隔离,避免单个慢客户端影响其他客户端的消息接收;通过协议类型和服务质量等级精准匹配订阅客户端,实现精准路由而非全量广播。根据客户端服务质量等级实施差异化的队列满处理,兼顾实时性与可靠性的平衡。
52、在一个优选技术方案中,包括对所述客户端进行健康检查与自愈处理:
53、统计各客户端独立发送队列的连续满载次数,当所述连续满载次数达到设定阈值时,标记该客户端为异常,并触发健康检查;
54、所述健康检查包括:向异常客户端发送探测消息,若超时未收到响应则判定该客户端失活,从连接池中剔除并触发重连流程。
55、通过连续满载计数阈值判定异常,避免瞬时抖动导致误判;自动完成异常检测、重连恢复的闭环处理,提升系统鲁棒性和自愈能力。
56、本发明相对现有技术具有突出的实质性特点和显著的进步,具体地说:本发明通过监测南向数据上报通道的实际消费速率,动态调节北向指令下发通道的发送窗口大小,实现两条传输链路之间的协同联动,解决两条链路相互独立、无协同联动的缺陷,避免单一链路拥塞诱发另一链路消息堆积。依据下游实际消费处理能力动态约束报文发送窗口,对满载场景做队列暂存、降级处理,避免传输通道持续满载造成大量消息报文被丢弃,缓解上下游速率不匹配带来的系统吞吐量衰减问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com