一种面向边缘计算场景的数据处理方法及系统
本发明涉及边缘计算,更具体地说,本发明涉及一种面向边缘计算场景的数据处理方法及系统。
背景技术:
1、在冷链物流仓配中转场景中,冷藏车辆、仓库分拣设备、手持扫描终端、温湿度采集器、园区网关和区域边缘服务器会持续产生车辆位置、货物温湿度、入库出库、分拣交接、中转到达、签收回执及异常告警等数据,为降低云端集中接收压力,现有系统通常在车辆、仓库或园区侧设置边缘节点,对物流数据进行接入、缓存、格式转换和上传,从而实现冷链状态跟踪和运输过程监管。
2、然而,冷链物流数据具有明显的事件连续性,同一订单、车辆或货物的数据往往按照运输、入库、分拣、中转、签收等状态递进产生,现有边缘处理方式多按单条数据包或固定时间批次上传,缺少对相邻物流事件之间时间衔接、状态递进和空间延续关系的计算,导致温度超限、车辆偏离、中转缺失、签收异常等关键事件难以在边缘侧形成完整事件链;
3、同时,在数据转发时通常依赖固定路径或简单优先级,未结合事件接续状态、边缘节点可用状态、链路可达状态以及目标节点已有数据状态生成传输控制结果,当仓库网关拥塞、车辆跨区或链路短时中断时,异常帧、断点帧和待确认事件帧可能不能优先传输,而已被后续状态覆盖的普通数据又可能重复上传,占用边缘链路和缓存资源;
4、此外,链路恢复后,现有方案多按缓存时间顺序统一补传,未区分必传片段、可合并片段和待确认片段,也未利用目标节点回执对事件链进行修正,容易造成关键断点补传滞后、重复补传或无效补传。
技术实现思路
1、为了克服现有技术的上述缺陷,本发明提供一种面向边缘计算场景的数据处理方法及系统,以解决上述背景技术中物流仓配中转过程中多源物流数据事件接续不清、关键事件传输滞后和链路恢复后补传失序的问题。
2、为实现上述目的,本发明提供如下技术方案:
3、一种面向边缘计算场景的数据处理方法,包括:
4、s1、接收物流采集端上传的数据包,按照业务对象和产生时序生成物流事件帧;
5、s2、根据相邻物流事件帧之间的时间衔接、状态递进和空间延续关系计算事件接续量,并依据事件接续量构建物流事件会话链;
6、s3、获取边缘节点运行状态和节点间链路传输状态,分别计算节点可用量和链路可达量;
7、s4、基于事件接续量、节点可用量、链路可达量以及目标节点的数据保持状态,计算边缘传输令牌值,并根据边缘传输令牌值确定数据保留、转发、替代同步或延后补传策略;
8、s5、按照所述边缘传输令牌值选择目标传输路径,并将物流事件会话链中的关键事件帧优先传输至目标边缘节点或云端平台;
9、s6、在传输失败或链路拥塞时,根据事件接续量、缓存时长和目标节点回执状态计算片段补传序,并依据片段补传序执行补传、合并或删除处理。
10、在一个优选的实施方式中,所述物流事件帧的生成包括:
11、以物流数据包中的业务对象标识作为归并索引,对同一订单、车辆、货物或中转任务对应的数据包进行时间校正,并按照产生时序写入对应的边缘接收窗口;
12、当同一接收窗口内存在多个来源节点上传的关联数据包时,依据来源节点优先级、数据产生时刻和状态字段变化情况确定保留数据,将保留数据封装为物流事件帧,并为所述物流事件帧配置边缘序号和来源节点标记。
13、在一个优选的实施方式中,所述事件接续量的计算包括:
14、在同一业务对象下,将当前物流事件帧与前一物流事件帧进行比对,根据二者的产生时间差是否落入对应业务类型的接续窗口生成时间接续标记;
15、根据状态字段是否符合预设物流流转关系生成状态接续标记;根据位置变化、节点切换或区域归属变化生成空间接续标记;
16、根据异常字段的新增、持续或解除情况生成异常接续标记;
17、按照时间接续标记、状态接续标记、空间接续标记和异常接续标记之间的组合关系,得到事件接续量。
18、在一个优选的实施方式中,所述物流事件会话链的构建包括:
19、将事件接续量满足连续条件的物流事件帧接入当前会话链;
20、将事件接续量指示缺失或跳变的物流事件帧设为断点帧,并在对应位置生成待确认段;
21、将能够覆盖前序状态且产生时刻更新的物流事件帧设为替代帧,并与被替代事件帧建立替代关系;
22、将异常字段发生新增或持续扩展的物流事件帧设为异常帧,并作为后续传输优先判断的锚点,由此形成包含连续段、待确认段、替代关系和异常锚点的物流事件会话链。
23、在一个优选的实施方式中,所述节点可用量和链路可达量的计算包括:
24、边缘节点按照预设采样周期读取本节点及相邻节点的运行状态,以节点剩余缓存容量作为初始可用量,在处理等待时长超过允许等待窗口时按超出时长扣减,在待转发队列连续增长时按队列增长幅度扣减,得到节点可用量;
25、以链路可用带宽余量作为初始可达量,在传输时延超过事件帧传输时限时按超出时延扣减,在丢包升高或连接中断时按丢包变化幅度和中断持续时间扣减,得到链路可达量;
26、当节点可用量低于接收边界或链路可达量低于传输边界时,将对应节点或链路从普通事件帧的候选传输范围中剔除。
27、在一个优选的实施方式中,所述边缘传输令牌值的计算包括:
28、以事件接续量确定初始令牌值,当物流事件会话链中存在断点帧、异常帧或待确认段时提高所述初始令牌值,当当前事件帧已被后续替代帧覆盖时降低所述初始令牌值;
29、依据节点可用量和链路可达量对初始令牌值进行修正,节点可用量满足接收边界且链路可达量满足传输边界时提高令牌值,节点可用量或链路可达量不足时降低令牌值;
30、根据目标节点中相同业务对象的数据保持状态再次修正,若目标节点缺少关键事件帧,则生成转发标记,若目标节点已保持可替代事件帧,则生成替代同步标记;
31、若事件帧未超过对应业务对象的有效时限但当前节点或链路不满足传输条件,则生成保留或延后补传标记。
32、在一个优选的实施方式中,所述目标传输路径的确定包括:
33、根据边缘传输令牌值,在本地保留路径、相邻边缘节点路径、区域边缘服务器路径和云端平台路径中确定候选路径;
34、对含有异常帧、断点帧或待确认段的物流事件会话链,选择链路可达量满足传输边界且目标节点数据保持状态未覆盖的路径作为目标传输路径;
35、对连续段或已存在替代关系的物流事件帧,选择保留、合并或低占用路径传输,并在传输后记录路径标识和目标节点回执状态;
36、所述关键事件帧包括异常帧、断点帧以及待确认段中未被替代关系覆盖的事件帧。
37、在一个优选的实施方式中,所述片段补传序的计算包括:
38、在传输失败或链路拥塞后,边缘节点根据物流事件会话链中的连续段、待确认段、替代关系和异常锚点划分缓存片段;
39、对包含异常锚点或断点帧的缓存片段赋予必传属性,对已由后续替代帧覆盖的缓存片段赋予可合并属性,对目标节点未返回确认的缓存片段赋予待确认属性;
40、依据事件接续量、缓存时长、目标节点回执状态和替代关系覆盖情况确定片段补传序,并按照片段补传序执行补传。
41、在一个优选的实施方式中,所述补传、合并或删除处理之后还包括:
42、接收目标节点返回的回执信息,所述回执信息包括已接收事件帧、缺失事件帧、重复事件帧和替代确认信息;
43、边缘节点依据所述回执信息修正物流事件会话链中的待确认段和替代关系,并对已确认片段解除缓存,对缺失片段重新生成补传任务,对重复片段执行合并或删除,同时更新对应业务对象的边缘传输令牌值。
44、一种面向边缘计算场景的数据处理系统,用于实现上述一种面向边缘计算场景的数据处理方法,包括:
45、事件帧生成模块,用于接收物流采集端上传的数据包,按照业务对象和产生时序生成物流事件帧;
46、会话链计算模块,用于根据相邻物流事件帧之间的时间衔接、状态递进和空间延续关系计算事件接续量,并依据事件接续量构建物流事件会话链;
47、网络状态计算模块,用于获取边缘节点运行状态和节点间链路传输状态,分别计算节点可用量和链路可达量;
48、传输令牌控制模块,用于基于事件接续量、节点可用量、链路可达量以及目标节点的数据保持状态,计算边缘传输令牌值,并根据边缘传输令牌值确定数据保留、转发、替代同步或延后补传策略;
49、路径传输模块,用于按照所述边缘传输令牌值选择目标传输路径,并将物流事件会话链中的关键事件帧优先传输至目标边缘节点或云端平台;
50、缓存补传模块,用于在传输失败或链路拥塞时,根据事件接续量、缓存时长和目标节点回执状态计算片段补传序,并依据片段补传序执行补传、合并或删除处理。
51、本发明的技术效果和优点:
52、本发明通过在物流仓配中转过程中的边缘数据处理展开,将车辆终端、温湿度传感器、仓库扫码终端、分拣设备和园区网关上传的分散数据包,先转换为按照业务对象和产生时序组织的物流事件帧,再依据相邻物流事件帧之间的时间衔接、状态递进和空间延续关系计算事件接续量,构建物流事件会话链,由此,形成包含连续段、待确认段、替代关系和异常锚点的链式对象,有利于识别中转缺失、状态跳变、温湿度异常和签收冲突等关键事件。
53、进一步将事件接续量与边缘节点运行状态、节点间链路传输状态和目标节点数据保持状态结合,分别计算节点可用量、链路可达量和边缘传输令牌值,并据此确定数据保留、转发、替代同步或延后补传策略,相比固定上传路径或简单优先级转发方式,能够根据事件链完整性、节点承载能力和链路可达状态动态确定数据处理方式,使异常帧、断点帧和待确认段优先进入合适路径,减少关键物流事件因节点拥塞或链路波动造成的延迟;
54、在传输失败或链路拥塞时,不按缓存时间简单顺序补传,而是根据事件接续量、缓存时长、目标节点回执状态和替代关系覆盖情况计算片段补传序,对必传片段、待确认片段和可合并片段分别执行补传、合并、解除缓存或归档处理,由此能够降低重复上传和无效补传占用的边缘链路资源,同时保持目标边缘节点和云端平台中的物流事件链一致性,提高冷链物流边缘计算网络中的数据同步可靠性和异常事件追溯完整性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com