一种基于大数据的物流行业功能节点运行监测系统及方法与流程

摘要: 本发明涉及物流数据监测,具体是一种基于大数据的物流行业功能节点运行监测系统及方法。背景技术:1、目前,针对网络货运平台、数据枢纽、互通网关等物流线上功能节点,物...
一种基于大数据的物流行业功能节点运行监测系统及方法与流程

本发明涉及物流数据监测,具体是一种基于大数据的物流行业功能节点运行监测系统及方法。

背景技术:

1、目前,针对网络货运平台、数据枢纽、互通网关等物流线上功能节点,物流行业普遍采用单节点独立监测模式,即对单个节点的运行数据进行统计与阈值比对,可识别服务中断、接口超时等显性故障。然而,物流数据需要经过多级节点链式流转,上游节点的负载攀升、响应延迟等轻微异常会随数据交互向下游传导,形成渐进式链式风险,而单节点监测无法感知此类跨节点传播的隐患。

2、与此同时,现有监测体系在不同功能节点上往往采用相同的判断规则,例如,对于接收外部请求的入口节点和负责中转转发的枢纽节点,其运行特征差异很大,但却使用同样的标准去衡量,导致判断不准确,容易引发误报或漏报;因此,受限于统一化的判定逻辑,现有系统也难以对跨节点数据流转过程开展有效关联分析,一旦出现异常,工作人员无法快速追溯风险的产生与传播过程,整体难以实现物流功能节点全链路的精细化管控。

技术实现思路

1、本发明的目的在于提供一种基于大数据的物流行业功能节点运行监测系统及方法,以解决上述背景技术中提出的问题。

2、为了解决上述技术问题,本发明提供如下技术方案:一种基于大数据的物流行业功能节点运行监测方法,包括:

3、s1:采集物流链式链路中各功能节点的运行数据,所述运行数据包括性能类数据、业务类数据和安全类数据;为每条采集的数据标记时间戳、所属功能节点标识以及各功能节点在物流链式链路中的上下游功能节点关联关系,汇总形成全链路功能节点数据集;所述物流链式链路由至少两个功能节点按照数据流转顺序依次连接形成的有向路径,数据从上游节点向下游节点单向或逐级传递;

4、s2:根据各功能节点在物流链式链路中的位置属性,将全链路数据集拆分为前端功能节点数据、中转功能节点数据和末端功能节点数据;再根据时间维度,将各功能节点的数据按预设的业务时段切分为多个独立数据片段,并分别从每个独立数据片段中提取单功能节点运行状态序列和相邻功能节点间交互记录序列;

5、s3:在每个独立数据片段中,对同一功能节点的连续时段运行状态序列进行分析,判断该功能节点自身运行状态的变化走向;对相邻功能节点的交互记录序列进行交叉比对,判断上下游功能节点之间数据流转的衔接状态;将所述变化走向与所述衔接状态进行联动评估,识别物流链式链路中运行异常的功能节点和异常传播关系;

6、s4:根据联动评估结果,获取异常数据的位置标签和时间顺序,锁定异常起始功能节点及影响范围,触发对应的异常类别告警。

7、s1具体包括:

8、s1-1:在物流链式链路中每个功能节点的数据进出口处部署轻量级采集探针,通过旁路监听方式获取各功能节点处理的每一次物流业务数据交互事件;所述物流业务数据交互事件为各功能节点接收上游功能节点发送的物流数据请求、向下游功能节点发送物流数据响应、或各功能节点完成一次内部物流数据处理周期;

9、s1-2:针对每个物流业务数据交互事件,采集性能类数据、业务类数据和安全类数据,形成一条采集记录;

10、其中,性能类数据至少包括事件处理耗时、数据包大小;业务类数据至少包括事件对应的物流业务对象标识、物流业务操作类型、物流业务结果状态码;安全类数据至少包括请求来源ip的白名单标记、认证通过标记以及单位时间内的访问频次;

11、s1-3:每条采集记录附加三个上下文标签,分别为物流业务数据交互事件发生的时间戳、所属功能节点的唯一标识符、所属功能节点在物流链式链路中的上游功能节点标识列表和下游功能节点标识列表;其中上游功能节点标识列表和下游功能节点标识列表由运维人员根据物流数据流转路径预先配置。

12、s1-4:采集探针将采集记录通过消息队列推送到大数据汇聚中心,汇聚中心以物流业务对象标识为检索依据,将同一物流业务对象标识对应的所有采集记录按照物流业务数据交互事件发生时间先后排序,形成对应物流业务对象的链式路径记录;同时保留每个功能节点内部的多个采集记录,按照物流业务数据交互事件发生时间先后排序形成功能节点运行状态序列;所有物流业务对象的链式路径记录合并存储,构成全链路功能节点数据集,并按时间分区和功能节点分区建立索引。

13、s2具体包括:

14、s2-1:根据各功能节点在物流链式链路中的位置属性,将全链路功能节点数据集拆分为前端功能节点数据子集、中转功能节点数据子集和末端功能节点数据子集;

15、其中,位置属性的判定依据为若一个功能节点的上游功能节点数量小于下游功能节点数量,且下游功能节点数量与上游功能节点数量之比大于第一预设阈值,则判定为前端功能节点;

16、若上游功能节点数量大于下游功能节点数量,且上游功能节点数量与下游功能节点数量之比大于第二预设阈值,则判定为末端功能节点;其余情况判定为中转功能节点;第一预设阈值为判定前端功能节点的比值下限,第二预设阈值为判定末端功能节点的比值下限,两者的取值范围均为[1.5,3],初始值均设为1.5;若一个功能节点的上游功能节点数量为0,则判定为前端功能节点;若一个功能节点的下游功能节点数量为0,则判定为末端功能节点;

17、s2-2:根据时间维度,将每个功能节点对应的数据子集按预设的业务时段切分为多个独立数据片段,所述预设的业务时段包括低峰时段、高峰时段和节假日时段,低峰时段和高峰时段按每日自然时间区间划分,节假日时段按日历日期单独划分;遍历每个功能节点的数据子集,根据每条采集记录的时间戳确定其所属的业务时段,并将该采集记录存入对应的独立数据片段。

18、s2-3:分别从每个独立数据片段中提取两类序列;

19、第一类为单功能节点运行状态序列,将同一功能节点在同一独立数据片段内的所有采集记录,按照时间戳升序排列,每条采集记录中的性能类数据、业务类数据和安全类数据作为对应采集时刻的运行状态向量,所有运行状态向量按时间顺序组成单功能节点运行状态序列;

20、第二类为相邻功能节点间交互记录序列,对于物流链式链路中具有上下游关系的每一对相邻功能节点,从独立数据片段中筛选出源节点为上游功能节点、目标节点为下游功能节点的物流业务数据交互事件所对应的采集记录,按照时间戳升序排列,每条采集记录包含上游功能节点发送时间、下游功能节点接收时间、物流业务对象标识、物流业务结果状态码以及数据包大小信息,形成相邻功能节点间交互记录序列。

21、s3具体包括:

22、s3-1:提取单功能节点运行状态序列中的事件处理耗时序列,设定滑动窗口宽度为w个连续采样点;在每个时间窗口内,以采样点序号为自变量、事件处理耗时为因变量,采用最小二乘法计算回归斜率k;回归斜率k表示事件处理耗时随时间的变化速率;

23、预设恶化判定阈值为θk,θk的取值根据历史斜率序列的标准差确定,θk∈(0,0.2];若k>θk,则判定当前时间窗口内节点处理性能呈恶化趋势;若k<-θk则判定为改善趋势;若|k|≤θk则判定为稳定趋势;

24、记当前窗口的回归斜率为kc,获取该功能节点在同一业务时段的历史同期平均斜率为kh,设定变化幅度系数为α,取值范围为[0.1,0.5];若kc>kh×(1+α),则标记该功能节点存在渐进式性能衰减;所述变化幅度系数用于量化当前斜率相对于历史同期平均斜率的允许偏差倍数;

25、计算当前时段内的认证失败率r=认证失败次数/总认证次数;

26、获取在当前独立数据片段中来源ip不在白名单中的请求总次数,计算异常访问频次f=当前独立数据片段内异常请求总次数/独立数据片段总时长;

27、设定认证失败率的历史同期均值为μr、标准差为σr,异常访问频次的历史同期均值为μf、标准差为σf,预设标准差倍数系数为β,取值范围为[2,4],若r>μr+β×σr或f>μf+β×σf,则标记该功能节点存在安全负载异常;

28、每个功能节点的变化走向由回归斜率k相对于θk的符号和大小确定,并附带渐进式性能衰减标记和安全负载异常标记,作为该节点的运行状态变化走向输出。

29、s3-2:对于物流链式链路中具有上下游关系的每一对相邻功能节点,设其交互记录序列为r={r1,r2,...,rm},其中,j∈[1,m],rj为第j条交互记录,包含上游功能节点发送时间ts,j、下游功能节点接收时间tr,j、物流业务对象标识oj、物流业务结果状态码、数据包大小;

30、计算每条交互记录的响应时延dj=tr,j-ts,j;统计当前时段内所有交互记录中dj超过历史同期90%分位数的记录占比,记为rd;

31、比较上游功能节点发送的数据包大小lup,j与下游功能节点接收的数据包大小ldown,j,若lup,j≠ldown,j则标记该条记录为数据缺损,统计数据缺损记录占总记录数的比例,记为rl;

32、比较上游功能节点的物流业务结果状态码cup,j与下游功能节点的物流业务结果状态码cdown,j,若cup,j≠cdown,j则标记该条记录为状态翻转异常,统计状态翻转记录占总记录数的比例,记为rm;

33、设定时延超限比例阈值为θd,数据缺损比例阈值为θl,状态翻转比例阈值为θm;其中θd用于判定响应时延超限是否显著,取值范围为[0.05,0.2],初始值取0.1;θl用于判定数据缺损是否显著,取值范围为[0.01,0.1],初始值取0.05;θm用于判定状态翻转是否显著,取值范围为[0.01,0.1],初始值取0.02;

34、若rd>θd或rl>θl或rm>θm,则判定该相邻节点对之间存在衔接状态异常;遍历链路中所有相邻节点对,输出每个节点对的衔接状态异常标记。

35、s3-3:对于任意一对相邻功能节点,计算上游节点回归斜率ku和下游节点回归斜率kd,以及相邻功能节点对应的衔接状态异常标记;

36、首先计算ku与kd的皮尔逊相关系数ρ;设定分界阈值θρ,用于量化上下游功能节点性能恶化趋势的同步性,从而判断异常是否真正沿链路传播,而非两个节点各自独立的随机波动,0<θρ<1;若ρ>θρ且ku>θk且kd>θk,则标记相邻功能节点存在跨功能节点传导异常;

37、若ku>θk且|kd|≤θk且衔接状态无异常,则标记上游功能节点存在局部异常;

38、若kd>θk且|ku|≤θk且衔接状态无异常,则标记下游功能节点存在局部异常;

39、对于标记为安全负载异常的上游功能节点,统计相邻功能节点之间的物流业务数据交互事件中,来自同一来源ip的失败请求次数占总交互次数的比例,记为rsf;设定安全传导阈值为θsafe,初始值取0.1;若rsf>θsafe,则标记相邻功能节点存在安全传导异常;

40、其中,局部异常是指单个功能节点自身运行状态出现异常,且异常未向下游传导;跨功能节点传导异常是指上下游功能节点运行性能同步出现劣化,上游节点的性能异常沿物流链式链路向下游传播;安全传导异常是指上游功能节点存在安全负载异常,对应的安全异常沿物流链式链路向下游节点扩散;

41、对每个独立数据片段中的所有功能节点和相邻节点对执行上述联动评估,输出每个功能节点的局部异常标志、每个相邻功能节点对的传导标志以及安全传导标志。

42、一种基于大数据的物流行业功能节点运行监测系统,包括全链路数据采集模块、功能节点数据分析模块、功能节点联动异常评估模块、异常溯源告警模块;

43、全链路数据采集模块采集物流链式链路中各功能节点的运行数据,包括性能类数据、业务类数据和安全类数据;为每条采集的数据标记时间戳、所属功能节点标识以及各功能节点在物流链式链路中的上下游功能节点关联关系,汇总形成全链路功能节点数据集;所述物流链式链路由至少两个功能节点按照数据流转顺序依次连接形成的有向路径,数据从上游节点向下游节点单向或逐级传递;

44、功能节点数据分析模块根据各功能节点在物流链式链路中的位置属性,将全链路数据集拆分为前端功能节点数据、中转功能节点数据和末端功能节点数据;再根据时间维度,将各功能节点的数据按预设的业务时段切分为多个独立数据片段,并分别从每个独立数据片段中提取单功能节点运行状态序列和相邻功能节点间交互记录序列;

45、功能节点联动异常评估模块在每个独立数据片段中,对同一功能节点的连续时段运行状态序列进行分析,判断该功能节点自身运行状态的变化走向;对相邻功能节点的交互记录序列进行交叉比对,判断上下游功能节点之间数据流转的衔接状态;将所述变化走向与所述衔接状态进行联动评估,识别物流链式链路中运行异常的功能节点和异常传播关系;

46、异常溯源告警模块根据联动评估结果,获取异常数据的位置标签和时间顺序,锁定异常起始功能节点及影响范围,触发对应的异常类别告警。

47、与现有技术相比,本发明所达到的有益效果是:

48、本发明通过采集物流链式链路中多个功能节点的性能、业务、安全类运行数据,构建全链路数据集,并依据节点位置属性和业务时段对数据进行分层拆分与片段化处理,使后续分析能够区分不同功能节点的运行特征差异,避免全局统一规则带来的判断偏差,提高了异常检测的针对性和准确性;

49、本发明将单功能节点的连续时段性能趋势分析与相邻功能节点间交互记录的衔接状态进行交叉比对和联动评估,通过上下游斜率相关性、响应时延超限比例、数据缺损比例、状态翻转比例以及安全负载异常的多维度联合判定,能够自动识别跨功能节点传导异常、局部异常以及安全传导异常,并依据时间戳和上下游关联关系锁定异常起始功能节点及影响范围,触发分级告警,实现了物流数据链式流转过程中异常传播的精准定位和源头追溯,显著提升了跨节点数据流通的可控性与运维效率。