一种基于端云协同计算的物流数据处理减负方法与流程

本发明涉及数据处理减负，具体涉及一种基于端云协同计算的物流数据处理减负方法。

背景技术：

1、当前，物流行业数字化运维体系已普遍采用终端采集、云端集中处理的数据处理模式，通过终端，实时采集海量物流数据，为物流提供数据支撑。

2、现有技术多采用终端全量上报、云端统一解析存储的处理方式，未设置精细化的数据甄别与过滤机制，能够全面留存物流作业全流程数据，保障物流业务数据的完整性与可追溯性，广泛应用于各类物流场景。

3、但现有全量数据处理方式存在显著技术缺陷，物流作业过程中会产生海量冗余数据，包括gps高频上报的重复坐标点位、作业状态无变更的无效报文、平台重复推送的运单变更消息等，大幅增加数据传输、存储与云端算力负荷。同时现有技术无法精准区分冗余数据与有效增量数据，大量看似重复的报文、轨迹数据中，往往隐含微小的作业状态、位置状态变更信息。若采用简单粗暴的数据丢弃、过滤减负方式，极易丢失关键业务细节数据，引发运单状态研判失误、轨迹追溯失真、物流责任无法界定等问题。

技术实现思路

1、本发明的目的在于提供一种基于端云协同计算的物流数据处理减负方法，解决以下技术问题。

2、本发明的目的可以通过以下技术方案实现：

3、一种基于端云协同计算的物流数据处理减负方法，包括以下步骤：

4、步骤s1：端侧设备接收运单的运单状态信息，并将接收时间落入同一个预设时序窗口内的运单状态信息聚合为一个窗口消息集合；对所述窗口消息集合内的各运单状态信息按时间先后顺序排序，并对每相邻的两条运单状态信息进行正向校验，判断两条运单状态信息是否为合法迁移；

5、步骤s2：若所述窗口消息集合内全部相邻的两条运单状态信息均为合法迁移，则判定所述窗口消息集合内全部运单状态信息为一条正向状态链路；确定所述正向状态链路中的有效增量消息，并丢弃所述窗口消息集合内除所述有效增量消息以外的全部运单状态信息，在所述端侧设备内保留所述有效增量消息；

6、步骤s3：若所述窗口消息集合内存在任意相邻的两条运单状态信息为非法迁移，则将所述窗口消息集合内全部运单状态信息标记为异常留存消息，在所述端侧设备内保留；

7、步骤s4：所述端侧设备将所述有效增量消息和异常留存消息上传至云端，并对所述运单进行状态更新。

8、作为本发明进一步的方案：所述运单的运单状态信息具体包括：

9、所述运单状态信息由若干字段构成，所述字段包括运单标识、云端状态标识和状态变更时间戳；其中，所述运单标识为运单状态信息的唯一运单号；所述运单状态用于标识所述运单的物流节点状态，所述物流节点状态包括已下单、已揽收、运输中、派送中、已签收和异常状态，所述物流节点状态还包括若干子状态，子状态为同一物流节点状态下的若干个同级状态；所述状态变更时间戳为所述运单状态信息对应的实际发生时间。

10、作为本发明进一步的方案：所述预设时序窗口的设定过程包括，预设运单状态正常流转所需的最小状态保持时间，将预设时序窗口的时长设定为所述最小状态保持时间。

11、作为本发明进一步的方案：对每相邻的两条运单状态信息进行正向校验的过程包括：

12、设定运单状态的单向流转顺序，所述单向流转顺序为已下单、已揽收、运输中、派送中、已签收，并设定所述单向流转顺序的流转规则，所述流转规则包括任意物流节点状态禁止向所述单向流转顺序中的上游的物流节点状态逆向变更，且允许各子状态在同一物流节点状态内往复变更；

13、预设状态流转权限对照表和优先级权重表，对于相邻的两条运单状态信息，将状态变更时间戳较早的运单状态信息记为当前已存消息，并将状态变更时间戳较晚的运单状态信息记为新到消息；基于所述优先级权重表，对比所述当前已存消息和新到消息的运单状态，若所述新到消息的物流节点状态的优先级高于所述当前已存消息的物流节点状态，则判定两条运单状态信息为合法迁移。

14、作为本发明进一步的方案：对每相邻的两条运单状态信息进行正向校验的过程还包括，若所述新到消息的物流节点状态的优先级低于所述当前已存消息的物流节点状态的优先级，则判定所述新到消息为乱序旧消息。

15、作为本发明进一步的方案：对每相邻的两条运单状态信息进行正向校验的过程还包括：

16、若所述新到消息的物流节点状态的优先级与所述当前已存消息的物流节点状态的优先级相同，则基于所述状态流转权限对照表进行判定，当子状态的变化为处于同一物流节点状态内的往复变更时，判定所述新到消息为同级冗余，当子状态的变化不为处于同一物流节点状态内的往复变更时，则判定两条运单状态信息为非法迁移。

17、作为本发明进一步的方案：所述状态流转权限对照表和优先级权重表的预设过程包括：

18、所述状态流转权限对照表为二维数组，以所述当前已存消息的物流节点状态为横轴，以所述新到消息的物流节点状态为纵轴，所述状态流转权限对照表内各个元素预先标记为正向更新、同级冗余或非法迁移的一种；所述优先级权重表内已签收的优先级最高，依次高于派送中、运输中、已揽收、已下单。

19、作为本发明进一步的方案：所述正向状态链路中的有效增量消息的确定过程包括：

20、当所述窗口消息集合内存在物流节点状态相同的若干条运单状态信息时，以状态变更时间戳最早的一条运单状态信息为全量基准消息；对于状态变更时间戳晚于所述全量基准消息的若干条运单状态信息，将运单状态信息与所述全量基准消息进行对比，提取出运单状态信息内与所述全量基准消息存在差异的字段，记为占位记录，若不存在变化字段，则将运单状态信息的状态变更时间戳记为占位记录；将所述全量基准消息和全部占位记录记为所述预设时序窗口内的有效增量消息。

21、本发明的有益效果：

22、本发明通过端云协同的短时序窗口聚合与状态正向校验机制，在不依赖全局去重指纹库的前提下，实现了对物流冗余数据的精准识别与减负处理；针对消息中间件重试、业务接口重推所产生的大量重复运单状态变更消息，利用运单状态只会正向流转的业务常识，在端侧以短时间窗口对同一运单消息进行聚合，并借助物流节点状态与子状态两级结构及状态流转权限对照表进行正向校验，在过滤重复推送和中间状态重复报文的同时，完整保留真实的状态变更与异常回退痕迹，避免因粗暴去重导致业务信息丢失；对于窗口内同一物流节点状态的多条消息，采用首条全量加后续差分的存储模式，仅保留变化字段与时间戳，既去除了重复字段冗余，又完整留存了同物流节点状态下的业务变更痕迹，解决了同状态下关键信息更新易被误过滤的问题；经端侧处理后的数据仅包含有效增量消息和少量异常留存消息，显著降低了上传至云端的数据量，减轻了云端存储、计算与网络传输压力，同时提升了物流状态跟踪的准确性和异常排查效率。

1.一种基于端云协同计算的物流数据处理减负方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于端云协同计算的物流数据处理减负方法，其特征在于，在步骤s1中，所述运单的运单状态信息具体包括：

3.根据权利要求1所述的一种基于端云协同计算的物流数据处理减负方法，其特征在于，在步骤s1中，所述预设时序窗口的设定过程包括，预设运单状态正常流转所需的最小状态保持时间，将预设时序窗口的时长设定为所述最小状态保持时间。

4.根据权利要求2所述的一种基于端云协同计算的物流数据处理减负方法，其特征在于，在步骤s1中，对每相邻的两条运单状态信息进行正向校验的过程包括：

5.根据权利要求4所述的一种基于端云协同计算的物流数据处理减负方法，其特征在于，在步骤s1中，对每相邻的两条运单状态信息进行正向校验的过程还包括，若所述新到消息的物流节点状态的优先级低于所述当前已存消息的物流节点状态的优先级，则判定所述新到消息为乱序旧消息。

6.根据权利要求4所述的一种基于端云协同计算的物流数据处理减负方法，其特征在于，在步骤s1中，对每相邻的两条运单状态信息进行正向校验的过程还包括：

7.根据权利要求4所述的一种基于端云协同计算的物流数据处理减负方法，其特征在于，在步骤s1中，所述状态流转权限对照表和优先级权重表的预设过程包括：

8.根据权利要求1所述的一种基于端云协同计算的物流数据处理减负方法，其特征在于，在步骤s2中，所述正向状态链路中的有效增量消息的确定过程包括：