一种交通实时数据轻量化处理方法与交通数据处理系统与流程

本技术涉及交通数据处理，尤其涉及一种交通实时数据轻量化处理方法与交通数据处理系统。

背景技术：

1、随着智能交通系统的快速发展，交通信号控制的有效性越来越依赖于对实时交通数据的精准和快速处理。近年来，视频检测器、线圈检测器及浮动车gps等各类智能交通采集设备的广泛普及，使得路网交通数据的采集量呈现指数级增长。特别是在城市早晚高峰、大型活动散场、节假日返程等交通高并发场景下，单区域的数据采集频率往往会骤增至每秒数千条，这对交通数据处理系统的并发承载能力、数据传输效率以及配时响应速度提出了极高的要求。

2、为了处理这些大量采集的交通数据，相关的交通数据处理系统通常采用全量采集-集中传输-批量处理的技术架构。具体的，前端采集节点会将检测到的所有交通流数据（包括空车流时段的重复数据及非结构化原始信息）进行收集，并利用zip等通用压缩算法对这些数据进行整体压缩。随后，压缩后的数据包通过统一的网络通道集中发送至云端或中心服务器。中心服务器在接收到数据后，需先对整个数据包进行解压还原，再由后台计算平台对全量数据进行批量的解析与计算，最后经过二次格式转换，将处理结果输出给交通信号控制平台以供调用。

3、然而，由于相关技术前端采用全量数据与通用压缩算法绑定的封装模式，中心服务器需要严格遵循等待完整接收-全量解压-顺序解析的串行处理逻辑，在大量并发场景下，这种处理逻辑使得关键核心交通数据（如突发拥堵、应急车辆信息）的处理周期与整体数据包的体量相绑定，导致最终提取出的交通特征状态落后于实际路面的物理交通流演变，增加了交通信号控制系统的响应延迟。

技术实现思路

1、本技术提供了一种交通实时数据轻量化处理方法与交通数据处理系统，用于降低交通信号控制系统的响应延迟。

2、第一方面，提供了一种交通实时数据轻量化处理方法，应用于交通数据处理系统，交通数据处理系统包括边缘计算节点和云端分布式集群，该方法包括：边缘计算节点基于控制响应需求将采集的原始交通流数据划分为不同优先级，并根据由预设时段系数和预设区域系数确定的动态筛选阈值剔除冗余数据，将保留的有效数据重构为包含路口标识、数据类型、数值和优先级的结构化数据；边缘计算节点对结构化数据中的路口标识和优先级进行二进制紧凑编码，对数值采用基于波动系数的自适应步长记录当前值与前一有效值差值的差值压缩，以及利用预设字典对数据类型对应的交通状态进行字典映射，生成轻量化数据包；边缘计算节点将轻量化数据包分配至与优先级相匹配的独立传输通道，并发传输至云端分布式集群；云端分布式集群接收轻量化数据包，利用基于路口标识和区域数据量权重的一致性哈希算法计算哈希分片值，并根据哈希分片值将轻量化数据包路由至云端分布式集群中对应的目标计算节点；目标计算节点并行解码还原数值，并基于同一路口下不同采集源的预设置信度对数值进行加权融合，生成单路口实时状态快照；目标计算节点基于单路口实时状态快照提取交通指标，将交通指标封装为标准化控制数据并按优先级对应的预设频率推送至交通信号控制平台。

3、通过采用上述技术方案，将数据处理前置到边缘计算节点，通过动态筛选和多维度的轻量化压缩，减少了无效数据的传输和整体数据包的体积，同时结合优先级独立通道传输和云端基于一致性哈希的路由分配，避免了大量并发数据对关键交通事件响应的阻塞，从而在降低网络传输带宽压力的同时，缩短了交通信号控制系统的响应延迟。

4、结合第一方面的一些实施例，在一些实施例中，边缘计算节点根据由预设时段系数和预设区域系数确定的动态筛选阈值剔除冗余数据的步骤，具体包括：边缘计算节点将预设基础阈值、预设时段系数与预设区域系数相乘，得到动态筛选阈值；计算原始交通流数据在相邻采样周期内的数值变化量；在数值变化量小于预设变化比例，且原始交通流数据的当前数值小于动态筛选阈值的情况下，将对应的原始交通流数据作为冗余数据进行剔除；在原始交通流数据连续预设数量个采样周期内数值为零、或者原始交通流数据的当前数值超出预设物理合理范围、或者原始交通流数据与相邻路口数据的偏差超过预设偏差阈值的情况下，将对应的原始交通流数据作为冗余数据进行剔除。

5、通过采用上述技术方案，能够在不同交通场景下自适应地识别并剔除冗余和异常数据，提高了前端数据过滤的准确性，进一步降低了后续处理和传输的计算负担。

6、结合第一方面的一些实施例，在一些实施例中，在边缘计算节点将保留的有效数据重构为包含路口标识、数据类型、数值和优先级的结构化数据的步骤之前，该方法还包括：边缘计算节点采用滑动窗口机制计算原始交通流数据在窗口内的平均值与标准差，将原始交通流数据中的数值与平均值的偏差超过预设倍数标准差的数据作为异常数据进行过滤；对同一路口下不同采集源的原始交通流数据进行交叉验证，在数值偏差超过预设偏差阈值时触发二次校验；将通过二次校验的不同采集源的原始交通流数据进行加权平均融合，并将未通过二次校验的原始交通流数据作为异常数据进行过滤。

7、通过采用上述技术方案，在数据重构前引入了基于滑动窗口的异常检测和多源数据的交叉验证机制，不仅能够更及时地过滤掉由设备故障或环境干扰引起的突变异常数据，还能通过多源加权融合提升数据的可靠性。

8、结合第一方面的一些实施例，在一些实施例中，边缘计算节点对数值采用基于波动系数的自适应步长记录当前值与前一有效值差值的差值压缩的步骤，具体包括：边缘计算节点计算预设历史采样周期内数值的标准差与平均值，将标准差与平均值的比值作为波动系数；将结构化数据在当前采样周期的数值作为当前值，并将上一次采样周期记录的数值作为基准值；将当前值与波动系数的乘积确定为自适应步长；计算当前值与基准值之间的差值；在差值未超过自适应步长的预设倍数时，仅记录差值；在差值超过自适应步长的预设倍数时，将当前值更新为新的基准值。

9、通过采用上述技术方案，针对交通流数值的波动特性，设计了基于波动系数的自适应步长差值压缩方法，该方法能够在交通流平稳时以极小的差值记录数据，在交通流剧烈变化时及时更新基准值，从而在提高数据精度的前提下，压缩了数值字段的存储空间。

10、结合第一方面的一些实施例，在一些实施例中，边缘计算节点将轻量化数据包分配至与优先级相匹配的独立传输通道，并发传输至云端分布式集群的步骤，具体包括：边缘计算节点为不同优先级的独立传输通道分别配置对应的令牌桶流量控制机制；根据优先级的高低，为对应的令牌桶流量控制机制分配不同的令牌生成速率和令牌桶容量，以控制各独立传输通道的带宽占比；将轻量化数据包分配至对应优先级的独立传输通道中，并基于分配的带宽占比并发传输至云端分布式集群。

11、通过采用上述技术方案，为不同优先级的传输通道配置了独立的令牌桶流量控制机制，从而在网络资源有限或突发高并发流量的情况下，高优先级的应急和实时控制数据能够获得稳定的带宽保障，减少了低优先级数据对关键通道网络资源的挤占。

12、结合第一方面的一些实施例，在一些实施例中，云端分布式集群利用基于路口标识和区域数据量权重的一致性哈希算法计算哈希分片值，并根据哈希分片值将轻量化数据包路由至云端分布式集群中对应的目标计算节点的步骤，具体包括：云端分布式集群统计路口标识所属区域的历史数据量与全局平均数据量，将历史数据量与全局平均数据量的比值作为区域数据量权重；对轻量化数据包中的路口标识进行哈希运算得到初始哈希值，将初始哈希值与区域数据量权重相乘得到哈希分片值；获取云端分布式集群中各计算节点的处理器利用率和内存占用率；在处理器利用率和内存占用率均低于预设阈值的计算节点中，选择与哈希分片值对应的计算节点作为目标计算节点，并将轻量化数据包路由至目标计算节点。

13、通过采用上述技术方案，在云端路由时引入了区域数据量权重和节点实时负载状态，使得哈希分片不仅能保持较好的数据局部性，还能根据各区域的实际数据产出量和节点的当前处理能力进行动态调节，提升了分布式集群的整体并发处理效率。

14、结合第一方面的一些实施例，在一些实施例中，在目标计算节点基于单路口实时状态快照提取交通指标，将交通指标封装为标准化控制数据并按优先级对应的预设频率推送至交通信号控制平台的步骤之后，该方法还包括：交通数据处理系统统计当前的数据处理延迟和传输成功率；在数据处理延迟高于预设延迟阈值时，交通数据处理系统增加云端分布式集群的计算节点数量；在传输成功率低于预设成功率阈值时，交通数据处理系统调整各独立传输通道的带宽占比；交通数据处理系统根据当前时段和区域类型调整预设时段系数和预设区域系数。

15、通过采用上述技术方案，根据当前的数据处理延迟和传输成功率，自适应地进行云端计算资源的弹性扩容和传输通道带宽的动态调整，并实时更新前端的筛选系数，使得整个系统能够在复杂多变的交通环境下持续保持低延迟处理性能。

16、第二方面，本技术实施例提供了一种交通数据处理系统，该交通数据处理系统包括：一个或多个处理器和存储器；该存储器与该一个或多个处理器耦合，该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令，该一个或多个处理器调用该计算机指令以使得该交通数据处理系统执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

17、第三方面，本技术实施例提供一种包含指令的计算机程序产品，当上述计算机程序产品在交通数据处理系统上运行时，使得上述交通数据处理系统执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

18、第四方面，本技术实施例提供一种计算机可读存储介质，包括指令，当上述指令在交通数据处理系统上运行时，使得上述交通数据处理系统执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

19、可以理解地，上述第二方面提供的交通数据处理系统，第三方面提供的计算机程序产品和第四方面提供的计算机存储介质均用于执行本技术实施例所提供的方法。因此，其所能达到的有益效果可参考对应方法中的有益效果，此处不再赘述。

20、本技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

21、1、将数据处理前置到边缘计算节点，通过动态筛选和多维度的轻量化压缩，减少了无效数据的传输和整体数据包的体积，同时结合优先级独立通道传输和云端基于一致性哈希的路由分配，避免了大量并发数据对关键交通事件响应的阻塞，从而在降低网络传输带宽压力的同时，缩短了交通信号控制系统的响应延迟。

22、2、为不同优先级的传输通道配置了独立的令牌桶流量控制机制，从而在网络资源有限或突发高并发流量的情况下，高优先级的应急和实时控制数据能够获得稳定的带宽保障，减少了低优先级数据对关键通道网络资源的挤占。

23、3、根据当前的数据处理延迟和传输成功率，自适应地进行云端计算资源的弹性扩容和传输通道带宽的动态调整，并实时更新前端的筛选系数，使得整个系统能够在复杂多变的交通环境下持续保持低延迟处理性能。