充电桩状态数据的实时压缩与存储优化方法与流程

本发明涉及数据处理，更具体地说，涉及一种充电桩状态数据的实时压缩与存储优化方法。

背景技术：

1、随着新能源汽车产业的蓬勃发展，充电桩作为核心基础设施，其运维监控的实时性与可靠性已成为行业关注的焦点。然而，现有的充电桩监控运维平台在应对海量设备接入与高频数据并发时，其底层数据架构的局限性日益凸显，主要面临传输效率低下、存储成本高昂及查询性能瓶颈三大痛点。

2、当前主流方案多采用json等明文文本格式进行通信。由于充电桩状态数据（如电压、电流、soc等）采样频率极高，往往达到秒级甚至亚秒级，未经压缩的json格式因其冗长的键值对结构，产生了大量无效字符传输。这种低效的传输方式不仅占用了宝贵的网络带宽，大幅推高了通信成本，更在网络拥塞时增加了数据延迟，难以满足实时监控的严苛要求。

3、传统架构通常依赖关系型数据库（如mysql）或基础时序数据库进行全量存储。面对tb级的海量历史数据，关系型数据库在处理高维度时序数据时，面临着写入瓶颈与存储膨胀的双重压力。此外，现有的存储策略过于单一，缺乏精细化的生命周期管理，往往采取“一刀切”的全量保存或简单的时间切片删除，导致存储资源被低价值数据大量挤占，基础设施成本急剧攀升。

4、更关键的问题在于数据价值的混淆处理。现有系统未对数据进行分级分类，将长期数值稳定的冗余数据（如空闲状态下的电流值）与极具分析价值的异常数据（如故障告警、突变波形）采用相同的压缩与存储策略。这种缺乏区分度的处理方式，既造成了存储资源的极大浪费，也导致在进行故障回溯与趋势分析时，关键信息淹没在海量冗余数据中，查询响应缓慢，严重制约了运维平台的智能化分析能力与应急响应速度。

技术实现思路

1、本发明要解决的技术问题在于，针对现有技术的不足，提供一种充电桩状态数据的实时压缩与存储优化方法，旨在高效处理海量充电桩产生的时序状态数据，在显著降低数据传输带宽与存储成本的同时，有效提升数据的查询与分析效率。

2、为解决上述问题，一方面，本发明提供一种充电桩状态数据的实时压缩与存储优化方法，所述方法包括以下步骤：

3、s1，在充电桩终端或边缘网关侧采集充电桩状态数据，基于采样频率、数据类型、数值变化特征、字段语义及触发方式构建多维度特征向量，采用预设的加权评分分类规则对所述状态数据进行自动分类，得到包含高频时序数据、中低频计量数据、状态事件数据和操作日志数据的分类结果；若所述状态数据在多类别匹配后的综合匹配可信度低于预设可信度阈值，则对所述状态数据执行无损传输策略；

4、s2，在边缘侧对所述分类结果中包含的所述高频时序数据、所述中低频计量数据、所述状态事件数据和所述操作日志数据分别执行差异化压缩处理，其中差异化压缩处理包括：针对所述高频时序数据，识别充电桩实时运行工况并执行防抖规则，结合实时数据波动动态调整压缩判定阈值，仅在满足数值突变、定时心跳或故障事件任一条件时上传采样数据，当识别到异常故障工况时禁用有损压缩并完整上传原始采样数据；针对所述中低频计量数据和所述状态事件数据执行无损压缩；针对所述操作日志数据执行文本打包压缩；将全部压缩数据包上传至监控运维平台；

5、s3，所述监控运维平台接收并解压所述压缩数据包，根据各压缩数据包对应的数据分类结果将其路由至对应的存储节点，采用热存储层、温存储层和冷存储层构成的多时效分层存储架构；所述热存储层用于存储原始秒级高频时序数据；所述温存储层对时序数据执行适配指标语义的混合降采样聚合，当聚合窗口内存在故障、告警或指标越限时标记为异常窗口，对所述异常窗口缩小聚合粒度、留存故障发生前后的原始数据，且对故障相关数据不执行有损降采样；所述冷存储层采用列式文件格式归档超期历史时序数据；

6、s4，根据各存储层级内数据的存续时长阈值或存储容量高低水位条件，触发所述多时效分层存储架构各层级之间的数据流转迁移；所述数据流转迁移采用先写入、后校验、延迟删除的两阶段安全流程，为每一批次迁移数据生成全局唯一幂等标识以拦截重复写入；搭建全局元数据目录以记录各层级存储信息，基于所述全局元数据目录执行跨层级联合查询并自动剔除重复数据；对处于故障窗口、告警窗口或争议订单状态对应时间区间内的所述充电桩状态数据，延长其在当前存储层级的留存时效并禁止提前迁移。

7、本发明所述的充电桩状态数据的实时压缩与存储优化方法中；在所述步骤s1中，所述基于采样频率、数据类型、数值变化特征、字段语义及触发方式构建多维度特征向量，采用预设的加权评分分类规则对所述状态数据进行自动分类包括：

8、设定高频阈值与低频阈值作为采样频率的分界；

9、构建数据指纹，其中，表示实际采样频率，表示数据类型，表示数值变化特征，表示字段语义，表示触发方式；

10、基于所述数据指纹执行以下分类判定规则：当实际采样频率且字段类型为浮点型或连续整型时，识别为高频时序数据；

11、当且字段类型为数值型时，识别为中低频计量数据；

12、当触发方式为事件触发且字段类型为布尔型、枚举型或离散整型时，识别为状态事件数据；

13、当字段类型为字符串或文本型时，识别为日志数据。

14、本发明所述的充电桩状态数据的实时压缩与存储优化方法中；在所述步骤s1中所述采用预设的加权评分分类规则对所述状态数据进行自动分类，还包括冲突消解步骤：

15、当所述状态数据同时符合上述至少两条分类判定规则时，利用预置的加权评分模型计算匹配得分；其中，所述匹配得分的计算公式为：

16、；

17、且满足权重归一化约束：；并基于类别判定式确定最终分类结果；

18、其中，表示第个预定义数据类别，表示当前状态数据，,,,,分别代表采样频率、数据类型、数值变化特征、字段语义及触发方式的的五维度匹配分值，,,,,为对应维度的权重系数，为最终确定的分类结果；所述argmax函数表示选取使匹配得分取得最大值时的类别作为最终确定的分类结果。

19、本发明所述的充电桩状态数据的实时压缩与存储优化方法中；在所述步骤s2中结合实时数据波动动态调整压缩判定阈值包括：

20、在长度为n的滑动窗口中计算状态数据的平均值、标准差及相对波动率，计算公式如下：

21、所述平均值的计算公式为：；

22、所述标准差的计算公式为：；

23、所述相对波动率的计算公式为：r；

24、其中，为滑动窗口内的平均值，为标准差，为滑动窗口内第时刻的状态数据采样值；r为相对波动率，为防止分母为零的极小正数；

25、基于所述相对波动率及预设的基础阈值，通过以下公式计算当前的动态压缩判定阈值：

26、；

27、其中，为基础阈值，为当前运行工况对应的工况系数，为波动修正系数，和分别为阈值的下限和上限，所述函数表示将计算结果限制在区间内，当计算结果小于下限时取下限值，大于上限时取上限值。

28、本发明所述的充电桩状态数据的实时压缩与存储优化方法中；在所述步骤s2中所述识别充电桩实时运行工况并执行防抖规则及差异化压缩策略包括将充电桩运行工况划分为待机工况、启动或调节工况、平稳充电工况以及异常故障四类；

29、执行工况切换防抖规则：设置计数器，当连续个采样周期判定为同一工况才执行时，执行工况切换并更新对应的工况系数；

30、基于识别出的运行工况及实时数据波动幅度，执行以下差异化处理策略：

31、在所述待机工况下，将所述工况系数配置为区间[2.0,4.0]内的数值，利用所述工况系数放大基于实时数据波动计算出的压缩判定阈值，并延长数据心跳上传间隔；

32、在所述启动或调节工况下，将所述工况系数配置为区间[0.3,0.6]内的数值，利用所述工况系数缩小基于实时数据波动计算出的压缩判定阈值，并提升采样频率；

33、在所述平稳充电工况下，将所述工况系数配置为区间[1.0,1.5]内的数值，采用基于实时数据波动计算出的标准压缩判定阈值和标准采样频率；

34、在所述异常故障工况下，禁用有损压缩算法，以原始采样频率完整上传所有状态数据。

35、本发明所述的充电桩状态数据的实时压缩与存储优化方法中；在所述步骤s2中所述结合实时数据波动动态调整压缩判定阈值并上传采样数据，包括：

36、计算当前时间窗口内高频时序数据的方差或变化率；

37、基于所述方差或变化率动态调整压缩判定阈值；

38、当所述方差或变化率超过预设波动上限时，自动下调所述压缩判定阈值，以增加上传数据密度；

39、当所述方差或变化率低于预设波动下限时，自动上调所述压缩判定阈值，以减少冗余数据上传；

40、实时监测高频时序数据，当检测到满足数值突变条件、时间超时条件或异常事件触发条件中的任一情形时，设定上传标志位为，并触发数据上传；

41、其中，所述数值突变条件和时间超时条件的判断逻辑如下：

42、若当前采样值与最近一次成功上传的采样值之差的绝对值大于或等于当前的动态压缩判定阈值，即满足：或，若当前采样时刻与上一次上传时刻之差大于或等于预设的最大心跳上传间隔，即满足：；则判定满足上传条件；

43、其中，表示时刻采集的原始数据值，表示最近一次成功上传的数据值，表示时刻根据工况动态计算得到的压缩死区阈值，表示最近一次成功上传的时间戳，为系统预设的强制上报周期常数。

44、本发明所述的充电桩状态数据的实时压缩与存储优化方法中；在所述步骤s3中所述温存储层对时序数据执行适配指标语义的混合降采样聚合包括：

45、在预设的时间窗口内，首先判断时间窗口内是否发生故障、告警或指标越限；

46、若未发生上述情况，则针对不同指标类型执行差异化聚合计算：

47、针对电压、电流、功率和温度数据，计算时间窗口内的最小值、最大值、加权平均值、首值以及末尾值相结合的混合聚合策略；

48、其中，所述加权平均值的计算公式为：，其中，表示时间窗口内的第个采样数据点，为数据质量权重，当数据正常时取1，当数据异常或无效时取0；

49、针对开关状态类离散数字量指标，采用状态变更捕获策略，仅记录状态发生跳变的时间点及对应的状态值；

50、针对累计电量及累计金额类单调递增指标，采用固定时间间隔的差值聚合策略，记录时间窗口内首尾数值的差值；

51、针对分段增量电量及分段金额类非单调指标，执行累加求和聚合策略，计算时间窗口内的数值总和；作为该时段内的业务统计依据；

52、其中，表示时间窗口内的采样数据点，表示时间窗口内最后一个有效采样点的累计值，表示时间窗口内第一个有效采样点的累计值。

53、本发明所述的充电桩状态数据的实时压缩与存储优化方法中；在所述步骤s3中若所述时间窗口内检测到故障、告警或指标越限，则将该时间窗口标记为异常窗口，并执行以下异常处理策略：

54、将所述异常窗口的聚合时间粒度从分钟级回退至秒级，并保留该窗口内的最小值、最大值及其发生时间；

55、自动向前追溯并保留故障发生前预设时长的原始高频数据，同时自动向后延伸并保留故障恢复后预设时长的原始高频数据；

56、对该异常窗口内的所有数据块添加“故障关联”标签，并禁止对其进行有损降采样或有损压缩处理。

57、本发明所述的充电桩状态数据的实时压缩与存储优化方法中；在所述步骤s4中所述数据流转迁移采用带有数据校验与防重机制的安全迁移逻辑包括：

58、在启动迁移任务后，获取迁移批次对应的元数据信息，利用预设哈希算法对所述元数据信息进行联合运算，生成该批次的全局唯一幂等标识；所述元数据信息包括设备唯一标识、数据类型、迁移时间范围及任务版本号；

59、在向目标存储层级执行写入操作前，基于所述全局唯一幂等标识进行检索校验：若检索到已存在相同标识，则判定为重复任务并拦截写入；若未检索到，则进入“先写入、后校验、延迟删除”的两阶段迁移流程；

60、第一阶段为写入阶段：将待迁移数据从源存储层级写入至目标存储层级，并将所述全局唯一幂等标识及对应的存储位置信息注册至全局元数据目录，依托全局元数据目录实现跨层级联合查询与迁移状态追踪；

61、第二阶段为校验阶段：分别生成源存储层级与目标存储层级的校验摘要；所述校验摘要表示为五维向量，其中,表示该批次数据的记录总数；和分别表示该批次数据的最小时间戳和最大时间戳；表示关键业务维度的统计特征值；表示数据内容的哈希校验值；

62、当源存储层级与目标存储层级的校验摘要中的各项指标均匹配一致时，判定校验通过，并执行延迟删除操作以清除源存储层级中的源数据；若校验失败，则保留源数据，清除目标存储层级中不完整的目标文件，并触发重试迁移流程。

63、本发明所述的充电桩状态数据的实时压缩与存储优化方法中；在所述步骤s4中所述数据流转迁移的动态触发策略包括：

64、当热存储层级内数据的存续时长达到预设的热数据留存时长阈值，或者热存储层级的存储容量占用率达到预设的高水位阈值时，触发将所述热存储层级内的数据向温存储层级迁移；

65、当温存储层级内数据的存续时长达到预设的温数据留存时长阈值，或者温存储层级的存储容量占用率达到预设的高水位阈值时，触发将所述温存储层级内的数据向冷存储层级迁移；

66、在因存储容量占用率达到高水位阈值而触发数据迁移时，执行基于数据状态的优先级清理策略：优先迁移非异常状态的早期时序数据至下一存储层级，直至当前存储层级的存储容量占用率回落至预设的低水位阈值；

67、其中，所述非异常状态是指未处于故障窗口、告警窗口或争议订单状态对应时间区间内的数据。

68、本发明的有益效果是：

69、通过在边缘侧提取采样频率、数据类型等五大维度特征构建数据指纹，并结合阈值规则与加权评分模型实现数据的精准自动分类与差异化压缩，从源头有效剔除了海量冗余信息，显著缓解了充电桩数据明文传输导致的带宽瓶颈问题。在此基础上，本发明在平台侧搭建了热、温、冷多时效分层存储架构，并在温存储层引入适配指标语义的混合降采样聚合策略，结合冷存储层的低成本列式归档，实现了数据全生命周期的精细化存储管理，大幅降低了平台的综合存储开销。同时，为保障关键业务数据的安全性，本发明在降采样过程中创新性地引入了异常窗口识别机制，当检测到故障、告警或启停切换等异常事件时，系统自动缩短聚合粒度并完整留存故障前后的原始高频数据，从而在实现高效数据压缩的同时，充分兼顾了故障回溯的完整性。此外，针对跨层级数据流转，本发明设计了“先写入、后校验、延迟删除”的两阶段安全流程，并通过全局唯一幂等标识与五维校验摘要，彻底杜绝了数据重复写入与丢失风险；依托全局元数据目录实现跨层级联合查询与自动合并去重，有效保障了分布式存储架构下的数据一致性，并显著提升了海量历史数据的查询效率。