一种面向电能数据的压缩存储方法及系统与流程

本发明属于电力系统自动化及工业通信数据处理，具体涉及一种面向电能数据的压缩存储方法及系统。

背景技术：

1、在电力自动化系统中，dcm装置通过透明端口通道连接各类电力设备，将设备上送的数据传输到后台监控系统。透明端口通道本质上是一条数据透传通道，其作用是将接收到的数据原封不动地转发出去，不区分也不处理数据的具体内容。

2、遥信数据是电力设备上报的一种状态数据，例如开关处于“分闸”还是“合闸”位置、刀闸处于“接通”还是“断开”状态。这类数据具有一个显著特点：在绝大多数时间里，设备状态保持不变。例如，一个不常操作的开关可能连续数小时甚至数天都处于“合闸”状态，没有任何变化。只有当操作人员执行分闸指令或故障发生时，该状态才会瞬间翻转。

3、然而，现有透明端口通道不区分数据特征，对接收到的所有遥信数据帧都原样转发，逐条完整传输。这样带来了两个问题：

4、第一，在设备状态长期不变的情况下，电力设备仍在按固定周期反复上送相同的状态数据，透明端口通道将这些内容完全重复的数据帧一遍又一遍地原封不动地转发出去，实际上传输的大部分都是冗余信息，造成通信带宽的浪费。

5、第二，当设备状态真正发生变化的瞬间，该变位事件只被发送一次。如果此时通信线路发生干扰或网络出现拥塞导致该数据包丢失，变位信息就永久丢失了，后台系统无法得知设备状态已经改变。由于电力系统对设备状态信息的完整性要求极高，一旦变位事件丢失，将影响运行人员对现场情况的准确判断，严重时可能导致误操作。

6、因此，需要针对遥信数据“平时重复、偶发突变”的特征，在透明端口通道中采取差异化的处理方式：状态不变时减少重复数据的发送以节省带宽，状态变化时确保变位信息能够可靠地送达后台系统。

技术实现思路

1、为解决现有技术中存在的上述问题，本发明提供了一种面向电能数据的压缩存储方法及系统，本发明的目的可以通过以下技术方案实现：

2、包括以下步骤：

3、建立透明传输通道，于配置界面设定链路超时阈值，监听上送的全量帧，解析帧头提取遥信状态值并构建历史缓存表；

4、将实时状态值与所述历史缓存表的前序状态值比对，状态值变化时判定为变位突发期，未变化时判定为稳态冗余期；

5、处于稳态冗余期时，截断全量帧载荷区并替换为精简占位符，生成超短保活帧，按超时阈值间隔向对端发送超短保活帧；

6、处于变位突发期时，生成含完整状态值与时标的变位事件帧，在时间窗口内向对端连续重传三次；

7、依据标志位与事件标识分离本地数据流，以时间窗口为粒度构建哈希索引去重，将去重记录与时标基值打包为压缩数据体写入存储介质。

8、具体地，所述建立透明传输通道包括：

9、配置通信接口参数，开启双向数据监听模式，建立与对端设备之间的数据传输链路；

10、接收周期性上送的全量帧，并在通道初始化阶段分配数据缓存空间，加载协议过滤规则，维持通信链路持续连通运行状态。

11、具体地，所述解析帧头提取遥信状态值包括：

12、读取全量帧起始标识符，定位遥信数据区偏移地址，按预设字节长度截取状态位字段；

13、将二进制位序列转换为数值型状态数据，输出实时状态值，并校验帧尾校验码，随后将解析结果推送至处理队列。

14、具体地，所述构建历史缓存表包括：

15、开辟环形内存空间，按遥信点位编号建立索引键值对，将提取的实时状态值与采集时刻绑定，按时间先后顺序写入缓存队列，形成可追溯的状态序列；

16、设置容量溢出覆盖策略，同时为每个点位分配独立存储区块。

17、具体地，所述将实时状态值与所述历史缓存表的前序状态值比对包括：

18、读取缓存表中最近一次写入的前序状态值，将实时状态值与前序状态值进行逐位逻辑比对运算；

19、若比对结果一致则判定状态维持，若比对结果存在差异则判定状态翻转，输出周期判定结果并触发后续报文生成流程。

20、具体地，所述生成超短保活帧包括：

21、剥离全量帧中的遥信载荷区，写入固定长度的占位字节，保留原始帧头与校验码，重组为精简报文；

22、同步执行本地写入时间戳与冗余标志位操作，校验重组报文的结构完整性，确保报文结构符合通道传输协议规范标准，并标记数据生成批次。

23、具体地，所述按超时阈值间隔向对端发送保活帧包括：

24、按所述链路超时阈值启动计时周期，计时到期时将超短保活帧推入发送队列并发送至对端设备；

25、记录每次发送的实际时间戳，执行时间戳序列排序操作，生成连续发送记录数据序列集合，维持链路物理连接活性。

26、具体地，所述生成含完整状态值与时标的变位事件帧包括：

27、捕获状态翻转瞬间的完整遥信数值，附加高精度时钟计数器读数，封装为独立事件报文；

28、同步执行本地记录变位时刻、状态值与事件标识操作，对封装报文进行格式校验，附加校验数值至报文尾部字段区域，构建关键事件档案。

29、具体地，所述在时间窗口内向对端连续重传三次包括：

30、设定滑动时间窗口，将变位事件帧复制为多份独立副本，按固定时间间隔依次推入发送缓冲区并发送至对端，监控每次重传的链路反馈状态；

31、若接收到对端确认应答则立即终止重传流程，清除发送缓冲区残留数据，确保报文可靠送达。

32、具体地，所述依据标志位与事件标识分离本地数据流包括：

33、遍历本地存储区写入的记录序列，识别冗余标志位对应的稳态时间戳集合，提取事件标识对应的变位时刻与状态值集合；

34、根据冗余标志位提取稳态期间的记录集合，依据事件标识提取变位期间的记录集合，将两类数据分别归类至独立存储区域。

35、具体地，所述将去重记录与时标基值打包为压缩数据体写入存储介质包括：

36、对分离后的稳态时间戳集合执行相邻值差分运算，剔除重复时间间隔，保留变位时刻与状态值集合，附加初始采集时刻作为时标基值；

37、采用二进制流封装格式写入存储设备，标记可用存储区块，执行连续写入操作。

38、具体地，一种面向电能数据的压缩存储系统，其包括一处理器。

39、本发明的有益效果为：

40、通过将实时状态值与历史缓存表中的前序状态值进行比对，识别出状态未发生变化的稳态冗余期，在该期间以精简保活帧替代全量遥信帧进行发送。精简保活帧仅保留帧头、校验码等必要结构，载荷区替换为固定长度的占位字节，数据量远小于全量帧，有效减少了透明端口通道在稳态期间的冗余数据传输，节省了通信带宽资源。

41、在检测到状态翻转时生成包含完整状态值与精确时标的变位事件帧，并在设定的时间窗口内连续重传三次，利用多份副本对抗信道干扰和网络拥塞导致的随机丢包；同时，通过监控链路反馈状态，一旦接收到对端确认应答即终止重传，避免了不必要的重复发送，既确保了变位事件可靠送达后台系统，又兼顾了传输效率。

42、依据标志位和事件标识将稳态记录与变位事件分离，以时间窗口为粒度构建哈希索引进行去重处理，剔除稳态期间重复的时间戳记录，保留变位时刻与状态值等关键信息，并以时标基值加差分记录的打包方式写入存储介质，减少了存储空间占用。

43、在稳态期间写入时间戳与冗余标志位，在变位期间记录变位时刻、状态值与事件标识，两类数据分别归类存储后，后台系统可根据时间戳完整还原设备状态的变化过程，为事故分析和运行维护提供了可靠的数据支撑。