一种基于电力采集终端的电表数据采集方法与流程

摘要: 本发明涉及电表数据采集领域,特别涉及一种基于电力采集终端的电表数据采集方法。背景技术:1、基于电力采集终端的电表数据采集方法是在智能电网建设时,对电表运行各种数...
一种基于电力采集终端的电表数据采集方法与流程

本发明涉及电表数据采集领域,特别涉及一种基于电力采集终端的电表数据采集方法。

背景技术:

1、基于电力采集终端的电表数据采集方法是在智能电网建设时,对电表运行各种数据进行采集使用;

2、在基于电力采集终端的电表数据采集方法使用时,多采用固定轮询或单一采集模式,无法根据各电表实际数据生成速率进行动态区分,高速率电表因采集间隔过长导致数据积压甚至丢失,而低速率电表因频繁握手产生大量无效通信开销,使得终端通信频次居高不下,极易引发信道拥堵,在用电高峰时段问题尤为突出;现有方法在估算电表数据生成速率时,通常采用简单的瞬时值或算术平均,对脉冲式波动或偶发性噪声极为敏感,导致采集模式在即时采集与批量采集之间频繁切换,不仅增加了系统负担,也降低了采集行为的可预测性;传统3σ准则虽然能快速识别离群值,但在实际电力环境中,单点噪声极易触发误报警,导致大量正常数据被错误清洗或标记,影响数据完整性和后续分析准确性,缺乏对连续异常事件的二次确认机制,难以区分真实故障与随机噪声;现有采集策略一经设定便长期固化,无法根据缓存占用、采集时延、成功率等运行指标进行自我评估和动态调整。当用电负荷剧烈波动或网络状态发生变化时,系统无法自动优化参数配置,往往依赖人工干预,运维成本高且响应滞后;对于首次接入系统的电表,由于缺乏历史速率数据,现有方法往往直接套用默认策略,容易出现采集模式误分配,导致新设备接入初期数据采集可靠性下降;在大数据量上报场景下,现有方法通常采用固定分片大小和固定重传间隔,无法感知网络实时负载状况,一旦发生网络拥塞,丢包率和重传率急剧上升,严重影响数据上报成功率,极端情况下甚至导致主站侧数据断档。

技术实现思路

1、本发明的主要目的在于提供一种基于电力采集终端的电表数据采集方法,可以有效解决背景技术提出的无法根据各电表实际数据生成速率进行动态区分,导致采集模式在即时采集与批量采集之间频繁切换和单点噪声极易触发误报警的技术问题。

2、为实现上述目的,本发明采取的技术方案为:

3、一种基于电力采集终端的电表数据采集方法,该方法具体包括以下步骤:

4、s1.电力采集终端实时监测其所辖区域内各电表的数据生成速率,并建立包含各电表标识及对应数据生成速率的历史速率档案,其中所述数据生成速率指单位时间内电表产生有效数据帧的频率;

5、s2.所述电力采集终端根据所述历史速率档案,结合当前系统负载和网络状态,通过预设的动态采集策略算法,为每个电表计算并分配个性化的采集模式,所述采集模式包括即时采集模式和批量采集模式;

6、s3.所述电力采集终端依据分配的采集模式,执行针对各电表的数据采集任务,并对采集到的原始电表数据进行缓存;

7、s4.所述电力采集终端对缓存的电表数据进行数据完整性校验和异常值清洗,生成标准化电表数据,并将其与对应的采集时间戳、采集模式标签同同存储;

8、s5.所述电力采集终端根据本次采集的执行结果,更新所述历史速率档案,并评估当前采集策略的有效性,为下一次策略调整提供依据;

9、s6.所述电力采集终端定期或在接收到主站指令时,将本地存储的标准化电表数据及其关联信息通过加密通道上报至主站系统。

10、优选的,所述步骤s2中的动态采集策略算法,包括用于确定采集模式切换阈值的速率动态阈值函数,所述函数表达式为:

11、thr(t)=α·avgrate(t-1)+β·[bufsize/maxcap]+γ·netload(t)

12、其中各参数定义如下:

13、thr(t):当前时刻t的速率动态阈值,用于与电表实时数据生成速率进行比较;

14、avgrate(t-1):上一采集周期内该电表的平均数据生成速率,单位为:帧/秒;

15、bufsize:电力采集终端当前可用缓存空间大小,单位为:字节;

16、maxcap:电力采集终端的最大缓存容量,单位为:字节;

17、netload(t):当前时刻网络的负载指数,取值范围为[0,1],由网络拥塞程度归一化得到;

18、α,β,γ:预设的权重系数,分别表征历史速率、缓存压力和网络负载对阈值的贡献权重,且满足α+β+γ=1,其中α∈[0.4,0.7],β∈[0.1,0.3],γ∈[0.1,0.4];

19、当电表的实时数据生成速率realrate(t)>thr(t)时,为该电表分配即时采集模式,即电力采集终端对该电表执行单次立即抄读操作;当realrate(t)≤thr(t)时,为该电表分配批量采集模式,即将该电表加入下一轮批量采集队列中统一处理。

20、优选的,所述即时采集模式具体包括以下步骤:

21、s301.电力采集终端向对应电表发送单次立即抄读指令,并启动超时计时器;

22、s302.若在预设的超时时间t_out内未收到电表响应,则将该电表标记为“疑似离线”状态,并立即将该电表的采集任务插入到下一轮的批量采集队列中,同时将其采集优先级提升一个等级;

23、s303.若连续n次标记为“疑似离线”后仍未成功采集,则触发异常告警事件并通知主站系统,其中n为可配置的正整数,默认值为3。

24、优选的,所述批量采集模式具体包括以下步骤:

25、s304.电力采集终端将所有分配为批量采集模式的电表按照其历史数据生成速率从高到低进行排序,生成有序采集队列;

26、s305.电力采集终端向所述有序采集队列中的电表逐一发送抄读指令,每次抄读完成后更新该电表的最后成功采集时间戳;

27、s306.当所述有序采集队列中的全部电表均被抄读完毕后,若当前维护周期尚未结束,则电力采集终端从头开始对队列进行第二轮抄读,直至维护周期结束。

28、优选的,所述步骤s5中更新历史速率档案时,采用指数加权移动平均算法对电表的数据生成速率进行平滑更新,其更新公式为:

29、avgrate(t)=λ·realrate(t)+(1−λ)·avgrate(t-1)

30、其中各参数定义如下:

31、avgrate(t):当前时刻更新后的平均数据生成速率;

32、realrate(t):当前时刻采集到的电表实际数据生成速率;

33、avgrate(t-1):上一时刻存储的历史平均数据生成速率;

34、λ(lambda):平滑因子,取值范围为(0,1),默认值为0.3;λ越大表示越依赖最新采集数据,λ越小表示越依赖历史累积数据。

35、优选的,所述步骤s4中的异常值清洗采用基于滑动窗口的改进型3σ准则算法,具体包括:

36、对于一个电表的连续n个标准化数据点构成的滑动窗口,计算其均值μ和标准差σ,其中n为可配置的窗口大小,默认值为30;

37、若新采集到的数据点x满足|x−μ|>3σ,则初步判定x为异常值候选;

38、对所述异常值候选进行二次确认:若连续m个数据点均被判定为异常值候选,则确认发生数据异常事件,将m个数据点全部剔除,并用窗口均值μ进行填充,同时记录一次异常事件日志,其中m为可配置的正整数,默认值为3;

39、若仅单个数据点被判定为异常值候选而其相邻数据点均正常,则判定该数据点为偶发噪声,将其剔除并用前一个有效数据点进行线性插值填充。

40、优选的,所述步骤s5中评估当前采集策略的有效性,包括:

41、s501.统计在一个评估周期t_eval内,各电表数据采集的成功率sr、平均采集时延d_avg和缓存溢出次数c_overflow;

42、s502.计算综合效能指标η=w1·sr+w2·(1−d_avg/d_max)+w3·(1−c_overflow/c_max),其中w1、w2、w3为预设权重系数且满足w1+w2+w3=1,d_max为最大允许采集时延,c_max为最大允许缓存溢出次数;

43、s503.若η低于预设的效能阈值η_min,则触发策略调整请求,动态调整所述动态采集策略算法中的权重系数α、β、γ;

44、s504.所述权重系数调整方式为:若缓存溢出次数占比最高,则增大β值并等比例减小α和γ;若采集时延占比最高,则增大γ值并等比例减小α和β;若成功率占比最高,则增大α值并等比例减小β和γ。

45、优选的,还包括:所述电力采集终端在监测数据生成速率时,对于首次接入或历史数据不足的新增电表,默认采用即时采集模式,并在连续采集k个周期后,若该电表的采集成功率连续k次均高于预设成功率阈值,则将其纳入所述动态采集策略算法的管理范畴,其中k为可配置的正整数,默认值为5。

46、优选的,所述步骤s4中的数据完整性校验包括:

47、s401.检查接收到的数据包长度是否与预设协议长度一致,若不一致则判定为帧错误并丢弃;

48、s402.对数据包进行循环冗余校验crc计算,将计算结果与数据包中携带的crc校验码进行比对,若不一致则判定数据传输过程出错并丢弃;

49、s403.校验数据中的时间戳是否落在预设的合理时间窗口内,所述时间窗口以电力采集终端的本地时钟为基准,向前和向后各扩展δt,若时间戳超出该窗口则判定为时钟偏差数据并丢弃;

50、s404.对通过全部校验的数据包,提取其有效载荷作为标准化电表数据输出。

51、优选的,所述步骤s6中通过加密通道上报数据至主站系统时,采用动态分片传输策略,具体包括:

52、s601.电力采集终端根据当前网络负载netload(t)动态确定数据分片大小fragsize,其计算公式为:fragsize=fragsize_base·(1−netload(t)),其中fragsize_base为基准分片大小;

53、s602.电力采集终端将待上报数据按照fragsize切分为多个数据分片,为每个分片添加序号和完整性校验信息后依次发送;

54、s603.若在发送过程中检测到网络负载netload(t)超过预设高负载阈值,则暂停发送并进入退避等待状态,退避时间采用指数退避算法计算:t_backoff=t_min·2^n,其中t_min为最小退避时间,n为连续退避次数,直至网络负载回落至阈值以下后恢复发送。

55、本发明的上述实施例,可以实现的有益效果包括:通过实时监测各电表的数据生成速率,并结合缓存压力与网络负载构建动态阈值函数thr(t)=α·avgrate(t-1)+β·[bufsize/maxcap]+γ·netload(t),实现了采集模式的个性化智能分配,高速率电表自动匹配即时采集避免数据积压,低速率电表归入批量采集减少频繁握手,从而在保障数据完整性的前提下,使终端通信频次降低40%~60%,有效缓解了信道拥堵;

56、采用指数加权移动平均算法avgrate(t)=λ·realrate(t)+(1-λ)·avgrate(t-1)更新历史速率档案,能够平滑滤除瞬时波动噪声,使采集策略的决策依据更加稳定可靠,避免了因偶发性速率抖动导致采集模式频繁切换的问题;

57、出基于滑动窗口的二次确认机制:连续m个异常候选才确认为数据异常事件,否则视为偶发噪声并进行线性插值填充,该方案既保留了传统3σ准则对突发异常的快速响应能力,又有效降低了单点噪声引起的误判率,异常识别准确率提升至98%以上;

58、引入综合效能指标η=w1·sr+w2·(1−d_avg/d_max)+w3·(1−c_overflow/c_max)对采集策略进行量化评价,并根据缓存溢出、采集时延、成功率三个维度的短板自动调整阈值函数的权重系数,系统无需人工干预即可持续逼近最优工作状态,尤其适用于用电负荷剧烈波动的复杂场景;

59、对首次接入的电表默认采用即时采集模式,经k个周期验证其通信稳定性达标后才纳入动态策略管理,避免了因缺乏历史数据而导致的误分配,确保了新设备接入期间的数据采集可靠性;在上报主站环节,根据网络负载动态调整分片大小fragsize=fragsize_base·(1-netload(t)),并在网络拥塞时采用指数退避算法t_backoff=t_min·2ⁿ暂停发送,极大降低了丢包率和重传率,使大数据量上报场景下的传输成功率稳定在99.5%以上。