一种面向异构充电设备的数据统一接入与处理方法及系统与流程
本申请涉及工业数据加工,具体涉及一种面向异构充电设备的数据统一接入与处理方法及系统。
背景技术:
1、充电基础设施作为新能源汽车产业的关键支撑,其运营管理水平直接影响用户充电体验和电网调度效率。当前充电市场呈现高度分散的特点,不同充电设备制造商基于自身技术路线开发了私有通信协议和数据格式,导致运营平台在设备接入和数据处理环节面临严峻挑战。现有接入方案大多采用针对特定协议的硬编码解析逻辑,这种方式在面对新品牌设备时需要重新开发适配代码,开发周期长且维护成本高,难以满足市场快速扩张的需求。
2、更深层的问题在于,异构设备上报的原始数据在字段命名、数值单位和状态定义上存在显著差异。例如同样表示充电功率,a品牌设备以瓦特为单位上报整数值,b品牌设备则以千瓦为单位上报带两位小数的浮点数,而c品牌设备可能将功率拆分为电压和电流两个独立字段。这种数据层面的语义割裂导致运营系统无法直接对多源数据进行统计分析和横向比对。当平台需要实时监控全站充电负荷或计算设备利用率时,必须针对每种设备编写专门的数据转换逻辑,系统复杂度随接入设备类型呈指数级增长。
3、更为棘手的是,设备在实际运行中频繁出现数据缺失、数值越界或状态跳变异常等情况。某个充电桩可能因为通信干扰导致功率字段为空,另一台设备可能因传感器故障上报负数电量,还有设备会在正常充电过程中突然上报离线状态。这些异常数据若不经过识别和处理直接进入业务系统,会引发计费错误、告警误报和统计失真等连锁问题。
4、所述背景技术部分公开的上述信息仅用于加强对本申请的背景的理解,因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
1、有鉴于此,本申请提供一种面向异构充电设备的数据统一接入与处理方法及系统,在保证设备快速接入的同时,实现异构数据的语义统一和质量管控,确保运营平台获得可靠一致的数据支撑。
2、第一方面,本申请的实施例提供了一种面向异构充电设备的数据统一接入与处理方法,该方法包括:
3、获取充电设备私有协议上报的原始数据包;
4、按字节级解析规则对所述原始数据包进行字段边界识别与类型转换,提取含设备标识码与运行参数的结构化数据,若字段长度不匹配则补零填充,得到第一数据集;
5、按字段语义映射表对所述第一数据集中运行参数单位换算,得到第二数据集,并对所述第二数据集中时间序列数据空值检测与填充,得到第三数据集;
6、通过孤立森林算法对所述第三数据集中运行参数构建多维特征空间投影,计算各数据点在随机分割树中的平均路径长度确定异常分数,若异常分数超过基于局部邻域稀疏度动态调整的阈值,则标记越界数值并记录设备标识码与时间戳;
7、获取同一设备在所述时间戳前的历史运行参数序列,计算分位数区间作为正常置信范围,以正常置信范围内数值替换越界数值,得到第四数据集;
8、获取各设备当前时刻前连续预设数量采样周期的运行状态序列,通过随机森林算法分配特征权重并构建状态转移概率矩阵,计算当前状态与预期状态的跳变幅度,若超过动态阈值则以历史众数状态修正当前状态,得到第五数据集;
9、按设备类型对所述第五数据集中功率字段分组求和,若某类型功率总和超过额定容量总和,则回溯异常放大数据点并以历史平均功率修正,得到全站充电负荷数据。
10、第二方面,本申请的实施例提供了一种面向异构充电设备的数据统一接入与处理系统,该系统包括:
11、第一获取模块,用于获取充电设备私有协议上报的原始数据包;
12、解析模块,用于按字节级解析规则对原始数据包进行字段边界识别与类型转换,提取含设备标识码与运行参数的结构化数据;
13、填充模块,用于在字段长度不匹配时补零填充,得第一数据集;
14、换算模块,用于按字段语义映射表对运行参数单位换算,得第二数据集;
15、空值处理模块,用于对第二数据集中时间序列数据空值检测与填充,得第三数据集;
16、异常检测模块,用于通过孤立森林算法对第三数据集中运行参数构建多维特征空间投影,计算各数据点在随机分割树中的平均路径长度确定异常分数;
17、标记模块,用于在异常分数超过基于局部邻域稀疏度动态调整的阈值时标记越界数值并记录设备标识码与时间戳;
18、第一修正模块,用于获取同一设备在所述时间戳前的历史运行参数序列,计算分位数区间作为正常置信范围,以置信范围内数值替换越界数值,得第四数据集;
19、状态校验模块,用于获取各设备当前时刻前连续预设数量采样周期的运行状态序列,通过随机森林算法分配特征权重并构建状态转移概率矩阵,计算当前状态与预期状态的跳变幅度;
20、第二修正模块,用于在跳变幅度超过动态阈值时以历史众数状态修正当前状态,得第五数据集;
21、负荷统计模块,用于按设备类型对第五数据集中功率字段分组求和,得充电负荷分项数据;
22、第三修正模块,用于在功率总和超过额定容量总和时回溯异常放大数据点并以历史平均功率修正,得全站充电负荷数据。
23、本申请实施例提供了一种面向异构充电设备的数据统一接入与处理方法及系统。通过字节级协议解析规则实现异构充电设备私有协议数据的统一接入与结构化提取,当字段长度不匹配时采用补零策略保证数据完整性;通过字段语义映射表实现不同设备数据格式的单位换算与语义统一;通过线性插值与历史均值替代相结合的方式对时间序列空值进行填充,保证数据的时间连续性;通过孤立森林算法构建多维特征空间进行异常检测,结合分位数置信区间对越界数值进行历史修正,实现了数值异常的精准识别与合理修复;通过随机森林算法对设备状态时序窗口进行跳变检测与众数修正,确保状态数据的一致性;通过物理约束校验与历史平均功率二次修正机制消除数据异常放大对全站负荷计算的影响,并进一步通过时间序列聚合和关联分析生成运营分析报告。实现了从原始私有协议数据包到标准化运营分析数据的全流程自动化处理,有效解决了充电设施运营中数据质量低下导致的负荷统计失准问题,为运营平台提供高质量的负荷峰谷分析与设备利用率评估数据支撑。
1.一种面向异构充电设备的数据统一接入与处理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述空值检测与填充包括:提取相邻时间戳间的功率采样点,若缺失则线性插值填充;若连续预设数量个时间戳功率值为空,则以该设备在空值区间前预设时段内的历史功率均值整体替换。
3.根据权利要求1所述的方法,其特征在于,所述所述通过孤立森林算法对所述第三数据集中运行参数构建多维特征空间投影,计算各数据点在随机分割树中的平均路径长度确定异常分数,包括:从第三数据集中提取功率值和温度值构建多维特征空间投影;在所述空间投影中生成预设数量的随机分割树对数据进行空间划分;计算各数据点的平均路径长度并代入得分函数得到异常分数。
4.根据权利要求1所述的方法,其特征在于,所述以正常置信范围内数值替换越界数值,包括:以四分位数算法计算历史序列的第一四分位数和第三四分位数,结合四分位距确定正常置信范围;若历史序列中存在落入该范围的数值则作为替换值覆盖,否则保留原值并标记待审核。
5.根据权利要求1所述的方法,其特征在于,所述计算当前状态与预期状态的跳变幅度,包括:将运行状态序列输入随机森林模型,以基尼不纯度减少量为各采样周期分配权重并统计状态转换频次构建状态转移概率矩阵;通过多树投票预测预期状态并计算置信度;将实际状态与预期状态映射为数值并计算差值绝对值作为跳变幅度。
6.根据权利要求1所述的方法,其特征在于,将分组求和结果与额定容量总和比对,若超出则判定对应设备类型存在异常;以标准分数算法扫描定位所述设备类型中功率异常放大的数据点;提取所述数据点对应设备的历史功率序列并计算均值替换修正,重新计算所述设备类型的功率总和后输出全站负荷数据。
7.根据权利要求1所述的方法,其特征在于,获得全站充电负荷数据之后还包括:按预设时间粒度对全站充电负荷数据降采样;根据各时间区间负荷值判定峰段区间和谷段区间;计算设备利用率并以聚类算法确定高利用率设备簇与低利用率设备簇;对比高利用率设备簇在峰段与谷段的数量差异获得关联度,若超过预设阈值则判定存在强关联关系并输出分析结果。
8.根据权利要求1所述的方法,其特征在于,所述按字节级解析规则对所述原始数据包进行字段边界识别与类型转换,包括:根据设备型号从协议规则库加载对应的字节级解析规则,所述规则定义了各字段的起始字节位置、字节长度、字节序及数据类型;逐字节扫描识别字段边界,提取字节序列并按数据类型转换为数值或字符。
9.根据权利要求1所述的方法,其特征在于,所述运行参数包括电压值和电流值,所述单位换算包括:识别电压字段和电流字段的原始单位标识,查找对应目标标准单位换算,并根据换算后的电压值和电流值计算瞬时功率值,封装为第二数据集。
10.一种面向异构充电设备的数据统一接入与处理系统,其特征在于,包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com