TBOX上报数据的GB32960协议动态配置解析方法及系统与流程
本技术涉及车联网数据处理,尤其涉及一种tbox(telematics box,车载终端)上报数据的gb32960协议动态配置解析方法及系统。
背景技术:
1、gb/t 32960《电动汽车远程服务与管理系统技术规范》是国家针对新能源汽车远程监控制定的标准协议,其中规定了车载终端与公共平台、企业平台之间的通信协议、数据格式及传输要求。根据该标准,tbox通过移动通信网络将车辆运行数据实时上报至企业平台,上报报文包含起始符、命令单元、车辆识别代号(vin)、数据单元长度、数据单元及校验码等字段。数据单元中可包含整车数据、驱动电机数据、动力蓄电池数据等多种信息类型。
2、随着新能源汽车型号、电池类型、传感器种类以及企业自定义业务需求的快速增长,tbox上报的数据字段呈现出多样化、版本迭代频繁的特点。不同车型、不同批次车辆可能采用不同协议版本,且企业往往需要在国家标准的基础上扩展自定义数据字段。
3、现有技术中,针对gb32960协议的解析通常采用硬编码方式,即针对每一种报文类型、每一个字段都编写对应的java或c++解析类。这种方式存在以下一些缺陷:
4、第一,扩展性差。当国家标准更新或企业新增自定义字段时,需要修改源代码、重新编译并发布程序,无法快速响应协议变更。
5、第二,维护成本高。不同车型、不同批次车辆可能采用不同的协议版本,硬编码方式会导致版本管理混乱,难以实现单车级的协议版本动态匹配。
6、第三,解析与业务耦合。解析结果通常以固定结构输出,难以灵活地分发到不同的存储或告警通道,导致存储、统计、告警等业务与解析逻辑强绑定。
7、第四,分包数据重组困难。对于电池单体电压、温度等大数据量字段,gb32960协议通常采用分包传输,传统解析方式难以高效地进行跨帧合并,容易造成数据丢失或不完整。
8、因此,亟需一种能够实现gb32960协议动态配置解析、版本路由、分包合并与多通道输出的技术方案。
技术实现思路
1、本技术旨在解决现有技术中gb32960协议解析扩展性差、版本管理困难、解析与业务耦合、分包数据难以合并的技术问题。
2、为实现上述目的,本技术采用了如下技术方案。
3、第一方面,本技术实施例提供了一种tbox上报数据的gb32960协议动态配置解析方法,包括:
4、获取电动汽车tbox上报的原始报文;所述原始报文至少包含车辆识别代号、消息标识以及协议数据体;
5、以所述车辆识别代号为索引,从协议版本缓存中检索与当前车辆对应的目标协议版本,并根据所述目标协议版本及所述消息标识,从预构建的元数据节点树中提取对应的元数据节点序列;其中,所述元数据节点树由协议描述文件解析得到,所述元数据节点序列中的每个元数据节点至少包含字段类型、字段长度、数据格式、语义分组以及解析行为标志位;
6、以所述协议数据体作为字节输入流,按照所述元数据节点序列中各节点的排列顺序,依据各节点中解析行为标志位所指示的解析策略,驱动状态机对所述字节输入流进行逐字段递归解析,生成包含各字段解析值及其对应语义分组标记的解析结果集;
7、在所述逐字段递归解析的过程中,当检测到当前元数据节点属于跨帧分包数据类型时,以所述车辆识别代号、所述消息标识及采集时间组合构建缓存键,将当前已解析的部分数据存入分包缓存,并将解析状态挂起;
8、当后续报文到达且其缓存键与所述分包缓存中已存在的缓存键匹配时,将后续报文解析得到的数据与所述分包缓存中的部分数据进行合并,直至判定分包数据完整后,将合并后的完整数据写入所述解析结果集并释放所述缓存键对应的缓存资源;
9、根据各字段的语义分组标记,将所述解析结果集划分为多个数据分组,分别输出至与各语义分组对应的下游数据通道。
10、进一步地,所述以所述车辆识别代号为索引,从协议版本缓存中检索与当前车辆对应的目标协议版本,具体包括:
11、以所述车辆识别代号为第一索引,查询本地进程内缓存,若所述本地进程内缓存中存在对应的协议版本,则直接以该协议版本作为所述目标协议版本并返回;
12、若所述本地进程内缓存中不存在对应的协议版本,则以所述车辆识别代号为第二索引,查询远程分布式缓存,若所述远程分布式缓存中存在对应的协议版本,则将该协议版本写入所述本地进程内缓存后作为所述目标协议版本返回;
13、若所述远程分布式缓存中亦不存在对应的协议版本,则将预设的默认协议版本作为所述目标协议版本;
14、所述动态配置解析方法还包括:当所述远程分布式缓存中的协议版本发生更新时,通过缓存失效广播机制使所述本地进程内缓存中对应的协议版本失效,以使后续报文触发重新从所述远程分布式缓存获取更新后的协议版本。
15、进一步地,所述以所述车辆识别代号、所述消息标识及采集时间组合构建缓存键,将当前已解析的部分数据存入分包缓存,并将解析状态挂起,具体包括:
16、当检测到当前元数据节点的解析行为标志位指示该字段为分包数据时,从所述字节输入流中读取分包序号和分包总数;
17、当所述分包序号指示当前报文为非首包时,以所述车辆识别代号、所述消息标识及采集时间的组合值作为缓存键,查询所述分包缓存中是否已存在同一缓存键对应的部分解析上下文;
18、若存在,则在所述部分解析上下文中按所述分包序号所指示的位置写入当前报文解析得到的字段值,并更新已收分包位图;
19、若不存在,则创建新的解析上下文存入所述分包缓存;所述解析上下文至少包含已解析的部分数据、已收分包位图及最近访问时间戳;
20、所述判定分包数据完整,包括:当所述已收分包位图中标记为已接收的分包数量达到所述分包总数时,判定分包数据完整。
21、进一步地,所述元数据节点树由协议描述文件解析得到,具体包括:
22、获取json格式的协议描述文件,所述协议描述文件中以层级嵌套的json对象结构描述gb32960标准协议数据单元及企业自定义扩展数据单元;
23、对所述json对象进行递归遍历,将每个json对象节点映射为一个元数据节点,并依据所述json对象之间的父子层级关系构建元数据节点树;其中,每个元数据节点除包含字段类型、字段长度、数据格式、语义分组及解析行为标志位外,还包含子节点引用列表,以表示协议字段的嵌套结构;
24、将所述元数据节点树以版本号为第一级索引、以消息标识为第二级索引,组织为内存中的双重索引结构,以支持常数阶时间复杂度的节点序列检索。
25、进一步地,所述依据各节点中解析行为标志位所指示的解析策略,驱动状态机对所述字节输入流进行逐字段递归解析,具体包括:
26、所述状态机的维护至少包含当前解析位置指针和循环深度栈的解析上下文;
27、当当前元数据节点的解析行为标志位为循环计数时,读取所述字节输入流中当前位置的数值作为循环次数,将所述循环次数压入所述循环深度栈,并记录循环体的起始位置和终止位置,随后跳转至循环体的第一个子节点进行递归解析;
28、当当前元数据节点的解析行为标志位为循环结束时,从所述循环深度栈中弹出顶部循环次数,并将所述字节输入流的当前解析位置指针跳转至所述循环体的终止位置之后;
29、当当前元数据节点的解析行为标志位为长度前缀时,读取所述字节输入流中当前位置的数值作为数据体长度,根据所述数据体长度从所述字节输入流中截取对应长度的字节子序列,并启动子解析器对所述字节子序列进行独立解析;
30、当当前元数据节点的解析行为标志位为剩余字节时,读取所述字节输入流中从当前解析位置指针至末尾的全部剩余字节。
31、进一步地,还包括异常处理机制,具体包括:
32、在所述逐字段递归解析的过程中,当检测到以下异常情形中的至少一种时,触发异常处理流程:
33、当前解析位置指针超出所述字节输入流的长度范围;
34、当前元数据节点要求的字段长度超过所述字节输入流的剩余长度;
35、当前元数据节点要求的数据格式与所述字节输入流中实际字节序列的取值不匹配;
36、分包缓存的等待时间超过预设超时阈值;
37、所述异常处理流程具体包括:记录包含报文原始数据、异常类型及当前解析位置的异常日志,将所述报文标记为解析失败状态并输出至异常主题,跳过当前报文的后续解析,并释放当前报文的解析上下文资源。
38、进一步地,所述根据各字段的语义分组标记,将所述解析结果集划分为多个数据分组,具体包括:
39、将所述解析结果集中的字段按照所述语义分组标记聚合为以下分组中的至少一种:车辆动态数据分组、驱动电机数据分组、电池单体数据分组、故障码数据分组;
40、所述车辆动态数据分组至少包含车速、累计里程、总电压、总电流、剩余电量及车辆状态字段;
41、所述驱动电机数据分组至少包含驱动电机转速、驱动电机转矩及驱动电机温度字段;
42、所述电池单体数据分组至少包含电池单体电压及电池单体温度字段;
43、所述故障码数据分组至少包含故障码编号及故障发生时间字段;
44、各分组以键值对集合的形式独立输出,其中同一分组内的所有字段在输出时被打包为一个紧凑的字节数组或avro记录,以减小网络传输开销。
45、进一步地,所述分别输出至与各语义分组对应的下游数据通道,具体包括:
46、在流式计算框架中,以所述车辆识别代号为键,对包含所述解析结果集的报文流进行按键分区,使同一车辆的全部报文按时间顺序依次被分配至同一计算实例进行处理;
47、从按键分区后的主输出流中,通过侧输出机制将登录登出类报文分流至登录登出处理通道,将驾驶事件类报文分流至驾驶事件处理通道,将实时告警类报文分流至告警推送通道;
48、对所述主输出流中经侧输出分流后剩余的常规数据报文,依据各字段的语义分组标记进行过滤分流,将不同语义分组的数据分别写入对应的分布式存储表或消息队列主题。
49、第二方面,本技术实施例提供了一种能够实现前述任一项所述的动态配置解析方法的系统,包括:
50、报文接收模块,用于获取电动汽车tbox上报的原始报文;所述原始报文至少包含车辆识别代号、消息标识以及协议数据体;
51、版本路由模块,用于以所述车辆识别代号为索引,从协议版本缓存中检索与当前车辆对应的目标协议版本;
52、元数据管理模块,用于存储预构建的元数据节点树,并根据所述目标协议版本及所述消息标识,从所述元数据节点树中提取对应的元数据节点序列;其中,所述元数据节点序列中的每个元数据节点至少包含字段类型、字段长度、数据格式、语义分组以及解析行为标志位;
53、动态解析模块,用于以所述协议数据体作为字节输入流,按照所述元数据节点序列中各节点的排列顺序,依据各节点中解析行为标志位所指示的解析策略,驱动状态机对所述字节输入流进行逐字段递归解析,生成包含各字段解析值及其对应语义分组标记的解析结果集;
54、分包合并模块,用于在所述动态解析模块检测到当前元数据节点属于跨帧分包数据类型时,以所述车辆识别代号、所述消息标识及采集时间组合构建缓存键,将当前已解析的部分数据存入分包缓存,并将解析状态挂起;以及,当后续报文到达且其缓存键与所述分包缓存中已存在的缓存键匹配时,将后续报文解析得到的数据与所述分包缓存中的部分数据进行合并,直至判定分包数据完整后,将合并后的完整数据写入所述解析结果集并释放所述缓存键对应的缓存资源;
55、分组输出模块,用于根据各字段的语义分组标记,将所述解析结果集划分为多个数据分组,分别输出至与各语义分组对应的下游数据通道。
56、第三方面,本技术实施例提供了一种电子设备,包括:一个或多个处理器;
57、存储器,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器能够实现前述任一项所述的动态配置解析方法中的步骤。
58、第四方面,本技术实施例提供了一种计算机可读介质,所述计算机可读介质上存储有计算机程序,所述计算机程序被处理器执行时能够实现前述任一项所述的动态配置解析方法中的步骤。
59、本技术公开了一种tbox上报数据的gb32960协议动态配置解析方法及系统。该方法以车辆识别代号为索引进行协议版本路由,从预构建的元数据节点树中提取对应的元数据节点序列;以协议数据体为字节输入流,依据元数据节点中的解析行为标志位驱动状态机进行逐字段递归解析;针对跨帧分包数据,以vin、消息标识及采集时间构建缓存键进行分包缓存与合并;最后按语义分组将解析结果输出至不同下游通道。本技术实现了协议字段的免编码配置化扩展和单车级协议版本动态匹配,通过标志位驱动的通用解析状态机覆盖了嵌套循环、变长字段等复杂协议场景,通过分包缓存与合并机制保证了跨帧数据的完整性,显著提升了新能源汽车tbox数据接入的灵活性、可维护性和实时性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com