车辆数据采集传输方法、电子设备和计算机程序产品与流程
本技术涉及车辆数据处理,具体而言,涉及一种车辆数据采集传输方法、电子设备和计算机程序产品。
背景技术:
1、随着汽车电子电气架构向域集中式和中央计算平台演进,现代智能网联汽车通常配备多个域控制器(如中央计算平台、智能驾驶域、智能座舱域及车联网域等)。这些域控制器在运行过程中会产生海量的非实时数据(如离线传感器数据、系统日志、多媒体文件等),需要采集并传输至云端以支持数据分析与模型迭代。
2、在现有技术中,针对此类非实时数据的采集与上传,通常由各个域控制器内部的业务应用或独立的采集模块各自分散实现。这种分散式的采集架构存在明显缺陷:一方面,各域控制器的数据采集逻辑与上传通道相互独立,导致跨域数据难以在车端进行协同处理与联合管理;另一方面,不同域控制器产生的数据类型繁多,其触发条件和后续处理方式差异显著,分散式架构需要为各类数据重复开发采集与处理逻辑,系统冗余度高。
技术实现思路
1、本技术实施例的目的在于提供一种车辆数据采集传输方法、电子设备和计算机程序产品,用以解决分散式采集架构下跨域数据难以协同管理、采集处理逻辑重复开发的问题。
2、第一方面,本技术提供一种车辆数据采集传输方法,该方法应用于车端分布式采集系统,分布式采集系统包括部署于中央域控制器的主节点和部署于其他域控制器的多个从节点,分布式采集系统配置有包含触发采集条件的数据采集策略和包含不同数据处理方式的数据处理流程,该数据采集策略和数据处理流程通过数据标识进行关联;该方法包括:响应于数据采集触发信息,创建采集事件实例;其中,采集事件实例包括至少一个目标数据标识以及关联的目标数据处理流程;根据至少一个目标数据标识,确定对应的至少一个目标从节点以及每个目标从节点对应的数据采集子任务;其中,每个数据采集子任务与对应的数据标识关联;通过主节点向至少一个目标从节点下发对应的数据采集子任务;其中,数据采集子任务用于控制至少一个目标从节点在本地执行数据采集子任务的文件读取操作,得到读取文件数据;通过主节点接收每个目标从节点返回的读取文件数据,并根据目标数据处理流程对读取文件数据进行数据处理,获得待回传数据。
3、本方案提供的车辆数据采集传输方法,通过部署于中央域控制器的主节点与部署于其他域控制器的从节点构成分布式采集系统,主节点响应数据采集触发信息创建采集事件实例,根据目标数据标识确定目标从节点及数据采集子任务并下发,从节点在本地执行文件读取操作,主节点接收返回的读取文件数据并按目标数据处理流程进行数据处理获得待回传数据,由此,本方案构建从触发感知、事件创建、跨域子任务分发到集中数据处理的完整分布式采集链路,实现跨域非实时数据的统一采集与协同管理,解决分散式架构下跨域数据难以协同处理的问题;通过数据标识将数据采集策略与数据处理流程关联,使不同类型数据的触发条件与处理方式可配置化,避免为各类数据重复开发采集与处理逻辑,降低系统冗余度。
4、在第一方面的可选实施方式中,响应于数据采集触发信息,创建采集事件实例,包括:接收业务应用发送的触发通知消息;其中,触发通知消息包括至少一个目标数据标识;根据至少一个目标数据标识,在预设策略库中检索匹配业务应用和至少一个目标数据标识对应的数据采集策略;其中,预设策略库预存有多个数据采集策略,每个数据采集策略与一业务应用以及数据标识关联;校验触发通知消息是否满足数据采集策略对应的触发采集条件;若校验通过,则创建采集事件实例,将提取的至少一个目标数据标识以及匹配到的对应版本的数据处理流程包含于采集事件实例中;若校验不通过,则丢弃触发通知消息。
5、本方案设计的上述实施方式,通过接收业务应用发送的触发通知消息,在预设策略库中检索匹配对应的数据采集策略并校验触发采集条件,校验通过后创建采集事件实例并包含目标数据标识及对应版本的数据处理流程,校验不通过则丢弃,由此,本方案实现基于业务应用主动触发的数据采集事件创建,策略库检索确保触发消息与采集策略的正确匹配,条件校验确保只有满足预设条件的触发才会创建采集事件,避免无效触发导致的资源浪费。
6、在第一方面的可选实施方式中,响应于数据采集触发信息,创建采集事件实例,包括:按配置的轮询周期,监测与业务应用约定的目录路径;当检测到目录路径下存在新文件时,判断新文件是否已完整落盘;若判定新文件已完整落盘,则将当前上下电周期记录为一次采集事件实例,将新文件的数据标识作为至少一个目标数据标识,并将至少一个目标数据标识以及对应版本的数据处理流程包含于采集事件实例中。
7、本方案设计的上述实施方式,通过按配置的轮询周期监测与业务应用约定的目录路径,在检测到新文件并判定完整落盘后将当前上下电周期记录为采集事件实例,由此,本方案实现基于目录轮询的被动式数据采集触发,无需业务应用主动发送触发消息,降低业务应用的改造成本,完整落盘判断确保只有完整写入的文件才会被采集。
8、在第一方面的可选实施方式中,其中,判断新文件是否已完整落盘的方式包括:若检测新文件被持有写文件锁,或,若连续预设次数轮询检测新文件的字节大小不再发生变化,或,若检测到与新文件对应的完工标记文件,或,若检测到新文件的后缀由临时后缀变更为正式后缀,则判定新文件已完整落盘。
9、本方案设计的上述实施方式,通过写文件锁检测、字节大小不变检测、完工标记文件检测和临时后缀变更检测四种方式判断新文件是否完整落盘,满足任一条件即判定为完整落盘,由此,本方案实现多维度的文件完整落盘判断,四种方式可独立或组合使用,适应不同业务应用的文件写入习惯,确保采集文件的完整性,避免读取不完整文件导致的数据损坏。
10、在第一方面的可选实施方式中,响应于数据采集触发信息,创建采集事件实例,包括:接收云端下发的拉取请求;其中,拉取请求包括至少一个目标数据标识、起始时间、结束时间和优先级;根据至少一个目标数据标识,检索本地文件元数据索引库,筛选至少一个目标数据标识对应的文件时间片段与起始时间和结束时间构成的时间范围存在交集的全部文件记录,得到匹配的本地文件路径集合;将拉取请求记录为一次采集事件实例,将提取的至少一个目标数据标识以及对应版本的数据处理流程包含于采集事件实例中,并将本地文件路径集合中的文件关联至采集事件实例。
11、本方案设计的上述实施方式,通过接收云端下发的包含目标数据标识、起始时间、结束时间和优先级的拉取请求,检索本地文件元数据索引库筛选文件时间片段与请求时间范围存在交集的文件记录,将拉取请求记录为采集事件实例并关联匹配文件,由此,本方案实现基于云端拉取的按需数据采集,云端可根据数据分析需求主动指定数据类型和时间范围拉取数据,提升数据采集的灵活性,本地文件元数据索引库的预筛选确保只采集与请求时间范围相关的文件,避免不必要的全量扫描和数据传输。
12、在第一方面的可选实施方式中,通过主节点向至少一个目标从节点下发对应的数据采集子任务,包括:通过主节点解析采集事件实例绑定的至少一个目标数据标识,获得每个目标数据标识归属的域控制器;通过域间通信协议,向对应的各个域控制器的目标从节点下发子任务指令,子任务指令用于控制目标从节点采集本域下匹配的文件集合;接收各个目标从节点通过域间通信协议回传的采集文件信息;将来自所有目标从节点返回的全部文件元数据绑定到采集事件实例下;其中,若某一目标从节点对应的文件读取失败,则记录该子项异常,其他目标从节点的读取过程与异常读取无关。
13、本方案设计的上述实施方式,通过主节点解析目标数据标识确定归属域控制器,经域间通信协议向各目标从节点下发子任务并接收回传,将全部文件元数据绑定到采集事件实例,单个从节点读取失败时记录子项异常且不影响其他从节点,由此,本方案实现跨域子任务的统一分发与异常隔离,主节点集中调度确保子任务下发的有序性,异常隔离机制确保单个从节点故障不会导致整个采集事件失败,提升分布式采集系统的鲁棒性。
14、在第一方面的可选实施方式中,其中,通过主节点根据目标数据处理流程对读取文件数据进行数据处理,获得待回传数据,包括:获取目标数据处理流程中脱敏阶段的执行模式;其中,脱敏阶段包括地理信息脱敏和个人信息脱敏,执行模式包括本地内置处理模式或外部域服务模式;若配置为本地内置处理模式,则通过本地进程对读取文件数据执行脱敏处理,获得待回传数据。
15、在第一方面的可选实施方式中,该方法还包括:若配置为外部域服务模式,则将读取文件数据通过域间通信接口调用外部域控制器的脱敏识别服务;接收外部域服务器返回的脱敏完成后的数据,获得待回传数据。
16、本方案设计的上述实施方式,通过数据处理流程中脱敏阶段支持本地内置处理模式和外部域服务模式两种执行模式,本地内置模式由主节点本地进程执行地理信息脱敏和个人信息脱敏,外部域服务模式通过域间通信接口调用外部域控制器的脱敏识别服务,由此,本方案实现脱敏处理的灵活执行模式配置,本地内置模式适用于简单脱敏场景以降低跨域通信开销,外部域服务模式适用于复杂脱敏场景以利用专用算力,两种模式的可配置性提升数据处理的适应性和效率。
17、在第一方面的可选实施方式中,在获得待回传数据之后,该方法还包括:按照预设的优先级调度策略和带宽管控机制,通过统一上传通道将待回传数据上传至云端。
18、在第一方面的可选实施方式中,按照预设的优先级调度策略和带宽管控机制,通过统一上传通道将处理完成的数据上传至云端,包括:通过主节点维护全局最大传输带宽阈值,基于流量控制算法限制单位时间内的上传数据总量;根据任务优先级为待回传数据的不同上传任务分配带宽配额,并基于实时网络带宽占用状态推迟非高优先级上传任务的发送时机;在将处理完成的数据执行上传前,查询本地已传记录库中的文件标识数据,若文件标识数据不存在,则执行上传,并在上传成功后将文件标识及元数据写入本地已传记录库。
19、在第一方面的可选实施方式中,该方法还包括:当存在高优先级上传任务触发抢占调度时,根据配置的任务打断策略处理当前正在传输的低优先级上传任务;其中,任务打断策略包括:在当前传输单元完成后切换至高优先级上传任务、在当前数据分片完成后暂停低优先级上传任务并记录传输进度以执行所优先级上传任务并在完成后基于传输进度恢复传输、或终止低优先级上传任务。
20、本方案设计的上述实施方式,通过主节点维护全局最大传输带宽阈值并基于流量控制算法限制上传总量,根据任务优先级分配带宽配额并基于实时带宽占用状态推迟非高优先级任务,上传前查询本地已传记录库进行去重,高优先级任务触发抢占时按三种任务打断策略处理低优先级任务,由此,本方案实现了统一上传通道下的优先级调度与带宽管控,确保高优先级数据的及时上传,带宽阈值限制避免上传对其他车联网业务的影响,去重机制避免重复上传浪费带宽,抢占策略确保紧急数据的优先传输。
21、在第一方面的可选实施方式中,该方法还包括:在本地数据库中记录每一个所述采集事件实例与对应的读取文件数据的处理状态;其中,处理状态包括处理阶段、阶段执行状态、错误码和重试次数;若处理阶段中的某一阶段执行失败,则采用预先配置的执行失败策略对执行失败的读取文件数据进行处理;其中,执行失败策略包括对执行失败的所述读取文件数据执行有限次数重试、或直接跳过当前读取文件数据并继续处理同一采集事件实例下的其他关联读取文件数据、或终止采集事件实例。
22、本方案设计的上述实施方式,通过在本地数据库记录每个采集事件实例与读取文件数据的处理阶段、阶段执行状态、错误码和重试次数,某一阶段执行失败时按配置的执行失败策略(有限次数重试、跳过当前文件或终止采集事件实例)处理,由此,本方案实现采集全链路的状态可追溯与失败容错处理,状态记录为问题排查和数据审计提供依据,三种执行失败策略的可配置性使系统能根据故障类型采取恰当的恢复措施,提升系统的可靠性和容错能力。
23、第二方面,本技术提供一种车辆数据采集传输装置,该装置应用于车端分布式采集系统,分布式采集系统包括部署于中央域控制器的主节点和部署于其他域控制器的多个从节点,分布式采集系统配置有包含触发采集条件的数据采集策略和包含不同数据处理方式的数据处理流程,数据采集策略和数据处理流程通过数据标识进行关联,该装置包括:响应创建模块、确定模块、下发模块以及返回处理模块,该响应创建模块用于响应于数据采集触发信息,创建采集事件实例;其中,采集事件实例包括至少一个目标数据标识以及关联的目标数据处理流程;该确定模块用于根据至少一个目标数据标识,确定对应的至少一个目标从节点以及每个目标从节点对应的数据采集子任务;其中,每个数据采集子任务与对应的数据标识关联;该下发模块用于通过主节点向至少一个目标从节点下发对应的数据采集子任务;其中,数据采集子任务用于控制至少一个目标从节点在本地执行数据采集子任务的文件读取操作,得到读取文件数据;该返回处理模块用于通过主节点接收每个目标从节点返回的读取文件数据,并根据目标数据处理流程对读取文件数据进行数据处理,获得待回传数据。
24、本方案提供的车辆数据采集传输装置,通过部署于中央域控制器的主节点与部署于其他域控制器的从节点构成分布式采集系统,主节点响应数据采集触发信息创建采集事件实例,根据目标数据标识确定目标从节点及数据采集子任务并下发,从节点在本地执行文件读取操作,主节点接收返回的读取文件数据并按目标数据处理流程进行数据处理获得待回传数据,由此,本方案构建从触发感知、事件创建、跨域子任务分发到集中数据处理的完整分布式采集链路,实现跨域非实时数据的统一采集与协同管理,解决分散式架构下跨域数据难以协同处理的问题;通过数据标识将数据采集策略与数据处理流程关联,使不同类型数据的触发条件与处理方式可配置化,避免为各类数据重复开发采集与处理逻辑,降低系统冗余度。
25、第三方面,本发明提供一种电子设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时执行第一方面、第一方面中任一可选实施方式所述的方法。
26、第四方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时执行第一方面、第一方面中任一可选实施方式所述的方法。
27、第五方面,本发明提供一种计算机程序产品,包括计算机程序/指令,所述计算机程序/指令被处理器执行时执行第一方面、第一方面中任一可选实施方式所述的方法。
28、上述说明仅是本技术技术方案的概述,为了能够更清楚了解本技术的技术手段,而可依照说明书的内容予以实施,并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂,以下特举本技术的具体实施方式。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com