一种车辆内存档案负载均衡及高可用的方法及系统与流程

技术特征：
1.一种车辆内存档案负载均衡及高可用的方法，其特征在于，包括步骤：a.基于zookeeper分布式应用程序协调服务，服务启动后通过kafka消息系统的订阅方式，将车辆信息的相关数据在本地进行缓存并通过数据库更新，并在存储介质中建立相应数据结构的存储空间；b.从所述存储空间中读取车辆的数据，至少包括车辆抓拍记录id、抓拍车辆信息的设备id、根据车牌号和车牌颜色生成的车辆标识id；c.根据存储介质中缓存的车辆轨迹信息，将所述车辆轨迹信息中的车辆标识id加入待计算缓存队列，更新lru缓存；d.系统的高可用策略准备：在进行基于zookeeper分布式应用程序协调服务的高可用方案时，包括有master节点和standby节点，其中master节点负责计算和存储的任务，standby节点负责监听master节点，当master节点发生故障的时候，其计算和存储的任务则由standby节点接管；e.执行高可用策略：部署master节点和standby节点，在zookeeper服务中创建一个临时节点/info
‑
nodeid，如果创建成功该临时节点则为master节点，如果发现zookeeper服务中已经存在节点/info
‑
nodeid，则该临时节点为standby节点；f.当启动多个master节点来处理数据时，一个抓拍车辆信息的设备id产生的数据只能由同一个master节点来处理，处理时采用hash算法对一个设备id取模，使一个master节点只会对应缓存该设备id产生的数据，然后将该设备id产生的数据加入到步骤c所述待计算缓存队列中，并且服务内部采用通过转发代理机制将客户端的请求转发到对应的master节点来获取数据，从而实现负载均衡。2.根据权利要求1所述的一种车辆内存档案负载均衡及高可用的方法，其特征在于，步骤a中所述车辆信息的相关数据至少包括：待计算车辆数据、抓拍车辆信息的设备数据、车辆轨迹信息、标签及关系数据、lru数据、时间标签规则和计算规则的数据。3.根据权利要求1所述的一种车辆内存档案负载均衡及高可用的方法，其特征在于，步骤b中所述车辆的数据，还包括车牌号和车牌颜色。4.根据权利要求1所述的一种车辆内存档案负载均衡及高可用的方法，其特征在于，步骤c中，先通过处理器判断在存储介质中是否已建立车辆轨迹信息缓存的存储空间，以及该存储空间中是否缓存有车辆轨迹信息，如果存在车辆轨迹信息，则通过抓拍设备的设备id，进而获得该设备id对应的映射id；如果不存在车辆轨迹信息，且抓拍车辆中车辆标识id的调用次数超过设定的阈值，则根据所述车辆标识id查询数据库中对应的车辆轨迹数据，将该车辆轨迹信息加入到车辆轨迹信息缓存中缓存；最后再将所述车辆轨迹信息中的车辆标识id加入待计算缓存队列，更新lru缓存。5.根据权利要求1所述的一种车辆内存档案负载均衡及高可用的方法，其特征在于，在步骤e部署master节点和standby节点时，先分别在m台服务器上分别启动一个节点，让这些节点先注册抢占成为一个master节点，然后再在所述m台服务器中选择的n个服务器上分别启动一个节点并注册为standby节点，以防止在同一台服务器上运行多个master节点，其中m≥n。6.用于权利要求1至5之一所述方法的一种车辆内存档案负载均衡及高可用的系统，其特征在于，包括计算层、缓存层、消费层、kafka消息系统、定时任务层和外部服务层，其中，
所述计算层包括：活动规律计算模块：用于调用时实计算模块，计算车辆活动数据、抓拍方向轨迹和车辆出行规律；标签计算模块：通过标签计算逻辑，计算更新标签缓存并同时更新相应的数据库；关系计算模块：用于计算与设备相关的数据，更新对应的缓存和数据库；所述缓存层包括：待计算车辆缓存队列：通过此队列实现异步计算标签，不阻塞消费流程，通过一个set维护一个channel，保证每个channel中的数据不重复，保证在计算能力不够时，积压的车辆数据不会重复计算多次；设备id信息缓存模块：用于存储设备id与映射id的关系，计算时根据映射id获取车辆的对应信息；车辆轨迹信息缓存模块：存储车辆标识id、车辆标识号、车辆id和设备id分别对应的映射id，用于计算时使用；标签及关系缓存模块：用于存储车辆时空标签和部分关系数据；lru缓存模块：用于配置内存的缓存长度，控制内存中车辆数量保证最近有调用的车辆标识id始终存在于内存中；时间标签规则缓存：用于存储时间标签的计算规则，用来计算时间信息；计算规则缓存模块：用于存储计算标签/关系规则；所述消费层包括：提图消费模块：包含基本信息统计数据；设备id信息同步模块：用于抓拍设备的变更消息，并更新内存中设备id信息缓存，或者调用设备服务主动获取设备id信息；所述定时任务层包括：时间标签配置同步任务模块：通过主动调用标签服务接口和获取时间标签配置，用于计算时间标签时使用，避免频繁调用标签服务获取标签；同步计算规则任务模块：在计算标签时，从数据库中查询规则配置表，刷新内存中的配置项；所述外部服务层包括：设备服务模块：为消费层中的设备i d信息同步模块提供服务；标签服务模块：为定时任务层中的时间标签配置同步任务模块提供服务。

技术总结
本发明公开了一种车辆内存档案负载均衡及高可用的方法及系统，利用Master节点和StandBy节点的接替机制，Master节点负责计算和存储的任务，StandBy节点负责监听Master节点，当Master节点发生故障的时候，其计算和存储的任务则由StandBy节点接管。本发明的车辆内存档案负载均衡及高可用的方法及系统，通过在本地内存中实现了大量的缓存，避免了频繁的创建和销毁对象，减少了网络调用，通过zookeeper实现的高可用和负载均衡架构减少了人为干预并提升了系统的可用性。人为干预并提升了系统的可用性。人为干预并提升了系统的可用性。


技术研发人员：朱金涛
受保护的技术使用者：北京臻观数智科技有限公司
技术研发日：2021.09.01
技术公布日：2021/12/13