旅客行李智能服务系统的制作方法

1.本发明涉及图像处理领域，更具体地，涉及一种旅客行李智能服务系统。


背景技术：

2.如今，人们乘坐铁路尤其是高铁出行已经是一种高效便捷，让人习以为常的一种出行方式，尤其是碰上假期如国庆、春运等，通过铁路出行的人流量将迎来一个高峰。为了构建铁路智能化体系，需要针对乘客行李的智能服务，为旅客提供一个安全、舒心的乘车环境与乘车体验。
3.经过多年的技术发展，基于深度学习的人工智能具有不惧繁重、重复工作以及识别精准的特点，能够在一定程度上将人们从重复性工作中解放出来。得益于深度学习的这些特点，相信乘务人员能够在深度学习技术的帮助下，在提供行李服务时更加轻松，从而能够为旅客提供更为人性化的服务，继而多方面改善乘客的乘车体验。


技术实现要素：

4.为了解决上述问题，本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的旅客行李智能服务系统，将大型处理过程进行模块化分解，使得细分模块功能明确而单一，提高模块可复用性，在模块化分解的基础上，增加模块配置项，提高模块的灵活性，灵活的细分模块通过组合构成整体业务逻辑。
5.本发明实施例提供了一种旅客行李智能服务系统，该系统包括：消息队列层、存储层、用户界面ui层、接口层和服务层；所述消息队列层用于所述系统中各个组件与模块之间的信息通信；所述存储层用于存储结构化数据和非结构化数据；所述用户界面ui层用于展现所述系统的主要功能与服务；所述接口层用于针对功能和业务进行细分以及功能的扩展；所述服务层用于执行视频分析流程。
6.优选的，所述用户界面ui层具体用于展示网络摄像头设备管理、用户人员管理、视频通道管理、实时监控查看以及信息查询的用户与系统进行交互的界面。
7.优选的，所述接口层包括算法功能管理接口、用户管理接口和设备管理接口；
8.所述算法功能管理接口用于根据预设管理规则管理算法模块；
9.所述用户管理接口用于管理人脸识别相关业务的人员信息，所述人员信息包括人员的姓名、人脸id、车票id或者工作id以及联系方式；
10.所述设备管理接口用于管理ipc设备的信息。
11.优选的，所述存储层用于存储结构化数据、非结构化数据以及特征向量数据；
12.所述结构化数据包括摄像头基本信息、乘客/列车工作人员基本信息、车厢和座位信息；
13.所述非结构化数据包括图像和视频数据；
14.所述特征向量数据包括人脸特征数据、人体特征数据和/或行李特征数据。
15.优选的，所述结构化数据采用基于mysql的结构化信息存储与查询；所述非结构化
数据采用基于seaweedfs的非结构化信息存储；所述特征向量数据采用基于milvus的特征向量搜索。
16.优选的，所述消息队列层中，由zookeeper服务发现以及由kafka管理消息。
17.优选的，所述服务层包括算法推理模块、视频服务模块、数据存储/查询模块。
18.优选的，所述视频服务模块包括如下子模块：协议适配模块、取流解码模块以及图片流模块；
19.所述协议适配模块用于负责适配各种不同的传输协议；
20.所述取流解码模块用于通过所述协议适配模块获取码流、解码并按设置抽帧；
21.所述图片流模块用于对接人脸抓拍机设备，获得图片流并按设置抽帧。
22.优选的，所述系统的算法流程如下：
23.获取通道对应的视频源信息，向抽帧服务订阅数据；
24.从消息队列获取视频帧，对视频帧进行预处理，调用基础算法服务，得到视频分析元信息；
25.对元信息调用ai判定获得视频分析事件；
26.通过消息队列向上层发送视频分析事件调用算法服务。
27.优选的，所述向上层发送视频分析事件调用算法服务，包括：
28.任务管理将接口调用过程转换成算法分析任务，并将任务追加到任务队列；
29.空闲任务处理线程从任务队列获取一个待处理任务；
30.根据任务类型调用底层对应的模型进行算法处理；
31.处理得到的元信息交由上层ai判定模块处理获得视频分析事件。
32.本发明实施例提供的旅客行李智能服务系统，与现有技术相比，至少具有如下有益效果：在模块化分解的基础上，增加模块配置项，提高模块的灵活性，灵活的细分模块通过组合构成整体业务逻辑；引入ai技能的概念，ai技能是由算法模型与规则来定义，有限的算法模型与不同的规则可以组合得到多种不同的ai技能，从而满足不同情况下的应用。
附图说明
33.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
34.图1是本发明实施例提供的旅客行李智能服务系统的模块设计图；
35.图2是本发明实施例提供的旅客行李智能服务系统的总体架构图；
36.图3是本发明实施例提供的集群架构图；
37.图4是本发明实施例提供的视频服务模块的流程图；
38.图5是本发明实施例提供的执行ai算法服务的示意图。
具体实施方式
39.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明
一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
40.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
41.本发明实施例基于深度学习技术，提供了一种旅客行李智能服务系统，如图1所示，该系统主要分为两个阶段模块配置阶段和模块执行阶段，模块配置将系统需要用到的服务根据功能进行解耦，从而可以根据不同的业务需求对模块进行配置。
42.参照图1，旅客行李智能服务系统包括：消息队列层、存储层、用户界面ui层、接口层和服务层；所述消息队列层用于所述系统中各个组件与模块之间的信息通信；所述存储层用于存储结构化数据和非结构化数据；所述用户界面ui层用于展现所述系统的主要功能与服务；所述接口层用于针对功能和业务进行细分以及功能的扩展；所述服务层用于执行视频分析流程。
43.具体地，如图2所示，系统所有模块按照功能与业务范畴可以划分为5层，分别是消息队列、存储层、用户界面ui层、接口层和服务层，其中，消息队列是整个系统中各个组件与模块之间通信的渠道；存储层负责结构化数据和图像、录像等非结构化数据的存储；用户界面ui层展现系统的主要功能与服务；接口层针对功能和业务进行细分，对系统功能的扩展主要集中在该层各模块，保证系统其他部分功能稳定；服务层是整个系统的核心，该层作为视频分析流程的抽象化实现，后期在功能扩展时几乎无需进行大的变动。
44.用户界面ui层：用于网络摄像头设备管理、用户人员管理、视频通道管理和实时监控查看以及信息查询等方便用户与系统进行交互的界面。
45.接口层：针对系统的功能和业务进行进一步的划分，并将系统功能的扩展集中在这一层，从而保证系统其他部分功能的稳定，同时向外提供统一的服务接口。主要提供算法/功能管理、用户管理和设备管理这几个接口。其中算法功能管理是指按照一定的规则管理系统中所有的算法模块，算法基本信息包括：id、系统内部的算法id、算法名称、描述、算法主版本号、算法次版本号、算法占cpu最大资源量、算法占gpu最大容量、依赖的多个算法id、算法包存储地址、算法包hash值、上传时间等。设备管理是指系统中的ipc和其他设备，基本的设备信息包括：id、名称、位置、ip、其他(例如品牌、像机类型、是否在线等)；基本分组信息包括：id、组名、父id(单组或者一级组时为null或者0)、描述等。用户管理是指管理人脸识别相关业务的人员信息，包括人员的姓名、人脸id、车票id或者工作id以及联系方式等信息。
46.存储层：本系统需要存储的数据包括三个部分，首先是包含摄像头基本信息、乘客/列车工作人员基本信息、车厢和座位信息在内的结构化数据，其次是图像和视频等非结构化数据，最后是包括人脸特征、人体特征和行李特征在内的特征向量数据。其中，结构化数据是指列车上的人和物的基础信息，主要包括列车、车厢、座位、摄像头、乘客、工作人员、行李和车票信息几个实体。实体间的主要关系为列车和车厢、乘客及工作人员都属于一对多的关系，车厢和座位及摄像头也是属于一对多的关系，而乘客和车票之间属于一对一的关系，而乘客和行李之间属于一对多的关系。本系统所用到的非可结构化信息有行人、行李
和人脸的图片以及他们的特征向量。对于摄像头基本信息、乘客/列车工作人员基本信息、车厢和座位信息，采用基于mysql的结构化信息存储与查询；对于图像和视频等非结构化数据，采用基于seaweedfs的非结构化信息存储；对于人脸特征、人体特征和行李特征在内的特征向量数据，采用基于milvus的特征向量搜索。
47.服务层：服务层是整个系统的核心组成部分，是旅客行李智能服务系统的的抽象化实现。这一层大致上可以分为算法推理模块、视频服务模块、数据存储/查询模块几大大组成模块。
48.算法推理模块的设计具有如下特点：
49.a、接口：支持http/rest、grpc；
50.b、多框架支持：支持tensorrt、tensorflow graphdef、tensorflow savemodel、onnx、pytorch、caffe模型，同时也支持tensorflow
‑
tensorrt、onnx
‑
tensorrt、caffe
‑
tensorrt模型；重点支持tensorrt推理、caffe推理。
51.c、模型并发执行：支持多个模型或者一个模型的多个实例并发执行；
52.d、支持batching推理；
53.e、支持有状态和无状态推理；
54.f、模型仓库：模型可本地部署也可以部署至远程可访问系统；
55.g、支持健康检查：gpu利用率、服务吞吐率和时延；
56.h、部署：以docker形式部署，支持k8s编排；
57.i、硬件支持：支持nvidia 6。0以上显卡；
58.视频服务模块主要分为视频录制和视频抽帧服务。视频录制服务是指部分视频分析事件关联视频预录功能，该服务根据设定，对需预录的通道码流进行缓存，接受录制指令将缓存数据存储，形成视频分析事件对应的事件录像。而视频抽帧服务是指接受其他模块的请求，从请求对应的数据源获取数据流，并根据请求的设置参数，从数据流中按规则采样(例如从实时视频流中按一定的帧率抽帧)，最后将数据输出到消息中间件。
59.消息队列层：消息队列是整个系统中各个组件与模块之间通信的渠道。系统的消息传输主要由zookeeper服务发现和kafka管理消息。
60.如图3所示，系统采用类似微服务架构的设计理念，将构成整个系统的逻辑模块抽象为服务，最大限度解耦模块之间的依赖关系。各服务使用容器化部署，服务之间通过消息中间件进行通信和数据传输，服务的更新与升级不会影响系统整体的运行状态。
61.系统内服务支持分布式部署，系统能力与规模的横向扩展通过增加服务器来进行。集群逻辑架构是主从架构，其中manager节点是主节点负责集群管理与调度，worker节点是从节点负责具体的业务，主节点通过zookeeper实时获取工作节点状态并对工作节点进行调度，实现业务负载均衡与异常处理。
62.工作节点上运行抽帧服务、通道管理等服务，以通道管理为例，当集群规模扩展时，新增worker节点部署完毕，负载均衡调度过程为：
63.1、worker节点通过zookeeper注册服务及状态；
64.2、manager节点获得新增worker信息；
65.3、manager将新增通道调度到新worker节点，对于原有通道，根据策略进行迁移，为保证业务持续性，默认策略为不迁移，可选策略为通道工作时间段之外迁移；
66.4、worker节点服务处理新增通道请求；
67.当集群worker节点宕机时，负载均衡调度过程为：
68.1、manager节点通过zookeeper获得宕机节点信息；
69.2、manager将宕机节点通道重新均衡下发给剩余正常worker节点；
70.集群manager节点通过haproxy双机热备的方式保证高可用性。
71.如图4所示，系统的视频服务模块的流程。视频服务模块的子模块包括：
72.协议适配模块：负责适配各种不同的传输协议，最主要的如rtsp等，在某些情形下，需要对接第三方私有协议，如通过ipc厂家的sdk进行对接；
73.取流解码模块：通过协议适配模块获取码流、解码并按设置抽帧；
74.图片流模块：对接人脸抓拍机等设备，获得图片流并按设置抽帧；
75.具体的步骤如下所示：
76.(1)使用av_register_all()对ffmpeg进行初始化，包括注册解码器和调用库。
77.(2)使用avformat获取根据视频流的格式进行解析，即从网络摄像头的视频流获取到压缩过后的视频流数据包packet。
78.(3)使用avcode对数据包镜像解码，即将数据包packet解码为帧数据frame。
79.(4)使用swscale对数据进行大小缩放和格式转换，即将帧数据frame转换为jpeg格式，方便读取与存储。
80.如图5所示，系统的算法服务流程是首先获取通道对应的视频源信息，向抽帧服务订阅数据；然后从消息队列获取视频帧，对视频帧进行预处理，调用基础算法服务，得到视频分析元信息；对元信息调用ai判定获得视频分析事件；再然后通过消息队列向上层发送视频分析事件调用算法服务。而算法服务内部的核心架构是一个异步任务处理系统，由任务队列和处理线程池构成，上层应用调用算法服务的处理流程如下：
81.(1)任务管理将接口调用过程转换成算法分析任务，并将任务追加到任务队列；
82.(2)空闲任务处理线程从任务队列获取一个待处理任务；
83.(3)根据任务类型调用底层对应的模型进行算法处理；
84.(4)处理得到的元信息交由上层ai判定模块处理获得视频分析事件；
85.需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
86.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
87.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。