基于YOLO架构的高铁列车乘务作业标准化视频智能分析系统的制作方法

基于yolo架构的高铁列车乘务作业标准化视频智能分析系统
技术领域
1.本发明涉及交通工程技术领域，尤其是一种基于yolo架构的高铁列车乘务作业标准化视频智能分析系统。


背景技术：

2.高铁列车上乘务人员主要通过佩戴在身上的音视频记录仪，在行进过程中摄录其作业与服务的过程。根据专业管理和网络安全的需要，视频的存储、传递以及内容分析、媒体资源管理等均缺乏统一高效的工具，导致值乘作业情况不能得到及时的监督和反馈，视频记录文件管理混乱，高铁客运中乘务作业与服务质量难以量化评价。
3.目前在现有技术中，有的方案是对高铁或者其他轨道交通领域中机务乘务人员的视频记录与分析，主要分析对象是司机的操作过程，环境也较为单一。同时，乘务作业标准化是基于高铁列车整个车厢内在移动作业环境下的标准评价问题，其识别对象更加复杂，且范围还可以拓展到地面，覆盖了从出乘到退乘期间的收入、学习、交接等业务。已有的视频识别库和算法还没有应用到以上场景中，无法满足高铁客运视频分析的管理需要，即无法达到运输站段精细化管理的目的。


技术实现要素：

4.本发明的目的是根据上述现有技术的不足，提供了基于yolo架构的高铁列车乘务作业标准化视频智能分析系统，调整巡视仪视频的存储和传输网络，基于新建作业对象图像数据库，优化yolo算法架构的训练模型和参数，实现高铁列车乘务作业标准化评价，其可覆盖每日各个班组的巡视、学习、收入、交接等生产流程，在数量和质量上全面取代人工查验，并提供考核依据。
5.本发明目的实现由以下技术方案完成：一种基于yolo架构的高铁列车乘务作业标准化视频智能分析系统，其特征在于：包括高铁作业图像训练素材数据库、卷积神经网络识别模型以及功能模块，其中所述卷积神经网络是通过yolo预训练模型对所述高铁作业图像训练素材数据库进行训练并调参、迭代生成，所述卷积神经网络识别模型用于对高铁列车乘务作业场景进行识别，所述功能模块与所述卷积神经网络识别模型构数据连接以对所述卷积神经网络识别模型的输出结果进行处理。
6.所述高铁作业图像训练素材数据库是通过对已拍摄的高铁列车乘务作业视频素材进行提取，按照车型、光线和角度对作业视频素材内的作业对象进行收集和标定。
7.对所述作业对象所进行的标定是通过对所述高铁列车乘务作业场景内的作业对象进行框定，并记录框定区域在作业视频素材的图像中的位置和所述作业对象类别。
8.所述yolo预训练模型是对yolo算法进行封装，并对训练模型的参数进行设置，将所述高铁作业图像训练素材数据库分为训练集、测试集和验证集形成输入输出文件，并支持cuda的硬件迭代训练出收敛的识别模型。
9.所述yolo预训练模型包含初始权重的卷积神经网络文件及其配套的网络配置文件。
10.所述功能模块包括视频分类存储模块、自动提取转码模块、多线程并行分析模块、分析结果统计模块中的一种或两种及两种以上的组合。
11.所述视频分类存储模块是指，将卷积网络神经识别模型的输出结果按班组、日期、交路和作业类型进行存储。
12.所述自动提取转码模块是指，将记录视频在采集器上的url地址，自动将视频转存至服务器，并进行解码和统一的编码。
13.所述多线程并行分析模块是指，同时启动多个线程，所述多个线程分别对多个班组的视频同时进行分析。
14.所述统计分析结果模块是指，以雷达图展现各作业类别的总体情况，以中位数辅助线评判作业质量，以正向、逆向和分组排序结果输出。
15.本发明的优点是：（1）通过信息化和智能化手段，采用高性能的识别算法，超过人工检查的效率和准确度，降低人工作业量和用人成本，消除专管人员查验时因长时间查看晃动的拍摄视频造成的不适感，同时避免因人工检查所带来的误差；（2）识别出结果后，将结合业务量化要求，检查该列车长在本次交路中摄录的作业内容是否满足作业标准，主要通过视频过程中锚定对象出现的次数和时长判断，并可以进一步探究其作业模式和习惯，从而对高铁列车乘务作业标准化进行正确且有效评价；（3）应用本系统，可以规范巡视仪设备管理，帮助降低乘务设备的管理和维护成本。
附图说明
16.图1为本发明的网络拓扑结构图；图2为本发明中采用的核心训练和识别算法框架图；图3为本发明中应用软件的部署和运行示意图；图4为本发明中的使用流程图。
具体实施方式
17.以下结合附图通过实施例对本发明特征及其它相关特征作进一步详细说明，以便于同行业技术人员的理解：实施例：本实施例中yolo架构的高铁列车乘务作业标准化视频智能分析系统包括以下功能模块：建立标准化的高铁作业对象图像训练素材数据库；通过yolov4预训练模型调参、迭代生成的卷积神经网络，对于高铁乘务作业场景具有快速高效准确的识别效果；在局域网络环境下具有视频分类存储、自动提取转码、多线程并行分析、以及分析结果统计等各项功能模块。
18.其中，建立标准化的高铁作业对象图像训练素材数据库，通过已拍摄的作业视频素材提取，需要按照不同车型、不同光线、不同角度的要求手动收集和标定。
19.在本实施例中高铁列车的车型可包含：crh380bl、crh380bl/cl、cr400af、
cr400bf、cr400bf-a、cr400bf-b、cr400af-a、cr400af-b、cr400bf-bz、crh380d（统型）、crh380a、crh380b，但暂时不包含如crh2a、crh2b、crh2c、crh1e（动卧）等高速列车；但在实际使用中，随着高铁列车的更新换代，也可将参照本实施例中的视频智能分析方法进行相应拓展。
20.光线则包含早晨、中午、傍晚、夜间不同时段作业时所拍摄的作业对象，并考虑到通过隧道时、列车交会时、拍摄逆光时等极端场景对拍摄对象光线照射的影响，加入相应样本。通过对不同光线状态下作业对象的拍摄捕捉，可有效提高后续yolov4预训练模型调参、迭代生成的卷积神经网络识别模型的识别准确率。
21.不同角度包括不同的拍摄高度、不同的拍摄角度、不同的作业姿态和动作，不同的巡视速度、和不同遮挡条件下作业对象的标记。
22.标记是指通过定制化的打标签工具，对作业视频素材的画面中的目标作业对象进行框定，记录矩形标定区域在图像中的位置和所属作业对象类别；作业对象包括但不限于：餐车上料单、互控单、商务车座、司机室门牌、洗手台镜面、车体盲道、票卷、保险柜、吧台等常规高铁列车所具有的各种乘务作业对象，具体如下表所示；通过yolov4预训练模型调参、迭代生成的卷积神经网络，对于高铁乘务作业场景具有快速高效准确的识别效果。在本实施例中单独对yolov4算法进行重新封装，对训练模型参数重新设置，将打好标签的高铁作业对象图像数据库分成训练集、测试集、验证集形成输入输出文件，使用支持cuda的硬件迭代训练出收敛的识别模型，可作为核心模块配置到系统中。其中，训练集用于yolov4预训练模型的训练，而测试集和验证集则用于对yolov4预训练模型的训练结果进行相应的测试及验证。
23.yolov4预训练模型是指包含初始权重的卷积神经网络文件及其配套的网络配置config文件（.cfg）；包含初始权重的卷积神经网络为ms-coco图像训练集上对80类物品训练出的通用识别模型；输入文件是指一组巡视仪摄录的视频帧；输出文件是指该组帧图像
中手工标定的识别对象坐标和大小信息（ground truth）；使用支持cuda的硬件迭代训练出收敛的识别模型是指利用gpu的运算性能和所支持的cuda库，加速网络的训练和识别过程。
24.在本实施例中可使用的是cuda11.4版本，cudnn11.4版本；yolov4算法的封装，是指使将输入图像和参数的方法和数据结构封装成.net框架可被c#调用的dll文件。
25.在局域网络环境下具有视频分类存储、自动提取转码、多线程并行分析、以及分析结果统计等各项功能模块，是指利用训练好的识别模型为核心，部署视频分析服务器，与视频采集器组成局域网，可以在规定时间内完成管理范围内所有车长当前值乘交路所有视频的读取、转码与分析，将结果根据业务统计规则汇总展现给专管人员。
26.其中，视频分类存储模块是指系统将按班组、日期、交路和作业类型存储视频，便于检索。自动提取转码模块是指系统将记录视频在采集器上的url地址，自动将视频转存至服务器，并进行解码和统一的编码。多线程并行分析模块是指系统在运行时，同时启动20个线程，对多个班组的视频同时分析，以达到当日生产视频的全覆盖即时分析。统计分析结果模块是指以雷达图展现6大作业类别的总体情况，以中位数辅助线评判车班的作业质量，以正向、逆向和分组排序结果作为列车长考核的依据。
27.如图1所示，本实施例中的系统为应用服务器、数据库服务器与各车队使用的巡视仪采集器以及web分析结果可视化管理计算机所组成的局域网，通过分配ip地址，实现合理的数据流和资源分配。
28.客运段在车站或动车所附近的乘务基地设立一至多个车队分别负责不同方向列车的乘务管理。车班到乘后的巡视仪视频在各车队的采集器上完成拷贝存储，系统将记录车班视频的url地址，在网络和磁盘空闲时，自动读取视频文件到服务器分析，分析结果可在部署在局域网中的计算机上通过web页面访问，原则上各车队值班室接入一台用于查阅统计情况。由此，在一个局域网中分别设有中心计算服务、视频采集器、前端交互界面三部分功能模块，可完全部署在一个乘务基地中，给其中各车队提供视频存储、分析和统计服务。若一个客运段拥有多个乘务基地，则局域网间可通过专线连接，保证快捷的访问速度和数据的安全性，并在一定程度上避免了移动存储设备中的病毒向其他网络传播的风险。
29.如图2所示，本实施例的高铁列车乘务作业标准化音视频记录智能分析系统中采用的核心识别算法为yolov4算法，具体包括以下步骤与结构：1）输入端：通过mosaic数据增强技术对待训练样本库库中的图片进行拼接，每4张图片可随机缩放、裁剪和排布，主要解决了小目标在样本库中分布不均匀的问题，增强网络的鲁棒性。
30.2）网络主干结构：包含5个csp模块，使输入图像维度从608
×
608向下采样至19
×
19（每步向下一倍采样）。对于前馈神经网络来说，一般向前传播输入信号，然后反向传播误差并使用梯度方法更新参数，网络主干结构中csp模块中采用了残差网络，解决了深度神经网络退化的问题，在同等层数下收敛得也更快，使得网络可以构建得更深，特征提取识别效果越好。
31.3）目标检测网络颈部结构：为了更好地融合特征，本实施例采用了{1
×
1，5
×
5,9
×
9,13
×
13}的最大池化方式，将不同尺度的特征图进行连接操作，同时池化操作也提高了系统在目标检测中位移的容忍度，有效增加了主干特征的接受范围，并分离了重要的上下文特征。其次，yolov4的颈部结构中分别构建了2个特征金字塔，分别用于自顶向下传达强
语义特征，以及自底向上传达强定位特征，通过与前一步的张量连接来融合特征，得到76
×
76,38
×
38,19
×
19的三种大小的特征表达图。
32.4）预测结构：每个特征图拥有255的长度，即特征图的每个像素点负责原图像在此区域的预测，如19
×
19的特征图，代表将原图分成19
×
19个区域，每个区域产生3个不同大小的候选框（通过训练样本的大小回归得到），每个候选框可描述对某类物体（最多80类）的定位（4个数字）和得分（1个数字），共（1 4 80）*3=255个维度。由此也可得知，小特征图，将负责大物体的预测，而大特征图将负责小物体在每个分割单元内的预测。本实施例采用的yolov4算法中，使用了ciou_loss的方法作为预测框回归的损失函数。将预测框与真实框的重叠面积、中心点距离以及长宽比全部纳入考量因素，通过函数，其中，用来衡量长宽比的一致性（iou表示候选框的交并比，d2表示预测候选框和真实框中心点的距离，dc表示刚好可以包含预测候选框和真实框最小box的对角线长度，w
gt
表示真实框的宽，h
gt
表示真实框的高，w
p
表示预测候选框的宽，h
p
表示预测候选框的高）。
33.如图3所示，反映了本实施例中应用软件的研发、部署和运行结构。首先，按照识别对象的平均拍摄大小、出现分布频率、拍摄中失真或遮挡等因素，建立识别图像样本数据库，并对样本的数量大小和比例进行调整，以满足各个作业对象的准确识别效果。软件开发人员对图片样本库中的物体使用包围框（bounding-box）标注，标注信息有：类别，四边框相对于左上角的坐标，作为groundtruth（大小信息）结果输入，对应图片成批加入训练，计算与网络输出端的误差，反向传播，逐步迭代出收敛的特征提取和预测一体网络（.cfg）文件。以上过程在搭建系统前完成，且根据不断拓展的业务需求和作业过程判断的启发，可以加入更多的识别对象，拓展样本空间，分别设有辅助判别对象，可在结果分析中加入作业模式和巡视习惯的判别；以及拓展业务对象，后可根据消防等作业或整备要求，进一步查验车班在专业业务上的作业标准化程度。
34.将训练得到的识别网络.cfg文件配置集成入应用系统，系统在运行中自动对提取到的视频文件以日期-班组-交路为单元，加入待识别分析队列，识别其中的作业对象序列和作业时长，与车队对该交路设定的作业标准以及对应的时刻信息比对，完成该交路下6类作业场景进行评估。分别将作业时长、作业次数转换成百分制分数，系统记录车队中每个交路中班组的得分详情，对车长月度的作业情况排序。
35.如图4所示，体现了日常一个完整的作业周期应用流程：车班在到乘回到车队后，需在采集器中以自己的工号登录，勾选本次已值乘任务的交路，系统会在当前日期下建立6类作业视频存放文件夹，车长将摄录的视频分别拷贝至对应的文件夹中，随后在系统中点击完成。系统将记录下各个视频文件的路径，在合适的时间批量读取视频加入队列。基于服务器的性能资源与各车队的每天需识别的视频数量，在服务器后台开启12个线程或更多的线程同时分析，生成作业结果，并以图表形式供车队和专业科室管理人员查看。
36.管理人员挑选出得分不合格（低于设定的阈值）的视频复核，如确实是未达到作业要求，可对车班进行考核和整改；若为系统原因将判断是否需根据本次客运条件的变化而调整该交路的评分标准，若是则调整评分标准使其达标，若是因为系统误识别或漏识别的
情况，将收集这些错误信息，补充完善样本库，针对性补强训练识别网络。随着时间的推进，经过数次增补和训练，作业场景识别准确度稳定在85%以上，可满足使用需求。如有新的作业场景需求，车队可根据场景中出现的作业对象的识别目标、作业时长和作业次数确定训练样本扩充方案并设定评分标准，在原网络基础上，继续训练新的识别网络，覆盖全场景的作业分析需求。
37.虽然以上实施例已经参照附图对本发明目的的构思和实施例做了详细说明，但本领域普通技术人员可以认识到，在没有脱离权利要求限定范围的前提条件下，仍然可以对本发明作出各种改进和变换，故在此不一一赘述。