一种铁路货运货检系统及其方法与流程

1.本发明涉及智能图像识别及铁路货运货检领域，具体是一种铁路货运货检系统及其方法。


背景技术：

2.铁路货检作业，分为内勤和外勤，当车列进入车站，首先由内勤人员查看该车列通过线阵相机时采集的三侧图像，当查看完毕后，若存在某些问题，需要在另外的系统中下发外勤货检任务，这两个系统数据相互独立，由此带来的问题就是数据的不互通导致的重复作业和作业流程的割裂。另外，内勤人员每天需要查看大量的车列图像，每个车列需要查看的图像数量是该车列车辆总数的三倍。高强度的看图很容易造成问题车的漏检，问题车的漏检严重的可导致行车事故。
3.当外勤作业人员进入场下进行检查作业时，需要将高清记录仪放于胸前口袋，这样的弊端就是，作业人员录制的视频视角不统一，甚至造成关键车辆图像的缺失；若作业时天气状况恶劣，还有可能造成漏检；外勤人员在场下时，不容易分辨出当前位置，且需要关注每辆车车号，还需要关注当前的安全环境，这种复杂环境下也容易造成漏检。
4.在整个货检作业中，作业流程无法贯通，作业量繁重，作业数据的保存较为分散，且常有因为忘记上传而丢失的情况，不利于历史问题的查找追溯和货检作业的整体效率，依靠现有的作业模式已经不能有效保证高速增长的运输需求。因此，开发一种智能货检系统，提高货检效率，妥善保存历史数据，降低人工工作量，通过技防代替人工显得尤为重要。
5.基于此，本发明提供了一种铁路货运货检系统及其方法，以解决上述问题。


技术实现要素：

6.本发明所要解决的技术问题是提供一种铁路货运货检系统及其方法，可以有效解决上述背景技术中提出的问题。
7.为解决上述问题，本发明所采取的技术方案是：一种铁路货运货检系统，包括图像收集服务器、图像识别服务器、图像结果展示服务器、货检作业子系统、终端设备，其特征在于，所述图像收集服务器与图像识别服务器网络连接；所述图像识别服务器分别与图像结果展示服务器、货检作业子系统网络连接；所述货检作业子系统与终端设备网络连接；所述图像收集服务器，用于采集、收集车辆图像，将最新生成的车辆图像传输至图像识别服务器中；所述图像识别服务器，利用目标检测算法结合专项训练的模型，对车辆图像进行问题点分析；所述图像识别服务器包括图像切割模块、图像质量调整模块、车号识别模块和问题项点识别模块；所述图像结果展示服务器，是安装于图像识别服务器的客户端程序，用于实现车列图像的滚动或拖动展示、车次或车号查询以及问题点标注；所述货检作业子系统，通过重点车筛选结果、识别结果生成任务作业点数据、语音
提示文本数据、目标定位点数据。
8.作为本发明的进一步优选方案，所述网络连接包括有线局域网、无线局域网；所述货检作业子系统包括车辆报文处理模块、任务处理模块、流媒体模块、即时通讯模块、定位模块；所述图像收集服务器通过有线局域网与图像识别服务器连接；所述图像识别服务器通过有线局域网分别与图像结果展示服务器、货检作业子系统连接；所述货检作业子系统通过有线局域网与流媒体模块、即时通讯模块、定位模块连接；所述终端设备通过无线局域网与流媒体模块、即时通讯模块、定位模块连接。
9.作为本发明的进一步优选方案，所述图像收集服务器通过文件传输协议将原始图像传输至图像识别服务器。
10.作为本发明的进一步优选方案，所述图像切割模块，用于识别车辆连接处并切割；所述图像质量调整模块，利用自适应直方图均衡化算法将图像划分为不重叠的小块，在每一块进行直方图均衡化；所述车号识别模块，利用目标检测算法，训练专门识别数字的模型，用于识别车辆左右两侧车体喷印的车号，并通过报文内容纠正识别结果，实现车辆车号识别；所述问题项点识别模块，通过车型对现有车辆分类，并根据每种车型固有问题点或检测重点划分识别项点，实现对不同车辆的不同项点检测。
11.作为本发明的进一步优选方案，所述车辆报文处理模块，用于实现重点车标记、报文与车辆匹配中至少一项；所述任务处理模块，用于实现货检任务创建、货检任务下发、任务状态监控中至少一项；所述流媒体模块，用于实现场下作业视频直播、历史作业视频播放中至少一项；所述即时通讯模块，用于实现场下作业的终端设备与服务器的数据通讯交互、终端设备在线状态、消息转发中至少一项；所述定位模块，用于实现场下作业人员实时位置、作业人员实时位置与问题点或重点车距离计算、设备安装地理位置展示、场站地图展示、人员模拟定位、距离测量、面积测量中至少一项。
12.作为本发明的进一步优选方案，所述车辆报文处理模块，通过对原始报文、报文与车辆匹配、车辆进场数据的处理，实现对重点车辆的筛选标记和匹配；所述任务处理模块，通过对原始报文、车辆进场数据的处理，实现对重点车辆的筛选标记和匹配；所述流媒体模块通过终端设备将采集的视频流转码、推送，实现内勤观看外勤作业直播视频画面；所述即时通讯模块通过终端设备实现外勤作业与内勤作业数据交互。
13.所述定位模块通过即时通讯模块，使用终端设备配合测绘地图基础数据，实现场外作业人员位置计算。
14.作为本发明的进一步优选方案，所述终端设备为移动设备；所述终端设备内安装有流媒体模块、即时通讯模块、定位模块；所述终端设备通过场内布置的数据传输网络实现与服务器通讯。
15.作为本发明的进一步优选方案，还涉及一种铁路货运货检的方法，采用上述的一种货运货检系统，包括如下步骤：s1、列车进场：列车进入站场时，触发线阵相机；s2、图像采集：图像收集服务器通过线阵相机对列车进行采集图像，然后将采集的列车图像传输至图像识别服务器；s3、分析图像：图像识别服务器对列车的图像进行分析、识别是否有问题，然后将识别的结果传输至图像结果展示服务器；s3.1、当识别的列车图像没有问题时，整体结束；s3.2、当识别的列车图像存在问题时，图像结果展示服务器将问题点进行标注，同时将标注好的图像传输至货检作业子系统中，进入步骤s4；s4、自动生成货检任务：当收到标注好问题点的图像时，货检作业子系统会自动生成货检任务，同时将货检任务下发至外勤人员中；s5、外勤人员执行任务：当外勤人员收到系统下发的任务时，到达现场开始作业；s5.1、视频直播实时分析：内勤人员通过外勤人员所佩戴的终端设备所采集回传的实时画面进行分析；s5.2、内勤与外勤信息实时交互：内勤人员将分析的结果发送至外勤人员进行语音提示，辅助外勤人员作业；s5.3、实时定位：系统通过外勤人员佩戴的终端设备进行实时定位，对正在作业的外勤人员进行问题车、重点车距离提醒及问题车、重点车详情语音播报；s6、作业结束：当外勤人员处理完任务时，作业结束；s7、数据保存：系统将外勤人员本次作业的数据进行结构化保存，同时也将步骤s5.1的视频数据、步骤s5.3的定位进行结构化保存，形成作业历史轨迹、图像。
16.与现有技术相比，本发明提供了一种铁路货运货检系统及其方法，具备以下有益效果：该系统可以实现当车辆进入站场后，自动进行图像识别和报文文本识别，将图像增强后，交由机器进行问题点分析，并给出问题识别结果和重点车识别结果，内勤货检人员重点关注识别结果中给出的问题，无需大量看图，且当外勤作业时，内勤人员可通过作业直播视频查看第一视角的外勤作业情况，并能够对现场画面实时分析，并给出报警提示；对于外勤货检人员，系统会根据任务查找识别结果并进行关联，通过即时通讯服务与定位信息，给外勤作业人员问题点的语音提示和临线来车等风险提示。在整个作业环节结束后，货检作业数据通过以货检任务为中心，可将作业视频，人员定位信息结构化保存，解决了以往作业数据分散保存的问题，提高货检作业效率，有效降低漏报造成的损失，减少人工作业量。
附图说明
17.图1为本发明系统组成示意图；图2为本发明图像采集服务器工作流程图；图3为本发明图像识别服务器工作流程图；图4为本发明采用的目标检测算法处理流程图；图5为本发明流程图；
图6为本发明整体结构流程图。
具体实施方式
18.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
19.参照图1-6，本发明提供一种铁路货运货检系统，包括图像收集服务器、图像识别服务器、图像结果展示服务器、货检作业子系统、终端设备，其特征在于，所述图像收集服务器与图像识别服务器网络连接；所述图像识别服务器分别与图像结果展示服务器、货检作业子系统网络连接；所述货检作业子系统与终端设备网络连接。
20.作为本发明的进一步优选方案，所述图像收集服务器，是运行在线阵相机存储服务器上的文件扫描程序，通过定时扫描指定的线阵图像文件目录，将最新生成的车辆图像传输至图像识别服务器中；所述图像收集服务器用于实现图像文件生成、图像文件路径查找定位、图像文件信息对比、图像文件存储、图像文件转发中至少一项功能。
21.作为本发明的进一步优选方案，所述图像识别服务器，利用目标检测算法结合专项训练的模型，对车辆图像进行问题点分析；所述图像识别服务器包括还图像切割模块、图像质量调整模块、车号识别模块和问题项点识别模块。
22.所述图像切割模块，是利用目标检测算法，训练专门处理图像切割的模型来识别车辆连接处并切割图像；该模块用于实现将线阵图像分割为以车辆为单位的图像文件；所述图像切割模块，将人工标注车辆连接处后的大量图像交由目标检测算法模型，经过反复训练后，模型抽样切割准确度达到99.9%以上（根据混淆矩阵算法和结论），将线阵图像交由模型切割得到切割后的车辆图像。
23.所述图像质量调整模块，是利用局部自适应直方图均衡化算法，将图像质量调整至图片辨识的最佳效果；所述图像质量调整模块，利用自适应直方图均衡化算法将图像划分为不重叠的小块，在每一块进行直方图均衡化；该算法最终实现图片亮度、对比度的均衡调整；该模块用于实现图像锐化、对比度增强、亮度增强中至少一项功能。
24.所述车号识别模块，是利用目标检测算法训练数字识别模型，用于识别车辆左右两侧车体喷印的车号，并通过报文内容纠正识别结果，实现车辆车号识别；该模块用于实现车辆图像车体车号识别、报文与识别车号对比、识别结果展示中至少一项功能。
25.所述问题项点识别模块，是利用目标检测算法，结合铁路货检业务，用针对性训练出的模型分析车辆图像并给出分析结果；所述问题项点识别模块通过车型对现有车辆分类，并根据每种车型固有问题点或检测重点划分识别项点，实现对不同车辆的不同项点检测；该模块用于实现车顶异物识别、车帮异物识别、车门开启识别、车窗开启识别、箱门开启识别、篷布绳断识别、篷布破损识别、顶盖开启识别中至少一项功能。
26.所述图像识别服务器，是部署在机房内的图像分析服务，主要是利用目标检测算法结合专项训练的模型，对车辆图像进行问题点分析；所述图像识别服务器用于实现图像拼接、图像切割、图像锐化、对比度增强、亮度增强、问题项点识别、车号识别、识别结果转发中至少一项功能。
27.作为本发明的进一步优选方案，本系统采用的目标检测算法，涵盖了图像切割模块、车号识别模块、问题项点识别模块等，利用该算法，对模型进行针对性训练，从而实现每
个模块的功能；参考图4，为该算法的处理流程和简单结构，图中展示了一张图片进入系统后需要经过的处理；与传统的图像识别技术对比，基于深度学习和神经网络，能够通过大量数据进行训练优化，且识别速度快，可塑性强，对于复杂问题也能够建立模型，普适性强。
28.作为本发明的进一步优选方案，所述图像结果展示服务器，是安装于图像识别服务器的客户端程序，用于实现车列图像的滚动或拖动展示、车次或车号查询以及问题点标注这些功能；所述图像结果展示服务器，是安装在货检作业现场的图像识别结果展示的客户端程序；所述图像结果展示服务器用于实现车列图像的滚动或拖动展示、问题点标注、问题点取消标注、问题点人工标注、车次或车号查询、问题统计中至少一项功能。
29.作为本发明的进一步优选方案，所述货检作业子系统，通过重点车筛选结果、识别结果生成任务作业点数据、语音提示文本数据、目标定位点数据；所述货检作业子系统，是根据铁路货检作业开发的作业管理系统，主要是利用铁路预报、aei等数据辅助货检作业；所述货检作业子系统用于实现货检任务下发、任务状态监控、作业视频直播、外勤人员定位、作业数据结构化存储及查询中至少一项功能。
30.所述货检作业子系统包括车辆报文处理模块、任务处理模块、流媒体模块、即时通讯模块、定位模块。
31.所述车辆报文处理模块，用于实现重点车标记、报文与车辆匹配中至少一项功能；所述车辆报文处理模块，通过对原始报文、报文与车辆匹配、车辆进场数据的处理，实现对重点车辆的筛选标记和匹配。
32.所述任务处理模块，用于实现货检任务创建、货检任务下发、任务状态监控中至少一项功能；所述任务处理模块，通过对原始报文、车辆进场数据的处理，实现对重点车辆的筛选标记和匹配。
33.所述流媒体模块，是基于nginx开源软件搭建的服务，用于货检作业视频直播的流媒体平台；所述流媒体模块通过场外的终端设备将采集的视频流转码、推送，实现内勤观看外勤作业直播视频画面；所述流媒体模块用于实现货检作业直播、历史作业视频回放中至少一项功能。
34.所述即时通讯模块用于实现场下作业的终端设备与服务器的数据通讯交互、终端设备在线状态、消息转发中至少一项功能；所述即时通讯模块是基于netty网络通讯架构搭建的消息通讯服务，用于实现手持机端、web后台管理端、服务端的即时消息通讯、直播指令下发、数据传输功能中的至少一项；所述即时通讯模块通过场外的终端设备实现外勤作业与内勤作业数据交互。
35.所述定位模块，用于实现场下作业人员实时位置、作业人员实时位置与问题点或重点车的距离计算、设备安装地理位置展示、场站地图展示、人员模拟定位、距离测量、面积测量中至少一项功能；所述定位模块是搭建于铁路车站内部网络的包含定位差分基站、定位差分服务、站内基础地图数据的实时定位系统，该系统能够将定位设备接收到的gps单点定位信息，差分矫正为误差较小的差分定位信息，并返回给服务端；所述定位模块通过即时通讯模块，使用终端设备配合测绘地图基础数据，实现场外作业人员位置计算，包括：问题点距离语音提示、人员位置地图实时。
36.作为本发明的进一步优选方案，所述网络连接包括有线局域网、无线局域网；所述图像收集服务器通过有线局域网与图像识别服务器连接；所述图像识别服务器通过有线局域网分别与图像结果展示服务器、货检作业子系统连接；所述货检作业子系统通过有线局域网与流媒体模块、即时通讯模块、定位模块连接；所述终端设备通过无线局域网与流媒体模块、即时通讯模块、定位模块连接。
37.作为本发明的进一步优选方案，所述图像收集服务器通过文件传输协议将原始图像传输至图像识别服务器。
38.作为本发明的进一步优选方案，所述终端设备为移动设备，且设有有高清摄像头；所述终端设备内安装有流媒体模块、即时通讯模块、定位模块；所述终端设备通过场内布置的数据传输网络实现与服务器通讯；所述图像收集服务器的图像采集设备为线阵相机。作为本发明的进一步优选方案，所述终端设备佩戴于外勤人员身上；在外勤作业时，通过高清摄像头采集作业画面，结合流媒体模块将作业画面推送给内勤人员进行分析；内勤人员通过外勤人员身上的终端设备内的即时通讯模块将分析结果发送给外勤人员进行语音提示，通过内勤人员辅助现场作业的外勤人员共同完成作业；通过定位模块对外勤人员进行实时定位，可对正在作业的外勤人员进行重点车距离提醒以及进行问题车详情语音播报和距离提醒。
39.作为本发明的进一步优选方案，还涉及一种铁路货运货检的方法，采用上述的一种货运货检系统，包括如下步骤：s1、列车进场：列车进入站场时，触发线阵相机；s2、图像采集：图像收集服务器通过线阵相机对列车进行采集图像，然后将采集的列车图像传输至图像识别服务器；其中，参考图2，所述图像收集服务器详细工作流程：线阵相机所采集的列车图像存储在指定的路径中，然后对图像文件检测，即从线阵相机存储文件目标服务器磁盘的指定路径中，每隔一小段时间，扫描是否存在新采集的图像文件；当扫描检测未发现新生成的图像时，即列车图像采集完毕；然后图像文件开始传输，将图像文件传输至图像识别服务器中。
40.s3、分析图像：图像识别服务器对列车的图像进行分析、识别是否有问题，然后将识别的结果传输至图像结果展示服务器；其中，参考图3，所述图像识别服务器详细工作流程为：文件接收，接收来自图像收集服务器的图像文件，并反馈处理结果是否重传；图像拼接、切割，即将一侧连续的图片拼接成一张整列车一侧图；车辆图像定位切割，利用目标检测算法，识别车辆连接处并将上述拼接的整张图像重新切割为每节车辆图像；图像文件保存，将重新切割的图像进行保存，不覆盖原始文件；图像质量调整，即对类似罐车反光严重的车辆图像进行调整，以达到能够识别的目的；车号识别，对车体的车号进行图像文字识别，并将识别的结果与报文数据对比；车型识别，对车辆图像以车型进行分类，即不同车型检测不同的问题项点；问题项点识别，根据车种车型，对不同的车型的检测问题项点进行识别，并给出识
别结果，识别结果由问题描述和问题点坐标组成，在图像上显示为红色矩形框，框内文字为问题描述；识别结果转发，一列车图像识别完毕后，将结果推送至货检作业子系统和图像结果展示服务器。
41.s3.1、当识别的列车图像没有问题时，整体结束；s3.2、当识别的列车图像存在问题时，图像结果展示服务器将问题点进行标注，同时将标注好的图像传输至货检作业子系统中，进入步骤s4；s4、自动生成货检任务：当收到标注好问题点的图像时，货检作业子系统会自动生成货检任务，同时将货检任务下发至外勤人员中；s5、外勤人员执行任务：当外勤人员收到系统下发的任务时，到达现场开始作业；s5.1、视频直播实时分析：内勤人员通过外勤人员所佩戴的终端设备所采集回传的实时画面进行分析；s5.2、内勤与外勤信息实时交互：内勤人员将分析的结果发送至外勤人员进行语音提示，辅助外勤人员作业；s5.3、实时定位：系统通过外勤人员佩戴的终端设备进行实时定位，对正在作业的外勤人员进行问题车、重点车距离提醒及问题车、重点车详情语音播报；s6、作业结束：当外勤人员处理完任务时，作业结束；s7、数据保存：系统将外勤人员本次作业的数据进行结构化保存，同时也将步骤s5.1的视频数据、步骤s5.3的定位进行结构化保存，形成作业历史轨迹、图像。
42.作为本发明的一个具体实施例:在列车进入站场时，会触发线阵相机，然后图像收集服务器通过线阵相机对列车进行采集图像，然后将采集的列车图像传输至图像识别服务器中进行分析。
43.其中，图像识别服务器对列车图像识别分析的步骤包括：接收来自图像收集服务器的图像文件，并反馈处理结果是否重传；然后将一侧连续的图片拼接成一张整列车一侧图，再利用目标检测算法，识别车辆连接处并将上述拼接的整张图像重新切割为每节车辆图像；然后将重新切割的图像进行保存，不覆盖原始文件；然后再对图像质量进行调整，以达到能够识别的目的；然后对车体的车号进行图像文字识别，并将识别的结果与报文数据对比，再对车辆图像以车型来进行分类，即不同车型检测不同的问题项点；根据车种车型，对不同的车型的检测问题项点进行识别，并给出识别结果，当列车图像识别完毕后，将结果推送至货检作业子系统和图像结果展示服务器。
44.当识别结果没问题时，整体结束；当识别结果存在问题时，图像结果展示服务器将存在的问题点进行标注，然后传输至货检作业子系统处。
45.当货检作业子系统收到标注好问题点的图像时，货检作业子系统会自动生成货检任务，同时将货检任务下发至外勤人员中；当外勤人员收到系统下发的任务时，到达现场开始作业；内勤人员通过外勤人员所佩戴的终端设备所采集回传的实时画面进行分析，然后将分析的结果发送回外勤人员处，进行语音提示，辅助外勤人员作业；系统会通过外勤人员佩戴的终端设备进行实时定位，对正在作业的外勤人员进行问题车、重点车距离提醒及问题车、重点车详情语音播报；当外勤人员处理完任务时，作业结束，系统会将外勤人员本次作业的数据进行结构化保存，同时也会将实时画面的视频数据、定位的数据进行结构化保存，形成作业历史轨迹、图像。
46.以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。