基于5G网络的车辆远程诊断方法、存储器、装置及系统与流程

基于5g网络的车辆远程诊断方法、存储器、装置及系统
技术领域
1.本发明涉及车辆故障诊断技术领域，尤其涉及基于5g网络的车辆远程诊断方法、存储器、装置及系统。


背景技术：

2.作为维护国家内部稳定的生力军，武警部队运输装备的优劣直接关系到任务能否顺利完成。武警部队任务多发性，突然性的特点及未来作战的新要求，决定了车辆的保障必须符合新时期的新要求。
3.随着高新技术在装备中的加速应用，维修保障的难度不断的提高，部队维修保障人员较短的时间内很难掌握装备的修理技能。
4.传统故障诊断方式变得更加困难且效率低，对诊断人员的技术要求也更高


技术实现要素：

5.本发明为解决上述技术问题而提出的基于5g网络的车辆远程诊断方法、存储器、装置及系统。
6.为了实现上述目的，本发明采用了如下技术方案：
7.基于5g网络的车辆远程诊断方法，包括如下步骤：
8.s1、支队车场维修车间的驾驶员通过智能手持终端上的车辆远程诊断终端系统向总队远程诊断中心的维修专家发起诊断邀请；
9.s2、总队远程诊断中心的维修专家接受邀请，双方建立音视频实时通话；
10.s3、工业相机及固定摄像机采集支队现场的动态图像，并通过5g无线传输网络，将图像发送至总队远程诊断中心；
11.s4、专用图像分析服务器获取实时动态图像，同步对动态图像进行分析计算，并将分析数据传输至客户端，当分析结果出现异常时，系统自动标识并记忆异常位置和分析结果，提供辅助决策给总队远程诊断中心的维修专家；
12.s5、专家通过与驾驶员的现场沟通及实时的画面观察，并结合辅助决策，给予驾驶员维修建议和指导。
13.优选地，所述s4中动态图像进行分析计算时，基于深度学习网络算法设计和优化，采用caffe/tensorflow框架图像识别模型训练、模型打包和预测推理核心模块，建立图像数据标定、模型评估和测试验证方案体系；针对场景数据少的特点，结合一些在小样本场景下表现较好效果的传统分类器，如：svm和adaboost，进行结果多次确认，提升任务识别效果。
14.优选地，所述s4中动态图像进行分析计算时，采用经典图像特征提取算法，如：稀疏表示、hog、sift、surg和haar，对图像进行特征提取。
15.优选地，所述s4中动态图像进行分析计算时，采用迁移学习，针对检测领域识别任务拥有的训练数据较少，且场景环境多变，通常学习模型在环境变化后效果会发生下降，迁
移学习技术可从样本、特征、模型以及关系等层次帮助实现新环境中的学习任务。
16.优选地，所述s4中动态图像进行分析计算时，采用多物体快速识别和场景理解技术，建立场景物体数据库并进行模型训练技术，结合图像分割和快速检测技术，实现物体定位，并对单独物体进行识别，理解和判断研究场景对象间的特征和关系，实现对场景和趋势判别。
17.基于5g网络的车辆远程诊断装置，应用于权利要求1中的基于5g网络的车辆远程诊断方法，包括：智能手持终端、头戴式摄像机、内窥式摄像机、工业相机、筒型摄像机、5g路由器、视频服务器和图像分析服务器，所述智能手持终端用于进行实时音视频通话，所述头戴式摄像机和内窥式摄像机用于配合智能手持终端进行人工图像采集，所述筒型摄像机和工业相机作为辅助检测部件进行自动图像采集，所述5g路由器用于实时传输数据，所述视频服务器和图像分析服务器用于对图像进行实时处理分析。
18.基于5g网络的车辆远程诊断系统，应用于权利要求1中的基于5g网络的车辆远程诊断方法，包括：图像采集模块，音视频通信模块和图像分析模块；
19.所述图像采集模块主要分为自动采集和人工采集两个部分，其中自动采集部分包括两项：一是在支队车场的维修车间工位区域高点，安装多点位的固定筒型摄像机，从四周拍摄车辆的维修画面；二是针对重点维修设备区域，使用工业相机配合电动变焦镜头和led照明系统，工业相机将采集的图像信号通过5g路由器，传输至总队诊断中心的图像分析服务器进行分析；
20.人工采集部分主要通过搭载车辆远程诊断终端系统的手持终端设备，接入头戴式摄像机和内窥式摄像机，针对维修区域细节，由驾驶员拍摄具体故障情况；
21.所述音视频通信模块中传输侧网根据5g网络的特性，配套新增部署spn传输网络，现场终端通过cpe设备接入5g网络后，网络根据用户apn属性，通过5g网络，将数据流转发至部署在本地的网关，最终传输至总队远程诊断中心；
22.所述图像分析模块采用基于深度学习和实时图像分析技术的智能通用学习平台，图像分析模块通过sdk或api使用图像分析服务，平台可以实现任意缺陷的在线学习和检测。在用户采集完相应的数据集后，通过学习平台的标注模块进行人工标注，标注完成后使用学习平台的训练模块配置学习任务，学习平台的训练模块支持的图片数据集可达百万级规模，支持的图像尺寸为从320p到2160p，学习平台会在训练完毕后将模型打包生成独立的部署应用，第三方应用可通过接口调用识别检测服务，可以进行油污缺陷训练及检测，及零部件松动的问题检测。
23.基于5g网络的车辆远程诊断存储器，应用于权利要求1中的基于5g网络的车辆远程诊断方法，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至5中任一所述基于5g网络的车辆远程诊断方法，所述计算机程序被处理器执行时实现如权利要求1至5中任一所述基于5g网络的车辆远程诊断方法。
24.与现有技术相比，本发明提供了基于5g网络的车辆远程诊断方法、存储器、装置及系统，具备以下有益效果：
25.1.本发明的有益效果是：系统通过智能通用学习平台模块，实现高精度视觉检测、
识别及分析，并提供辅助决策。通过对图像特征分析、关键兴趣点块，实现对目标的跟踪、定位功能。视觉识别利用图像特征结合学习技术完成对物体的识别。
26.系统主要创新点包括：一是深度学习技术在工业视觉识别中的应用和实现，以及结合传统分类器进行辅助，提升目标物识别效果，二是图像特征表示对技术对识别效果影响。探索一种检测场景下受环境影响较小且稳定的特征表示方法，减少深度学习对数据量依赖，为物体识别效果提供保障，三是机器学习迁移学习技术，解决模型泛化难的问题，使得能够更好处理全新场景下识别问题，四是多物体快速识别以及视觉场景理解技术；通过车辆远程诊断终端、平台端系统及5g网络，实现支队车场维修车间的驾驶员与总队远程诊断中心的维修专家间的实时音视频沟通；
27.通过工业相机、固定摄像机、头戴式摄像机和内窥式摄像机实现车辆内部待维修区域的图像采集；
28.通过专用图像分析服务器及智能通用学习平台实现图像识别分析、目标检测和辅助决策；
29.本项目通过搭建车辆远程诊断平台，实现故障车辆的远程诊断及辅助决策，提高了车辆诊断效率。
附图说明
30.图1为本发明提出的基于5g网络的车辆远程诊断方法、存储器、装置及系统的系统架构图；
31.图2为本发明提出的基于5g网络的车辆远程诊断方法、存储器、装置及系统的数据传输图。
具体实施方式
32.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
33.实施例1：
34.本发明提出基于5g网络的车辆远程诊断方法、存储器、装置及系统，具体的步骤如下：
35.s1、支队车场维修车间的驾驶员通过智能手持终端上的车辆远程诊断终端系统向总队远程诊断中心的维修专家发起诊断邀请；
36.s2、总队远程诊断中心的维修专家接受邀请，双方建立音视频实时通话；
37.s3、工业相机及固定摄像机采集支队现场的动态图像，并通过5g无线传输网络，将图像发送至总队远程诊断中心；
38.s4、专用图像分析服务器获取实时动态图像，通过专用视觉分析软件，同步对核心机图像进行分析计算，并将分析数据传输至客户端，当分析结果出现异常时，系统自动标识并记忆异常位置和分析结果，提供辅助决策给总队远程诊断中心的维修专家；
39.本步骤中，包括但不限于以下内容：
40.1、深度学习网络算法设计和优化，研发基于caffe/tensorflow框架的图像识别模型训练、模型打包、预测推理等核心模块，建立图像数据标定、模型评估、测试验证方案体
系。针对场景数据少的特点，结合一些在小样本场景下表现较好效果的传统分类器(如svm、adaboost)，进行结果多次确认，提升任务识别效果。
41.2、经典图像特征提取算法(如稀疏表示、hog、sift、surg、haar等)，从效果、效率、易用性等多角度，对识别任务算法选择进行比较，探索针对特定识别场景下稳定高效的特征提取方法，为模型学习提供好的基础。
42.3、迁移学习在工业识别场景中的应用。针对检测领域识别任务拥有的训练数据较少，且场景环境多变(如光照等因素)，通常学习模型在环境变化后效果会发生下降。迁移学习技术可从样本、特征、模型以及关系等层次帮助实现新环境中的学习任务。
43.4、多物体快速识别和场景理解技术。研究场景物体数据库建立并进行模型训练技术。结合图像分割和快速检测技术，实现物体定位，并单独物体进行识别。研究场景对象间的特征、关系，实现对场景、趋势的理解和判断；
44.5、专家通过与驾驶员的现场沟通及实时的画面观察，并结合辅助决策，给予驾驶员维修建议和指导。
45.系统整体架构如下图1所示，主要模块包括图像采集模块，音视频通信模块，图像分析模块等。核心设备主要包括头戴式摄像机、内窥式摄像机、工业相机、筒型摄像机、5g路由器、视频服务器和图像分析服务器等。
46.当出现车辆严重故障，支队无法解决时，支队驾驶员可通过智能手持终端向总队发起远程诊断邀请，接通后双方可进行实时音视频通话，驾驶员可利用头戴式摄像机、内窥式摄像机配合智能手持终端进行人工图像采集，清晰拍摄车辆故障区域，摄像机及工业相机作为辅助检测部件进行自动图像采集。以上图像通过5g信号实时传输至总队诊断中心，由专用图像分析服务器对图像进行实时处理分析，获得辅助决策结果。维修专家同时结合人工图像采集画面及沟通信息，向驾驶员提供最终的维修意见。
47.系统的图像采集模块主要分为自动采集和人工采集两个部分，其中自动采集部分包括两项：一是在支队车场的维修车间工位区域高点，安装多点位的固定筒型摄像机，从四周拍摄车辆的维修画面；二是针对重点维修设备区域，使用彩色工业相机配合电动变焦镜头和led照明系统，满足抗振动、高帧率，耐高温的要求。工业相机将采集的图像信号通过5g路由器，传输至总队诊断中心的图像分析服务器进行分析，通过智能视觉识别技术实现针对发动机、连接处、弯头等处出现异常时，系统能够进行报警，通过放大实时图像、标注报警原因、语音提示等形式提示人员进行处理。
48.人工采集部分主要通过搭载车辆远程诊断终端系统的手持终端设备，接入头戴式摄像机和内窥式摄像机，针对维修区域细节，由驾驶员拍摄具体故障情况，方便总队维修专家进行远程诊断指导。
49.音视频传输模块：传输侧网根据5g网络的特性，配套新增部署spn传输网络，满足5g网络的大带宽与低时延回传。无线网结合车场维修区域封闭的环境特性，通过数字室分系统提供定向覆盖，满足现场的业务需求
50.现场终端通过cpe设备接入5g网络后，网络根据用户apn属性，通过5g网络，将数据流转发至部署在本地的网关，最终传输至总队远程诊断中心，实现数据的采集与互通。
51.图像分析模板：系统的图像分析平台模块主要是基于深度学习和实时图像分析技术的智能通用学习平台。
52.平台一站式实现图像采集、标注、训练、部署，无需编程，流程式操作即可搭建图像识别、检测等任务。系统通过sdk或api使用图像分析服务，让人工智能更简单。平台解决了算法开发过程对专业人员的高度依赖，极大降低数据、模型、算力及应用服务分散存放带来的管理和维护成本，提供图像分析服务搭建一体化解决方案。
53.平台可以实现任意缺陷的在线学习和检测。在用户采集完相应的数据集后，通过学习平台的标注模块进行人工标注。标注完成后使用学习平台的训练模块配置学习任务。学习平台的训练模块支持的图片数据集可达百万级规模，支持的图像尺寸为从320p到2160p。学习平台会在训练完毕后将模型打包生成独立的部署应用，第三方应用可通过接口调用识别检测服务。可以进行油污缺陷训练及检测，及零部件松动的问题检测。
54.基于5g网络的车辆远程诊断存储器，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行；其中，所述存储器至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：sd或dx存储器等)、磁性存储器、磁盘、光盘等。
55.所述处理器在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(central processing unit，cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器是所述电子设备的控制核心(control unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器内的程序或者模块(例如印章文字检测识别程序等)，以及调用存储在所述存储器内的数据，以执行电子设备的各种功能和处理数据。
56.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。