一种无人驾驶矿车的数据分级上传方法和装置与流程

1.本发明属于数据处理技术领域，尤其涉及一种无人驾驶矿车的数据分级上传方法和装置。


背景技术：

2.无人驾驶技术为利用包括雷达、激光、超声波、gps、里程计、计算机视觉等多种技术来感知其周边环境，通过先进的计算和控制系统，来识别障碍物和各种标识牌，规划合适的路径来控制矿车行驶，随着汽车智能化技术的快速发展以及广泛应用，无人驾驶汽车成为了汽车行业未来的发展趋势，由于具有创新性、实用性、复杂性和多学科交叉等特点，无人驾驶汽车也是目前非常热门的一个研究领域，国际国内多个公司均对无人驾驶技术展开研究。随着通讯手段的逐渐提高，为了提高无人驾驶路径和行车参数预测的实时性，通过将无人驾驶过程中的传感器获取的数据传输到云端服务器实现路径和行车参数预测为如今研究的一大热点，然而，由于无人驾驶矿车中集成的传感器类型众多，尤其是由于一些图像传感器比如rgb相机，摄像头等的存在，使得每秒产生的数据量非常大，而由于无人驾驶的实时性要求，需要在一个极小的时延下将这些数据上传到云端服务器中参与运算，现有技术中在无人驾驶矿车路径和行车参数预测过程中，一般采用升级5g网络或者建立边缘传输网络的方法减少数据上传云端服务器的时延，这无疑极大的增加了无人驾驶矿车的成本，限制了无人驾驶矿车的广泛应用，并且，现有技术中没有针对无人驾驶采集的数据进行分级尤其是针对无人驾驶矿车采集的数据进行分级的技术方案。


技术实现要素：

3.本发明要解决的技术问题是针对上述技术方案的不足，提供一种无人驾驶矿车的数据分级上传方法及装置，针对矿区这种应用场景的特点，对无人驾驶矿车传感器采集的参数进行分级，达到提供一种适用于矿区的对上传的数据先进行分级，再上传从而达到降低上传时延的目的。
4.为了实现上述目的，根据本发明的一个方面，一种无人驾驶矿车的数据分级上传方法，包括：步骤1：利用无人驾驶矿车的传感器获取无人驾驶矿车行驶过程中的数据；所述传感器主要包括gps、车载激光雷达、毫米波雷达、摄像头等，其中，gps主要用于采集矿车行驶速度，行驶位置坐标，行驶加速度等信息，车载激光雷达，毫米波雷达、摄像头主要用于采集矿车周边的环境信息，包括但不限于矿车行驶前方情况，道路情况等信息；步骤2：将摄像头采集的视频以帧为单位转换成图像格式；步骤3：采用卷积神经网络模型对每帧的图像进行特征提取，提取出特征信息，并根据特征信息对对所述每帧的图像赋值，并根据赋值分数对所述图像进行分级；具体地，所述特征信息包括前方道路的曲率信息，前方道路是否存在矿石障碍物，
前方是否有工人；首先，通过获取该图像反应的曲率半径r的大小对所述图像进行赋值；具体地赋值公式为：；其中，为针对曲率半径对该帧图像的赋值，r为该帧图像的曲率半径，单位为m；然后，通过检测该帧图像中是否存在多块矿石障碍物，对该帧图像进行赋值；具体的赋值公式为：；其中，为针对矿石障碍物对该帧图像的赋值，q为该帧图像中经过图像识别技术识别出来的体积大于40cm3的矿石的数量；然后，判断道路前方行进道路上是否有工人，若所述帧图像中检测出有工人，则赋值，没有则赋值为；为是否有人的赋值；最后对各项赋值进行求和操作，得到所述帧图像的赋值分数：；根据赋值分数，对该帧图像进行分级；具体地，若赋值分数，则判定该帧图像优先级别为高，若赋值分数为10-50之间，则该帧图像应在优先级别为中，若赋值分数小于10，则，该帧图像优先级别为低；步骤4：根据所述步骤3的分级结果，判断该帧图像是否上传；具体地，优先级别为高的图像应立即上传；优先级别为中的图像应在优先级别为高的图像上传后再上传；优先级别为低的图像不进行上传。
5.云端服务器通过对上传的图像以及其他传感器的数据进行数据融合并通过机器学习得到无人驾驶矿车的行车校正参数，从而实现无人驾驶矿车的行车参数控制。
6.在上传过程中，由于图像为摄像头的视频数据转换所成，因此，针对同一道路条件，可能会上传多张特征信息相似度较高的图像，因此，其中，所述步骤4还包括：以5帧图像为一个集合，若集合内最高赋值分数与最低赋值分数相差《5，则上传赋值分数最高的图像，若》5，则每帧图像均上传。
7.根据本技术的另外一实施例，在无人驾驶矿车行驶中，速度因素是行车安全的重要影响因素，由于无人驾驶矿车行驶速度不同，当其速度较快时，获得的数据中反映的信息较多，因此需要上传尽可能多的数据参与到无人驾驶的决策，以提高决策的准确性，因此，本实施例中，引入速度因素对上传规则进行调节；具体地，当v 《20km/h时，采用上述的赋值分数上传判断方法，即若赋值分数，则判定该帧图像优先级别为高，若赋值分数为10-50之间，则该帧图像应在优先级别为中，若赋值分数小于10，则该帧图像优先级别为低；当速度为20km/h≤v《40km/h时，赋值分数，则判定该帧图像优先级别为高，若赋值分数为8-40之间，则该帧图像应在优先级别为中，若赋值分数小于8，则，该帧图像优先级别为低；
当v≥40km/h时，则对所有视频数据均上传。
8.根据本发明的另一个方面，提供了一种无人驾驶矿车的数据分级上传装置，包括：传感器：利用无人驾驶矿车的传感器获取无人驾驶矿车行驶过程中的数据；数据转换模块：将摄像头采集的视频以帧为单位转换成图像格式；数据分级模块：用于执行上述无人驾驶矿车的数据分级上传方法。
9.基于上述技术方案，本技术提供的一种无人驾驶矿车的数据分级上传方法及装置，具有如下有益效果：1、针对无人驾驶矿车传感器产生数量多的特点，本技术对占用传输资源较多的摄像头数据通过转换成图像数据，然后针对图像中的特征信息多少进行分级处理，从而确定出上传信息的优先级，使重要的图像信息能更快的上传到云端服务器参与运算，这样，不但使数据上传时延有了较大的减小，同时，不重要的信息放弃上传，这样，不必花费昂贵的成本升级数据传输系统，也减少了无人驾驶矿场的成本。
10.2、本技术在对无人驾驶矿车的摄像头图像进行分级时，根据无人驾驶矿车的特点以及实际运行过程中的重要的影响因素，考虑了图像信息中的道路曲率、是否存在多块矿石等障碍物、和道路前方是否存在工人确定数据的优先级，并且，考虑了无人驾驶矿车的速度对分级的影响，使上传的效率和上传特征信息的准确率均有了一定的提高。
附图说明
11.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
12.图1为本技术实施例提供的无人驾驶矿车的数据分级上传方法的流程图；图2为本技术实施例提供的采用本技术分级方法上传数据与原始数据的对比图。
具体实施方式
13.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
14.下面首先结合附图对本技术所涉及的概念进行说明。在此需要指出的是，以下对各个概念的说明，仅为了使本技术的内容更加容易理解，并不表示对本技术保护范围的限定。
15.如图1所示，一种无人驾驶矿车的数据分级上传方法，包括：步骤1：利用无人驾驶矿车的传感器获取无人驾驶矿车行驶过程中的数据；所述传感器主要包括gps、车载激光雷达、毫米波雷达、摄像头等，其中，gps主要用于采集矿车行驶速度，行驶位置坐标，行驶加速度等信息，车载激光雷达，毫米波雷达、摄像头主要用于采集矿车周边的环境信息，包括但不限于矿车行驶前方情况，道路情况等信息；众所周知，摄像头等传感器采集的数据量非常大，甚至每秒会产生以g计数的数据量，不对
这些数据加工处理即上传到云端服务器，不但需要搭配昂贵的传输设备，而且，也会造成极大的传输时延，基于此，发明人在研究中发现，根据矿区的特点，通过将摄像头采集的数据进行分级处理，提取出优先级高的数据进行上传，将优先级较低的数据放弃上传，从而达到实现减少时延的技术效果；步骤2：将摄像头采集的视频以帧为单位转换成图像格式；由于摄像头产生的图像占用传输通道资源较大，本技术实施例主要通过对无人驾驶矿车的摄像头产生的数据进行分级；以某型号摄像头为例，一小时产生的数据量达到50-60g，而现有的无人驾驶矿车中不止集成一个摄像头，若将无人驾驶矿车产生的视频完全打包上传的话，无疑会造成较大的时延；因此，有必要对摄像头数据进行分级处理，选择性上传；步骤3：采用卷积神经网络模型对每帧的图像进行特征提取，提取出特征信息，并根据特征信息对对所述每帧的图像赋值，并根据赋值分数对所述图像进行分级；其中，根据矿场大曲率路段较多的情况，无人驾驶在这样的路段行驶时，更容易造成矿石洒落，甚至翻车等风险，因此，提取的特征信息包括前方道路的曲率信息；同时，无人驾驶矿车在行驶过程中，由于加速减速或者爬坡等容易造成车斗内的矿石洒落，因此，提取的特征信息还包括前方道路是否存在矿石障碍物；同时，矿区为封闭园区，工人突然闯入这种无人驾驶过程中安全等级较高的突发事件较少，但是，若无人驾驶矿车识别不到这种情况的话，极易造成严重的安全事故，因此，特征信息还包括前方是否有工人；根据提取的该帧图像的特征信息对所述帧图像赋值；首先，通过获取该图像反应的曲率半径r的大小对所述图像进行赋值；具体地赋值公式为：；其中，为针对曲率半径对该帧图像的赋值，r为该帧图像的曲率半径，单位为m；根据我国高速公路弯道设计标准: 在平原和丘陵地带,高速公路的弯道最小平曲线半径为650米; 山区地带的高速公路,弯道最小曲率半径为250米,所以的取值范围大概为：（0-20），且采用上述计算公式，使得在曲率较小时，分值高，即危险系数高；分值曲率大时，分值低，危险系数低。
16.然后，通过图像识别技术识别出该帧图像中是否存在多块矿石障碍物，以及无人驾驶车辆距离障碍物的最小距离d，对该帧图像进行赋值；具体的赋值公式为：；其中，为针对矿石障碍物对该帧图像的赋值，q为该帧图像中经过图像识别技术识别出来的体积大于40cm3的矿石的数量；的取值范围为（0,30）；然后，判断道路前方行进道路上是否有工人，若所述帧图像中检测出有工人，则赋值，没有则赋值为；最后对各项赋值进行求和操作，得到所述帧图像的赋值分数最后对各项赋值进行求和操作，得到所述帧图像的赋值分数；根据赋值分数，对该帧图像进行分级；
具体地，若赋值分数，则道路上肯定存在行人，判定该帧图像优先级别为高，若赋值分数为10-50之间，则该帧图像应在优先级别为中，若赋值分数小于10，则，该帧图像优先级别为低；步骤4：根据所述步骤3的分级结果，判断该帧图像是否上传；具体地，优先级别为高的图像应立即上传；优先级别为中的图像应在优先级别为高的图像上传后再上传；优先级别为低的图像不进行上传。
17.云端服务器通过对上传的图像以及其他传感器的数据进行数据融合并通过机器学习得到无人驾驶矿车的行车校正参数，从而实现无人驾驶矿车的行车参数控制。
18.在上传过程中，由于图像为摄像头的视频数据转换所成，因此，针对同一道路条件，可能会上传多张特征信息相似度较高的图像，因此，其中，所述步骤4还包括：以5帧图像为一个集合，若集合内最高赋值分数与最低赋值分数相差《5，则上传赋值分数最高的图像，若》5，则每帧图像均上传。
19.根据本技术的另外一实施例，在无人驾驶矿车行驶中，速度因素是行车安全的重要影响因素，由于无人驾驶矿车行驶速度不同，当其速度较快时，获得的数据中反映的信息较多，因此需要上传尽可能多的数据参与到无人驾驶的决策，以提高决策的准确性，因此，本实施例中，引入速度因素对上传规则进行调节；具体地，当v 《20km/h时，采用上述的赋值分数上传判断方法，即若赋值分数》50，则判定该帧图像优先级别为高，若赋值分数为10-50之间，则该帧图像应在优先级别为中，若赋值分数小于10，则该帧图像优先级别为低；当速度为20km/h≤v《40km/h时，赋值分数》40，则判定该帧图像优先级别为高，若赋值分数为8-40之间，则该帧图像应在优先级别为中，若赋值分数小于8，则，该帧图像优先级别为低；当v≥40km/h时，则对所有视频数据均上传。
20.如图2所示，以某矿厂路线为例，采用无人驾驶矿车对该路线为例，经传感器采集的所有数据均上传，统计上传数据量，共上传了32.6t的数据，同样针对该路线，采用本技术的数据分级上传方法，则工上传了约9.4t的数据量，可见，上传的数据量有了较大的减少，同时，通过软件监测发现，时延也有了较大的减少。
21.根据本发明的另一个方面，提供了一种无人驾驶矿车的数据分级上传装置，包括：传感器：利用无人驾驶矿车的传感器获取无人驾驶矿车行驶过程中的数据；数据转换模块：将摄像头采集的视频以帧为单位转换成图像格式；数据分级模块：用于执行上述无人驾驶矿车的数据分级上传方法。
22.以上所述的实施例及/或实施方式，仅是用以说明实现本发明技术的较佳实施例及/或实施方式，并非对本发明技术的实施方式作任何形式上的限制，任何本领域技术人员，在不脱离本发明内容所公开的技术手段的范围，当可作些许的更动或修改为其它等效的实施例，但仍应视为与本发明实质相同的技术或实施例。