一种基于视频深度学习算法的调速方法及其系统与流程

1.本技术属于煤炭运输技术领域，特别涉及一种基于视频深度学习算法的调速方法、基于视频深度学习算法的煤炭运输皮带调速装置以及煤炭运输系统。


背景技术：

2.煤炭作为我国最重要的基础能源之一，在国民经济中占据了不可或缺的战略地位。我国的煤炭产业在世界上占据了领先地位，每年的产煤规模超过了2000亿吨。然而，产煤后的运输环节却是一大问题，地下煤炭从工作面采运到煤仓距离长，能耗大。皮带机输送原煤的能耗十分巨大，其所消耗的能量约占煤矿矿井总耗能的30％。
3.现有技术通常根据皮带上的煤量对皮带输送机进行实时的变频调速。例如，通常通过人为观察或者皮带上的重量来进行判断。
4.因此，希望有一种技术方案来克服或至少减轻现有技术的至少一个上述缺陷。


技术实现要素：

5.本技术的目的是提供了一种基于视频深度学习算法的调速方法，以解决上述至少一方面的问题。
6.名词解释：
7.变分自编码器(variational autoencoder,vae)。
8.在本技术的第一方面，提供了一种基于视频深度学习算法的调速方法，所述基于视频深度学习算法的调速方法包括：
9.获取运输皮带以及煤量的图像信息；
10.根据所述图像信息获取当前运输皮带上的煤量分级信息；
11.判断当前所述运输皮带上的煤量分级信息与当前运输皮带的运输速度是否匹配，若否，则
12.根据当前运输皮带上的煤量分级信息生成调速信号并传递给运输皮带的控制器，所述控制器根据所述调速信号改变所述运输皮带的运输速度。
13.可选地，所述根据所述图像信息获取当前运输皮带上的煤量分级信息包括：
14.获取通过vae以及cnn生成的经过训练的煤量级数分类器；
15.获取图像信息中的图像特征；
16.将所述图像特征输入至所述煤量级数分类器，从而获取煤量分级信息，所述煤量分级信息至少包括两个煤量级数。
17.可选地，所述根据所述图像信息获取当前运输皮带上的煤量分级信息包括：
18.获取通过vae以及gan生成的经过训练的煤量级数分类器；
19.获取图像信息中的图像特征；
20.将所述图像特征输入至所述煤量级数分类器，从而获取煤量分级信息，所述煤量分级信息至少包括两个煤量级数。
21.可选地，所述判断当前所述运输皮带上的煤量分级信息与当前运输皮带的运输速度是否匹配包括：
22.获取关联数据库，所述关联数据库包括多个煤量级数以及每个煤量级数对应的运输皮带运输速度区间信息；
23.根据获取的煤量级数获取在所述关联数据库中该煤量级数对应的运输皮带运输速度区间信息；
24.获取当前运输皮带的运输速度；
25.判断当前运输皮带的运输速度是否位于获取的所述运输皮带运输速度区间信息内。
26.可选地，在所述根据当前运输皮带上的煤量分级信息生成调速信号并传递给运输皮带的控制器，所述控制器根据所述调速信号改变所述运输皮带的运输速度之前，所述基于视频深度学习算法的调速方法进一步包括：
27.获取异物检测图像；
28.根据所述异物检测图像判断所述运输皮带上是否具有异物；若有，则
29.生成异物信号。
30.可选地，所述根据所述异物检测图像判断所述运输皮带上是否具有异物包括：
31.获取通过gan与vae生成的经过训练的异物识别模型；
32.获取异物检测图像中的异物图像特征；
33.将所述异物图像特征输入至所述异物识别模型从而判断是否具有异物。
34.本技术还提供了一种基于视频深度学习算法的煤炭运输皮带调速装置，所述基于视频深度学习算法的煤炭运输皮带调速装置包括：
35.煤量分级信息获取模块，所述煤量分级信息获取模块用于获取当前运输皮带上的煤量分级信息；
36.判断模块，所述判断模块用于判断当前所述运输皮带上的煤量分级信息与当前运输皮带的运输速度是否匹配；
37.调速信息生成模块，所述调速信息生成模块用于当所述判断模块判断为否时根据当前运输皮带上的煤量分级信息生成调速信号并传递给运输皮带的控制器，所述控制器根据所述调速信号改变所述运输皮带的运输速度。
38.本技术还提供了一种煤炭运输系统，所述煤炭运输系统包括：
39.运输皮带机，所述运输皮带机上用于运输煤炭；
40.摄像装置，所述摄像装置用于拍摄所述运输皮带机以及位于所述运输皮带机上的煤炭，从而获取运输皮带以及煤量的图像信息；
41.控制器，所述控制器与所述运输皮带机连接，用于控制所述运输皮带机的运输速度；
42.基于视频深度学习算法的煤炭运输皮带调速装置，所述基于视频深度学习算法的煤炭运输皮带调速装置分别与所述摄像装置以及所述控制器连接，用于通过如上所述的基于视频深度学习算法的调速方法来为所述控制器生成调速信号。
43.可选地，所述摄像装置进一步包括获取异物检测图像；
44.所述基于视频深度学习算法的煤炭运输皮带调速装置进一步包括根据所述异物
检测图像判断所述运输皮带上是否具有异物，若有则生成异物信号并将异物信号传递给控制器，所述异物信号包括异物图像特征。
45.可选地，所述煤炭运输系统进一步包括：
46.多个异物位置寻找摄像装置，各个异物位置寻找摄像装置沿所述运输皮带的皮带运输方向相隔布置，且每两个相邻的异物位置寻找摄像装置间隔距离相同，各个异物位置寻找摄像装置分别与所述控制器连接；
47.每个所述异物位置寻找摄像装置执行如下操作：
48.获取控制器传递的异物信号；
49.获取自身所能获取的图像信息；
50.提取自身所获取的图像信息的图像特征；
51.判断自身所获取的图像信息的图像特征与所述异物图像特征的相似度，若相似度大于阈值时，则生成确认信息并传递给控制器；
52.所述控制器执行如下操作：
53.获取发送所述确认信息的异物位置寻找摄像装置的标识信息；
54.获取位置数据库，所述位置数据库包括每个异物位置寻找摄像装置的标识信息以及每个异物位置寻找摄像装置的位置信息，一个异物位置寻找摄像装置的位置信息对应一个异物位置寻找摄像装置的标识信息，每个异物位置寻找摄像装置的位置信息包括该异物位置寻找摄像装置距离预设起点的距离；
55.根据异物位置寻找摄像装置的标识信息以及获取位置数据库获取异物位置寻找摄像装置的位置信息；
56.获取预设停止位置信息，所述预设停止位置信息包括预设停止位置距离所述预设起点的距离；
57.判断获取的所述异物位置寻找摄像装置的位置信息中的异物位置寻找摄像装置距离预设起点的距离是否小于所述预设停止位置距离所述预设起点的距离，若否，则
58.计算获取的所述异物位置寻找摄像装置的位置信息中的异物位置寻找摄像装置距离预设起点的距离与所述预设停止位置距离所述预设起点的距离的差值，该差值称为待行走距离；
59.获取当前运输皮带的运输速度；
60.根据所述当前运输皮带的运输速度以及所述待行走距离计算以当前运输皮带的运输速度行走待行走距离所需要的预估时间；
61.在计算得到所述预估时间后，等待与所述预估时间相同的时间后向所述运输皮带发送停止工作信号以使运输皮带停止运输。
62.本技术至少存在以下有益技术效果：
63.本技术的基于视频深度学习算法的调速方法通过图像识别的方式来对运输皮带上的煤量进行分级从而获取煤量分级信息，并通过煤量分级信息来进行运输皮带的速度控制，使得运输皮带的速度能够一直与煤量进行匹配，从而节省了不当的能源消耗。
附图说明
64.图1是本技术一个实施方式提供的基于视频深度学习算法的调速方法的流程示意
图；
65.图2是一种电子设备，用于实现图1所示的基于视频深度学习算法的调速方法。
66.图3是图1所示的基于视频深度学习算法的调速方法中用于煤量级数分类器的煤矿监控摄像头所采集的图像示意图；
67.图4是图1所示的基于视频深度学习算法的调速方法的煤量级数分类器与本实施例的方法在测试集上的混淆矩阵结果图；
68.图5是图1所示的基于视频深度学习算法的调速方法的煤量级数分类器与本实施例的方法在测试集上的混淆矩阵结果图；
69.图6是图1所示的基于视频深度学习算法的调速方法中用于异物识别模型的煤矿监控摄像头所采集的图像示意图；
70.图7是图1所示的基于视频深度学习算法的调速方法中用于异物识别模型的煤矿监控摄像头所采集的正常图像数据与异常图像数据的代表性图像示意图；
71.图8是基于异物识别模型的roc曲线的示意图；
72.图9是基于异物识别模型本技术与其他五种基线方法的混淆矩阵图；
73.图10是基于异物识别模型在测试集上的异常得分直方图。
具体实施方式
74.为使本技术实施的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本技术一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。下面结合附图对本技术的实施例进行详细说明。
75.需要说明的是，在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
76.图1是本技术一个实施方式提供的基于视频深度学习算法的调速方法的流程示意图。
77.如图1所示的基于视频深度学习算法的调速方法包括：
78.步骤1：获取运输皮带以及煤量的图像信息；
79.步骤2：根据图像信息获取当前运输皮带上的煤量分级信息；
80.步骤3：判断当前运输皮带上的煤量分级信息与当前运输皮带的运输速度是否匹配，若否，则
81.步骤4：根据当前运输皮带上的煤量分级信息生成调速信号并传递给运输皮带的控制器，控制器根据所述调速信号改变运输皮带的运输速度。
82.本技术的基于视频深度学习算法的调速方法通过图像识别的方式来对运输皮带上的煤量进行分级从而获取煤量分级信息，并通过煤量分级信息来进行运输皮带的速度控制，使得运输皮带的速度能够一直与煤量进行匹配，从而节省了不当的能源消耗。
83.在本实施例中，根据图像信息获取当前运输皮带上的煤量分级信息包括：
84.获取通过vae以及cnn生成的经过训练的煤量级数分类器；
85.获取图像信息中的图像特征；
86.将所述图像特征输入至所述煤量级数分类器，从而获取煤量分级信息，所述煤量分级信息至少包括两个煤量级数。
87.在本实施例中，变分自编码器(variational auto-encoder，vae)最早由kingma和welling于2014年提出，相当于在普通自编码器的编码基础上，给code加入噪声，使得有噪声的一组code经过解码过程后的数据与输入数据尽可能的接近。
88.变分自编码器由两个神经网络搭建完成，形成了两个概率密度分布。一个作为编码器产生平均编码和标准差，而不是直接产生编码，随后将从平均值和标准差的高斯分布中抽取实际编码。另一个作为解码器解码还原重构编码。vae生成数据的过程一般如下式所示：
[0089][0090]
式中：z为隐变量，x为样本，p(z)为先验分布，p(x|z)为在给定隐变量的条件下样本的生成分布，其经常被视为解码器，因为能够完成从隐空间到样本空间的映射。
[0091]
常规的vae的生成过程由两步组成。首先，隐变量z从一个先验分布中被采样，这个先验分布在通常的情况下一般设定为标准高斯分布。然后，样本从在给定隐变量的条件分布中生成。vae的损失是一个负的证据下界(evidence lower bound,elbo)，这个损失能够被视作为一个带正则项的负对数似然函数：
[0092][0093]
式中：为期望，d
kl
[
·
]为kl散度，q(z|x)为在给定样本的条件下隐变量的后验分布，它经常被视为编码器，因为能够完成从样本空间到隐空间的映射。
[0094]
上式的第一项一般被视为重构损失，即输入样本与重构样本之间的均方误差。第二项一般被视为正则项，是为了使后验分布更加接近于先验分布的，其中先验分布一般使用的是标准高斯分布。因此vae的损失函数可改写为：
[0095][0096]
在本实施例中，vae以及cnn生成的经过训练的煤量级数分类器包括两部分，一部分是变分自编码器，用于重构图像，另一部分是卷积神经网络，用于进行煤量分级。
[0097]
在本实施例中，之所以使用vae因为如下原因：
[0098]
(1)由于vae利用变分推断同时学习真实图像数据与隐变量之间的映射关系，因此能够捕获数据的分布。如果要使分级预测足够准确，那么数据中的重要信息是一定需要保留下来的，同时也一定需要足够准确的数据分布，而vae正是可以做到这些，这是本文选择vae对图像进行重构处理的第一条原因。
[0099]
(2)由于vae的损失函数是基于均方误差的重构损失，它是针对图像的每个像素点进行训练的，不能捕获图像的全局信息，因此vae所生成的图像是模糊且缺乏细节的。但正是如此，通过vae所重构的图像能够去除掉许多不重要的噪声信息，使图像变得更加平滑，
而仅保留较为重要的图像信息，因此利用重构后的图像训练cnn用于皮带煤量分级预测是不会受到噪声信息的干扰的，这是本文选择vae对原始图像进行重构处理的第二条原因。
[0100]
综上所示，通过vae对图像进行重构，可以仅保留下图像的重要信息，同时去除掉不重要的噪声信息，这对后续的cnn训练是有帮助的。在后续的实验中将会展示重构的图像效果，以及利用原始图像和重构图像训练cnn的精度差异。
[0101]
在本实施例中，在训练好vae后，我们会将原始图像数据通过vae获取原始图像的重构数据，然后利用这些原始图像的重构数据训练一个cnn用于皮带煤量分级预测。
[0102]
参见图3，在本实施例中，所使用的数据是从煤矿中通过摄像头采集的，并进行了人工标注，煤量分级信息包括4个煤量级数，即划分为a、b、c、d四个等级，其中a级别为煤量最少，d级别为煤量最多。为了便于后续的实验，对图像的分辨率进行了调整，将其调整为128*128的灰度图像。图3给出的是四个等级较具代表性的示意图。
[0103]
对所得数据进行了训练集与测试集的划分，训练集用于训练模型，测试集用于测试模型，这两部分不存在重复样本。其中，训练集具有350个样本，四个等级的样本量比例为100:100:100:50，测试集具有178个样本，四个等级的样本量比例为50:50:50:28。
[0104]
为了使模型能够有更快的收敛速度，同时为了获得更好的实验效果与预测精度，本文对所选样本进行了数据预处理，对所有的输入样本进行了归一化处理：
[0105][0106]
式中：x为原始的图像数据，为经归一化预处理后的图像数据，x
min
为原始图像中最小的像素值，x
max
为原始图像中最大的像素值。
[0107]
参见下表1，表1给出的是我们的方法中vae部分的网络结构与超参数的设置。在编码器中，首先使用三层卷积神经网络，这是为了能够更好的提取图像中的特征信息，这些卷积层(conv2d)的超参数设置分别为卷积核(kernel)的大小均为6，步长(strides)均为2，填充值(padding)均为2，滤波器(filter)为32、64、128个，并均使用relu函数进行激活；然后使用了三层线性层(linear)，其中第一个线性层是为了对卷积层输出信息的再次组合，神经元(units)的个数设置为1024，并使用relu函数进行激活，第二个与第三个线性层是为了输出vae重参数化技巧中对应的均值与方差，神经元的个数均为100，不使用任何激活函数。在解码器中，首先使用了两层线性层，神经元的个数分别为1024与16*16*128，使用relu函数进行激活；然后是用来三层反卷积层(conv2dtranspose)，卷积核的大小均为6，步长均为2，填充值均为2，滤波器为64、32、1个，并在最后一层使用sigmoid函数进行激活。在训练vae时，使用的优化器为rmsprop优化器，学习率为0.0001，并使用了批训练，每一批数据为32个(batch size)，共迭代了50次(epochs)。
[0108]
表1：vae网络结构
[0109][0110]
参见下表，表2给出的是我们的方法中cnn部分的网络结构与超参数的设置。首先，使用了三层卷积层，卷积核的大小均为6，步长均为2，填充值均为2，滤波器的个数为32、64、128个，同时使用leakyrelu函数进行激活，leakyrelu函数的负半轴斜率设置为0.2。然后使用了两层线性层，神经元的个数分别为1024和4，并对第一个线性层使用leakyrelu函数进行激活。在训练cnn时，所使用的优化器为adam优化器，学习率设置为0.001，并使用了批训练，每一批数据为32个，共迭代了100次。
[0111]
表2 cnn结构
[0112][0113]
为了证明我们的方法的优越性，我们与几种基线方法进行了比较，包括四种传统的机器学习算法，分别为决策树(decision tree)、k近邻算法(k-nearest neighbors,knn)、随机森林(random forest)和支持向量机(support vector machine,svm)，以及两种深度学习方法，分布为深度神经网络(deep neural network,dnn)与cnn。其中，决策树、k近邻算法、随机森林、支持向量机使用sklearn机器学习库进行实验。dnn与cnn使用深度学习
框架，为了能够公平的与我们的方法进行比较，对于cnn使用了与我们的方法中cnn部件相同的网络结构与超参数设定。
[0114]
对于评价指标，共选择了四种评价指标，分别为准确率(accuracy)、精确率(precision)、召回率(recall)与f1分数。同时，通过混淆矩阵比较了我们的方法与cnn的分类效果。以上所提及的评价指标均使用sklearn机器学习库进行计算。
[0115]
参见下表，表3给出的是我们的方法与其他六种方法的精度比较，通过分析上表可以得知，我们的方法在四种评价指标下均优于其他六种方法。对于一些传统的机器学习分类方法，如决策树、k近邻算法和随机森林并不能很好的处理皮带煤量分级这个问题，这是由于传统的机器学习算法并不擅长处理真实场景的复杂图像处理问题，因此这三种算法在四个评价指标下获得了较低的值。而对于传统的svm算法，的确是超越了其他三种传统的机器学习算法，但是其精度仍然不及深度学习方法。对于dnn来说，其精度较低是因为dnn中使用的均是线性层，线性层一般是不适于处理图像数据的。cnn的精度与我们的方法较为接近，但是仍不如我们的方法，这是因为我们的方法先使用vae对图像进行了重构，能够去除掉一些不重要的噪声信息，以免干扰到cnn的训练。
[0116]
表3精度比较
[0117][0118][0119]
图4和图5分别给出的是cnn与本实施例的方法在测试集上的混淆矩阵结果，通过分析上述图可以得知，两种方法在判断c级别的精度都是最高的，而对于判断b级别的精度都是较低的。通过分析图4和图5也能够得知，cnn的分类精度较低于我们的方法，尤其是在判断a级别和b级别时均低于我们的方法，而在判断c级别与d级别时与我们的方法精度相当。
[0120]
图6给出的是vae对原始图像的重构效果图，通过分析图6能够发现，重构效果图能够保留原始图像的重要信息，同时使图像变得更加的平滑，去除掉许多的不重要的噪信息。但是对于b级别的重构效果并不是很好，这也可以解释为何图3和图4中对于b级别的判断精度低于其他三个级别。
[0121]
采用这种方法具有如下优点：
[0122]
1、变分自编码器的重构图像能够保留原始的皮带图像数据的重要信息，同时可以去除掉原始图像中的一些噪声信息，使图像更加光滑。
[0123]
2、利用卷积神经网络能够有效对皮带煤量数据进行分级。
[0124]
3、利用变分自编码器的重构图像训练分级算法的效果要优于使用原始图像数据分级预测效果。
[0125]
在另一个实施例中，本技术的根据所述图像信息获取当前运输皮带上的煤量分级
信息包括：
[0126]
获取通过vae以及gan生成的经过训练的煤量级数分类器；
[0127]
获取图像信息中的图像特征；
[0128]
将所述图像特征输入至所述煤量级数分类器，从而获取煤量分级信息，所述煤量分级信息至少包括两个煤量级数。
[0129]
在该备选实施例中，煤量级数分类器包括两个部分，一部分是生成器网络，另一部分是判别器网络。
[0130]
在该备选实施例中，生成器网络利用了变分自编码器(variational auto-encoder,vae)，具体而言，对于生成器网络，本文方法使用的并不是原始gan中的生成器网络，而是使用vae作为生成器网络。这是因为本文的目的是进行去噪，模型的输入不再是从先验分布中所采样的噪声，而是含噪声的图像，故原始gan的生成器网络以不适用于本文问题。对于选择vae作为生成器网络是因为，vae能够很好的捕获原始数据的分布，同时由于vae损失函数的特性，使其在学习到数据分布的同时会忽略掉许多噪声信息，这是对去噪任务有益的。
[0131]
在该备选实施例中，判别器网络使用的是原始gan的判别器网络。引入判别器网络的作用是因为vae生成的图像往往是模糊的、缺乏细节的，而gan能够很好的学习到图像的细节信息，因此引入判别器能够获取较为清晰的图像。对于判别器的输入，在本文中有所不同的是，其输入的图像是原始煤矿监控图像与经vae重构的煤矿监控图像，而不再是生成器所生成的虚假图像。
[0132]
在该备选实施例中，本文的损失函数由两部分构成，其中一部分是vae损失，是用来重构图像的，另一部分是对抗损失，是用来提高图像清晰度的。本文方法的总损失函数如下式所示：
[0133][0134]
式中：代表vae损失，代表对抗损失，λ代表超参数。
[0135]
对于vae损失，本文方法使用的是与原始vae相同的损失函数[16]。vae损失函数是由似然函数推导得来的负的证据下界(evidence lower bound,elbo)，其可以看做是一个带正则项的重构损失，共包含两个部分：第一项为重构损失，即原始输入图像与重构输出图像之间的均方误差；第二项为正则项。一般情况下，先验分布选择标准正态分布。vae损失如下式所示：
[0136][0137]
式中：x代表原始图像，代表重构图像，d
kl
[
·
]代表kl散度(kullback-leibler divergence)，q
φ
(z|x)代表在给定x的条件下z的后验分布，代表标准高斯分布。
[0138]
对于对抗损失，本文在gan的原始对抗损失的基础上进行了修改。由于本文方法的判别器输入是原始图像与vae所重构的图像，而不再是由噪声所生成的图像，因此对于对抗损失需要进行修改。修改后的对抗损失如下式所示：
[0139][0140]
式中：g代表生成器(即vae)，d代表判别器。
[0141]
在该备选实施例中，实验所使用的数据集包含两个，分别来自于煤矿矿井中两个不同煤矿监控摄像头所采集的图像数据，将两个数据集分别命名为s1与s2。为了便于后续实验的进行，将全部图像调整为了像素值为256*512的灰度图像。两个数据集的代表性图像数据如图6所示。
[0142]
在本实施例中，判断当前所述运输皮带上的煤量分级信息与当前运输皮带的运输速度是否匹配包括：
[0143]
获取关联数据库，关联数据库包括多个煤量级数以及每个煤量级数对应的运输皮带运输速度区间信息；
[0144]
根据获取的煤量级数获取在关联数据库中该煤量级数对应的运输皮带运输速度区间信息；
[0145]
获取当前运输皮带的运输速度；
[0146]
判断当前运输皮带的运输速度是否位于获取的运输皮带运输速度区间信息内。
[0147]
举例来说，如上所述，煤量级数为4级，即图3中的a、b、c、d四级，则每级设定一个运输皮带运输速度区间信息，即运输皮带运输速度区间信息也包括四个数值范围，例如，2米/分钟至3米/分钟；4米/分钟至5米/分钟、6米/分钟至7米/分钟、8米/分钟至9米/分钟；其中，2米/分钟至3米/分钟与a级对应，4米/分钟至5米/分钟与b级对应；6米/分钟至7米/分钟与c级对应；8米/分钟至9米/分钟与d级对应。
[0148]
根据获取的煤量级数获取在关联数据库中该煤量级数对应的运输皮带运输速度区间信息，例如，获取的煤量级数为a，则对应2米/分钟至3米/分钟；
[0149]
获取当前运输皮带的运输速度(获取运输皮带的运输速度为现有技术，在此不再赘述。)，判断当前运输皮带的运输速度是否位于获取的运输皮带运输速度区间信息内，例如，获取后的当前运输皮带的运输速度为2.5米/分钟，则在2米/分钟至3米/分钟内，若获取的当前运输皮带的运输速度为5米/分钟，则与煤量级数a并不对应，即不匹配，则根据当前运输皮带上的煤量分级信息生成调速信号并传递给运输皮带的控制器，控制器根据调速信号改变运输皮带的运输速度，从而使当前运输皮带的运输速度在2米/分钟至3米/分钟内。
[0150]
在本实施例中，在根据当前运输皮带上的煤量分级信息生成调速信号并传递给运输皮带的控制器，控制器根据所述调速信号改变所述运输皮带的运输速度之前，基于视频深度学习算法的调速方法进一步包括：
[0151]
获取异物检测图像；
[0152]
根据异物检测图像判断所述运输皮带上是否具有异物；若有，则
[0153]
生成异物信号。
[0154]
在本实施例中，根据所述异物检测图像判断所述运输皮带上是否具有异物包括：
[0155]
获取通过gan与vae生成的经过训练的异物识别模型；
[0156]
获取异物检测图像中的异物图像特征；
[0157]
将异物图像特征输入至所述异物识别模型从而判断是否具有异物。
[0158]
在本实施例中，由于皮带煤矿运输机上所存在的异常物体通常是与煤炭混在一起，因此，本技术采用的异物识别模型通过gan与vae生成，具体而言，由于vae的损失是基于均方误差的重构损失，因此可以利用重构误差来判断一张图片是否存在异常物体，故vae是一种非常适用于异常检测的方法。但是，由于皮带煤矿运输机上所存在的异常物体通常是与煤炭混在一起的，而vae的重构图像会忽略掉一些细节信息，因此这对皮带异物检出是不适用的。gan能够捕获图像中的许多细节信息，因此我们将gan与vae进行结合，使其适用于煤矿皮带运输机的异物检测。
[0159]
在本实施例中，gan是一种训练过程处于博弈状态的深度生成模型。gan的主要结构可以分为两个部分：生成器网络与判别器网络。生成器网络的功能是用来生成与真实图像在视觉上相似的虚假图像，而判别器的作用是用来判断所输入的信号是来自于真实数据集还是来自于生成器所生成的虚假图像。
[0160]
在训练过程中，一组噪声会被从一个先验分布(一般采用高斯分布)所采样，然后使其通过生成器，生成一组虚假图像。然后将所生成的虚假图像与从数据集中所采集的真实图像一起输入到判别器中，判断所输入的图像是从何而来。经过几轮迭代后，生成器所生成的图像能够骗过判别器，这时gan达到了最优状态。gan的目标函数如下：
[0161][0162]
式中：g为生成器，d为判别器。
[0163]
本技术的异物识别模型包括三部分，分别为编码器(encoder)、解码器(decoder)和判别器(discriminator)，其中，编码器和解码器共同构成了一个vae，并把vae看作是生成器，与判别器共同构成了一个gan。
[0164]
编码器的作用是将高维图像进行编码，得到压缩后的低维表示。编码器是完成了从高维的原始图像空间到隐空间的映射。在编码器的输出位置，会利用重参数化技巧。解码器的作用是将低维的表示进行解码，得到解码后的重构图像。解码器是完成了从低维的隐空间到高维的重构空间的映射。编码器和解码器共同构成了一个vae，并且把这个vae看作是gan中的生成器部分。
[0165]
判别器的作用是用来判断所输入的图像是真实图像还是生成图像的。在本文方法中，由于利用vae作为gan的生成器部分，这个生成器并没有从一个高斯分布中采样噪声来生成图像，而是对原始图像进行重构，因此此判别器的作用是用来判断所输入的图像是来自于真实图像还是重构图像的。
[0166]
在本实施例中，损失函数是由两部分构成，分别为vae损失和对抗损失，总的损失函数如下式所示：
[0167][0168]
式中：为vae损失，为对抗损失，λ为一个平衡两个子损失对总损失影响的超参数。
[0169]
对于vae损失，本文方法直接利用的是vae中的损失函数，如下式所示。vae损失可以看做是一个带正则项的重构损失，共包含两个部分：第一项为重构损失，即原始图像与重构图像之间的均方误差，是为了使重构图像尽可能与原始图像相似；第二项为正则项，是为
了使后验分布更加的接近于先验分布，一般情况下，先验分布选择标准高斯分布。
[0170][0171]
式中：x为原始图像，为重构图像，d
kl
[
·
]为kl散度，q
φ
(z|x)为在给定x的条件下z的后验分布，为标准高斯分布。
[0172]
对于对抗损失，本文在gan的原始对抗损失的基础上进行了修改。由于本文方法的生成器不是从高斯分布中采样噪声来生成图像，而是将vae作为生成器对原始图像进行重构，因此生成器的输入不再是噪声而是原始图像。修改后的对抗损失如下式所示：
[0173][0174]
异常得分能够检验图像中是否出现异物，异常得分越高说明越有可能出现异物，异常得分越低说明越不能出现异物。在本文方法中，所使用的异常得分为测试图像与测试图像的重构图像之间的重构误差：
[0175][0176]
式中：x
test
为测试图像，为测试图像的重构图像。
[0177]
当异常得分大于某一个阈值时，认为图像中出现了异物，反之则未出现异物：
[0178][0179]
式中：τ为阈值。
[0180]
对于阈值的选择，在本文中，均以异常比的分位数为阈值。
[0181]
在本实施例中，数据集是从煤矿中通过摄像头所采集的，并对采集到的图像数据进行了人工标注。将数据分为两类：一类是不含异物的正常图像数据，另一类是含有异物的异常图像数据。为了便有后续试验的进行，将全部图像数据调整为像素值为256*256的灰度图像。正常图像数据与异常图像数据的代表性数据如图7所示。
[0182]
本技术所使用的异常检测算法以及基线方法均是半监督学习算法，因此在划分训练集与测试集时，使训练集中仅含有正常样本，包含了800张正常图像。为了能够更加公平的评价各算法的差异，使测试集中正常样本与异常样本的样本量相同，各100张。训练集与测试集的具体信息如表4所示。
[0183]
表4数据集信息
[0184]
数据集像素正常样本异常样本异常比训练集256*25680000％测试集256*25610010050％
[0185]
为了能够更加稳定的训练模型，同时也为了能获得更优的实验结果，对全部图像数据进行了归一化预处理：
[0186]
[0187]
式中：x表示原始数据，表示经归一化预处理后的数据，x
min
表示图像中最小的像素值，x
max
表示图像中最大的像素值。
[0188]
在本实施例中，将本技术的异物识别方法与五种基线方法进行了比较，其中包括两种传统的机器学习算法：一类支持向量机(one-class support vector machine,ocsvm)和核密度估计(kernel density estimation,kde)；三种深度学习方法：自编码器(auto-encoder,ae)、去噪自编码器(denoising auto-encoder,dae)和变分自编码器(variational auto-encoder,vae)；
[0189]
对于网络结构设定，本文方法的网络结构如图1所示。为了更加公平的比较各个方法，ae、dae、vae中的各个部件与本文方法所所对应的部件结构是相同的，ocsvm与kde两种传统的机器学习方法是使用了机器学习库sklearn中的默认参数。
[0190]
对于评价指标，本文选择了两种用于分类任务的评价指标，分别为f1分数与auc(area under the curve)，同时也使用了roc曲线与混淆矩阵比较六种方法的分类效果。
[0191]
表5给出的是本文方法与其他五种基线方法的精度比较结果，表中给出了每一种方法所对应的f1分数与auc结果。通过分析表5能够得知，两种经典的机器学习方法的效果不及深度学习方法，且kde的精度表现较差，这是由于传统的机器学习方法对于处理高维复杂的真实场景图像任务是存在困难的，在应用时可能会遭受维数灾难问题。ae、dae、vae这三种深度学习方法的精度表现较为相近，但是其精度表现仍不及本文方法，这是由于ae、dae、vae的重构图像往往是模糊且缺乏细节的，而对于真实场景的煤矿异物检测任务是存在困难的，因为煤矿中的异物可能仅占据所采集的图像中的很小的位置。本文方法利用了gan，能够学习到图像的细节信息，从而能够达到更好的异物检出效果。
[0192]
表5精度比较
[0193][0194][0195]
图8给出的roc曲线，图中给出了本文方法与其他五种基线方法的roc曲线。通过分析图8能够直观的得知，我们的方法相较于其他的基线方法拥有更优的分类效果，且深度学习方法是要优于传统的记起学习方法的。
[0196]
图9给出的是本技术与其他五种基线方法的混淆矩阵图。通过分析图9能够得知，本技术的异物检出效果是最好的。
[0197]
图10给出的是本文方法在测试集上的异常得分直方图，我们分别展示了正常测试样本与异常测试样本的得分情况。通过分析图10能够得知，正常测试样本的得分明显的低于异常测试样本的得分，这说明本文方法能够明确的划分正常测试样本与异常测试样本，
也就是说能够准确的进行异物检出。同时，能够发现正常测试样本的得分离散程度要小于异常测试样本的，这说明本文的方法是能够捕获正常样本的分布的，同时能够准确的区分正常样本分布外的样本。
[0198]
采用本技术的异物检测方法，具有如下优点：
[0199]
(1)vae能够对皮带图像进行重构，利用重构误差对皮带上是否存在异物进行判断。
[0200]
(2)gan能够提升vae的重构图像质量，使其学习到图像中的一些细节信息，以便能够获得更佳的异物检出效果。
[0201]
(3)本文方法所得到的异常得分能够对正常样本与异常样本进行分离，且正常样本得分的离散程度要小于异常样本得分的离散程度。
[0202]
本技术还提供了一种基于视频深度学习算法的煤炭运输皮带调速装置，所述基于视频深度学习算法的煤炭运输皮带调速装置包括煤量分级信息获取模块、判断模块以及调速信息生成模块，煤量分级信息获取模块用于获取当前运输皮带上的煤量分级信息；判断模块用于判断当前运输皮带上的煤量分级信息与当前运输皮带的运输速度是否匹配；调速信息生成模块用于当判断模块判断为否时根据当前运输皮带上的煤量分级信息生成调速信号并传递给运输皮带的控制器，控制器根据所述调速信号改变运输皮带的运输速度。
[0203]
本技术还提供了一种煤炭运输系统，煤炭运输系统包括运输皮带机、摄像装置、控制器以及基于视频深度学习算法的煤炭运输皮带调速装置，其中，
[0204]
运输皮带机上用于运输煤炭；
[0205]
摄像装置用于拍摄运输皮带机以及位于运输皮带机上的煤炭，从而获取运输皮带以及煤量的图像信息；
[0206]
控制器与所述运输皮带机连接，用于控制运输皮带机的运输速度；
[0207]
基于视频深度学习算法的煤炭运输皮带调速装置分别与所述摄像装置以及所述控制器连接，用于通过如上所述的基于视频深度学习算法的调速方法来为所述控制器生成调速信号。
[0208]
在本实施例中，摄像装置进一步包括获取异物检测图像；
[0209]
基于视频深度学习算法的煤炭运输皮带调速装置进一步包括根据所述异物检测图像判断所述运输皮带上是否具有异物，若有则生成异物信号并将异物信号传递给控制器，所述异物信号包括异物图像特征。
[0210]
在本实施例中，煤炭运输系统进一步包括：
[0211]
多个异物位置寻找摄像装置，各个异物位置寻找摄像装置沿运输皮带的皮带运输方向相隔布置，且每两个相邻的异物位置寻找摄像装置间隔距离相同，各个异物位置寻找摄像装置分别与所述控制器连接；
[0212]
每个所述异物位置寻找摄像装置执行如下操作：
[0213]
获取控制器传递的异物信号；
[0214]
获取自身所能获取的图像信息；
[0215]
提取自身所获取的图像信息的图像特征；
[0216]
判断自身所获取的图像信息的图像特征与所述异物图像特征的相似度，若相似度大于阈值时，则生成确认信息并传递给控制器；
[0217]
控制器执行如下操作：
[0218]
获取发送所述确认信息的异物位置寻找摄像装置的标识信息；
[0219]
获取位置数据库，位置数据库包括每个异物位置寻找摄像装置的标识信息以及每个异物位置寻找摄像装置的位置信息，一个异物位置寻找摄像装置的位置信息对应一个异物位置寻找摄像装置的标识信息，每个异物位置寻找摄像装置的位置信息包括该异物位置寻找摄像装置距离预设起点的距离；
[0220]
根据异物位置寻找摄像装置的标识信息以及获取位置数据库获取异物位置寻找摄像装置的位置信息；
[0221]
获取预设停止位置信息，所述预设停止位置信息包括预设停止位置距离所述预设起点的距离；
[0222]
判断获取的所述异物位置寻找摄像装置的位置信息中的异物位置寻找摄像装置距离预设起点的距离是否小于所述预设停止位置距离所述预设起点的距离，若否，则
[0223]
计算获取的所述异物位置寻找摄像装置的位置信息中的异物位置寻找摄像装置距离预设起点的距离与所述预设停止位置距离所述预设起点的距离的差值，该差值称为待行走距离；
[0224]
获取当前运输皮带的运输速度；
[0225]
根据所述当前运输皮带的运输速度以及所述待行走距离计算以当前运输皮带的运输速度行走待行走距离所需要的预估时间；
[0226]
在计算得到预估时间后，等待与所述预估时间相同的时间后向运输皮带发送停止工作信号以使运输皮带停止运输。
[0227]
在实际工作中，运输皮带可能比较长，而运输皮带周围的环境也可能比较复杂，当实际出现异物时，一方面，如果不及时处理异物可能出现危险，另一方面，即使停止了运输皮带的工作，也可能由于异物的位置问题，导致使用者很难清理异物，通过上述的方法，让异物跟随运输皮带运动至一个指定的位置，该指定的位置可以设置为方便使用者工作的位置，这样，不论异物在哪里，都可以通过上述方法来让异物达到预定的位置，方便使用者清理异物。
[0228]
举例来说，通过异物位置寻找摄像装置的拍摄，可以获取每个异物位置寻找摄像装置所拍摄的图像，然后采用与图像特征处理摄像装置的运输皮带以及煤量的图像信息相同的处理方法，即可以得到异物位置寻找摄像装置所拍摄的图像的图像特征。
[0229]
将异物位置寻找摄像装置所拍摄的图像的图像特征与之前获得的摄像装置的图像特征进行相似度比较，若相似度大于阈值，则认为拍摄角度以及拍摄位置接近或者靠近，从而能够获取具体哪个异物位置寻找摄像装置更靠近异物，从而使这个更为接近异物的异物位置寻找摄像装置生成确认信息并发送给控制器。
[0230]
控制器获取发送确认信息的异物位置寻找摄像装置的标识信息，根据异物位置寻找摄像装置的标识信息以及获取位置数据库获取异物位置寻找摄像装置的位置信息，例如，该异物位置寻找摄像装置的位置信息为距离预设起点10米。
[0231]
获取预设停止位置信息，预设停止位置信息包括预设停止位置距离所述预设起点的距离，例如，预设停止位置距离所述预设起点的距离为100米。
[0232]
判断获取的所述异物位置寻找摄像装置的位置信息中的异物位置寻找摄像装置
距离预设起点的距离是否小于所述预设停止位置距离所述预设起点的距离，10米小于100米，则
[0233]
计算获取的异物位置寻找摄像装置的位置信息中的异物位置寻找摄像装置距离预设起点的距离与预设停止位置距离预设起点的距离的差值，该差值称为待行走距离，在本举例中，该值为90米。
[0234]
获取当前运输皮带的运输速度，例如，当前的运输皮带的运输速度为5米/秒，则
[0235]
根据所述当前运输皮带的运输速度以及所述待行走距离计算以当前运输皮带的运输速度行走待行走距离所需要的预估时间，即走过90米需要18秒。
[0236]
在计算得到预估时间后，等待与预估时间相同的时间后向运输皮带发送停止工作信号以使运输皮带停止运输，即等待18秒后停止，则异物会位于预设停止位置附近，方便使用者清理。
[0237]
本技术还提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并能够在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于视频深度学习算法的调速方法。
[0238]
本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时能够实现如上所述的基于视频深度学习算法的调速方法。
[0239]
图2是能够实现根据本技术一个实施例提供的基于视频深度学习算法的调速方法的电子设备的示例性结构图。
[0240]
如图2所示，电子设备包括输入设备501、输入接口502、中央处理器503、存储器504、输出接口505以及输出设备506。其中，输入接口502、中央处理器503、存储器504以及输出接口505通过总线507相互连接，输入设备501和输出设备506分别通过输入接口502和输出接口505与总线507连接，进而与电子设备的其他组件连接。具体地，输入设备504接收来自外部的输入信息，并通过输入接口502将输入信息传送到中央处理器503；中央处理器503基于存储器504中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器504中，然后通过输出接口505将输出信息传送到输出设备506；输出设备506将输出信息输出到电子设备的外部供用户使用。
[0241]
也就是说，图2所示的电子设备也可以被实现为包括：存储有计算机可执行指令的存储器；以及一个或多个处理器，该一个或多个处理器在执行计算机可执行指令时可以实现结合图1描述的基于视频深度学习算法的调速方法。
[0242]
在一个实施例中，图2所示的电子设备可以被实现为包括：存储器504，被配置为存储可执行程序代码；一个或多个处理器503，被配置为运行存储器504中存储的可执行程序代码，以执行上述实施例中的基于视频深度学习算法的调速方法。
[0243]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0244]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0245]
计算机可读介质包括永久性和非永久性、可移动和非可移动，媒体可以由任何方
法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数据多功能光盘(dvd)或其他光学存储、磁盒式磁带、磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
[0246]
本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0247]
此外，显然“包括”一词不排除其他单元或步骤。装置权利要求中陈述的多个单元、模块或装置也可以由一个单元或总装置通过软件或硬件来实现。第一、第二等词语用来标识名称，而不标识任何特定的顺序。
[0248]
附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，模块、程序段、或代码的一部分包括一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地标识的方框实际上可以基本并行地执行，他们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或总流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0249]
在本实施例中所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0250]
存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现装置/终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0251]
在本实施例中，装置/终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的
理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
[0252]
最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。