一种基于视频信号的智能分析、调速系统及其控制方法与流程

1.本技术属于煤矿运输技术领域，特别涉及基于视频信号的智能分析、调速系统以及基于视频信号的智能分析与调速的控制方法。


背景技术：

2.煤炭作为我国最重要的基础能源之一，在国民经济中占据了不可或缺的战略地位。我国的煤炭产业在世界上占据了领先地位，每年的产煤规模超过了2000亿吨。然而，产煤后的运输环节却是一大问题，地下煤炭从工作面采运到煤仓距离长，能耗大。皮带机输送原煤的能耗十分巨大，其所消耗的能量约占煤矿矿井总耗能的30％。
3.现有技术通常根据皮带上的煤量对皮带输送机进行实时的变频调速。例如，通常通过人为观察或者皮带上的重量来进行判断。
4.因此，希望有一种技术方案来克服或至少减轻现有技术的至少一个上述缺陷。


技术实现要素：

5.本技术的目的是提供了一种基于视频信号的智能分析、调速系统，以解决上述至少一方面的问题。
6.在本技术的第一方面，提供了一种基于视频信号的智能分析、调速系统，所述基于视频信号的智能分析、调速系统包括：
7.多个主运输胶带机，各个主运输胶带机首尾衔接设置，其中位于一端的主运输胶带机称为尾部主运输胶带机，所述尾部主运输胶带机的远离与其相邻的主运输胶带机的一端称为卸料端，各个主运输胶带机组成运煤链，所述运煤链用于使位于任意一个主运输胶带机上的煤料输入至所述卸料端；
8.摄像装置，所述摄像装置的数量为多个，一个主运输胶带机上安装有一个摄像装置，每个主运输胶带机上的摄像装置用于拍摄主运输胶带机的运输带以及运输带上的煤料图像；
9.主运输胶带机控制器，主运输胶带机控制器的数量与主运输胶带机的数量相同，一个主运输胶带机控制器用于控制一个主运输胶带机的工作，一个主运输胶带机控制器与一个摄像装置连接，每个主运输胶带机控制器所连接的摄像装置为安装于该主运输胶带机控制器所控制的主运输胶带机上的摄像装置；
10.总控制器，所述总控制器分别与各个所述主运输胶带机控制器连接；其中，
11.每个所述主运输胶带机控制器获取与其连接的摄像装置所传递的图像并将图像传递给所述总控制器；
12.所述总控制器用于分别识别各个图像中的图像信息，从而根据识别出的各个图像信息判断各个图像信息中是否至少有一个图像信息是否满足调速条件，若满足，则生成调速信号并发送给对应的主运输胶带机控制器；
13.所述主运输胶带机控制器用于根据所述调速信号对其所控制的主运输胶带机进
行调速。
14.可选地，所述总控制器用于分别识别各个图像中的图像信息，从而根据识别出的各个图像信息判断各个图像信息中是否至少有一个图像信息是否满足调速条件包括：
15.为每一个获取的图像进行如下操作：
16.获取运输带以及运输带上的煤料图像；
17.根据所述煤料图像获取该图像所对应的主运输胶带机上的煤量分级信息；
18.判断当前所述主运输胶带机上的煤量分级信息与当前运输带的运输速度是否匹配，若否，则认为满足所述调速条件，生成调速信号并发送给对应的主运输胶带机控制器。
19.可选地，在所述根据所述煤料图像获取该图像所对应的主运输胶带机上的煤量分级信息之前，所述每一个获取的图像进行如下操作进一步包括：
20.对图像进行去噪处理。
21.可选地，所述对图像进行去噪处理包括：
22.获取通过vae以及gan生成的经过训练后的去噪模型；
23.获取图像中的图像去噪用特征；
24.将所述图像去噪用特征输入至所述去噪模型从而获取经过去噪处理的图像。
25.可选地，在各个所述主运输胶带机首位衔接中，位于另一端的主运输胶带机称为首部主运输胶带机；
26.所述总控制器进一步包括：
27.分别根据每个图像信息进行判断，判断图像中是否具有异物，若有，则
28.获取拍摄该图像信息的摄像装置所对应的主运输胶带机的标识值，其中，每个主运输胶带机具有一个标识值，所述尾部主运输胶带机的标识值最大，其他主运输胶带机的标识值自尾部主运输胶带机至首部主运输胶带机方向依次递减；
29.为小于以及等于获取的标识值的标识值所对应的主运输胶带机生成停止信号并分别发送给对应的主运输胶带机控制器；
30.各个所述主运输胶带机控制器进一步包括：
31.获取停止信号，并根据停止信号控制其所控制的主运输胶带机停止工作。
32.可选地，所述基于视频信号的智能分析、调速系统进一步包括：
33.辅运输胶带机，所述辅运输胶带机的数量为多个，每个辅运输胶带机的一端均为卸料端，每个辅运输胶带机的卸料端上的煤料在离开所述卸料端后掉落至各个主运输胶带机中的一个主运输胶带机的运输带上；
34.辅运输胶带机控制器，辅运输胶带机控制器的数量为多个，每个辅运输胶带机控制器用于控制一个辅运输胶带机工作，各个所述辅运输胶带机控制器分别与所述总控制器连接。
35.可选地，所述总控制器进一步包括：
36.生成所述停止信号后，生成辅运输胶带机停止信号；
37.向各个所述辅运输胶带机控制器发送辅运输胶带机停止信号；
38.每个所述辅运输胶带机控制器包括：
39.获取到辅运输胶带机停止信号后控制其对应的辅运输胶带机停止工作。
40.可选地，每个所述辅运输胶带机控制器进一步包括：
41.在控制其对应的辅运输胶带机停止工作后，生成反馈信号并将反馈信号发送给总控制器；
42.每个所述总控制器进一步包括：
43.在收到所述反馈信号后，将停止信号分别发送给对应的主运输胶带机控制器。
44.本技术还提供了一种基于视频信号的智能分析与调速的控制方法，所述基于视频信号的智能分析与调速的控制方法包括：
45.每个主运输胶带机控制器获取与其连接的摄像装置所传递的图像并将图像传递给所述总控制器；
46.总控制器用于分别识别各个图像中的图像信息，从而根据识别出的各个图像信息判断各个图像信息中是否至少有一个图像信息是否满足调速条件，若满足，则生成调速信号并发送给对应的主运输胶带机控制器；
47.主运输胶带机控制器用于根据所述调速信号对其所控制的主运输胶带机进行调速。
48.可选地，所述总控制器进一步包括：
49.分别根据每个图像信息进行判断，判断图像中是否具有异物，若有，则
50.获取拍摄该图像信息的摄像装置所对应的主运输胶带机的标识值，其中，每个主运输胶带机具有一个标识值，所述尾部主运输胶带机的标识值最大，其他主运输胶带机的标识值自尾部主运输胶带机至首部主运输胶带机方向依次递减；
51.为小于以及等于获取的标识值的标识值所对应的主运输胶带机生成停止信号并分别发送给对应的主运输胶带机控制器；
52.各个所述主运输胶带机控制器进一步包括：
53.获取停止信号，并根据停止信号控制其所控制的主运输胶带机停止工作。
54.本技术至少存在以下有益技术效果：
55.本技术的基于视频信号的智能分析、调速系统通过图像识别的方式来对进行运输皮带的速度控制，使得运输皮带的速度能够一直与煤量进行匹配，从而节省了不当的能源消耗。
附图说明
56.图1是本技术一个实施方式提供的基于视频信号的智能分析、调速系统的系统示意图。
57.图2是图1所示的基于视频深度学习算法的调速方法中用于煤量级数分类器的煤矿监控摄像头所采集的图像示意图；
58.图3是图1所示的基于视频深度学习算法的调速方法的煤量级数分类器与本实施例的方法在测试集上的混淆矩阵结果图；
59.图4是图1所示的基于视频深度学习算法的调速方法的煤量级数分类器与本实施例的方法在测试集上的混淆矩阵结果图；
60.图5是图1所示的基于视频深度学习算法的调速方法中用于异物识别模型的煤矿监控摄像头所采集的图像示意图；
61.图6是图1所示的基于视频深度学习算法的调速方法中用于异物识别模型的煤矿
监控摄像头所采集的正常图像数据与异常图像数据的代表性图像示意图；
62.图7是基于异物识别模型的roc曲线的示意图；
63.图8是基于异物识别模型本技术与其他五种基线方法的混淆矩阵图；
64.图9是基于异物识别模型在测试集上的异常得分直方图。
65.图10是来自于不同的摄像装置所采集的用于去噪处理的图像数据示意图；
66.图11是给出的本技术的去噪方法与vae、dae两种方法的去噪效果图；
67.图12是本技术的去噪方法在六种噪声条件下对图像的去噪效果图。
68.附图标记：
69.1、住运输胶带机；2、辅运输胶带机。
具体实施方式
70.为使本技术实施的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本技术一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。下面结合附图对本技术的实施例进行详细说明。
71.需要说明的是，在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
72.图1是本技术一个实施方式提供的基于视频信号的智能分析、调速系统的系统示意图。
73.如图1所示的基于视频信号的智能分析、调速系统包括多个主运输胶带机1、总控制器、摄像装置以及主运输胶带机控制器。
74.各个主运输胶带机1首尾衔接设置，其中位于一端的主运输胶带机称为尾部主运输胶带机，尾部主运输胶带机的远离与其相邻的主运输胶带机的一端称为卸料端，各个主运输胶带机组成运煤链，运煤链用于使位于任意一个主运输胶带机上的煤料输入至所述卸料端；
75.摄像装置的数量为多个，一个主运输胶带机上安装有一个摄像装置，每个主运输胶带机上的摄像装置用于拍摄主运输胶带机的运输带以及运输带上的煤料图像；
76.主运输胶带机控制器的数量与主运输胶带机的数量相同，一个主运输胶带机控制器用于控制一个主运输胶带机的工作，一个主运输胶带机控制器与一个摄像装置连接，每个主运输胶带机控制器所连接的摄像装置为安装于该主运输胶带机控制器所控制的主运输胶带机上的摄像装置；
77.总控制器分别与各个所述主运输胶带机控制器连接；其中，
78.每个主运输胶带机控制器获取与其连接的摄像装置所传递的图像并将图像传递给所述总控制器；
79.总控制器用于分别识别各个图像中的图像信息，从而根据识别出的各个图像信息判断各个图像信息中是否至少有一个图像信息是否满足调速条件，若满足，则生成调速信
号并发送给对应的主运输胶带机控制器；
80.主运输胶带机控制器用于根据调速信号对其所控制的主运输胶带机进行调速。
81.采用这种方式，本技术的基于视频信号的智能分析、调速系统通过图像识别的方式来对运输皮带上的煤量进行分级从而获取煤量分级信息，并通过煤量分级信息来进行运输皮带的速度控制，使得运输皮带的速度能够一直与煤量进行匹配，从而节省了不当的能源消耗。
82.在本实施例中，总控制器用于分别识别各个图像中的图像信息，从而根据识别出的各个图像信息判断各个图像信息中是否至少有一个图像信息是否满足调速条件包括：
83.为每一个获取的图像进行如下操作：
84.获取运输带以及运输带上的煤料图像；
85.根据煤料图像获取该图像所对应的主运输胶带机上的煤量分级信息；
86.判断当前主运输胶带机上的煤量分级信息与当前运输带的运输速度是否匹配，若否，则认为满足调速条件，生成调速信号并发送给对应的主运输胶带机控制器。
87.在本实施例中，根据煤料图像获取该图像所对应的主运输胶带机上的煤量分级信息包括：
88.获取通过vae以及cnn生成的经过训练的煤量级数分类器；
89.获取图像信息中的图像特征；
90.将所述图像特征输入至所述煤量级数分类器，从而获取煤量分级信息，所述煤量分级信息至少包括两个煤量级数。
91.在本实施例中，变分自编码器(variational auto-encoder，vae)最早由kingma和welling于2014年提出，相当于在普通自编码器的编码基础上，给code加入噪声，使得有噪声的一组code经过解码过程后的数据与输入数据尽可能的接近。
92.变分自编码器由两个神经网络搭建完成，形成了两个概率密度分布。一个作为编码器产生平均编码和标准差，而不是直接产生编码，随后将从平均值和标准差的高斯分布中抽取实际编码。另一个作为解码器解码还原重构编码。vae生成数据的过程一般如下式所示：
[0093][0094]
式中：z为隐变量，x为样本，p(z)为先验分布，p(x|z)为在给定隐变量的条件下样本的生成分布，其经常被视为解码器，因为能够完成从隐空间到样本空间的映射。
[0095]
常规的vae的生成过程由两步组成。首先，隐变量z从一个先验分布中被采样，这个先验分布在通常的情况下一般设定为标准高斯分布。然后，样本从在给定隐变量的条件分布中生成。vae的损失是一个负的证据下界(evidence lower bound,elbo)，这个损失能够被视作为一个带正则项的负对数似然函数：
[0096][0097]
式中：为期望，d
kl
[
·
]为kl散度，q(z|x)为在给定样本的条件下隐变量的后验分布，它经常被视为编码器，因为能够完成从样本空间到隐空间的映射。
[0098]
上式的第一项一般被视为重构损失，即输入样本与重构样本之间的均方误差。第二项一般被视为正则项，是为了使后验分布更加接近于先验分布的，其中先验分布一般使用的是标准高斯分布。因此vae的损失函数可改写为：
[0099][0100]
在本实施例中，vae以及cnn生成的经过训练的煤量级数分类器包括两部分，一部分是变分自编码器，用于重构图像，另一部分是卷积神经网络，用于进行煤量分级。
[0101]
在本实施例中，之所以使用vae因为如下原因：
[0102]
(1)由于vae利用变分推断同时学习真实图像数据与隐变量之间的映射关系，因此能够捕获数据的分布。如果要使分级预测足够准确，那么数据中的重要信息是一定需要保留下来的，同时也一定需要足够准确的数据分布，而vae正是可以做到这些，这是本文选择vae对图像进行重构处理的第一条原因。
[0103]
(2)由于vae的损失函数是基于均方误差的重构损失，它是针对图像的每个像素点进行训练的，不能捕获图像的全局信息，因此vae所生成的图像是模糊且缺乏细节的。但正是如此，通过vae所重构的图像能够去除掉许多不重要的噪声信息，使图像变得更加平滑，而仅保留较为重要的图像信息，因此利用重构后的图像训练cnn用于皮带煤量分级预测是不会受到噪声信息的干扰的，这是本文选择vae对原始图像进行重构处理的第二条原因。
[0104]
综上所示，通过vae对图像进行重构，可以仅保留下图像的重要信息，同时去除掉不重要的噪声信息，这对后续的cnn训练是有帮助的。在后续的实验中将会展示重构的图像效果，以及利用原始图像和重构图像训练cnn的精度差异。
[0105]
在本实施例中，在训练好vae后，我们会将原始图像数据通过vae获取原始图像的重构数据，然后利用这些原始图像的重构数据训练一个cnn用于皮带煤量分级预测。
[0106]
参见图2，在本实施例中，所使用的数据是从煤矿中通过摄像头采集的，并进行了人工标注，煤量分级信息包括4个煤量级数，即划分为a、b、c、d四个等级，其中a级别为煤量最少，d级别为煤量最多。为了便于后续的实验，对图像的分辨率进行了调整，将其调整为128*128的灰度图像。图3给出的是四个等级较具代表性的示意图。
[0107]
对所得数据进行了训练集与测试集的划分，训练集用于训练模型，测试集用于测试模型，这两部分不存在重复样本。其中，训练集具有350个样本，四个等级的样本量比例为100:100:100:50，测试集具有178个样本，四个等级的样本量比例为50:50:50:28。
[0108]
为了使模型能够有更快的收敛速度，同时为了获得更好的实验效果与预测精度，本文对所选样本进行了数据预处理，对所有的输入样本进行了归一化处理：
[0109][0110]
式中：x为原始的图像数据，为经归一化预处理后的图像数据，x
min
为原始图像中最小的像素值，x
max
为原始图像中最大的像素值。
[0111]
参见下表1，表1给出的是我们的方法中vae部分的网络结构与超参数的设置。在编码器中，首先使用三层卷积神经网络，这是为了能够更好的提取图像中的特征信息，这些卷积层(conv2d)的超参数设置分别为卷积核(kernel)的大小均为6，步长(strides)均为2，填充值(padding)均为2，滤波器(filter)为32、64、128个，并均使用relu函数进行激活；然后使用了三层线性层(linear)，其中第一个线性层是为了对卷积层输出信息的再次组合，神
经元(units)的个数设置为1024，并使用relu函数进行激活，第二个与第三个线性层是为了输出vae重参数化技巧中对应的均值与方差，神经元的个数均为100，不使用任何激活函数。在解码器中，首先使用了两层线性层，神经元的个数分别为1024与16*16*128，使用relu函数进行激活；然后是用来三层反卷积层(conv2dtranspose)，卷积核的大小均为6，步长均为2，填充值均为2，滤波器为64、32、1个，并在最后一层使用sigmoid函数进行激活。在训练vae时，使用的优化器为rmsprop优化器，学习率为0.0001，并使用了批训练，每一批数据为32个(batch size)，共迭代了50次(epochs)。
[0112]
表1：vae网络结构
[0113][0114]
参见下表，表2给出的是我们的方法中cnn部分的网络结构与超参数的设置。首先，使用了三层卷积层，卷积核的大小均为6，步长均为2，填充值均为2，滤波器的个数为32、64、128个，同时使用leakyrelu函数进行激活，leakyrelu函数的负半轴斜率设置为0.2。然后使用了两层线性层，神经元的个数分别为1024和4，并对第一个线性层使用leakyrelu函数进行激活。在训练cnn时，所使用的优化器为adam优化器，学习率设置为0.001，并使用了批训练，每一批数据为32个，共迭代了100次。
[0115]
表2 cnn结构
[0116]
[0117][0118]
为了证明我们的方法的优越性，我们与几种基线方法进行了比较，包括四种传统的机器学习算法，分别为决策树(decision tree)、k近邻算法(k-nearest neighbors,knn)、随机森林(random forest)和支持向量机(support vector machine,svm)，以及两种深度学习方法，分布为深度神经网络(deep neural network,dnn)与cnn。其中，决策树、k近邻算法、随机森林、支持向量机使用sklearn机器学习库进行实验。dnn与cnn使用深度学习框架，为了能够公平的与我们的方法进行比较，对于cnn使用了与我们的方法中cnn部件相同的网络结构与超参数设定。
[0119]
对于评价指标，共选择了四种评价指标，分别为准确率(accuracy)、精确率(precision)、召回率(recall)与f1分数。同时，通过混淆矩阵比较了我们的方法与cnn的分类效果。以上所提及的评价指标均使用sklearn机器学习库进行计算。
[0120]
参见下表，表3给出的是我们的方法与其他六种方法的精度比较，通过分析上表可以得知，我们的方法在四种评价指标下均优于其他六种方法。对于一些传统的机器学习分类方法，如决策树、k近邻算法和随机森林并不能很好的处理皮带煤量分级这个问题，这是由于传统的机器学习算法并不擅长处理真实场景的复杂图像处理问题，因此这三种算法在四个评价指标下获得了较低的值。而对于传统的svm算法，的确是超越了其他三种传统的机器学习算法，但是其精度仍然不及深度学习方法。对于dnn来说，其精度较低是因为dnn中使用的均是线性层，线性层一般是不适于处理图像数据的。cnn的精度与我们的方法较为接近，但是仍不如我们的方法，这是因为我们的方法先使用vae对图像进行了重构，能够去除掉一些不重要的噪声信息，以免干扰到cnn的训练。
[0121]
表3 精度比较
[0122] accuracyprecisionrecallf1decisiontree0.52810.54910.52810.4686knn0.78090.78400.82360.7809randomforest0.73600.78820.73600.7406svm0.91570.93450.91570.9174dnn0.80900.82090.80900.7965cnn0.96070.96110.96250.9607vae cnn0.97750.97750.97750.9775
[0123]
图4和图5分别给出的是cnn与本实施例的方法在测试集上的混淆矩阵结果，通过分析上述图可以得知，两种方法在判断c级别的精度都是最高的，而对于判断b级别的精度都是较低的。通过分析图4和图5也能够得知，cnn的分类精度较低于我们的方法，尤其是在判断a级别和b级别时均低于我们的方法，而在判断c级别与d级别时与我们的方法精度相当。
[0124]
图6给出的是vae对原始图像的重构效果图，通过分析图6能够发现，重构效果图能够保留原始图像的重要信息，同时使图像变得更加的平滑，去除掉许多的不重要的噪信息。但是对于b级别的重构效果并不是很好，这也可以解释为何图2和图3中对于b级别的判断精
度低于其他三个级别。
[0125]
采用这种方法具有如下优点：
[0126]
1、变分自编码器的重构图像能够保留原始的皮带图像数据的重要信息，同时可以去除掉原始图像中的一些噪声信息，使图像更加光滑。
[0127]
2、利用卷积神经网络能够有效对皮带煤量数据进行分级。
[0128]
3、利用变分自编码器的重构图像训练分级算法的效果要优于使用原始图像数据分级预测效果。
[0129]
在另一个实施例中，本技术的根据所述图像信息获取当前运输皮带上的煤量分级信息包括：
[0130]
获取通过vae以及gan生成的经过训练的煤量级数分类器；
[0131]
获取图像信息中的图像特征；
[0132]
将所述图像特征输入至所述煤量级数分类器，从而获取煤量分级信息，所述煤量分级信息至少包括两个煤量级数。
[0133]
在该备选实施例中，煤量级数分类器包括两个部分，一部分是生成器网络，另一部分是判别器网络。
[0134]
在该备选实施例中，生成器网络利用了变分自编码器(variational auto-encoder,vae)，具体而言，对于生成器网络，本技术使用的并不是原始gan中的生成器网络，而是使用vae作为生成器网络。这是因为本文的目的是进行去噪，模型的输入不再是从先验分布中所采样的噪声，而是含噪声的图像，故原始gan的生成器网络以不适用于本文问题。对于选择vae作为生成器网络是因为，vae能够很好的捕获原始数据的分布，同时由于vae损失函数的特性，使其在学习到数据分布的同时会忽略掉许多噪声信息，这是对去噪任务有益的。
[0135]
在该备选实施例中，判别器网络使用的是原始gan的判别器网络。引入判别器网络的作用是因为vae生成的图像往往是模糊的、缺乏细节的，而gan能够很好的学习到图像的细节信息，因此引入判别器能够获取较为清晰的图像。对于判别器的输入，在本文中有所不同的是，其输入的图像是原始煤矿监控图像与经vae重构的煤矿监控图像，而不再是生成器所生成的虚假图像。
[0136]
在该备选实施例中，本文的损失函数由两部分构成，其中一部分是vae损失，是用来重构图像的，另一部分是对抗损失，是用来提高图像清晰度的。本技术的总损失函数如下式所示：
[0137][0138]
式中：代表vae损失，代表对抗损失，λ代表超参数。
[0139]
对于vae损失，本技术使用的是与原始vae相同的损失函数[16]。vae损失函数是由似然函数推导得来的负的证据下界(evidence lower bound,elbo)，其可以看做是一个带正则项的重构损失，共包含两个部分：第一项为重构损失，即原始输入图像与重构输出图像之间的均方误差；第二项为正则项。一般情况下，先验分布选择标准正态分布。vae损失如下式所示：
[0140][0141]
式中：x代表原始图像，代表重构图像，d
kl
[
·
]代表kl散度(kullback-leibler divergence)，q
φ
(z|x)代表在给定x的条件下z的后验分布，代表标准高斯分布。
[0142]
对于对抗损失，本文在gan的原始对抗损失的基础上进行了修改。由于本技术的判别器输入是原始图像与vae所重构的图像，而不再是由噪声所生成的图像，因此对于对抗损失需要进行修改。修改后的对抗损失如下式所示：
[0143][0144]
式中：g代表生成器(即vae)，d代表判别器。
[0145]
在该备选实施例中，实验所使用的数据集包含两个，分别来自于煤矿矿井中两个不同煤矿监控摄像头所采集的图像数据，将两个数据集分别命名为s1与s2。为了便于后续实验的进行，将全部图像调整为了像素值为256*512的灰度图像。两个数据集的代表性图像数据如图6所示。
[0146]
在本实施例中，判断当前主运输胶带机上的煤量分级信息与当前运输带的运输速度是否匹配包括：
[0147]
获取关联数据库，关联数据库包括多个煤量级数以及每个煤量级数对应的运输皮带运输速度区间信息；
[0148]
根据获取的煤量级数获取在关联数据库中该煤量级数对应的运输皮带运输速度区间信息；
[0149]
获取当前运输皮带的运输速度；
[0150]
判断当前运输皮带的运输速度是否位于获取的运输皮带运输速度区间信息内。
[0151]
举例来说，如上所述，煤量级数为4级，即图3中的a、b、c、d四级，则每级设定一个运输皮带运输速度区间信息，即运输皮带运输速度区间信息也包括四个数值范围，例如，2米/分钟至3米/分钟；4米/分钟至5米/分钟、6米/分钟至7米/分钟、8米/分钟至9米/分钟；其中，2米/分钟至3米/分钟与a级对应，4米/分钟至5米/分钟与b级对应；6米/分钟至7米/分钟与c级对应；8米/分钟至9米/分钟与d级对应。
[0152]
根据获取的煤量级数获取在关联数据库中该煤量级数对应的运输皮带运输速度区间信息，例如，获取的煤量级数为a，则对应2米/分钟至3米/分钟；
[0153]
获取当前运输皮带的运输速度(获取运输皮带的运输速度为现有技术，在此不再赘述。)，判断当前运输皮带的运输速度是否位于获取的运输皮带运输速度区间信息内，例如，获取后的当前运输皮带的运输速度为2.5米/分钟，则在2米/分钟至3米/分钟内，若获取的当前运输皮带的运输速度为5米/分钟，则与煤量级数a并不对应，即不匹配，则根据当前运输皮带上的煤量分级信息生成调速信号并传递给运输皮带的控制器，控制器根据调速信号改变运输皮带的运输速度，从而使当前运输皮带的运输速度在2米/分钟至3米/分钟内。
[0154]
在本实施例中，在各个主运输胶带机首位衔接中，位于另一端的主运输胶带机称为首部主运输胶带机；
[0155]
总控制器进一步包括：
[0156]
分别根据每个图像信息进行判断，判断图像中是否具有异物，若有，则
[0157]
获取拍摄该图像信息的摄像装置所对应的主运输胶带机的标识值，其中，每个主运输胶带机具有一个标识值，所述尾部主运输胶带机的标识值最大，其他主运输胶带机的标识值自尾部主运输胶带机至首部主运输胶带机方向依次递减；
[0158]
为小于以及等于获取的标识值的标识值所对应的主运输胶带机生成停止信号并分别发送给对应的主运输胶带机控制器；
[0159]
各个主运输胶带机控制器进一步包括：
[0160]
获取停止信号，并根据停止信号控制其所控制的主运输胶带机停止工作。
[0161]
举例来说，参见图1，在本实施例中，主运输胶带机的数量为三个，自左到右(图1中左右方向)依次首尾衔接，其中，最后边的主运输胶带机为尾部主运输胶带机，最左边的主运输胶带机为首部主运输胶带机，在本实施例中，每个主运输胶带机均有一个标识值，例如，首部主运输胶带机标识值为1，尾部主运输胶带机标识值为3，中间的主运输胶带机标识值为2。
[0162]
当判断具有异物时，例如，当判断中间的主运输胶带机具有异物，则为小于以及等于获取的标识值的标识值所对应的主运输胶带机生成停止信号并分别发送给对应的主运输胶带机控制器；由于首部主运输胶带机的数值为1，小于2，则为首部主运输胶带机的主运输胶带机控制器以及中间的主运输胶带机的主运输胶带机控制器生成停止信号。
[0163]
主运输胶带机控制器根据停止信号控制其所控制的主运输胶带机停止工作。
[0164]
采用这种方式，一方面是因为，在其中一个主运输胶带机具有异物时，位于其后(表示值大于具有异物的主运输胶带机的标识值)的主运输胶带机的运输带上的煤料事实上不会受到之前的主运输胶带机的影响，因此，可以继续运输下去。另一方面是因为，在其中一个主运输胶带机具有异物时，位于其前边的(表示值小于具有异物的主运输胶带机的标识值)主运输胶带机的运输带上的煤料是需要向具有异物的主运输胶带机上运输的，而由于具有异物的主运输胶带机需要人工来清楚异物，所以必须要停止并进行异物清理，因此，需要同时也让具有异物的主运输胶带机之前的主运输胶带机停止才行，否则在清理过程中，前边的主运输胶带机还会不停运输煤料，会妨碍情况。
[0165]
在本实施例中，分别根据每个图像信息进行判断，判断图像中是否具有异物采用如下方法进行判断：
[0166]
获取通过gan与vae生成的经过训练的异物识别模型；
[0167]
获取异物检测图像中的异物图像特征；
[0168]
将异物图像特征输入至所述异物识别模型从而判断是否具有异物。
[0169]
在本实施例中，由于皮带煤矿运输机上所存在的异常物体通常是与煤炭混在一起，因此，本技术采用的异物识别模型通过gan与vae生成，具体而言，由于vae的损失是基于均方误差的重构损失，因此可以利用重构误差来判断一张图片是否存在异常物体，故vae是一种非常适用于异常检测的方法。但是，由于皮带煤矿运输机上所存在的异常物体通常是与煤炭混在一起的，而vae的重构图像会忽略掉一些细节信息，因此这对皮带异物检出是不适用的。gan能够捕获图像中的许多细节信息，因此我们将gan与vae进行结合，使其适用于煤矿皮带运输机的异物检测。
[0170]
在本实施例中，gan是一种训练过程处于博弈状态的深度生成模型。gan的主要结构可以分为两个部分：生成器网络与判别器网络。生成器网络的功能是用来生成与真实图像在视觉上相似的虚假图像，而判别器的作用是用来判断所输入的信号是来自于真实数据集还是来自于生成器所生成的虚假图像。
[0171]
在训练过程中，一组噪声会被从一个先验分布(一般采用高斯分布)所采样，然后使其通过生成器，生成一组虚假图像。然后将所生成的虚假图像与从数据集中所采集的真实图像一起输入到判别器中，判断所输入的图像是从何而来。经过几轮迭代后，生成器所生成的图像能够骗过判别器，这时gan达到了最优状态。gan的目标函数如下：
[0172][0173]
式中：g为生成器，d为判别器。
[0174]
本技术的异物识别模型包括三部分，分别为编码器(encoder)、解码器(decoder)和判别器(discriminator)，其中，编码器和解码器共同构成了一个vae，并把vae看作是生成器，与判别器共同构成了一个gan。
[0175]
编码器的作用是将高维图像进行编码，得到压缩后的低维表示。编码器是完成了从高维的原始图像空间到隐空间的映射。在编码器的输出位置，会利用重参数化技巧。解码器的作用是将低维的表示进行解码，得到解码后的重构图像。解码器是完成了从低维的隐空间到高维的重构空间的映射。编码器和解码器共同构成了一个vae，并且把这个vae看作是gan中的生成器部分。
[0176]
判别器的作用是用来判断所输入的图像是真实图像还是生成图像的。在本技术中，由于利用vae作为gan的生成器部分，这个生成器并没有从一个高斯分布中采样噪声来生成图像，而是对原始图像进行重构，因此此判别器的作用是用来判断所输入的图像是来自于真实图像还是重构图像的。
[0177]
在本实施例中，损失函数是由两部分构成，分别为vae损失和对抗损失，总的损失函数如下式所示：
[0178][0179]
式中：为vae损失，为对抗损失，λ为一个平衡两个子损失对总损失影响的超参数。
[0180]
对于vae损失，本技术直接利用的是vae中的损失函数，如下式所示。vae损失可以看做是一个带正则项的重构损失，共包含两个部分：第一项为重构损失，即原始图像与重构图像之间的均方误差，是为了使重构图像尽可能与原始图像相似；第二项为正则项，是为了使后验分布更加的接近于先验分布，一般情况下，先验分布选择标准高斯分布。
[0181][0182]
式中：x为原始图像，为重构图像，d
kl
[
·
]为kl散度，q
φ
(z|x)为在给定x的条件下z的后验分布，为标准高斯分布。
[0183]
对于对抗损失，本文在gan的原始对抗损失的基础上进行了修改。由于本技术的生
成器不是从高斯分布中采样噪声来生成图像，而是将vae作为生成器对原始图像进行重构，因此生成器的输入不再是噪声而是原始图像。修改后的对抗损失如下式所示：
[0184][0185]
异常得分能够检验图像中是否出现异物，异常得分越高说明越有可能出现异物，异常得分越低说明越不能出现异物。在本技术中，所使用的异常得分为测试图像与测试图像的重构图像之间的重构误差：
[0186][0187]
式中：x
test
为测试图像，为测试图像的重构图像。
[0188]
当异常得分大于某一个阈值时，认为图像中出现了异物，反之则未出现异物：
[0189][0190]
式中：τ为阈值。
[0191]
对于阈值的选择，在本文中，均以异常比的分位数为阈值。
[0192]
在本实施例中，数据集是从煤矿中通过摄像头所采集的，并对采集到的图像数据进行了人工标注。将数据分为两类：一类是不含异物的正常图像数据，另一类是含有异物的异常图像数据。为了便有后续试验的进行，将全部图像数据调整为像素值为256*256的灰度图像。正常图像数据与异常图像数据的代表性数据如图7所示。
[0193]
本技术所使用的异常检测算法以及基线方法均是半监督学习算法，因此在划分训练集与测试集时，使训练集中仅含有正常样本，包含了800张正常图像。为了能够更加公平的评价各算法的差异，使测试集中正常样本与异常样本的样本量相同，各100张。训练集与测试集的具体信息如表4所示。
[0194]
表4 数据集信息
[0195]
数据集像素正常样本异常样本异常比训练集256*25680000％测试集256*25610010050％
[0196]
为了能够更加稳定的训练模型，同时也为了能获得更优的实验结果，对全部图像数据进行了归一化预处理：
[0197][0198]
式中：x表示原始数据，表示经归一化预处理后的数据，x
min
表示图像中最小的像素值，x
max
表示图像中最大的像素值。
[0199]
在本实施例中，将本技术的异物识别方法与五种基线方法进行了比较，其中包括两种传统的机器学习算法：一类支持向量机(one-class support vector machine,ocsvm)和核密度估计(kernel density estimation,kde)；三种深度学习方法：自编码器(auto-encoder,ae)、去噪自编码器(denoising auto-encoder,dae)和变分自编码器(variational auto-encoder,vae)；
[0200]
对于网络结构设定，本技术的网络结构如图1所示。为了更加公平的比较各个方法，ae、dae、vae中的各个部件与本技术所所对应的部件结构是相同的，ocsvm与kde两种传统的机器学习方法是使用了机器学习库sklearn中的默认参数。
[0201]
对于评价指标，本文选择了两种用于分类任务的评价指标，分别为f1分数与auc(area under the curve)，同时也使用了roc曲线与混淆矩阵比较六种方法的分类效果。
[0202]
表5给出的是本技术与其他五种基线方法的精度比较结果，表中给出了每一种方法所对应的f1分数与auc结果。通过分析表5能够得知，两种经典的机器学习方法的效果不及深度学习方法，且kde的精度表现较差，这是由于传统的机器学习方法对于处理高维复杂的真实场景图像任务是存在困难的，在应用时可能会遭受维数灾难问题。ae、dae、vae这三种深度学习方法的精度表现较为相近，但是其精度表现仍不及本技术，这是由于ae、dae、vae的重构图像往往是模糊且缺乏细节的，而对于真实场景的煤矿异物检测任务是存在困难的，因为煤矿中的异物可能仅占据所采集的图像中的很小的位置。本技术利用了gan，能够学习到图像的细节信息，从而能够达到更好的异物检出效果。
[0203]
表5 精度比较
[0204][0205][0206]
图7给出的roc曲线，图中给出了本技术与其他五种基线方法的roc曲线。通过分析图8能够直观的得知，我们的方法相较于其他的基线方法拥有更优的分类效果，且深度学习方法是要优于传统的记起学习方法的。
[0207]
图8给出的是本技术与其他五种基线方法的混淆矩阵图。通过分析图8能够得知，本技术的异物检出效果是最好的。
[0208]
图9给出的是本技术在测试集上的异常得分直方图，我们分别展示了正常测试样本与异常测试样本的得分情况。通过分析图9能够得知，正常测试样本的得分明显的低于异常测试样本的得分，这说明本技术能够明确的划分正常测试样本与异常测试样本，也就是说能够准确的进行异物检出。同时，能够发现正常测试样本的得分离散程度要小于异常测试样本的，这说明本文的方法是能够捕获正常样本的分布的，同时能够准确的区分正常样本分布外的样本。
[0209]
采用本技术的异物检测方法，具有如下优点：
[0210]
(1)vae能够对皮带图像进行重构，利用重构误差对皮带上是否存在异物进行判断。
[0211]
(2)gan能够提升vae的重构图像质量，使其学习到图像中的一些细节信息，以便能
够获得更佳的异物检出效果。
[0212]
(3)本技术所得到的异常得分能够对正常样本与异常样本进行分离，且正常样本得分的离散程度要小于异常样本得分的离散程度。
[0213]
在本实施例中，在根据煤料图像获取该图像所对应的主运输胶带机上的煤量分级信息之前，每一个获取的图像进行如下操作进一步包括：
[0214]
对图像进行去噪处理。
[0215]
在本实施例中，对图像进行去噪处理包括：
[0216]
获取通过vae以及gan生成的经过训练后的去噪模型；
[0217]
获取图像中的图像去噪用特征；
[0218]
将图像去噪用特征输入至去噪模型从而获取经过去噪处理的图像。
[0219]
在煤炭的开采过程中，矿井中会产生许多的粉尘，许多矿井为了减少粉尘，会利用喷雾降尘的方式来降低粉尘。但是，这些粉尘与雾气会对煤矿中的监控设备造成一定的影响，摄像装置在这种粉尘和雾气的环境中采集的图像往往是模糊的、充满噪声的。同时，监控摄像头是对矿井中的各种状况进行实时掌握的一种必要手段，是对煤矿中的安全事故进行提前预防的一种方式，同时也能够对安全事故发生后进行及时补救提供帮助。因此，监控图像的清晰度对于降低煤矿安全事故有着至关重要的作用。
[0220]
在本技术中，利用gan进行煤矿监控图像去噪研究，同时为了获得更好的效果会将gan(生成式对抗网络(generative adversarial network,gan))中的生成器替换为vae(变分自编码器(variational auto-encoder,vae))。
[0221]
本技术的去噪模型包括两部分，一部分是生成器网络，另一部分是判别器网络。
[0222]
对于生成器网络，本技术使用的并不是原始gan中的生成器网络，而是使用vae作为生成器网络。这是因为本文的目的是进行去噪，模型的输入不再是从先验分布中所采样的噪声，而是含噪声的图像，故原始gan的生成器网络以不适用于本文问题。对于选择vae作为生成器网络是因为，vae能够很好的捕获原始数据的分布，同时由于vae损失函数的特性，使其在学习到数据分布的同时会忽略掉许多噪声信息，这是对去噪任务有益的。
[0223]
对于判别器网络，本技术使用的是原始gan的判别器网络。引入判别器网络的作用是因为vae生成的图像往往是模糊的、缺乏细节的，而gan能够很好的学习到图像的细节信息，因此引入判别器能够获取较为清晰的图像。对于判别器的输入，在本文中有所不同的是，其输入的图像是原始煤矿监控图像与经vae重构的煤矿监控图像，而不再是生成器所生成的虚假图像。
[0224]
本文的损失函数由两部分构成，其中一部分是vae损失，是用来重构图像的，另一部分是对抗损失，是用来提高图像清晰度的。本技术的总损失函数如下式所示：
[0225][0226]
式中：代表vae损失，代表对抗损失，λ代表超参数。
[0227]
对于vae损失，本技术使用的是与原始vae相同的损失函数[16]。vae损失函数是由似然函数推导得来的负的证据下界(evidence lower bound,elbo)，其可以看做是一个带正则项的重构损失，共包含两个部分：第一项为重构损失，即原始输入图像与重构输出图像之间的均方误差；第二项为正则项。一般情况下，先验分布选择标准正态分布。
[0228]
vae损失如下式所示：
[0229][0230]
式中：x代表原始图像，代表重构图像，d
kl
[
·
]代表kl散度(kullback-leibler divergence)，q
φ
(z|x)代表在给定x的条件下z的后验分布，代表标准高斯分布。
[0231]
对于对抗损失，本文在gan的原始对抗损失的基础上进行了修改。由于本技术的判别器输入是原始图像与vae所重构的图像，而不再是由噪声所生成的图像，因此对于对抗损失需要进行修改。修改后的对抗损失如下式所示：
[0232][0233]
式中：g代表生成器(即vae)，d代表判别器。
[0234]
本技术所使用的数据集包含两个，分别来自于不同的摄像装置所采集的图像数据，将两个数据集分别命名为s1与s2。为了便于后续实验的进行，将全部图像调整为了像素值为256*512的灰度图像。两个数据集的代表性图像数据如图10所示。
[0235]
对于数据集s1，其中包含了4756张煤矿监控图像，将其按照9：1的比例划分为训练集与测试集，训练集中包含4280张煤矿监控图像，测试集中包含476张煤矿监控图像。对于数据集s2，其中包含了5776张煤矿监控图像，同样按照9:1的比例划分为训练集与测试集，训练集中包含4298张煤矿监控图像，测试集中包含478张煤矿监控图像。两个数据的基本信息如表5所示：
[0236]
表5 数据集基本信息
[0237]
数据集像素样本量训练集样本测试集样本s1256
×
51247564280476s2256
×
51247764298478
[0238]
为了能够加快模型的迭代收敛速度，同时也为了能够获得更好的精度效果，对数据集进行了归一化预处理：
[0239][0240]
式中：x表示原始数据，表示经归一化处理后的数据，x
min
表示最小的像素值，x
max
表示最大的像素值。
[0241]
在本技术中，共选择了三种评价指标用于评价本技术与基线方法的差异，分别为平均绝对误差(mean absolute error,mae)、均方误差(mean square error,mse)和峰值信噪比(peak signal to noise ratio，psnr)。
[0242]
mae表示的是预测值与观测值之间的绝对误差的平均值，能够被用来衡量重构的去噪图像与真实的清晰图像之间的差异程度，mae的值越小，说明重构的去噪图像越接近真实的清晰图像：
[0243][0244]
式中：n表示样本量，x表示真实图像，表示去噪图像。
[0245]
mse表示的是预测值与观测值之间的绝对误差的平方的平均值，是一种经常用于评价数据重构效果的指标，mse的值越小，说明重构的去噪图像与真实图像越接近：
[0246][0247]
psnr通常用来评价图像压缩后与原图的质量差异，一般可以用来评价去噪算法的优劣，psnr的值越大，说明所重构的去噪图像越接近真实的清晰图像。
[0248][0249]
式中：max代表图像中的最大像素值。
[0250]
表6给出的是本技术与dae、vae的去噪效果比较，从表中可以分析得出，本技术在s1与s2两个数据集上的mae与mse均低于其他两种方法，且psnr均高于其他两种方法，因此能够认为本技术的去噪效果是优于其他两种方法的。这是由于本文所使用的方法是基于gan的去噪方法，其能够学习到图像的细节信息，而这是基于均方误差损失的自编码器方法所不能达到的。
[0251][0252][0253]
图11给出的本技术与vae、dae两种方法的去噪效果图。通过分析图11能够发现，本技术相较于其他两种方法能够恢复更多的图像细节信息，且更加接近真实的煤矿监控图像。这能够更为直观的证明，本技术是一种较为优秀的去噪方法，且十分适用于煤矿监控图像的去噪任务。
[0254]
表3给出的本技术在六种不同的噪声下进行去噪的结果。为了能够证明本技术能够在不同噪声情况下均有较好的去噪效果，对原始图像分别添加了六种噪声，分别是高斯噪声、脉冲噪声、伽马噪声、泊松噪声、指数分布噪声与均匀分布噪声，然后利用本技术对噪声图像进行去噪。通过分析表7能够发现，本技术在六种噪声条件下均有较好的去噪效果，但对添加了均匀分布噪声的图像的效果不及其他几种情况。
[0255]
表7
[0256][0257]
图12给出的本技术在六种噪声条件下对图像的去噪效果图。通过分析图12能够发现，本技术在六种噪声情况下，均能够对煤矿监控图像进行较好的去噪，并且能够保留煤矿监控图像中的细节信息，这是十分适用于煤矿矿井下的复杂环境的图像去噪任务的。
[0258]
本技术的去噪方法，充分地利用了gan的相关特征，使其图像去噪效果相较于其他基线方法更为优越。通过在两个煤矿图像数据集上进行试验，得出了以下结论：
[0259]
(1)本技术相较于基于自编码器的方法在去噪效果上更为优越。
[0260]
(2)本技术不仅仅能够达到较好图像去噪效果，而且能够保留煤矿图像中的很多细节信息，使得图像更为清晰。
[0261]
(3)实验证明本技术对于不同噪声的均有较好的去噪效果。
[0262]
在本实施例中，基于视频信号的智能分析、调速系统进一步包括辅运输胶带机2以及辅运输胶带机控制器，2辅运输胶带机的数量为多个，每个辅运输胶带机2的一端均为卸料端，每个辅运输胶带机2的卸料端上的煤料在离开所述卸料端后掉落至各个主运输胶带机中的一个主运输胶带机的运输带上；
[0263]
辅运输胶带机控制器的数量为多个，每个辅运输胶带机控制器用于控制一个辅运输胶带机工作，各个辅运输胶带机控制器分别与总控制器连接。
[0264]
在本实施例中，总控制器进一步包括：
[0265]
生成停止信号后，生成辅运输胶带机停止信号；
[0266]
向各个辅运输胶带机控制器发送辅运输胶带机停止信号；
[0267]
每个辅运输胶带机控制器包括：
[0268]
获取到辅运输胶带机停止信号后控制其对应的辅运输胶带机停止工作。
[0269]
在本实施例中，每个辅运输胶带机控制器进一步包括：
[0270]
在控制其对应的辅运输胶带机停止工作后，生成反馈信号并将反馈信号发送给总控制器；
[0271]
每个总控制器进一步包括：
[0272]
在收到反馈信号后，将停止信号分别发送给对应的主运输胶带机控制器。
[0273]
采用这种方式，可以首先停止各个辅运输胶带机，防止辅运输胶带机再给主运输胶带机提供煤料，因为不论哪个主运输胶带机具有异物，最终由于清理的时间比较长，最后都需要将所有的运煤链中的主运输胶带机停止，只是可以根据具体情况而进行先停止以及后停止，例如，在上述实施例中，尾部主运输胶带机虽然暂时不停止，但是由于前边的主运输胶带机事实上无法继续工作，后续也不可能再有煤料运输过来，因此，尾部主运输胶带机将自己的运输带上的煤料运输完成后，也可以停下来，以节省资源。
[0274]
本技术还提供了一种基于视频信号的智能分析与调速的控制方法，所述基于视频信号的智能分析与调速的控制方法包括：
[0275]
每个主运输胶带机控制器获取与其连接的摄像装置所传递的图像并将图像传递给所述总控制器；
[0276]
总控制器用于分别识别各个图像中的图像信息，从而根据识别出的各个图像信息判断各个图像信息中是否至少有一个图像信息是否满足调速条件，若满足，则生成调速信号并发送给对应的主运输胶带机控制器；
[0277]
主运输胶带机控制器用于根据所述调速信号对其所控制的主运输胶带机进行调速。
[0278]
在本实施例中，总控制器进一步包括：
[0279]
分别根据每个图像信息进行判断，判断图像中是否具有异物，若有，则
[0280]
获取拍摄该图像信息的摄像装置所对应的主运输胶带机的标识值，其中，每个主运输胶带机具有一个标识值，所述尾部主运输胶带机的标识值最大，其他主运输胶带机的标识值自尾部主运输胶带机至首部主运输胶带机方向依次递减；
[0281]
为小于以及等于获取的标识值的标识值所对应的主运输胶带机生成停止信号并分别发送给对应的主运输胶带机控制器；
[0282]
各个所述主运输胶带机控制器进一步包括：
[0283]
获取停止信号，并根据停止信号控制其所控制的主运输胶带机停止工作。
[0284]
最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。