一种基于深度学习的水电站闸门控制方法及系统与流程

1.本发明属于人工智能领域，涉及一种基于深度神经网络，尤其是利用卷积神经网络进行图像特征抽取，应用于水电站闸门启闭控制方法和系统。


背景技术：

2.传统的闸门自动控制由scada系统(plc)实现，由水位传感器、闸门开度传感器、可编程逻辑控制器和开出继电器等组成，“顺序执行、条件转移”是其控制逻辑的基本特征。由于传感器环境适应性、信号传输干扰、断线等原因，以及闸门控制逻辑需要考虑河道当前和预测来水量(涉及上游电站负荷、上游电站大坝闸门开度等)、当前和预测发电引用流量等诸多因素，难以解决闸门控制逻辑太过复杂且不可靠的矛盾。
3.由于scada系统(plc)的闸门启闭控制可靠性不足，需要频繁操作的径流引水式水电站大坝闸门启闭控制往往还需要借助人类对视觉处理的优势来识别水位和水流量，甚至主要由人工进行闸门启闭。
4.现有技术：径流引水式水电站由于库容较小，大坝闸门的启闭频繁，实现其自动控制有较大的意义。传统的闸门自动控制由scada系统(plc)实现，由水位传感器、闸门开度传感器、可编程逻辑控制器和开出继电器等组成。其工作原理为：在传感器输入变化时，利用程序中入库流量、发电引用流量、水库水位等变量与和不同闸门开度之间的逻辑关系，输出不同的闸门开度组合，从而实现对大坝闸门的控制。
5.现有技术的缺点：
6.1、径流引水式水电站库容小，水位控制要求严格。由于传感器环境适应性、信号传输干扰、断线等原因，其可靠性不能满足闸门控制的要求。
7.2、闸门控制逻辑需要考虑河道当前来水量(涉及上游电站负荷、上游电站大坝闸门开度等)和预测来水量、当前和预测发电引用流量等诸多因素，plc闸门控制逻辑十分复杂且不可靠。
8.3、scada系统(plc)的闸门启闭控制可靠性不足，需要频繁操作的径流引水式水电站大坝闸门启闭控制往往还需要借助人类对视觉处理的优势来识别水位和水流量，甚至主要由人工进行闸门启闭。


技术实现要素：

9.本发明的目的为提供一种基于深度学习的水电站闸门控制方法及系统，解决由于传感器环境适应性差、信号传输干扰、断线等原因，以及需要考虑河道当前和预测来水量(涉及上游电站负荷、上游电站大坝闸门开度等)、当前和预测发电引用流量等诸多因素，scada闸门控制逻辑十分复杂且不可靠、需要借助人类对视觉处理的优势来弥补其可靠性不足的问题。
10.本发明的目的在于提供一种基于深度学习的水电站闸门控制方法及系统，解决由于传感器环境适应性差、信号传输干扰、断线等原因，以及需要考虑河道当前和预测来水量
(涉及上游电站负荷、上游电站大坝闸门开度等)、当前和预测发电引用流量等诸多因素，plc闸门控制逻辑十分复杂且不可靠、需要借助人类对视觉处理的优势来弥补其可靠性不足的问题。
11.为了实现上述目的，本发明采用了如下技术方案：
12.一种基于深度学习的水电站闸门控制系统，包括水电站数据采集与监视组、神经网络(模型训练平台)、模型推理平台和用于控制阀门开闭装置的scada系统(plc)，所述水电站数据采集与监视组分别与神经网络和模型推理平台连接，所述神经网络与模型推理平台连接，所述模型推理平台与scada系统(plc)连接。
13.作为上述技术方案的进一步描述：所述系统还包括应用服务平台和隔离通信装置，所述模型推理平台、应用服务平台、隔离通信装置与scada系统(plc)依次连接，所述隔离通信装置与神经网络(模型训练平台)连接。
14.一种基于深度学习的水电站闸门控制方法，包括如下步骤：
15.s1：利用深度神经网络训练，找出水库水位、发电引用流量、入库流量等和各闸门开度之间两组高维数据之间的相关性关系；
16.s2：在完成对电站水库特定区域视觉图像进行识别和特征抽取后，通过高维数据之间的相关性关系，建立水库各特定区域图像特征点之间的相关性关系；
17.s3：将这些图像特征点之间的相关性关系应用于水电站大坝闸门的控制。
18.作为上述技术方案的进一步描述：所述s1步骤具体为：利用神经网络的深度学习功能，通过数据相关性分析训练获得水电站的各时段水库水位、发电引用流量、入库流量等和各闸门开度之间两组高维数据之间相关性关系。
19.作为上述技术方案的进一步描述：步骤所述s1包括如下子步骤：
20.s11：将数据导入模型之前，进行数据预处理，将高维数据降为一维数据，从而建立确保模型能够理解数据的训练集；
21.s12：根据训练集对神经网络进行迭代训练，以获取两组高维数据之间相关性关系，并得到完成训练的神经网络。
22.作为上述技术方案的进一步描述：所述步骤s12具体为：将入库流量、取水口水位、发电引用流量等数据和各闸门开度数据按时间序列分别导入神经网络进行数据相关性分析训练，最终获取两组高维数据之间相关性关系，并得到完成训练的神经网络。
23.作为上述技术方案的进一步描述：所述s2步骤具体为：利用卷积神经网络平台的深度学习功能，对电站水库特定区域视觉图像进行识别和特征抽取，然后通过水库水位、发电引用流量、入库流量等和各闸门开度之间两组高维数据之间的相关性关系，建立水库各特定区域图像特征点之间的相关性关系。
24.作为上述技术方案的进一步描述：步骤所述s2包括如下步骤：
25.s21：为了消除干扰，增强目标图像信息，更好地进行图像特征提取，首先对图像进行预处理；
26.s22：将预处理后的图像以图片的形式输入卷积神经网络(cnn)进行训练；
27.s23：在完成全部场景条件下的训练迭代后，完成水库特定区域视觉图像的识别与特征抽取，即获取水库入口处天然河道视觉图像的上游来水量特征，电站取水口视觉图像的水库水位和发电引用流量特征，闸门启闭视觉图像的闸门开度特征，并得到完成训练的
卷积神经网络；
28.s24：通过水库水位、发电引用流量、入库流量等和各闸门开度之间两组高维数据之间的相关性关系，建立对应的水库各特定区域图像特征点之间的相关性关系，即建立水库入口处天然河道视觉图像、电站取水口视觉图像、各闸门启闭视觉图像之间的相关性关系。
29.作为上述技术方案的进一步描述：所述步骤s3包括如下子步骤：
30.s31：利用模型推理平台继承第一神经网络完成训练后得到的入库流量、取水口水位、发电引用流量和各闸门开度数据之间的相关性关系；
31.s32：利用模型推理平台继承第二神经网络完成训练后得到的水库入口处天然河道图片特征点和入库流量、电站取水口图片特征点和取水口水位与发电引用流量、各闸门图片和各闸门开度数据之间的相关性关系；
32.s33：当有新的水库入口处天然河道图片和电站取水口图片样本输入模型推理平台的神经网络时，网络经过前向计算，进行特征点检测，并对特征点进行描述，根据与样本特征点的匹配程度，得到对应的入库流量、取水口水位、发电引用流量，以及对应的各闸门开度；
33.s34：根据模型推理平台继承模型训练平台的入库流量、取水口水位、发电引用流量和各闸门开度之间的相关性关系，获得与这一组图片样本对应的各闸门开度数据；
34.s35：利用神经网络将对应的各闸门开度数据推送至scada系统(plc)；
35.s36：scada系统(plc)获取对应闸门的开度数据后，执行相应闸门的启闭动作。
36.作为上述技术方案的进一步描述：所述步骤s3还包括：
37.s37：神经网络在闸门启闭过程前后对控制目标进行识别，对神经网络的参数进行优化。
38.本发明具有如下有益效果：
39.(1)利用深度学习处理复杂图像识别任务的能力，对电站水库特征区域视觉图像进行识别，解决由于传感器环境适应性差、信号传输干扰、断线等原因，往往还需要借助人类对视觉处理的优势来识别水位和水流量的问题。
40.(2)卷积神经网络根据提图像特征之间的相关性给出控制策略，解决由于需要考虑河道当前和预测来水量(涉及上游电站负荷、上游电站大坝闸门开度等)、当前和预测发电引用流量等诸多因素，scada闸门控制逻辑难以解决的控制逻辑十分复杂且不可靠的矛盾。
附图说明
41.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显然，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
42.图1为现有scada系统(plc)闸门控制原理图；
43.图2为本发明一种基于深度学习的水电站闸门控制方法和系统原理图；
44.图3为数据的降维处理图；
45.图4为数据相关性与散点图；
46.图5为寻找图像特征点的步骤图；
47.图6为高斯差分金字塔极值点图；
48.图7为特征矢量的旋转不变性图；
49.图8为128维sift特征矢量图；
50.图9为卷积神经网络(cnn)系统架构图；
51.图10为原图像和目标图像的特征点匹配图。
具体实施方式
52.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
53.本发明的目的在于提供一种基于深度学习的水电站闸门控制的方法和系统，解决由于传感器环境适应性差、信号传输干扰、断线等原因，以及需要考虑河道当前和预测来水量(涉及上游电站负荷、上游电站大坝闸门开度等)、当前和预测发电引用流量等诸多因素，plc闸门控制逻辑十分复杂且不可靠、需要借助人类对视觉处理的优势来弥补其可靠性不足的问题。
54.本技术实施例涉及了深度学习和传统过程控制系统融合的内容，涉及传统过程控制系统和神经网络的相关应用，为了更好地理解本技术实施例的方案，下面先对本技术实施例可能涉及的过程控制系统和神经网络的相关术语和概念进行介绍。
55.如图2所示，一种基于深度学习的水电站闸门控制系统，包括水电站数据采集与监视组、神经网络(模型训练平台)、模型推理平台和用于控制阀门开闭装置的scada系统(plc)，所述水电站数据采集与监视组分别与神经网络和模型推理平台连接，所述神经网络与模型推理平台连接，所述模型推理平台与scada系统(plc)连接。
56.在本实施例中，所述系统还包括应用服务平台和隔离通信装置，所述模型推理平台、应用服务平台、隔离通信装置与scada系统(plc)依次连接，所述隔离通信装置与神经网络(模型训练平台)连接，水电站数据采集与监视组包括数字摄像机。
57.一种基于深度学习的水电站闸门控制方法，包括如下步骤：
58.(1)利用深度神经网络训练，找出水库水位、发电引用流量、入库流量等和各闸门开度之间两组高维数据之间的相关性关系；
59.(2)在完成对电站水库特定区域视觉图像进行识别和特征抽取后，通过高维数据之间的相关性关系，建立水库各特定区域图像特征点之间的相关性关系；
60.(3)将这些图像特征点之间的相关性关系应用于水电站大坝闸门的控制。
61.在本实施例中，(1)步骤具体为：利用神经网络的深度学习功能，通过数据相关性分析训练获得水电站的各时段水库水位、发电引用流量、入库流量等和各闸门开度之间两组高维数据之间相关性关系。
62.在本实施例中，步骤(1)包括如下子步骤：
63.(11)将数据导入模型之前，进行数据预处理，将高维数据降为一维数据，从而建立确保模型能够理解数据的训练集；
64.(12)根据训练集对神经网络进行迭代训练，以获取两组高维数据之间相关性关系，并得到完成训练的神经网络。
65.在本实施例中，步骤(2)具体为：将入库流量、取水口水位、发电引用流量等数据和各闸门开度数据按时间序列分别导入神经网络进行数据相关性分析训练，最终获取两组高维数据之间相关性关系，并得到完成训练的神经网络。
66.在本实施例中，步骤(2)具体为：利用卷积神经网络平台的深度学习功能，对电站水库特定区域视觉图像进行识别和特征抽取，然后通过水库水位、发电引用流量、入库流量等和各闸门开度之间两组高维数据之间的相关性关系，建立水库各特定区域图像特征点之间的相关性关系。
67.在本实施例中，步骤(2)包括如下步骤：
68.(21)为了消除干扰，增强目标图像信息，更好地进行图像特征提取，首先对图像进行预处理；
69.(22)将预处理后的图像以图片的形式输入卷积神经网络(cnn)进行训练；
70.(23)在完成全部场景条件下的训练迭代后，完成水库特定区域视觉图像的识别与特征抽取，即获取水库入口处天然河道视觉图像的上游来水量特征，电站取水口视觉图像的水库水位和发电引用流量特征，闸门启闭视觉图像的闸门开度特征，并得到完成训练的卷积神经网络；
71.(24)通过水库水位、发电引用流量、入库流量等和各闸门开度之间两组高维数据之间的相关性关系，建立对应的水库各特定区域图像特征点之间的相关性关系，即建立水库入口处天然河道视觉图像、电站取水口视觉图像、各闸门启闭视觉图像之间的相关性关系。
72.在本实施例中，步骤(3)包括如下子步骤：
73.(31)利用模型推理平台继承第一神经网络完成训练后得到的入库流量、取水口水位、发电引用流量和各闸门开度数据之间的相关性关系；
74.(32)利用模型推理平台继承第二神经网络完成训练后得到的水库入口处天然河道图片特征点和入库流量、电站取水口图片特征点和取水口水位与发电引用流量、各闸门图片和各闸门开度数据之间的相关性关系；
75.(33)当有新的水库入口处天然河道图片和电站取水口图片样本输入模型推理平台的神经网络时，网络经过前向计算，进行特征点检测，并对特征点进行描述，根据与样本特征点的匹配程度，得到对应的入库流量、取水口水位、发电引用流量，以及对应的各闸门开度；
76.(34)根据模型推理平台继承模型训练平台的入库流量、取水口水位、发电引用流量和各闸门开度之间的相关性关系，获得与这一组图片样本对应的各闸门开度数据；
77.(35)利用神经网络将对应的各闸门开度数据推送至scada系统(plc)；
78.(36)scada系统(plc)获取对应闸门的开度数据后，执行相应闸门的启闭动作。
79.(37)神经网络在闸门启闭过程前后对控制目标进行识别，对神经网络的参数进行优化。
80.水电站计算机监控系统(scada)是一种scada(supervisory control and data acquisition)系统，即数据采集与监视控制系统。水电站计算机监控系统是以可编程逻辑
控制器plc为基础的水电站数据采集与监视控制系统。可以远程对现场的运行设备进行监视和控制，以实现数据采集和处理、设备控制、测量、参数调节以及各类信号报警等功能。在图1中，水电站计算机监控系统(scada)根据入库流量数据(预测)、发电引用流量数据、水库水位(取水口水位)数据，调节闸门开度。调节闸门开度的目的是维持水库水位，或是调节水库水位上升到较高水平以提高水轮发电机组效率，或是调节水库水位下降到较低水平以储备防洪库容，提高安全水平。其控制程序采用的是传统的逻辑算法，按照制定的规则(如水库水位)进行“闸门开度”的选择，发现另外的条件(如入库流量)影响“闸门开度”就需要增加规则，通过if语句进行跳转。
81.深度学习(deep learning)可以理解为具有多层中间层的神经网络，其本质是在模拟人类大脑神经元以及大脑的工作原理，是一个可以模拟人类大脑进行分析和学习的神经网络，它通过模仿人类大脑的工作机制来解释数据，深度学习通过将简单的低层次特征进行组合，形成更加抽象更为复杂的高层次特征，来拟合人们日常生活中的各种事情。
82.深度神经网络(deep neural network，dnn)，dnn内部的神经网络可以分为三类：输入层，中间层，输出层。一般来说第一层是输入层，最后一层是输出层，中间的层数都是中间层，或者称为隐层。层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i 1层的任意一个神经元相连。这种以上一层的输出作为下一层的输入，并且上一层神经元与先下一层神经元均有联系的网络，即为前馈全连接神经网络，也是最基本的神经网络。深度神经网络中隐含层的层数较大，少者数十层，多者数百层，这种结构有利于从原始数据中自主、有效的学习到复杂特征。
83.卷积神经网络(convolutional neuron network，cnn)是一种带有卷积结构的深度神经网络。与传统的神经网络的结构类似，卷积神经网络包括：阈值、前向传播、计算残差、反向传播，直到残差收敛且满足精度需求。其基本结构包括卷积层、池化层和全连接层。卷积层实质上是通过卷积核计算后的网络层。卷积核是利用卷积层计算的重要组成部分，通过卷积层的运算，把原图像转换到超平面坐标系下，超平面能最大程度上集中同类图像。在前向传播的过程中，每个卷积核进行卷积计算，生成一个二维的特征图，通过一定的网络训练，将这些卷积结果激活图进行叠加，便可得出结果。池化层也称为下采样层，利用卷积层处理过的数据作为输入来进行池化操作对结果进行一定的压缩，以降低数据的空间尺寸，减少参数数量，进而可以提高计算效率，有效控制过拟合。全连接层在卷积神经网络的最后会把卷积输出的二维特征图转化成一维的一个向量，以提高特征提取的纯度，更方便的交给最后的分类器或者回归。
84.本发明的原理为(如图2所示)：利用深度神经网络训练，找出水库水位、发电引用流量、入库流量等和各闸门开度之间两组高维数据之间的相关性关系，在完成对电站水库特定区域视觉图像进行识别和特征抽取后，通过高维数据之间的相关性关系，建立水库各特定区域图像特征点之间的相关性关系，最后将这些图像特征点之间的相关性关系应用于水电站大坝闸门的控制。
85.实施例一，本实施例介绍了一种利用深度学习技术，具体为利用基于深度学习环境的相关性分析训练模型获得水电站水库有关数据的相关性关系的方法和步骤，包括深度学习环境的搭建和数据相关性分析训练两部分内容，其中训练包括数据采集、数据预处理、相关性分析训练，共3个步骤。
86.本实施例中的“数据”是指水库水位数据，与水电站总有功负荷、开机台数对应的发电引用流量数据，上游来水的水文流量预报和实测数据，各闸门开度数据；数据相关分析是指对两组或多组具备相关性的变量元素进行分析，从而衡量两组因素的相关密切程度，相关性的元素之间需要存在一定的联系或者概率才可以进行相关性分析。
87.深度学习环境的搭建。本技术实施例涉及了深度学习环境的搭建，一种可行的方法如下：
88.(1)安装操作系统。在本技术所例举的实施方式中，操作系统采用linux的ubuntu系统。
89.(2)提高安装效率的远程访问配置，具体为配置ssh通信协议。
90.(3)搭建深度学习基础平台：安装nvidia驱动、安装cuda8、安装cudnn5。
91.(4)安装深度学习框架：tensorflow。
92.数据相关性分析训练。利用搭建好的深度学习环境建立数据相关性分析训练模型，在本实施例中称为第一神经网络，具体训练步骤如下。
93.(1)数据准备。采集和统一时间序列对应的水电站计算机监控系统(scada)相关数据：取水口水位、发电引用流量、本站各闸门开度数据由水电站计算机监控系统(scada)取得，上游电站闸门开度数据、上游电站引用流量数据(由上游电站有功负荷和开机台数推算)由上游电站通过离线方式提供或在线提供，上游河道流量数据由水文站提供，将上述数据标注到统一的时间序列中。
94.(2)数据预处理。在将数据导入模型之前，先进行数据预处理，保证数据的准确标注，从而确保模型能够理解数据。
95.对于2组一维的数据集x和y，其相关系数ρ取决于x和y的协方差与x和y的方差的比值。但是在本实施例中，我们需要找出2组高维数据x
″
和y
″
的相关性，其中，x
″
包括了水库的入库流量、发电流量、水库水位3个维度的数据，y
″
包括了1号
‑
5号闸门开度共5个维度的数据，需要进行降维处理。
96.首先将包括入库流量、发电流量、水库水位数据的高维数x
″
降维。如图3所示，同一时间点的入库流量为520m3/s，水库水位为1079.7m，发电流量为261m3/s，我们即把这组数据改写为0520797261，将3维数转换为1维数，把这组降维后的数据记为x
′
。
97.用类似的方法将5个闸门开度数据y
″
由5维降为1维，如5号至1号闸门开度分别为0m，0m，0.3m，0.6m，1.1m，则可改写为500400303206111，将5维数降为1维数，把这组降维后的数据记为y
′
。
98.(3)相关性训练。将降为1维后的两组数据x
′
和y
′
导入python相关系数训练模型进行训练，分析其相关性，得到相关系数矩阵，对应到平面坐标上即形成散点图。
99.通过散点图(见图4)的相关系数，可以体现数据的相关性，可以据此绘制最佳拟合线，即最好的接近所有数据点的线，它的作用，一是可以预测出所有点的真实值，二是在能指出回归线与数据的拟合程度及指出期望结果所达到的真实误差的前提下，可以预测数值。
100.通过以上步骤的反复训练后，获得包括水电站流量和水位信息、水电站大坝各闸门开度信息的两组1维数据x
′
和y
′
的相关性关系。
101.反复进行以上相关性分析迭代训练，直到满足收敛条件。
102.实施例二，本实施例介绍了一种利用深度学习技术，具体为利用卷积神经网络技术对电站水库特征区域视觉图像进行识别和特征抽取的方法和步骤，包括深度学习环境的搭建与图像识别和特征点的抽取训练两部分内容，其中图像识别和特征点的抽取训练包括数据准备、建模训练、图像特征点检测和特征点描述，共4个步骤。
103.深度学习环境的搭建。本技术实施例涉及了深度学习环境的搭建，一种可行的方法如下：
104.(1)安装操作系统。在本技术所例举的实施方式中，操作系统采用linux的ubuntu系统。
105.(2)提高安装效率的远程访问配置，具体为配置ssh通信协议。
106.(3)搭建深度学习基础平台：安装nvidia驱动、安装cuda8、安装cudnn5。
107.(4)安装深度学习框架：caffe。
108.图像识别和特征点的抽取训练。利用搭建好的卷积神经网络技术对电站水库特征区域视觉图像进行识别和特征抽取的训练模型，该卷积神经网络cnn在本实施例中称为第二神经网络。
109.在本实例中，利用数字摄像头获取不同光照和天气条件(分简单环境条件和复杂环境条件)、不同水位、水质和水量情况下(分简单对象条件和复杂对象条件)的电站取水口视觉图像、水库入口处天然河道视觉图像、拦污栅水位差视觉图像、闸门启闭视觉图像等作为训练对象。
110.所有视觉图像按照拍摄地点 拍摄时间进行标注和分类，严格和实施例一中的水电站流量、水位数据和水电站大坝各闸门开度数据和时间序列对应。
111.首先对图像进行预处理。图像预处理主要是为了消除干扰，弱化天气、光照、拍摄角度等对图像的影响，增强目标图像信息，更好地进行图像特征提取。采用以下几种预处理方法：
112.(1)灰度化：将rgb图像改为灰度图像，主要有分量法、加权平均法等；
113.(2)几何变换：主要通过插值法对图像进行空间变换，减少图像误差信息；
114.(3)图像增强：增强目标图像信息，包括灰度变换法、直方图修正以及滤波等方法。
115.预处理完成的图像以图片的形式存储为多个训练集，分别为水库入口处天然河道图片训练集，电站取水口图片训练集，各闸门开度图片训练集。
116.将训练集图片按训练任务输入卷积神经网络(cnn)进行训练，提取和标注对应的图像特征值。
117.作为一种卷积神经网络架构，cnn是一种前馈人工神经网络，该前馈人工神经网络中的各个神经元可以对输入其中的图像作出响应。卷积神经网络包括输入层，卷积层/池化层，以及神经网络层。卷积层的输出可以作为随后的池化层的输入，也可以作为另一个卷积层的输入以继续进行卷积操作。
118.cnn结构分为很多层，层与层之间通过线来连接。训练的过程，就是将所有的线设置成合适的值的过程。训练中，依次经过卷积
‑
激活、卷积
‑
激活
‑
池化、卷积
‑
激活、卷积
‑
激活
‑
池化。cnn提取特征的过程如下：首先是卷积层，这一步主要是为了提取特征。ai识别图片时，并非一下子整张图整体识别，而是先对图中的每一个特征进行局部感知。然后，到了激活层，这个步骤是对卷积层提取的特征做一次非线性映射。接着，来到池化层，其作用是
去除冗余信息，保留关键信息。一张图像通常包含了大量冗余信息，不可能也不需要把整张图的所有特征都学习下来。以上操作重复n次，就形成了一个多层神经网络，完成自动化的有效特征提取。最后，来到全连接层，通过对所有得到的特征加权，计算输出预测结果，完成训练。
119.网络前向计算时，在卷积层，可同时有多个卷积核对输入进行卷积运算，生成多个特征图，每个特征图的维度相对于输入的维度有所降低。在次采样层，每个特征图经过池化(pooling)得到维度进一步降低的对应图。多个卷积层和次采样层交叉堆叠后，经过全连接层到达网络输出。网络的训练采用将误差逐层反向传递，使用梯度下降法调整各层之间的参数。卷积神经网络可提取输入数据的局部特征，并逐层组合抽象生成高层特征(见图5)。
120.(1)卷积操作。一个图像矩阵经过一个卷积核的卷积操作后，得到了另一个矩阵，这个矩阵叫做特征映射(feature map)。每一个卷积核都可以提取特定的特征，不同的卷积核提取不同的特征，例如，现在我们输入水库入口处的图像，使用某一卷积核提取到水库淹没线特征，用另一个卷积核提取河水流线的特征等等。而特征映射就是某张图像经过卷积运算得到的特征值矩阵。
121.(2)特征提取。对于卷积神经网络cnn来说，图像是一小块一小块地来进行比对，拿来比对的这个“小块”称之为features(特征)。在两幅图中大致相同的位置找到一些粗糙的特征进行匹配，cnn能够更好的看到两幅图的相似性。例如，水库淹没线那些由河岸轮廓线组成的features基本上能够识别出大多数“水库水位”所具有的重要特征。把包含某一像素区域的小矩阵作为卷积核，每一个卷积核可以提取特定的特征，现在给一张新的包含水库淹没线的图像，cnn并不能准确地知道这些“特征”到底要匹配原图的哪些部分，所以它会在原图中每一个可能的位置进行尝试，即使用该卷积核在图像上进行滑动，每滑动一次就进行一次卷积操作，得到一个特征值。其中的值，规定越接近为1表示对应位置和卷积核代表的特征越接近，越是接近
‑
1，表示对应位置和卷积核代表的反向特征越匹配，而值接近0的表示对应位置没有任何匹配或者说没有什么关联。最后得到的特征矩阵就叫做特征映射(feature map)，通过特定的卷积核得到其对应的feature map。在卷积层操作中，卷积核在图像上不断滑动运算。同时，在池化层中，在内积结果上取每一局部块的最大值。cnn用卷积层和池化层实现了图片特征提取方法。
122.(3)反向传播算法bp。cnn利用卷积层和池化层提取图片特征的关键是卷积核表示的图片中的局部特征。但是在现实中，使用卷积神经网络进行多分类获目标检测的时候，由于图像构成复杂，并不知道哪个局部特征是有效的，需要以反向传播来确定卷积核的值，就是对比预测值和真实值，继而返回去修改网络参数的过程，一开始我们随机初始化卷积核的参数，然后以误差为指导通过反向传播算法，自适应地调整卷积核的值，从而最小化模型预测值和真实值之间的误差。
123.进一步的，在训练过程中，因为希望卷积神经网络(cnn)的输出尽可能的接近真正想要预测的值，所以可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差异情况来更新每一层神经网络的权重向量(第一次更新之前通常会有初始化的过程，为深度神经网络中的各层预先配置参数)，比如，如果网络的预测值高了，就调整权重向量让它预测低一些，不断地调整，直到深度神经网络能够预测出真正想要的目标值或与真正想要的目标值非常接近的值。因此，就需要预先定义“如何比较预测值和目标值之间的差
异”，即损失函数或目标函数，它们是用于衡量预测值和目标值的差异的重要方程。例如损失函数的输出值越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个差异的过程，通过正向传播和反向传播的结合，以损失函数的渐小为目标，不断沿着梯度的反方向更新权重的大小，直至模型合适。训练过程中，采用激活函数去除模型线性化，引入正则化防止模型过拟合，以及采用梯度下降算法、学习率衰减算法等方法对训练过程进行优化。
124.为保证从不同气象、光照条件下的同一摄像机画面中完成特征的提取和描述，需要在计算时考虑尺度不变特征变换，即sift(scale invariant feature transform)，sift特征对旋转、尺度缩放、亮度变化等保持不变性，可获取图片非常稳定的局部特征。
125.以从水电站引水隧洞取水口处的图片训练集获取水库水位和发电引用流量的训练为例。已知2021年2月1日11：30的水库水位为1079.7m，发电引用流量为261m3/s，找出引水隧洞取水口处的图片训练集中对应时间点的数字图片，输入卷积神经网络(cnn)。卷积神经网络从该图片的像素特征中提取输入数据的局部特征，寻找高斯差分金字塔极值点(dog)，每一个像素点和它所有的相邻点比较，当其大于(或小于)它的图像域和尺度域的所有相邻点时，即为极值点。如(图6)所示，比较的范围是个3
×
3的立方体：中间的检测点和它同尺度的8个相邻点，以及和上下相邻尺度对应的9
×
2个点——共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。从简单到复杂，逐层组合抽象生成线、边、角，从简单形状抽象出高层特征直至从复杂形状抽象出更高层特征，并将这些特征“理解为”水库水位为1079.7m，发电引用流量为261m3/s时图片对应的初步特征。
126.由于部署在水库周边的摄像机在可能在云台上变换角度和焦距的缘故，还需要保证特征矢量的旋转不变性，如(图7)所示，以图片特征点为中心，在附近邻域内将坐标轴旋转θ(特征点的主方向)角度，即将坐标轴旋转为特征点的主方向，将旋转后区域划分为d
×
d(d为2或者4，通常取4)个子区域(每个区域间隔为mσ像元)，在子区域内计算8个方向的梯度直方图，绘制每个方向梯度方向的累加值，形成一个种子点。与求主方向不同的是，此时，每个子区域梯度方向直方图将0
°
～360
°
划分为8个方向区间，每个区间为45
°
。即每个种子点有8个方向区间的梯度强度信息。由于存在d
×
d，即4
×
4个子区域，所以最终共有4
×4×
8＝128个数据，形成128维sift特征矢量(见图8)。
127.将训练图片输入卷积神经网络(cnn)，分别按上述方法进行变换后进行图片特征点匹配，寻找到的图像局部特征，能够对旋转、尺度缩放、亮度变化保持不变，对视角变化、仿射变换、噪声也保持一定程度的稳定性，抽象出与水流的波纹形态、水位标尺附近水位线等景物对应的，水库水位为1079.7m、发电引用流量为261m3/s时相应图片的特征点。
128.分别找出水库水位为最低蓄水位和最高蓄水位之间、发电引用流量为最小值到最大值之间对应的水电站引水隧洞取水口处图片，重复以上过程进行训练，得到对应图片的特征点。
129.对电站取水口对应图片的特征点进行描述和标记。例如将电站取水口水位为1079.7m，发电引用流量数据为210m3/s时对应图片的特征点描述和标记为797210。
130.按照上述方法将电站水库入口处天然河道图片训练集输入卷积神经网络(cnn)进行训练，得到水库入库流量对应图片的特征点。
131.对入库流量对应图片的特征点进行标记编码。例如将水库入口处天然河道入库流
量为810m3/s时对应图片的特征点描述和标记为0810。
132.将两幅图片的特征点合在一起进行描述，则为081079520，与第一神经网络中包括入库流量、发电流量、水库水位信息的x
′
＝0810797210完全对应。
133.按照上述方法将1、2、3、4、5号闸门开度图片训练集输入卷积神经网络(cnn)进行训练，得到1、2、3、4、5号闸门不同开度与对应图片的特征点。
134.对各闸门开度组合对应图片的特征点进行标记编码。例如5号至1号闸门开度分别为0m，0m，0.3m，0.6m，1.1m时对应图片的特征点标记为500400303206110，与第一神经网络中包括各闸门开度信息的y
′
＝500400303206110完全对应。
135.这样，可以通过在第一神经网络中获得的x
′
和y
′
的相关性关系，建立图片之间的相关性关系。
136.需要指出的是，在取水口适当位置设置水位标尺，以及在闸门适当位置设置开度标尺，可以大大减少训练难度。
137.在进行完全部数据对应图片的不同气象和光照条件下的训练迭代后，完成水库特征区域视觉图像的降维与特征抽取。即通过水库入口处天然河道视觉图像得到上游来水量，以电站取水口视觉图像得到水库水位和发电引用流量，以闸门视觉图像得到闸门开度等，获取训练完成的第二神经网络。
138.实施例三，本实施例提供了一种将完成训练的模型训练平台复制部署为模型推理平台，并用于闸门控制的方法和系统。
139.该基于卷积神经网络的水电站闸门控制系统由基于卷积神经网络(cnn)的水电站闸门控制训练和推理系统，以及闸门启闭装置和scada系统(plc)组成。
140.感知层(数字摄像机)，数据层(数据存储、视频存储)，ai层(模型训练平台、模型推理平台)，业务层(数据推送和告警)，scada系统(plc)(水位传感器、闸门开度传感器、可编程逻辑控制器和开出继电器)，闸门启闭装置，闸门。
141.其中，
⑧
闸门启闭装置和scada系统(plc)为水电站现有系统，因此，本实施例具体提供了一种基于卷积神经网络(cnn)的水电站闸门控制训练和推理系统。包括
①
感知层的数字摄像机，
②
数据层的文件服务器和磁盘阵列，ai层的
③
ivs模型训练服务器和
④
推理服务器(包括服务器软硬件及深度学习基础平台软件、深度学习框架软件等)，业务层的
⑤
应用服务器、
⑥
网络设备、
⑦
隔离通信装置。(见图9)。
142.由以上硬件和软件组成的基于卷积神经网络的水电站闸门控制系统，可以实现本技术所述的全部神经网络训练和基于机器视觉的水电站闸门控制。
143.首先根据完成训练的神经网络(模型训练平台)复制并部署模型推理平台。
144.具体的，模型推理平台继承了第一神经网络完成训练后得到的入库流量、取水口水位、发电引用流量和各闸门开度数据之间的相关性关系，同时继承了第二神经网络完成训练后得到的水库入口处天然河道图片特征点和入库流量、电站取水口图片特征点和取水口水位与发电引用流量、各闸门图片和各闸门开度数据之间的相关性关系。
145.模型训练平台和模型推理平台涉及到的深度学习环境的搭建，和实施例2相同，不再赘述。
146.卷积神经网络对闸门的控制方法如下：
147.当感知层有新的水库入口处天然河道图片和电站取水口图片样本输入模型推理
平台cnn网络时，网络经过前向计算，进行特征点检测，并对特征点进行描述，根据与样本特征点的匹配程度，得到对应的入库流量、取水口水位、发电引用流量，以及对应的各闸门开度。
148.例如某幅水库入口处天然河道图片被识别为和编号为0810的特征点匹配，则入库流量被识别为810m3/s，；某幅电站取水口图片被识别为和编号为795210的特征点匹配，则水库水位被识别为1079.5m，发电引用流量特征被识别为210m3/s。这组图片组合对应的x
′
＝0810795210。
149.模型推理平台根据入库流量、水库水位、发电引用流量和各闸门开度数据之间的相关性关系，亦即根据继承自第一神经网络的x
′
和y
′
的相关性关系，找出x
′
＝0810795210时，对应的y
′
＝500400300206110。
150.可选择的闸门控制方式有以下两种：
151.方式一，模型推理平台将根据数据相关性得到的各闸门开度数据推送至scada系统(plc)。例如，将y
′
＝500400300206110推送至scada系统(plc)。
152.在方式一中，scada系统(plc)获取闸门的编号和开度指令后，与目前各闸门的开度进行比较；经过scada系统(plc)闸门控制逻辑对指令合理性的判断后，执行相应闸门的启闭动作。
153.方式二，模型推理平台将y
′
＝500400300206110推送给scada系统(plc)的同时，找出与特征点标记为500400303206110对应的各闸门开度图片组合；将闸门开度调整完毕后抓取的各闸门开度图片组合和系统给出的各闸门开度图片组合的特征点进行比较，直到scada系统(plc)将闸门开度调整到和闸门开度目标图片的特征点相匹配的状态(见图10)，以完成闸门的启闭动作。
154.在方式二中，scada系统(plc)执行命令之前需要达到的闸门姿态为scada系统(plc)的控制目标，cnn网络实质上在控制系统中起到了控制目标识别的作用。至于闸门启闭系统如何达到控制目标则由scada系统(plc)决定。方式二是卷积神经网络应用与闸门控制的高级方式，需要经过较长时间的训练后才能实施。
155.在上述过程中，模型训练平台cnn网络可以跟踪模型推理平台，按照需要同步进行新的训练，通过将闸门开度调整完毕后抓取的各闸门开度图片组合特征和系统给出的各闸门响应开度图片组合特征进行比较，完成各闸门开度图片组合特征的更新，不断提高识别和控制能力。
156.模型训练平台可发挥评价网络功能的作用，cnn网络的输出层节点个数为可执行的闸门启闭动作个数，每个节点的输出即在输入场景下采用该节点所代表动作的预期回报。系统选择评价网络输出节点中预期回报最高的节点所代表的闸门启闭动作执行系统执行了闸门启闭动作后，更新闸门开度视觉图像并得到一个强化信号。
157.在这一阶段训练中，可执行的动作集合包含有限个闸门启闭动作元素，而状态集合包含无限个场景状态元素。训练采用退火算法以避免陷入局部最优。
158.本发明利用系统预期回报函数，优化水库入口处天然河道视觉图像特征点、电站取水口视觉图像特征点和各闸门开度视觉图像特征点之间的相关性关系。
159.值得注意的是，上述系统实施例中，所包括的各个模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能模块的具体
名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
160.本领域普通技术人员可以理解，实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如rom/ram、磁盘或光盘等。本发明所列技术方案并不排斥类似替代技术方案同样能完成本发明的目的，同样在本发明主张的专利保护范围内，包括：
161.本技术方案(实施例)中，对数据相关性分析采用的深度学习框架是tensorflow，也可以采用其他深度学习框架进行数据相关性分析训练。
162.本技术方案(实施例)中，对图像识别和特征提取训练采用的深度学习框架是caffe，也可以采用其他深度学习框架(如：pytorch等)进行图像识别和特征提取训练。
163.本技术方案(实施例)中，对图像特征点的检测采用的是sift特征提取方法，也可以采用其他图像特征提取方法，包括surf、orb、lbp、haar等。
164.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。