一种基于深度学习的无水尺塞氏盘水质透明度检测方法

1.本发明涉及水质透明度检测方法领域，具体是一种基于深度学习的无水尺塞氏盘水质透明度检测方法。


背景技术：

2.水质透明度是衡量水质好坏的一个常用指标，而塞氏盘法一直是水质透明度检测的一种常用方法，测试者通过人眼来分辨塞氏盘“消失”在水中的时刻同时读出水尺读数，即可获得水质的透明度值。传统采用塞氏盘法的检测方法虽然简单实用，但是在检测过程极大地受到测试者的视力以及主观判断的影响，具有较大的不确定性，另外考虑到诸多的外界因素，都会使得检测得到的透明度值出现偏差。
3.而近年来，图像处理技术不断提升，更高效的深度学习方法层出不穷，使计算机能够快速识别图像中的各类物体并进行分类，不仅实现了自动化检测，同时也避免了人眼识别可能会遇到的各类主观因素，此类技术的发展为检测的效率与结果的可靠性提供了强有力的支撑。
4.现有的基于机器学习的测量透明度的方法中，如公布号为cn113252614a的中国专利文献公开了一种基于图像处理的智能塞氏盘与水尺识别技术，该方法需要借助水尺的读数来测量水质透明度，因此在观察塞氏盘的同时还需要获取水尺图像，然后基于水尺图像计算获取水尺读数，给测量带来不便，并且在水尺读数计算过程中也容易引入误差，导致最终水质透明度计算结果出现偏差。同时，该方法中对塞氏盘临界位置的判定过程较为复杂，因此会导致水质透明度计算耗时长，最终降低水质透明度检测效率。


技术实现要素：

5.本发明的目的是提供一种基于深度学习的无水尺塞氏盘水质透明度检测方法，以解决现有技术基于塞氏盘和水尺进行水质透明度测量时存在的需要计算水尺读数的问题。
6.为了达到上述目的，本发明所采用的技术方案为：一种基于深度学习的无水尺塞氏盘水质透明度检测方法，包括以下步骤：步骤1、获取塞氏盘水质透明度测量视频；步骤2、对步骤1获取的视频进行图像处理识别，得到所述视频第一帧中塞氏盘位置作为塞氏盘的初始位置；然后采用基于2d卷积的siamfc 网络根据塞氏盘初始位置，对视频其他帧中塞氏盘位置进行追踪得到追踪结果，并将每一帧的追踪结果从视频对应帧中分割出来作为分割结果；步骤3、采用基于3d卷积的判别器，对步骤2得到的分割结果进行数据清洗处理得到塞氏盘的临界位置，然后从所述分割结果中去除塞氏盘临界位置之后的部分，分割结果中剩下部分保留；步骤4、对步骤3得到的分割结果中剩下部分进行特征提取，然后采用循环网络bi-lstm基于提取的特征计算得到水质透明度计算结果。
7.进一步的，步骤2过程如下；步骤2-1、采用opencv中的selectroi函数对所述视频进行图像处理识别，通过opencv中的selectroi函数初始化所述视频第一帧中塞氏盘的检测框坐标，作为塞氏盘的初始位置；步骤2-2、将所述视频其他帧逐帧输入至siamfc 网络中，由siamfc 网络根据塞氏盘的初始位置追踪视频其他帧中塞氏盘检测框框定的区域作为追踪结果；然后基于视频其他帧中塞氏盘的检测框坐标，从视频其他帧中分别将所述追踪结果分割出来作为分割结果。
8.进一步的，步骤2-2中，以追踪得到的视频其他帧中置信度最大的塞氏盘检测框框定的区域作为追踪结果，并基于置信度最大的塞氏盘检测框的坐标，将追踪结果分割出来作为分割结果。
9.进一步的，步骤2中，所述的siamfc 网络以shufflenetv2为主干网络搭建；对于每一张输入图片，由siamfc 输出行大小为h、列大小为w的坐标矩阵和置信度矩阵，故共有h*w个检测框的坐标和h*w个检测框的置信度；每个检测框的坐标记为[xi, yi, hi, wi]，其中xi、yi分别代表检测框的左上角的坐标，hi、wi分别代表检测框的高和宽，且有1≤i≤h*w；每个检测框的置信度位于0到1之间。
[0010]
进一步的，所述的siamfc 网络中，行大小h和列大小w均设置为17。
[0011]
进一步的，步骤3过程如下：步骤3-1、设步骤2得到的分割结果共有n个，并以分割结果中每连续的k个为一组得到多组，将得到的多组作为所述判别器的输入，由判别器输出n-k 1个概率值，每个概率值的范围为（0,1）；步骤3-2、根据步骤3-1得到的n-k 1个概率值确定塞氏盘临界位置，其中：若n-k 1个概率值中存在大小为0.5的概率值，则以0.5第一次出现的位置作为塞氏盘的临界位置；若n-k 1个概率值中不存在大小为0.5的概率值，则将n-k 1个概率值存放在一个一维数组中，用滑框从所述一维数组的起始位置开始以固定步长进行滑动，每滑动一次统计滑框内概率值大于0.5和小于0.5的个数，当概率值大于0.5的个数大于概率值小于0.5的个数时，此时滑框的中心位置就是所述塞氏盘的临界位置；步骤3-3、从所述分割结果中去除塞氏盘临界位置之后的部分，分割结果中剩下部分保留。
[0012]
进一步的，所述判别器包括5层网络，其中：第1层网络包括64个大小为[5,5,1]的3d卷积核，卷积步长为[1,1,1]，第1层网络输入大小为56*56*3*8、输出大小为56*56*64*8；第2层网络包括128个大小为[3,3,1]的3d卷积核，卷积步长为[2,2,1]，第2层网络输入大小为56*56*64*8、输出大小为28*28*128*8；第3层网络包括256个大小为[3,3,1]的3d卷积核，卷积步长为[2,2,1]，第3层网络输入大小为28*28*128*8、输出大小为14*14*256*8；第4层网络包括512个大小为[3,3,1]的3d卷积核，卷积步长为[2,2,1]，第4层网络输入大小为14*14*256*8、输出大小为7*7*512*8；
第5层网络包括平均池化层、全连接层、激活层，其中激活层的激活函数使用sigmoid函数，第5层网络输入大小为7*7*512*8、输出大小为1*1*1*1。
[0013]
进一步的，步骤4中，首先将步骤3分割结果中剩下部分转换为灰度图，然后对所述灰度图中每个像素所在区间进行统计，基于统计结果建立一维特征向量；接着对一维特征向量进行归一化处理，以归一化处理结果作为提取的特征。
[0014]
进一步的，步骤4中，所述循环网络bi-lstm以提取的特征作为输入，循环网络bi-lstm输出连接至一个两层的全连接网络，最终由所述全连接网络输出水质透明度计算结果。
[0015]
本发明提出了一种基于卷积神经网络和循环神经网络的透明度测量算法，通过卷积神经网络和循环神经网络对塞氏盘视频进行处理，能够快速确定塞氏盘的临界位置，并且可直接计算出水质透明度的值，不需要水尺配合，因此可避免观察和计算水尺读数，只需要塞氏盘视频即可测出水质透明度计算结果，具有成本低、测量快、误差小、水质透明度计算结果客观等优点，有很高的应用价值。
附图说明
[0016]
图1为本发明实施例中一种基于深度学习的无水尺塞氏盘水质透明度检测方法流程示意图。
[0017]
图2为本发明实施例中塞氏盘分割结果图片及其对应的灰度直方图，其中(a)为塞氏盘分割结果图片，(b)为灰度直方图。
[0018]
图3为本发明实施例中siamfc 追踪塞氏盘过程中的部分追踪效果图片。
[0019]
图4为本发明实施例中部分塞氏盘分割结果图片。
[0020]
图5为本发明实施例中部分经过数据清洗后的塞氏盘分割结果图片。
[0021]
图6为本发明实施例中bi-lstm 计算水质透明度示意图。
具体实施方式
[0022]
为使本发明的目的、技术方案和优点更加清楚，以下结合实施例及其附图对本发明作进一步说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0023]
除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
[0024]
如图1所示，本实施例基于深度学习的无水尺塞氏盘水质透明度检测方法，包括以下步骤：s100、获取塞氏盘水质透明度测量视频。
[0025]
本实施例采用一个摄像头对塞氏盘进行拍摄，获得画面较为稳定清晰的塞氏盘升降视频，作为塞氏盘水质透明度测量视频。然后由摄像头将拍摄的视频通过云端或者直接传送到电脑上处理，由电脑来完成后续步骤。
[0026]
s200、塞氏盘追踪与分割：使用基于2d卷积的siamfc 网络对步骤s100得到的视频中的塞氏盘进行追踪，并将追踪结果分割出来作为分割结果。具体过程如下：（s2001）、使用opencv中的selectroi函数对步骤s100得到的视频进行图像检测识别，通过opencv中的selectroi函数初始化视频第一帧中塞氏盘的检测框坐标，作为塞氏盘的初始位置。
[0027]
（s2002）、然后将视频的其他帧逐帧输入到siamfc 网络中，由siamfc 网络根据塞氏盘的初始位置追踪视频其他帧中置信度最大的塞氏盘检测框框定的区域作为追踪结果，并根据置信度最大的检测框的坐标，从视频其他帧中分别将追踪结果分割出来作为分割结果。
[0028]
本实施例步骤s200中，采用基于2d卷积的siamfc 网络作为追踪器，siamfc 网络以shufflenetv2为主干网络搭建而成，通过siamfc 网络对视频中的塞氏盘进行追踪。本实施例中siamfc 追踪塞氏盘的部分效果图片如图3所示。
[0029]
siamfc 网络可以根据视频中塞氏盘的初始位置，自动检测出塞氏盘在其它帧中的位置。对于每一张输入图片，由siamfc 输出行大小为h、列大小为w的坐标矩阵和置信度矩阵，故共有h*w个检测框的坐标和h*w个检测框的置信度；每个检测框的坐标记为[xi,yi,hi,wi]，其中xi、yi分别代表检测框的左上角的坐标，hi、wi分别代表检测框的高和宽，且有1≤i≤h*w；每个检测框的置信度位于0到1之间。
[0030]
当根据siamfc 网络的输出找到每一帧图片中置信度最大的检测框的坐标时，根据这个置信度最大的检测框的坐标可将检测框区域从视频对应帧中分割出来，作为分割结果。当图片中的塞氏盘处于可见状态时，分割结果中包含了塞氏盘；当图中的塞氏盘处于不可见状态时，分割结果中就没有塞氏盘。本实施例中部分塞氏盘分割结果图片如图4所示。
[0031]
s300、分割结果数据清洗：使用基于3d卷积的判别器对步骤s200得到的分割结果进行数据清洗，并从分割结果中去除塞氏盘临界位置之后的部分，分割结果剩下部分保留。具体步骤如下：（s3001）、采用一个基于3d卷积的判别器；该判别器有5层网络，判别器各层网络参数如表1所示，表1如下：表判别器各层网络参数
层的名称输入大小输出大小参数stage156*56*3*856*56*64*864个大小为[5,5,1]的3d卷积核，卷积步长为[1,1,1]stage256*56*64*828*28*128*8128个大小为[3,3,1]的3d卷积核，卷积步长为[2,2,1]stage328*28*128*814*14*256*8256个大小为[3,3,1]的3d卷积核，卷积步长为[2,2,1]stage414*14*256*87*7*512*8512个大小为[3,3,1]的3d卷积核，卷积步长为[2,2,1]stage57*7*512*81*1*1*1平均池化层，全连接层，激活层（激活函数使用sigmoid函数）
判别器的输入是k张塞氏盘分割结果图片(本例取k=8)，输出是一个位于（0，1）之间的概率值。这个概率值反映了塞氏盘的状态，概率值接近0，表示塞氏盘处于可见状态；概率值接近1，表示塞氏盘处于不可见状态；当概率值正好等于0.5时，表明塞氏盘处于可见与
不可见之间的临界状态。
[0032]
（s3002）、确定塞氏盘临界位置：设步骤s200最终共有n张塞氏盘分割结果图片，以每连续的k张图为一组(本实施例取k=8 )作为输入送入到判别器中，然后由判别器输出概率值，一共可以得到n-k 1个概率值。
[0033]
如果n-k 1个概率值中，存在大小为0.5的概率值，则以0.5第一次出现的位置为塞氏盘临界位置。
[0034]
如果n-k 1个概率值中，不存在大小为0.5的概率值，则通过以下方法确定临界位置：将n-k 1个概率值存放在一个一维数组中，用一个长度为5的滑框，从数组的起始位置开始以固定步长为1进行滑动，每滑动一次，统计滑框内概率值大于0.5和小于0.5的个数，当概率值大于0.5的个数大于概率值小于0.5的个数时，此时滑框的中心位置就是塞氏盘临界位置。
[0035]
（s3003）、确定了塞氏盘的临界位置后，从步骤s200得到的分割结果中去除塞氏盘临界位置之后的部分并丢弃，分割结果中剩下部分进行保留。
[0036]
本实施例中，经过步骤s200的追踪与分割后，将会得到一系列塞氏盘分割结果图片，在这些图片中，有的塞氏盘是处于可见状态，有的塞氏盘是处于不可见状态，有的塞氏盘处于可见与不可见之间的临界状态。塞氏盘不可见的图片对水质透明度计算来说是没有用的。所以，需要判断一下塞氏盘的临界位置在哪张图片中。临界位置之后的图片中没有塞氏盘存在，是需要清洗掉的数据，临界位置之前的图片则是需要保留的数据。本实施例部分经过数据清洗后的塞氏盘分割结果图片如图5所示。
[0037]
s400、经过步骤s300数据清洗后，剩下m张塞氏盘分割结果图片，对分割结果中剩下部分进行特征提取，利用循环网络bi-lstm计算出水质透明度计算结果。
[0038]
在视频中，塞氏盘上的像素和塞氏盘所在位置处的深度是随着时间而变化的，所以可以通过循环神经网络建立起塞氏盘像素和塞氏盘深度之间的时序关系。塞氏盘处于临界位置时，此时的塞氏盘深度就是透明度。循环神经网络采用循环网络bi-lstm。
[0039]
本步骤s400基于bi-lstm 计算水质透明度过程如图6所示，具体步骤如下：（s4001）、特征提取：如图2所示，将塞氏盘分割结果中剩余部分图片由rgb图片转换成灰度图，作出灰度图的直方图。灰度图的每一个像素点都位于区间[0, 255]，将区间[0, 255]分成32个等长的小区间。统计落入到每个小区间的像素数量，由此建立一个长度为32的一维特征向量，将每个小区间内统计到的像素数量，依次存入到这个一维特征向量中。
[0040]
然后，用l2归一化对一维特征向量进行归一化处理。l2归一化的计算公式如公事（1）所示：
ꢀꢀꢀꢀꢀꢀꢀ
（1）公式（1）中，y代表归一化后的特征向量，即为本步骤需要提取的特征；x代表归一化前的特征向量，即为一维特征向量。
[0041]
（s4002）水质透明度计算：根据步骤（s4001）对所有经过数据清洗后的塞氏盘分割结果进行特征提取，将提
取到的特征送入到循环网络bi
ꢀ‑
lstm中，再将循环网络bi
ꢀ‑
lstm输出的结果送入到一个两层的全连接网络中，最终由全连接网络输出水质透明度计算结果。
[0042]
s500、输出步骤s400得到的水质透明度计算结果。
[0043]
本发明所述的实施例仅仅是对本发明的优选实施方式进行的描述，并非对本发明构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域中工程技术人员对本发明的技术方案作出的各种变型和改进，均应落入本发明的保护范围，本发明请求保护的技术内容，已经全部记载在权利要求书中。