基于视频分析技术的大坝流量预警系统及方法与流程

1.本发明涉及大坝流量预警领域，特别是涉及一种基于视频分析技术的大坝流量预警系统及方法。


背景技术：

2.汛期阶段上下游区域的水库在泄洪时对下游的安全造成极大隐患，尤其在界河流域由于沟通协调造成信息有延迟，会对下游造成重大影响。例如位于鸭绿江流域的水丰水库是东北亚最大的水库，总库容达到149亿立方米，而下游太平湾水库库容仅有1.8亿，一旦泄洪，只要一个小时，水丰水库的水就会全部注入到太平湾水库，太平湾水库随时都有漫坝和垮坝的风险。由于水丰水库归朝鲜管理，像泄洪时间、闸门开关状态、下泄流量、坝体情况这样重要的数据，往往很难及时得到。所以每当汛期需要进行24小时监管，对监管要求严格，监管人员压力大。传统的水坝泄洪流量监测都是人员去现场抄表并将结果通过人工计算并结合经验判断，其存在耗时费力、预警时间长等缺点。


技术实现要素：

3.本发明要解决的技术问题在于克服现有技术中的耗时费力、预警时间长缺陷，从而提供一种基于视频分析技术的大坝流量预警系统及方法。
4.一种基于视频分析技术的大坝流量预警系统，包括：
5.视频监控设备，基于视频图像实时识别大坝的水位值以及闸门的开合状态；
6.流量分析模块，基于水位值计算泄洪流量，并计算出从大坝流出到目标水库的时间以及作出预警。
7.作为优选的实施方式，所述视频监控设备包括：
8.采集模块，用于采集大坝水位杆的视频，并对视频每一帧图像进行二值化处理，获取二值化图像数据；
9.图像分析模块，用于将二值化图像数据传入训练过的深度神经网络模型，基于深度神经网络模型得到水位杆刻度的检测框，根据检测框截取水位杆刻度的近水端的局部图像；
10.水位计算模块，用于将局部图像对应的刻度用otsu算法进行二值化，并根据刻度的上侧和下侧对应的刻度读数以及刻度的上侧和下侧到水位线的距离，计算得到大坝的水位值。
11.作为优选的实施方式，深度神经网络模型包括：
12.分类器单元，基于lbp特征级联分类器，对二值化图像数据中的水位杆刻度进行检测；
13.训练单元，将检测到的水位杆刻度作为正样本，误检作为负样本，反复对模型进行迭代训练，用检测效果最好的分类器模型对水位杆刻度进行检测，从而确定水位杆刻度在图像中的具体位置；
14.分割识别单元，根据水位杆刻度在图像中的具体位置，将图像放大并分割，得到水位杆刻度的检测框。
15.作为优选的实施方式，lbp特征级联分类器包括：
16.检测模块，用于检测水位杆的刻度区域，计算待识别区域roi；
17.处理模块，用于将待识别区域roi的rgb格式彩色图转换为hsv模型并对y分量进行直方图均衡化处理，并将该区域均衡化后的hsv彩色图转换为yuv彩色模型并计算v分量的直方图；
18.计算模块，选用水位杆对应各刻度的标准模板图像，对其yuv格式彩色图中的v分量计算直方图并归一化，并计算roi区域v分量彩色图两直方图的相似性，若相似度大于90％则判定其为水位杆刻度。
19.作为优选的实施方式，所述视频监控设备还包括：闸门检测模块，对视频每一帧图像进行分析，识别出所述视频每一帧图像中的闸门的基准线以及所述基准线对应的标尺刻度，并利用所述标尺刻度与所述初始刻度的差值确定所述闸门的开合状态。
20.作为优选的实施方式，闸门检测模块包括：
21.检测单元，用于对所述视频每一帧图像进行闸门识别，获取闸门特征点，同事将视频每一帧图像转换至lab颜色空间，获取颜色空间图像；
22.聚类单元，使用k-means算法对所述颜色空间图像进行颜色聚类，并对将聚类完的图像使用canny算法进行边缘检测，获取闸门基准线的图像，并根据所述闸门基准线的图像获取所述颜色空间图像的多个聚类中心，根据所述多个聚类中心生成包括多个聚类块的颜色聚类图像；
23.分析单元，用于根据所述闸门特征点从所述多个聚类块中选择种子聚类块，根据所述多个种子聚类块的边界像素将所述多个聚类块进行合并，根据合并的结果获取闸门的基准线。
24.作为优选的实施方式，k-means算法将所述颜色空间图像划分为m*n个网格，根据所述闸门基准线的图像获取每个所述网格中梯度最小的位置对应的目标像素点，将所述目标像素点作为所述网格的聚类中心；其中，m和n为任意正整数；canny算法获得聚类完的图像中每个像素点的梯度幅值，获得梯度图像，对所述梯度图像进行非极大值抑制处理，获得候选边缘图像，所述候选边缘图像中标记了作为候选边缘点的像素点，并对所述候选边缘图像进行边缘检测，获得边缘图像。
25.一种基于视频分析技术的大坝流量预警方法，包括以下步骤：
26.基于视频图像实时识别大坝的水位值以及闸门的开合状态；
27.基于水位值计算泄洪流量，并计算出从大坝流出到目标水库的时间以及作出预警。
28.作为优选的实施方式，基于视频图像实时识别大坝的水位值以及闸门的开合状态包括：
29.采集大坝水位杆的视频，并对视频每一帧图像进行二值化处理，获取二值化图像数据；
30.将二值化图像数据传入训练过的深度神经网络模型，基于深度神经网络模型得到水位杆刻度的检测框，根据检测框截取水位杆刻度的近水端的局部图像；
31.将局部图像对应的刻度用otsu算法进行二值化，并根据刻度的上侧和下侧对应的刻度读数以及刻度的上侧和下侧到水位线的距离，计算得到大坝的水位值。
32.作为优选的实施方式，基于视频图像实时识别大坝的水位值以及闸门的开合状态还包括：
33.用于对所述视频每一帧图像进行闸门识别，获取闸门特征点，同事将视频每一帧图像转换至lab颜色空间，获取颜色空间图像；
34.使用k-means算法对所述颜色空间图像进行颜色聚类，并对将聚类完的图像使用canny算法进行边缘检测，获取闸门基准线的图像，并根据所述闸门基准线的图像获取所述颜色空间图像的多个聚类中心，根据所述多个聚类中心生成包括多个聚类块的颜色聚类图像；
35.用于根据所述闸门特征点从所述多个聚类块中选择种子聚类块，根据所述多个种子聚类块的边界像素将所述多个聚类块进行合并，根据合并的结果获取闸门的基准线；
36.利用所述标尺刻度与所述初始刻度的差值确定所述闸门的开合状态。
37.相比现有技术，本发明的有益效果在于：
38.本发明利用视频监控设备对上下游大坝的水位信息以及坝体闸门的开合进行实时监控数，并利用流量分析模块进行计算，得出准确的流量分析，为监管人员研判做出有效的数据支撑，可以大大降低由于水库泄洪所带来的经济影响以及人员伤亡事故。
39.利用计算机视觉的文本识别对流量监测仪器的读数进行识别，并通过工业视频系统中对闸门的视频识别出闸门开合，结合流量分析模块制定相应的泄洪应急方案为监管人员提供有效的数据参考，该方案作为解决这一问题的有效途径，尤其是在界河流域的水电站有着显著作用，避免了洪水带来的经济损失以及人员伤亡。
附图说明
40.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
41.图1为本发明的实施方式中提供的基于视频分析技术的大坝流量预警系统的示意图。
42.图2为本发明的实施方式中提供的基于视频分析技术的大坝流量预警系统中闸门检测模块的示意图。
43.图3为本发明的实施方式中提供的基于视频分析技术的大坝流量预警系统中大坝的水位观测结构。
44.图4为本发明的实施方式中提供的基于视频分析技术的大坝流量预警方法的流程示意图。
具体实施方式
45.下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术
人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
46.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
47.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
48.如图1和图2所示，本发明提供了一种基于视频分析技术的大坝流量预警系统，包括：视频监控设备1，基于视频图像实时识别大坝的水位值以及闸门的开合状态；流量分析模块2，基于水位值计算泄洪流量，并计算出从大坝流出到目标水库的时间以及作出预警。
49.本发明利用视频监控设备对上下游大坝的水位信息以及坝体闸门的开合进行实时监控数，并利用流量分析模块进行计算，得出准确的流量分析，为监管人员研判做出有效的数据支撑，可以大大降低由于水库泄洪所带来的经济影响以及人员伤亡事故。
50.利用计算机视觉的文本识别对流量监测仪器的读数进行识别，并通过工业视频系统中对闸门的视频识别出闸门开合，结合流量分析模块制定相应的泄洪应急方案为监管人员提供有效的数据参考，该方案作为解决这一问题的有效途径，尤其是在界河流域的水电站有着显著作用，避免了洪水带来的经济损失以及人员伤亡。
51.如图3所示，本发明利用机器视觉或者神经网络算法实时通过图像识别大坝闸门的开合。因为闸门不是本国控制的，所以本方无法直接检测闸门的开关信号，只能通过图像来识别。
52.本发明通过拍摄水位杆来获取水位值。水位干插在泄洪这一侧的水里，杆子上边有刻度，摄像机对着水位杆拍摄，通过图像识别来读取水为值。
53.水位计算模块中，使用最小二乘法拟合二次曲线y＝ax2 bx c，其中x为刻度的上边缘或下边缘到水位线的距离，y为刻度的上边缘或下边缘的水尺读数，令x＝0，得到当前帧的水位值；流量分析模块中，泄洪流量＝仪表读出的水位值对应的流量
×
闸门数 1450。计算泄洪流量：泄洪流量＝仪表读出的水位值对应的流量
×
闸门数 1450，其中水位值与流量的对应关系如下表1所示。
54.表1
55.水位流量水位流量水位流量116.00120.0185124.0538116.12120.1197124.1550116.24120.2209124.2562116.36120.3221124.3574116.48120.4233124.4586116.510120.5245124.5598
116.612120.6257124.6610116.713120.7269124.7622116.815120.8282124.8634116.917120.9294124.9646117.019121.0306125.0658117.123121.1310125.1671117.227121.2314125.2684117.331121.3318125.3697117.435121.4322125.4710117.538121.5326125.5723117.642121.6330125.6736117.746121.7334125.7749117.850121.8338125.8762117.954121.9342125.9775118.058122.0346126.0788118.163122.1356
ꢀꢀ
118.269122.2365
ꢀꢀ
118.375122.3375
ꢀꢀ
118.481122.4385
ꢀꢀ
118.587122.5394
ꢀꢀ
118.692122.6404
ꢀꢀ
118.798122.7413
ꢀꢀ
118.8104122.8423
ꢀꢀ
118.9110122.9433
ꢀꢀ
119.0115123.0442
ꢀꢀ
119.1122123.1452
ꢀꢀ
119.2129123.2462
ꢀꢀ
119.3136123.3471
ꢀꢀ
119.4143123.4481
ꢀꢀ
119.5150123.5490
ꢀꢀ
119.6157123.6500
ꢀꢀ
119.7164123.7510
ꢀꢀ
119.8171123.8519
ꢀꢀ
119.9178123.9529
ꢀꢀ
56.作为优选的实施方式，所述视频监控设备1包括：
57.采集模块11，用于采集大坝水位杆的视频，并对视频每一帧图像进行二值化处理，获取二值化图像数据；
58.图像分析模块12，用于将二值化图像数据传入训练过的深度神经网络模型，基于深度神经网络模型得到水位杆刻度的检测框，根据检测框截取水位杆刻度的近水端的局部
图像；
59.水位计算模块13，用于将局部图像对应的刻度用otsu算法进行二值化，并根据刻度的上侧和下侧对应的刻度读数以及刻度的上侧和下侧到水位线的距离，计算得到大坝的水位值。
60.图像的二值化处理就是将图像上的点的灰度值为0或255，也就是将整个图像呈现出明显的黑白效果。即将256个亮度等级的灰度图像通过适当的阈值选取而获得仍然可以反映图像整体和局部特征的二值化图像。在数字图像处理中，二值图像占有非常重要的地位，特别是在实用的图像处理中，以二值图像处理实现而构成的系统是很多的，要进行二值图像的处理与分析，首先要把灰度图像二值化，得到二值化图像，这样子有利于在对图像做进一步处理时，图像的集合性质只与像素值为0或255的点的位置有关，不再涉及像素的多级值，使处理变得简单，而且数据的处理和压缩量小。为了得到理想的二值图像，一般采用封闭、连通的边界定义不交叠的区域。所有灰度大于或等于阈值的像素被判定为属于特定物体，其灰度值为255表示，否则这些像素点被排除在物体区域以外，灰度值为0，表示背景或者例外的物体区域。
61.otsu算法又称为最大类间方差法。otsu的中心思想是阈值t应使目标与背景两类的类间方差最大。对于一幅图像，设当前景与背景的分割阈值为t时，前景点占图像比例为w0，均值为u0，背景点占图像比例为w1，均值为u1。则整个图像的均值为u＝w0*u0 w1*u1。建立目标函数g(t)＝w0*(u0-u)^2 w1*(u1-u)^2，g(t)就是当分割阈值为t时的类间方差表达式。otsu算法使得g(t)取得全局最大值，当g(t)为最大时所对应的t称为最佳阈值。
62.其中，深度神经网络模型包括：
63.分类器单元，基于lbp特征级联分类器，对二值化图像数据中的水位杆刻度进行检测；
64.训练单元，将检测到的水位杆刻度作为正样本，误检作为负样本，反复对模型进行迭代训练，用检测效果最好的分类器模型对水位杆刻度进行检测，从而确定水位杆刻度在图像中的具体位置；
65.分割识别单元，根据水位杆刻度在图像中的具体位置，将图像放大并分割，得到水位杆刻度的检测框。
66.lbp特征级联分类器包括：
67.检测模块，用于检测水位杆的刻度区域，计算待识别区域roi；
68.处理模块，用于将待识别区域roi的rgb格式彩色图转换为hsv模型并对y分量进行直方图均衡化处理，并将该区域均衡化后的hsv彩色图转换为yuv彩色模型并计算v分量的直方图；
69.计算模块，选用水位杆对应各刻度的标准模板图像，对其yuv格式彩色图中的v分量计算直方图并归一化，并计算roi区域v分量彩色图两直方图的相似性，若相似度大于90％则判定其为水位杆刻度。
70.作为优选的实施方式，所述视频监控设备还包括：闸门检测模块14，对视频每一帧图像进行分析，识别出所述视频每一帧图像中的闸门的基准线以及所述基准线对应的标尺刻度，并利用所述标尺刻度与所述初始刻度的差值确定所述闸门的开合状态。
71.如图2所示，闸门检测模块14包括：
72.检测单元141，用于对所述视频每一帧图像进行闸门识别，获取闸门特征点，同事将视频每一帧图像转换至lab颜色空间，获取颜色空间图像；
73.聚类单元142，使用k-means算法对所述颜色空间图像进行颜色聚类，并对将聚类完的图像使用canny算法进行边缘检测，获取闸门基准线的图像，并根据所述闸门基准线的图像获取所述颜色空间图像的多个聚类中心，根据所述多个聚类中心生成包括多个聚类块的颜色聚类图像；
74.分析单元143，用于根据所述闸门特征点从所述多个聚类块中选择种子聚类块，根据所述多个种子聚类块的边界像素将所述多个聚类块进行合并，根据合并的结果获取闸门的基准线。
75.k-means算法是一种迭代求解的聚类分析算法，其步骤是，预将数据分为k组，则随机选取k个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。每分配一个样本，聚类的聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某个终止条件。终止条件可以是没有(或最小数目)对象被重新分配给不同的聚类，没有(或最小数目)聚类中心再发生变化，误差平方和局部最小。
76.具体的，k-means算法将所述颜色空间图像划分为m*n个网格，根据所述闸门基准线的图像获取每个所述网格中梯度最小的位置对应的目标像素点，将所述目标像素点作为所述网格的聚类中心；其中，m和n为任意正整数；canny算法获得聚类完的图像中每个像素点的梯度幅值，获得梯度图像，对所述梯度图像进行非极大值抑制处理，获得候选边缘图像，所述候选边缘图像中标记了作为候选边缘点的像素点，并对所述候选边缘图像进行边缘检测，获得边缘图像。
77.canny的目标是找到一个最优的边缘检测算法，最优边缘检测的含义是：(1)最优检测：算法能够尽可能多地标识出图像中的实际边缘，漏检真实边缘的概率和误检非边缘的概率都尽可能小；(2)最优定位准则：检测到的边缘点的位置距离实际边缘点的位置最近，或者是由于噪声影响引起检测出的边缘偏离物体的真实边缘的程度最小；(3)检测点与边缘点一一对应：算子检测的边缘点与实际边缘点应该是一一对应。canny边缘检测算法可以分为以下5个步骤：应用高斯滤波来平滑图像，目的是去除噪声；找寻图像的强度梯度(intensity gradients)；应用非最大抑制(non-maximum suppression)技术来消除边误检(本来不是但检测出来是)；应用双阈值的方法来决定可能的(潜在的)边界；利用滞后技术来跟踪边界。
78.本发明还提供了一种基于视频分析技术的大坝流量预警方法，包括以下步骤：
79.基于视频图像实时识别大坝的水位值以及闸门的开合状态；
80.基于水位值计算泄洪流量，并计算出从大坝流出到目标水库的时间以及作出预警。
81.利用计算机视觉的文本识别对流量监测仪器的读数进行识别，并通过工业视频系统中对闸门的视频识别出闸门开合，结合流量分析模块制定相应的泄洪应急方案为监管人员提供有效的数据参考，该方案作为解决这一问题的有效途径，尤其是在界河流域的水电站有着显著作用，避免了洪水带来的经济损失以及人员伤亡。
82.作为优选的实施方式，基于视频图像实时识别大坝的水位值以及闸门的开合状态
包括：
83.采集大坝水位杆的视频，并对视频每一帧图像进行二值化处理，获取二值化图像数据；
84.将二值化图像数据传入训练过的深度神经网络模型，基于深度神经网络模型得到水位杆刻度的检测框，根据检测框截取水位杆刻度的近水端的局部图像；
85.将局部图像对应的刻度用otsu算法进行二值化，并根据刻度的上侧和下侧对应的刻度读数以及刻度的上侧和下侧到水位线的距离，计算得到大坝的水位值。
86.基于视频图像实时识别大坝的水位值以及闸门的开合状态还包括：
87.用于对所述视频每一帧图像进行闸门识别，获取闸门特征点，同事将视频每一帧图像转换至lab颜色空间，获取颜色空间图像；
88.使用k-means算法对所述颜色空间图像进行颜色聚类，并对将聚类完的图像使用canny算法进行边缘检测，获取闸门基准线的图像，并根据所述闸门基准线的图像获取所述颜色空间图像的多个聚类中心，根据所述多个聚类中心生成包括多个聚类块的颜色聚类图像；
89.用于根据所述闸门特征点从所述多个聚类块中选择种子聚类块，根据所述多个种子聚类块的边界像素将所述多个聚类块进行合并，根据合并的结果获取闸门的基准线；
90.利用所述标尺刻度与所述初始刻度的差值确定所述闸门的开合状态。
91.闸门检测步骤包括：对所述视频每一帧图像进行闸门识别，获取闸门特征点，同事将视频每一帧图像转换至lab颜色空间，获取颜色空间图像；使用k-means算法对所述颜色空间图像进行颜色聚类，并对将聚类完的图像使用canny算法进行边缘检测，获取闸门基准线的图像，并根据所述闸门基准线的图像获取所述颜色空间图像的多个聚类中心，根据所述多个聚类中心生成包括多个聚类块的颜色聚类图像；根据所述闸门特征点从所述多个聚类块中选择种子聚类块，根据所述多个种子聚类块的边界像素将所述多个聚类块进行合并，根据合并的结果获取闸门的基准线。
92.k-means算法是一种迭代求解的聚类分析算法，其步骤是，预将数据分为k组，则随机选取k个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。每分配一个样本，聚类的聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某个终止条件。终止条件可以是没有(或最小数目)对象被重新分配给不同的聚类，没有(或最小数目)聚类中心再发生变化，误差平方和局部最小。具体的，k-means算法将所述颜色空间图像划分为m*n个网格，根据所述闸门基准线的图像获取每个所述网格中梯度最小的位置对应的目标像素点，将所述目标像素点作为所述网格的聚类中心；其中，m和n为任意正整数；canny算法获得聚类完的图像中每个像素点的梯度幅值，获得梯度图像，对所述梯度图像进行非极大值抑制处理，获得候选边缘图像，所述候选边缘图像中标记了作为候选边缘点的像素点，并对所述候选边缘图像进行边缘检测，获得边缘图像。
93.canny的目标是找到一个最优的边缘检测算法，最优边缘检测的含义是：(1)最优检测：算法能够尽可能多地标识出图像中的实际边缘，漏检真实边缘的概率和误检非边缘的概率都尽可能小；(2)最优定位准则：检测到的边缘点的位置距离实际边缘点的位置最近，或者是由于噪声影响引起检测出的边缘偏离物体的真实边缘的程度最小；(3)检测点与
边缘点一一对应：算子检测的边缘点与实际边缘点应该是一一对应。canny边缘检测算法可以分为以下5个步骤：应用高斯滤波来平滑图像，目的是去除噪声；找寻图像的强度梯度(intensity gradients)；应用非最大抑制(non-maximum suppression)技术来消除边误检(本来不是但检测出来是)；应用双阈值的方法来决定可能的(潜在的)边界；利用滞后技术来跟踪边界。
94.上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。