液体流量检测方法和装置、计算机可读介质以及计算设备与流程

1.本发明涉及图像识别领域，更具体地涉及基于图像识别的液体流量检测方法。


背景技术：

2.在计算机视觉人工智能领域中，通常基于卷积核修剪算法对图像进行识别。在图像识别中，目标检测通常可以被认为是物体识别和物体定位的结合，其中，一方面是识别出物体属于哪个分类，而另一方面是获得物体在图片中的具体位置。常见的目标检测模型分为两种类型，其中第一类模型是two-stage，该模型将物体识别和物体定位分为两个步骤，并且分别完成这两个步骤，例如，r-cnn、fast r-cnn，以及faster-rcnn等。这类模型的识别错误率低，漏识别率也较低，但速度较慢，不能满足实时检测。为了解决上述第一类模型的速度慢的问题，可以采用被称为one-stage的第二类模型,例如，yolo、ssd和yolov2等。这类模型识别速度很快，可以满足实时检测，并且准确率也基本上能达到faster r-cnn的水平。
3.随着国家开始加大环境保护和治理力度，污水排放监管逐渐变得重要。因此，为了帮助环保部门对污水排放进行监督管理，并确认污水排放量是否超标以及污水种类，提出了一种新的液体流量检测方法以检测污水排放量。


技术实现要素：

4.在下文中给出了关于本发明的简要概述，以便提供关于本发明的一些方面的基本理解。但是，应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图用来确定本发明的关键性部分或重要部分，也不是意图用来限定本发明的范围。其目的仅仅是以简化的形式给出关于本发明的某些概念，以此作为稍后给出的更详细描述的前序。
5.本发明的目的在于提供一种能够简单、快速、准确地检测液体流量(诸如污水流量)的方法和装置、计算机可读介质以及计算设备。
6.根据本发明的一个方面，提供了一种液体流量检测方法，包括：图像获取步骤，通过图像捕获装置捕获目标环境图像；目标对象检测步骤，从所述目标环境图像中检测目标对象，以获取目标对象图像；颜色转换步骤，将所述目标对象图像转换成对应的颜色空间模型；颜色识别步骤，通过识别所述颜色空间模型确定液体颜色，并基于所述液体颜色确定液体密度和液体表面高度；以及液体流量计算步骤，基于所确定的所述液体密度和所述液体表面高度计算所述液体流量。
7.在一些实施例中，所述颜色识别步骤还包括：基于所述液体颜色确定液体种类。
8.在一些实施例中，所述液体流量计算步骤还包括：基于所述液体密度和所述液体表面高度通过伯努利方程计算液体流速。
9.在一些实施例中，所述目标对象检测步骤包括通过以下检测模型对所述目标环境图像进行目标对象检测：方向梯度直方图(hog)和支持向量机(svm)。
10.在一些实施例中，所述颜色空间模型包括颜色参数，所述颜色参数包括色调、饱和度和亮度。
11.在一些实施例中，所述目标环境图像是包含一个或多个排水口的图像，并且所述目标对象图像是所述一个或多个排水口中的某个排水口的图像。
12.在一些实施例中，所述图像捕获装置包括摄像设备。
13.根据本发明的另一个方面，提供了一种用于液体流量检测的液体流量检测装置，包括：图像获取单元，被配置成通过图像捕获装置捕获目标环境图像；目标对象检测单元，从所述目标环境图像中检测目标对象，以获取目标对象图像；颜色转换单元，将所述目标对象图像转换成对应的颜色空间模型；颜色识别单元，通过识别所述颜色空间模型确定液体颜色，并基于所述液体颜色确定液体密度和液体表面高度；以及液体流量计算单元，基于所确定的所述液体密度和所述液体表面高度计算所述液体流量。
14.在一些实施例中，所述颜色识别单元还被配置成基于所述液体颜色确定液体种类。
15.在一些实施例中，所述液体流量计算单元还被配置成基于所述液体密度和所述液体表面高度通过伯努利方程计算液体流速。
16.在一些实施例中，所述目标对象检测单元包括通过以下检测模型对所述目标环境图像进行目标对象检测：方向梯度直方图(hog)和支持向量机(svm)。
17.在一些实施例中，所述颜色空间模型包括颜色参数，所述颜色参数包括色调、饱和度和亮度。
18.在一些实施例中，所述目标环境图像是包含一个或多个排水口的图像，并且所述目标对象图像是所述一个或多个排水口中的某个排水口的图像。
19.在一些实施例中，所述图像捕获装置包括摄像设备。
20.根据本发明的另一个方面，提供一种非暂态计算机可读介质，包括计算机可执行指令，所述指令在由一个或多个处理器执行时，使得所述处理器执行根据本发明的液体流量检测方法。
21.根据本发明的另一个方面，提供了一种计算设备，包括：存储器，存储有计算机可执行指令；以及一个或多个处理器，被配置为执行所述计算机可执行指令，从而使所述计算设备执行根据本发明的液体流量检测方法。
22.通过以下参考附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将变得清楚。
附图说明
23.图1示意性地示出根据本发明的实施例的液体流量检测方法的流程图；
24.图2示意性地示出根据本发明的实施例的液体流量计算方法的流程图；
25.图3示意性地示出根据本发明的实施例的用于计算液体流量的具体方法；
26.图4示意性地示出能够实现根据本发明的实施例的计算设备的配置；
27.图5示意性地示出根据本发明的实施例的液体流量检测装置的框图。
具体实施方式
28.现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本
发明的范围。
29.同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
30.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
31.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
32.在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
33.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
34.(液体流量检测方法)
35.图1示意性地示出了根据本发明的实施例的液体流量检测方法的流程图。下面将参考图1描述根据本发明的实施例的液体流量检测方法。在本实施例中，液体为污水，但液体不限于此，例如可以是任何类型的液体。
36.如图1所示，首先，在步骤s101中执行图像获取步骤。图像获取步骤包括通过图像捕获装置捕获目标环境(例如，在本实施例中为排水口周围环境)图像。在一些实施例中，通过诸如数字静态相机、视频相机、摄像设备之类的图像捕获装置对目标环境进行实时捕捉，以获得与污水排放相关的视频。在一些实施例中，例如通过已知的视频转换软件等将所获得的视频转换成对应的图像，以获得排水口的清晰图像，其中，清晰图像例如是指能够达到神经网络识别的图像质量的图像。在一些实施例中，图像捕获装置可以根据周围环境条件(例如，周围环境的明暗程度)进行自动补光，或者图像捕获装置可以根据需要自动地调节视频的清晰度。在一些实施例中，通过http协议将清晰图像实时地传输至服务器。此外，通过图像捕获装置获取多个清晰图像，以用于稍后描述的目标对象检测。
37.接下来，在步骤s102中执行目标对象检测步骤。目标对象(例如，在本实施例中为排水口)检测步骤包括从在步骤s101中获得的目标环境图像中检测目标对象，以获取目标对象图像(例如，在本实施例中为包括某个排水口的图像)。在一些实施例中，通过传统机器学习进行目标对象检测。例如，在本实施例中，采用基于方向梯度直方图(hog)和支持向量机(svm)的机器学习模型。在一些实施例中，利用多个清晰图像作为训练数据对基于hog和svm的机器学习模型进行训练，以获得训练后的检测模型。在一些实施例中，基于训练后的检测模型对目标环境图像进行检测，以获得目标对象图像。例如，训练后的检测模型可以以高准确率对目标环境图像中的目标对象(例如，排水口)的位置进行检测并定位，以将目标对象从目标环境图像中提取出来。
38.注意，基于hog和svm的机器学习模型仅仅是目标检测技术的一个示例，还可以利用例如yolo、fast rcnn、ssd等的任何其它类型的目标检测模型进行根据本发明的实施例的目标对象检测步骤。
39.在根据本发明的实施例的目标对象检测步骤中，利用基于hog和svm的机器学习模型可以大幅地降低检测模型的复杂度，节省计算空间，提高计算速度，使得可以实时地进行检测。
40.接下来，在步骤s103中执行颜色转换步骤。颜色转换步骤包括将在步骤s102中获得的目标对象图像转换成对应的颜色空间模型。在一些实施例中，颜色空间模型(例如，在本实施例中为hsv空间模型)包括颜色参数，例如，在本实施例中，这些颜色参数包括色调(h)、饱和度(s)和亮度(v)。在一些实施例中，将目标对象图像转换成对应的hsv格式图像。但是，颜色空间模型不限于hsv空间模型，本发明也适用于任何其它类型的颜色空间模型。
41.接下来，在步骤s104中执行颜色识别步骤。颜色识别步骤包括通过识别在步骤s103中获得的颜色空间模型确定液体颜色。在一些实施例中，假定所要识别的液体处于hsv格式图像中的中间区域，那么通过识别转换后的hsv格式图像的中心位置处的h、s和v的数值来确定液体颜色。例如，当h＝180、s＝255，并且v＝46时，所对应的液体颜色为黑色。注意，以上所提到的h、s和v的数值仅仅是示例性的，可以包括但不限于这些数值。此外，以上提到的液体颜色也仅仅是示例性的，例如，不同的h、s和v的数值可以对应于不同的液体颜色。
42.在一些实施例中，基于所获得的液体颜色确定液体密度和液体表面高度。稍后将详细地描述如何基于所获得的液体颜色确定液体密度和液体表面高度。
43.接下来，在步骤s105中执行液体流量计算步骤。液体流量计算步骤包括基于在步骤s104中所确定的液体密度和液体表面高度计算液体流量。稍后将参考图2和图3详细地描述液体流量计算步骤。
44.下面将参考图2详细地描述根据本发明的实施例的液体流量计算方法。
45.(液体流量计算方法)
46.图2示意性地示出根据本发明的实施例的液体流量计算方法的流程图。在本实施例中，液体可以为污水，但液体不限于此，例如可以是任何类型的液体。
47.如图2所示，在步骤s201中执行与图1中的步骤s104中类似的步骤以确定液体颜色。为了简化说明，这里将省略步骤s201的详细说明。
48.接下来，在步骤s202中，通过在步骤s201中确定的液体颜色来获得液体密度。例如，液体颜色可以被认为与液体密度之间存在对应关系。例如，通过预先对不同颜色的液体测量密度，从而确定不同的液体颜色分别与哪个密度值相对应。在一些实施例中，可以利用已知的液体颜色与密度之间的关系，使得基于液体颜色确定液体密度。
49.此外，在步骤s203中，通过在图1中的步骤s103中确定的与目标对象图像对应的hsv格式图像来确定液体表面高度。在一些实施例中，由于hsv格式图像中的不同像素点的h、s和v的数值是不同的，也就是说，液体部分的像素点的h、s和v的数值与hsv格式图像中的其它部分的像素点的h、s和v的数值是不同的，所以在hsv格式图像中，可以在视觉上将液体部分与其它部分区分开。例如，在hsv格式图像中，在视觉上液体部分的颜色可以是黑色的，而其它部分的颜色可以是红色的。注意，以上提到的液体部分和其它部分的颜色仅仅是示例性的，液体部分和其它部分的颜色可以是其它任何颜色，只要可以将液体部分与其它部分区分开即可。在一些实施例中，其它部分是指例如作为目标对象图像的包括某个排水口的图像中的诸如排水口管壁、干净的水之类的非污水部分。
50.在一些实施例中，可以通过液体部分与其它部分之间的颜色差异确定液体上表面的位置。例如，在一些实施例中，假定目标对象图像是包括某个排水口的图像，其中，排水口为圆形且规格已知，并且液体是污水，那么在hsv格式图像中，可以确定污水上表面相对于
排水口圆形管壁的位置，从而获得污水上表面距排水口的中心位置的距离。
51.接下来，在步骤s204中，基于在步骤s202和s203中获得的液体密度和液体表面高度通过伯努利方程计算液体流速。
52.接下来，在步骤s205中，基于在步骤s204中获得的流速计算液体流量。
53.下面，将结合图3详细地说明在步骤s204和s205中的计算液体流速和流量的方法。
54.(计算液体流速和流量)
55.图3示意性地示出根据本发明的实施例的用于计算液体流量的具体方法。
56.如图3所示，在本实施例中，目标对象图像是包括某个排水口的图像，其中，排水口为圆形且规格已知，并且液体是污水。在图3中，虚线ab表示在图2的步骤203中确定的污水上表面位置，点o表示排水口的圆心，r表示排水口的半径，a表示圆心角，h表示污水上表面距排水口的中心位置的距离，并且由斜线填充的区域s表示污水在排水口中所占据的横截面积。通过以下表达式(1)可以计算出污水在排水口中所占据的横截面积s：
[0057][0058]
接下来，基于在图2的步骤s202中获得的污水密度通过伯努利方程计算液体流速。例如，通过以下表达式(2)计算出污水流速：
[0059][0060]
其中，ρ表示污水密度，v表示污水流速，g表示重力加速度，h表示污水上表面距排水口的中心位置的距离，p表示液体压强，并且c表示常量。
[0061]
在一些实施例中，液体颜色可以被认为与液体压强之间存在对应关系。例如，通过预先对不同颜色的液体测量压强，从而确定不同的液体颜色分别与哪个压强相对应。在一些实施例中，可以利用已知的液体颜色与液体压强之间的关系，使得基于液体颜色确定液体压强。
[0062]
在一些实施例中，可以通过已知设备预先测量某种颜色的污水的密度ρ、流速v、压强p，以及污水上表面距排水口的中心位置的距离h，从而利用上述表达式(2)计算出常量c。在一些实施例中，对于不同颜色的液体，常量c保持恒定。
[0063]
接下来，基于通过表达式(1)和(2)计算出的污水横截面积s、污水流速v以及时间t，通过以下表达式(3)计算一定时间t内的污水流量q：
[0064]
q＝s
×v×
t
ꢀꢀ
(3)
[0065]
基于上述表达式(1)、(2)和(3)，可以在已知圆形排水口的规格的情况下，精确地测量排水口的污水流量。
[0066]
通过如上所述的液体流量计算方法，可以通过基于hog svm的图像识别以及hsv空间模型来检测并计算液体流量。一方面利用基于hog svm的图像识别可以大幅降低目标检测模型的复杂度，节省计算空间，提高计算速度，并且大幅提高实时监测的可行性。另一方面利用hsv空间模型可以帮助人们通过视觉方式简单、准确、快速地计算液体流量。借助于上述方法，可以有效地针对污水进行检测、识别，帮助环保部门对污水排放进行监督，节省环保部门人力开支，并且提高污水排放监管效率。
[0067]
在一些实施例中，图1中的步骤s104中的颜色识别步骤还包括基于液体颜色确定
液体种类。例如，在一些实施例中，污水颜色与污水种类存在对应关系，可以通过识别出的污水颜色确定污水种类。例如，黑色对应于锰超标污水，从而可以根据污水颜色判断是否存在高危违禁排放物。
[0068]
根据本发明，可以基于图像识别对液体流量及液体类型进行检测。通过基于hog和svm的目标检测模型对目标对象进行检测，以获得目标对象图像。此外，通过颜色空间模型对目标对象图像进行转换，从而识别液体颜色。例如，可以基于液体颜色确定液体密度、液体表面高度以及液体种类。另外，基于获得的液体密度和液体表面高度，结合伯努利方程可以计算液体流量。
[0069]
本发明可应用于水利行业，例如可应用于城市污水排放和工厂污水排放监管。通过如上所述的基于图像识别的液体流量以及液体类型的检测方法和装置，能够通过摄像头之类的图像捕获装置对规则圆形排水口进行污水流量检测，并且确定污水种类、污染物是否超标排放等，从而帮助环保部门有效地监管城市和工厂污水排放，明确是否存在高危违禁排放物、污染物排放超量的情况，提高环保部门的工作效率，同时便于环保部门更好地制定环保策略。
[0070]
(计算设备)
[0071]
图4示出了能够实现根据本发明的实施例的计算设备400的示例性配置。计算设备400例如可以用于实现根据本发明的实施例的液体流量检测的方法。
[0072]
计算设备400是能够应用本发明的上述方面的硬件设备的实例。计算设备400可以是被配置为执行处理和/或计算的任何机器。计算设备400可以是但不限制于工作站、服务器、台式计算机、膝上型计算机、平板计算机、个人数据助手(pda)、智能电话、车载计算机或以上组合。
[0073]
如图4所示，计算设备400可以包括可以经由一个或多个接口与总线401连接或通信的一个或多个元件。总线401可以包括但不限于，工业标准架构(industry standard architecture，isa)总线、微通道架构(micro channel architecture，mca)总线、增强isa(eisa)总线、视频电子标准协会(vesa)局部总线、以及外设组件互连(pci)总线等。计算设备400可以包括例如一个或多个处理器402、一个或多个输入设备403以及一个或多个输出设备404。一个或多个处理器402可以是任何种类的处理器，并且可以包括但不限于一个或多个通用处理器或专用处理器(诸如专用处理芯片)。输入设备403可以是能够向计算设备输入信息的任何类型的输入设备，并且可以包括但不限于鼠标、键盘、触摸屏、麦克风和/或远程控制器。输出设备404可以是能够呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。
[0074]
计算设备400还可以包括或被连接至非暂态存储设备407，该非暂态存储设备407可以是任何非暂态的并且可以实现数据存储的存储设备，并且可以包括但不限于盘驱动器、光存储设备、固态存储器、软盘、柔性盘、硬盘、磁带或任何其他磁性介质、压缩盘或任何其他光学介质、缓存存储器和/或任何其他存储芯片或模块、和/或计算机可以从其中读取数据、指令和/或代码的其他任何介质。计算设备400还可以包括随机存取存储器(ram)405和只读存储器(rom)406。rom 406可以以非易失性方式存储待执行的程序、实用程序或进程。ram 405可提供易失性数据存储，并存储与计算设备400的操作相关的指令。计算设备400还可包括耦接至数据链路409的网络/总线接口408。网络/总线接口408可以是能够启用
与外部装置和/或网络通信的任何种类的设备或系统，并且可以包括但不限于调制解调器、网络卡、红外线通信设备、无线通信设备和/或芯片集(诸如蓝牙
tm
设备、802.11设备、wifi设备、wimax设备、蜂窝通信设施等)。
[0075]
此外，本发明的另一个实施例还提供了一种计算机可读存储介质，包括计算机可执行指令，所述计算机可执行指令在由一个或多个处理器执行时，使得所述一个或多个处理器执行如上述实施例所述的提取分子结构式的方法。
[0076]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0077]
本发明是参照根据本发明的实施例的方法、设备(系统)和计算机程序产品的流程图和/或框图来描述的。应理解可由计算机程序指令实现流程图和/或框图中的每一流程和/或框、以及流程图和/或框图中的流程和/或框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图的一个流程或多个流程和/或框图的一个框或多个框中指定的功能的装置。
[0078]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图的一个流程或多个流程和/或框图的一个框或多个框中指定的功能。
[0079]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图的一个流程或多个流程和/或框图的一个框或多个框中指定的功能的步骤。
[0080]
(液体流量检测装置)
[0081]
图5示意性地示出根据本发明的实施例的液体流量检测装置的框图。液体流量检测装置500例如可以执行如上所述的根据本发明的实施例的液体流量检测方法。
[0082]
如图5所示，液体流量检测装置500包括图像获取单元501、目标对象检测单元502、颜色转换单元503、颜色识别单元504以及液体流量计算单元505。接下来，将描述液体流量检测装置500中的各个单元的功能。
[0083]
在一些实施例中，图像获取单元501通过图像捕获装置捕获目标环境图像。目标对象检测单元502从在图像获取单元501中获得的目标环境图像中检测目标对象，以获取目标对象图像。颜色转换单元503将在目标对象检测单元502中获得的目标对象图像转换成对应的颜色空间模型。颜色识别单元504通过识别在颜色转换单元503中获得的颜色空间模型确定液体颜色，并基于获得的液体颜色确定液体密度和液体表面高度。液体流量计算单元505基于在颜色识别单元504中确定的液体密度和液体表面高度计算液体流量。
[0084]
在一些实施例中，颜色识别单元504还可以基于液体颜色确定液体种类。
[0085]
在一些实施例中，液体流量计算单元505还可以基于在颜色识别单元504中确定的
液体密度和液体表面高度通过伯努利方程计算液体流速。
[0086]
在一些实施例中，目标对象检测单元502包括通过以下检测模型对目标环境图像进行目标对象检测：方向梯度直方图(hog)和支持向量机(svm)。
[0087]
在一些实施例中，颜色空间模型包括颜色参数，其中，颜色参数包括色调、饱和度和亮度。
[0088]
在一些实施例中，目标环境图像是包含一个或多个排水口的图像，并且目标对象图像是一个或多个排水口中的某个排水口的图像。
[0089]
在一些实施例中，图像捕获装置包括摄像设备。
[0090]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求书意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0091]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求书及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。