一种基于AI算法的河道漂浮物检测方法与流程

一种基于ai算法的河道漂浮物检测方法
技术领域
1.本发明属于水面监测技术领域，尤其涉及一种基于ai算法的河道漂浮物检测方法。


背景技术：

2.目前，随着工业化、农业化及城镇化建设步伐加速，人为因素对环境造成严重污染，在湖泊、河流、水库及水厂等水面上出现大量漂浮物，这些漂浮物含有大量对人体有害的物质。水环境污染问题已经严重制约着国民经济和社会的发展，破换生态环境，影响人们的生活环境，直接威胁人类生存和发展。为解决该问题，现有技术中提出了智慧水利下的漂浮物监测系统，该种系统在多个指定点固定安装摄像头等图像采集设备，以采集待监测区域的水面图像或视频，并将采集的图像或视频发送到远程监测终端，远程监测终端基于智能图像/视频分析，自动对视频图像信息进行分析识别，对水面监控区域中的漂浮物进行检测和预警。但是，现有的这种水面漂浮物监测方案，只能定点采集图像，因此也只能实现对固定区域的监测，对于河道等水流速较快、路径较长的待监测目标，很难实现对整条河道的完整监测，更无法实现为监测到的漂浮物的跟踪定位。


技术实现要素：

3.有鉴于此，本发明实施例提供一种基于ai算法的河道漂浮物检测方法，用于解决现有的水面漂浮物监测方法只能定点监测，无法实现对整条河道的完整监测的问题。本发明能够自动控制无人机采集河道及漂浮物图像，利用ai算法可以实现对河水表面漂浮物种类的检测和跟踪定位。
4.本发明实施例提供一种基于ai算法的河道漂浮物检测方法，该方法包括：
5.通过位于河道上方的无人机沿所述河道的流向对所述河道进行寻迹拍摄；
6.通过图像识别拍摄的河道图像中的河道中是否有漂浮物；
7.若识别出河道中有漂浮物，则控制所述无人机悬停至所述漂浮物上方；
8.调整所述无人机的相机焦距，采集包括所述漂浮物的全部外形轮廓的第一漂浮物图像；
9.利用预设ai算法对所述漂浮物进行检测。
10.在一可选实施例中，所述通过位于河道上方的无人机沿所述河道的流向对所述河道进行寻迹拍摄，包括：
11.通过所述无人机采集包括河道两侧完整边界的河道图像；
12.通过颜色阈值识别方法识别出所述河道图像中的河道边界点；
13.根据所述河道边界点，确定无人机的偏转角度，以使所述无人机沿所述河道的流向对所述河道进行寻迹拍摄。
14.在一可选实施例中，所述通过所述无人机采集包括河道两侧完整边界的河道图像，包括：
15.根据第一公式计算所述无人机的目标拍摄高度；
16.控制所述无人机位于所述目标拍摄高度拍摄，以使所述无人机采集的图像中包括河道两侧完整边界；
17.所述第一公式为：
[0018][0019]
其中，h为所述无人机的目标拍摄高度值；f0表示所述无人机的相机初始焦距；m表示所述无人机拍摄的图像每一行像素点的个数；l表示上一时刻所述无人机拍摄的图像中河道宽度对应的像素点个数；l表示所述河道的实际平均宽度。
[0020]
在一可选实施例中，通过颜色阈值识别方法识别出所述河道图像中的4个河道边界点；
[0021]
所述根据所述河道边界点，确定无人机的偏转角度，包括：
[0022]
以所述河道图像的左下角顶点为原点，以所述河道图像的左边框向上为y轴方向，以所述河道图像的下边框向右为x轴方向建立直角坐标系；
[0023]
确定所述4个河道边界点在所述直角坐标系中的坐标；
[0024]
根据第二公式确定无人机的偏转角度；
[0025]
所述第二公式为：
[0026][0027]
其中，α(t)为当前时刻所述无人机需要偏转的角度，若α(t)≥0则无人机需以前进方向为基准向右偏转α(t)角度，若α(t)《0则无人机需以前进方向为基准向左偏转-α(t)角度；(x
p,1
(t),y
p,1
(t))为所述河道图像中左下角的第一河道边界点的坐标值，(x
p,2
(t),y
p,2
(t))为所述河道图像中右下角的第二河道边界点的坐标值，(x
q,1
(t),y
q,1
(t))为所述河道图像中与所述第一河道边界点同为河道一侧且位于所述第一河道边界点上侧的第三河道边界点的坐标值，(x
q,2
(t),y
q,2
(t))为所述河道图像中与所述第二河道边界点同为河道一侧且位于所述第二河道边界点上侧的第四河道边界点的坐标值。
[0028]
在一可选实施例中，所述调整所述无人机的相机焦距，包括：
[0029]
根据第三公式计算所述无人机的相机焦距的所需调整值；
[0030]
根据所述所需调整值调整所述无人机的相机焦距；
[0031]
所述第三公式为：
[0032][0033]
其中，δf为所述无人机的相机焦距的所需调整值；d表示上一时刻所述无人机拍摄的图像中识别出的漂浮物的宽度对应的像素点个数；f0表示所述无人机的相机初始焦距；m表示所述无人机拍摄的图像每一行像素点的个数；l表示所述河道的实际平均宽度。
[0034]
在一可选实施例中，所述通过图像识别拍摄的河道图像中的河道中是否有漂浮物，包括：
[0035]
通过图像识别所述无人机对所述河道进行寻迹拍摄的每张河道图像中是否有疑似漂浮物；
[0036]
若有任一张河道图像中有疑似漂浮物，则继续判断在该张河道图像之后连续拍摄的n张河道图像中识别出有疑似漂浮物的图像数量占比是否超过预定阈值；
[0037]
若在该张河道图像之后连续拍摄的n张河道图像中识别出有疑似漂浮物的图像数量占比超过预定阈值，则确定当前拍摄的河道图像中的河道中有漂浮物；其中，n为预设数量。
[0038]
在一可选实施例中，所述利用预设ai算法对所述漂浮物进行检测，包括：
[0039]
对所述第一漂浮物图像进行图像增强处理；
[0040]
提取增强处理后的第一漂浮物图像中的漂浮物边界轮廓及轮廓内图像，得到第二漂浮物图像；
[0041]
利用预设ai算法，获取所述第二漂浮物图像中漂浮物的特征点数据，并将获取的特征点数据与预设数据库中的物品图像特征点进行匹配，得到特征点匹配度最高的物品图像；
[0042]
将所述匹配度最高的物品图像对应的物品种类确定为当前河道中识别到的漂浮物种类。
[0043]
在一可选实施例中，所述利用预设ai算法对所述漂浮物进行检测，还包括：
[0044]
利用无人机的gps获取当前无人机所在的位置信息；
[0045]
将所述第一漂浮物图像及其对应漂浮物种类和所述位置信息发送至远程监控终端。
[0046]
本发明提供的基于ai算法的河道漂浮物检测方法，通过无人机对河道进行寻迹拍摄，合图像识别技术识别拍摄的图像中是否有漂浮物，在确认河道中有漂浮物时，控制无人机悬停于漂浮物上方进一步拍摄漂浮物的图像，最终通过ai算法对所述漂浮物进行检测，能够实现对河道中漂浮物的实时检测和跟踪，解决了现有技术中不能对整个河道进行全方面检测的问题，检测全面且检测准确度高，此外，还可通过无人机对检测到的漂浮物进行定位或跟踪。
附图说明
[0047]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0048]
图1为本发明实施例提供的一种基于ai算法的河道漂浮物检测方法流程图；
[0049]
图2为识别河道中是否有漂浮物的方法流程图；
[0050]
图3为s1的实施方法流程图；
[0051]
图4为包括河道两侧完整边界的河道图像示意图；
[0052]
图5为不包括河道两侧完整边界的河道图像示意图；
[0053]
图6为根据所述河道边界点，确定无人机的偏转角度的方法流程图；
[0054]
图7为在图4所示河道图像上建立的直角坐标系示意图；
[0055]
图8为s5的实施方法流程图。
具体实施方式
[0056]
下面结合附图对本发明实施例进行详细描述。
[0057]
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0058]
图1为本发明实施例提供的一种基于ai算法的河道漂浮物检测方法流程图。参见图1，该方法包括如下步骤：
[0059]
s1：通过位于河道上方的无人机沿所述河道的流向对所述河道进行寻迹拍摄。
[0060]
其中，由于无人机每次拍摄的取景范围有限，因此，需要控制无人机自动追踪河道走向拍摄，以便后续对整个河道上可能存在的漂浮物进行识别。即此处所述寻迹拍摄为从开始拍摄的河道位置起，使无人机跟随河道流向不断拍摄。优选地，无人机的平均前进速度大于河道的水流速度，从而可以拍摄到不同位置处的水上漂浮物。
[0061]
s2：通过图像识别拍摄的河道图像中的河道中是否有漂浮物。
[0062]
本步骤中，通过图像识别技术对无人机拍摄的河道图像进行图像识别，以识别出其中是否有漂浮物。
[0063]
优选地，如图2所示，s2中识别河道中是否有漂浮物的方法包括如下步骤：
[0064]
s21：通过图像识别所述无人机对所述河道进行寻迹拍摄的当前河道图像中是否有疑似漂浮物；若是，则执行s22，否则，继续返回执行本步骤s21；
[0065]
s22：继续判断从当前时刻起往后连续拍摄的n张河道图像中识别出有疑似漂浮物的图像数量占比是否超过预定阈值；若是，则执行s23，否则，返回s21；
[0066]
其中，n为预设数量。
[0067]
例如，若n＝5，预定阈值为60％，步骤s21在识别出时刻t0采集的河道图像中有疑似漂浮物，则s22判断时刻t0之后的5个连续时刻分别拍摄的5张河道图像中是否识别出有疑似漂浮物，若这5张连续拍摄的河道图像中识别出有疑似漂浮物的结果依次为：有、无、有、有、有，则计算出这5张连续拍摄的河道图像中识别出有疑似漂浮物的图像数量占比为80％，大于预定阈值60％，则执行s23。
[0068]
s23：确定当前拍摄的河道图像中的河道中有漂浮物。
[0069]
图2所示实施例中，当识别到河道图像中有疑似漂浮物时，继续识别连续n张河道图像，以确定河道中是否真的有漂浮物，避免了例如某张河道图像中出现一块巨石而误判为漂浮物的情况发生，只有确定存在漂浮物时才继续执行步骤s3，进一步简化了方法流程，减少后续计算开支。
[0070]
s3：若识别出河道中有漂浮物，则控制所述无人机悬停至所述漂浮物上方。
[0071]
s4：调整所述无人机的相机焦距，采集包括所述漂浮物的全部外形轮廓的第一漂浮物图像。
[0072]
s5：利用预设ai算法对所述漂浮物进行检测。
[0073]
本实施例中，通过无人机拍摄河道图像并结合图像识别技术识别拍摄的图像中是否有漂浮物，在确认河道中有漂浮物时，控制无人机悬停于漂浮物上方进一步拍摄漂浮物的图像，最终通过ai算法对所述漂浮物进行检测，能够实现对河道中漂浮物的实时检测和跟踪，解决了现有技术中不能对整个河道进行全方面检测的问题，检测全面且检测准确度高，此外，还可通过无人机对检测到的漂浮物进行定位或跟踪。
[0074]
在一可选实施例中，如图3所示，s1可以包括如下步骤s11-s13：
[0075]
s11：通过所述无人机采集包括河道两侧完整边界的河道图像。
[0076]
本实施例中，为使无人机能够追踪河道走向拍摄，需要先采集包括河道两侧完整边界的图像，如图4所示为包括河道两侧完整边界的河道图像示意图，其中左侧曲线ab表示沿水流方向的河道左边界，右侧曲线cd表示沿水流方向的河道右边界。对比图4，图5所示为不包括河道两侧完整边界的河道图像示意图，显然，图5中只拍摄到河道的局部图像，其中左侧曲线ef表示沿水流方向的河道左边界，但图5中没有显示沿水流方向的河道右边界。本步骤中，需要通过所述无人机采集类似图4所示的包括河道两侧完整边界的河道图像。
[0077]
本发明实施例中为方便说明，将河道图像中与正上方方向夹角小于90
°
的方向定义为水流方向，将水流方向左侧定义为左，将水流方向右侧定义为右。
[0078]
在一可选实施例中，s11可以先根据第一公式计算所述无人机的目标拍摄高度，然后控制所述无人机位于所述目标拍摄高度拍摄，以使所述无人机采集的图像中包括河道两侧完整边界。其中，所述第一公式为：
[0079][0080]
第一公式(1)中，h为所述无人机的目标拍摄高度值；f0表示所述无人机的相机初始焦距；m表示所述无人机拍摄的图像每一行像素点的个数；l表示上一时刻所述无人机拍摄的图像中河道宽度对应的像素点个数；l表示所述河道的实际平均宽度。
[0081]
s12：通过颜色阈值识别方法识别出所述河道图像中的河道边界点。
[0082]
本步骤中，对于s11中本次采集到的河道图像，对图像进行色调、饱和度和亮度等图像处理，然后对于调整后的河道边界清晰的河道图像，通过颜色阈值识别方法，识别出河道边界，确定河道边界点。
[0083]
优选地，s12中识别出河道的4个河道边界点，即：当前河道图像中河道左边界的上边界点和下边界点，以及当前河道图像中河道右边界的上边界点和下边界点。例如图4中所示的左下边界点a、左上边界点b、右下边界点c、右上边界点d。
[0084]
s13：根据所述河道边界点，确定无人机的偏转角度，以使所述无人机沿所述河道的流向对所述河道进行寻迹拍摄。
[0085]
在一可选实施例中，如图6所示，根据所述河道边界点，确定无人机的偏转角度的方法可以包括如下步骤s131-s133：
[0086]
s131：以所述河道图像的左下角顶点为原点，以所述河道图像的左边框向上为y轴方向，以所述河道图像的下边框向右为x轴方向建立直角坐标系；
[0087]
s132：确定4个河道边界点在所述直角坐标系中的坐标；
[0088]
例如：以图4所示河道图像为例，以其左下角顶点为原点，以所述河道图像的左边框向上为y轴方向，以所述河道图像的下边框向右为x轴方向建立直角坐标系，得到图7所示
的直角坐标系xoy，确定4个边界点a、b、c、d在图7所示直角坐标系xoy中的坐标分别为：a(x
p,1
(t),y
p,1
(t))，b(x
p,2
(t),y
p,2
(t))，c(x
q,1
(t),y
q,1
(t))，d(x
q,2
(t),y
q,2
(t))。
[0089]
s133：根据第二公式确定无人机的偏转角度；
[0090]
其中，所述第二公式为：
[0091][0092]
其中，α(t)为当前时刻所述无人机需要偏转的角度，若α(t)≥0则无人机需以前进方向为基准向右偏转α(t)角度，若α(t)《0则无人机需以前进方向为基准向左偏转-α(t)角度；(x
p,1
(t),y
p,1
(t))为所述河道图像中左下角的第一河道边界点的坐标值，(x
p,2
(t),y
p,2
(t))为所述河道图像中右下角的第二河道边界点的坐标值，(x
q,1
(t),y
q,1
(t))为所述河道图像中与所述第一河道边界点同为河道一侧且位于所述第一河道边界点上侧的第三河道边界点的坐标值，(x
q,2
(t),y
q,2
(t))为所述河道图像中与所述第二河道边界点同为河道一侧且位于所述第二河道边界点上侧的第四河道边界点的坐标值。
[0093]
在一可选实施例中，步骤s4中所述调整所述无人机的相机焦距，可以先根据第三公式计算所述无人机的相机焦距的所需调整值，随后根据所述所需调整值调整所述无人机的相机焦距。其中，所述第三公式为：
[0094][0095]
第三公式(3)中，δf为所述无人机的相机焦距的所需调整值；d表示上一时刻所述无人机拍摄的图像中识别出的漂浮物的宽度对应的像素点个数；f0表示所述无人机的相机初始焦距；m表示所述无人机拍摄的图像每一行像素点的个数；l表示所述河道的实际平均宽度。
[0096]
在一可选实施例中，如图8所示，步骤s5可以包括如下步骤s51-s54：
[0097]
s51：对所述第一漂浮物图像进行图像增强处理；
[0098]
s52：提取增强处理后的第一漂浮物图像中的漂浮物边界轮廓及轮廓内图像，得到第二漂浮物图像；
[0099]
s53：利用预设ai算法，获取所述第二漂浮物图像中漂浮物的特征点数据，并将获取的特征点数据与预设数据库中的物品图像特征点进行匹配，得到特征点匹配度最高的物品图像；
[0100]
本实施例中，预先在数据库中存储诸多可形成漂浮物的物品图像及特征点数据，利用预设ai算法，将当前获取的漂浮物图像与数据库中预先存储的物品图像进行特征点匹配，选出匹配度最高的物品图像。
[0101]
s54：将所述匹配度最高的物品图像对应的物品种类确定为当前河道中识别到的漂浮物种类。
[0102]
本实施例中，数据库中还预先存储有物品图像和物品种类的对应关系，例如，可以以物品种类对存储的物品图像进行命名，则获取匹配度最高的物品图像的文件名即可。
[0103]
本实施例中，对当前时刻无人机采集的包括所述漂浮物的全部外形轮廓的第一漂浮物图像进行图像处理，从中单独提取出漂浮物的图像机器特征点，用于与预先存储的多
种预设漂浮物的图像特征数据相匹配，从中选出匹配度最高的预设漂浮物作为当前第一漂浮物图像中的漂浮物，从而可以实现漂浮物的种类检测。
[0104]
在一可选实施例中，在图1和图8所述是实施例的基础上，在步骤s5之后，本发明提供的基于ai算法的河道漂浮物检测方法还可以包括：利用无人机的gps获取当前无人机所在的位置信息的步骤；以及将所述第一漂浮物图像及其对应漂浮物种类和所述位置信息发送至远程监控终端的步骤。本实施例中，确定当前河道图像中的疑似河道漂浮物为河水表面漂浮物后，将ai算法识别到的漂浮物种类，以及利用无人机的gps得到的当前无人机所在的位置和相关图像通过无人机的信号传输装置传输给远程监控终端的监控人员，可以实现河道漂浮物的实时定位和追踪，远程监控终端还可以进一步存储收到的这些数据，以便后续查询使用。
[0105]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0106]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0107]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0108]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。