基于AI无人机视觉技术的河流表面流速检测方法及装置

基于ai无人机视觉技术的河流表面流速检测方法及装置
技术领域
1.本发明属于水体流速检测技术领域，涉及一种基于ai无人机视觉技术的河流表面流速检测方法及装置。


背景技术：

2.流速数据是水文研究最为基础的数据之一，也是一切水文研究的基础。由于天然河流复杂的流动特性以及恶劣的户外测验环境，天然河流的流速测量一直是水文测验中一项困难的工作。尤其是在洪水与干旱等极端情况频发的情况下，对于及时获取河流流速、径流量变化等关键信息的需求更为迫切。因此，开发设计一种适用于各种恶劣环境下的水流流速测量方法，对偏僻地区的防洪预警工作具有重要意义。
3.目前河流测速方法在实际应用中具有一定的局限性。如传统的人工流速测量方法在高洪时期缺乏便捷性，同时无法保证测量人员安全。而具有现代意义的接触式河流流速测量方法，如基于示踪剂的图像测量方法，以及非接触式的声学多普勒或雷达速测方法等，在野外山洪及复杂条件下的检测任务中普遍存在施测安全性差和系统布设困难问题。
4.人工智能(ai，artificial intelligence)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。无人机被称为“会飞的照相机”，在许多复杂的场景均可执行任务。同时随着计算机视觉技术的发展以及视频、图像等多媒体数据的大量增长，人们可以通过挖掘视频图像中的信息，进一步为决策做出依据。


技术实现要素：

5.为了解决上述问题，本发明提供了一种基于ai无人机视觉技术的河流表面流速检测方法及装置，首先使用无人机实时获取水流流速图像，然后应用计算机视觉技术对图像进行处理，结合ai智能算法对河流不同流速图像进行分类和识别，以解决现有流速测量方法操作复杂，测量区域范围小的技术问题。
6.本发明采用的技术方案为：一种基于ai无人机视觉技术的河流表面流速检测方法，包括如下步骤：
7.步骤1：使用无人机拍摄已知流速的监测区域河流表面流速态势图像，提取监测区域图像帧序列中的水流部分，并对进行图像预处理；
8.步骤2：提取预处理后图像的灰度值，计算出每个像素点所对应的方向及梯度大小；
9.步骤3：根据像素点的方向将其放入不同方向区块，统计所有图像像素点对应的方向区块信息，生成统计直方图，并根据直方图生成趋势曲线；
10.步骤4：根据直方图趋势曲线的比对确定待测水流区域的水流流速。
11.进一步，在步骤1中，所述监测区域为[1—101]处水流流速在0-10m/s范围内均匀分布的河段，流速间隔为0.1m/s，监测帧序列通过无人机拍摄的水流监测区域视频帧序列及照片生成。
[0012]
进一步，在步骤1中，所述图像预处理为对图像进行尺度变换、伽马变换及灰度化。
[0013]
进一步，灰度值提取方法为伽马校正法。
[0014]
进一步，在步骤3中，计算像素点所对应方向为调用核函数处理目标像素上下左右像素，通过模值与反三角函数计算得出。
[0015]
进一步，在步骤3中，将像素点放入不同区域，其像素方向划分范围为1-360度，等分为36个区域；其中像素方向处于区域交界处不足1度的四舍五入成整数，同时目标像素点所对应的梯度累加。
[0016]
进一步，统计所有图像方向信息存于数据库中即对所有图像进行批处理，训练得到各类图像的方向信息；然后再对各类图像分别进行归一化，即得到各类图像各个方向所占的比例；最后通过统计保存各类图像各个方向直方图趋势曲线将拍摄的二维图片降维为一维。
[0017]
进一步，通过比对确定待测水流监测区域的水流流速即对已保存的图像直方图趋势曲线数据库进行测试，通过比较各类图像直方图趋势曲线与测试图像直方图趋势曲线，选取相同测试点，计算所对应的方差，取最小值对应的标签即为识别的流速分类。
[0018]
本发明还提供了一种基于ai无人机视觉技术的河流表面流速检测装置，包括安装在无人机上的主控制模块和电源模块；所述主控制模块包括单片机u1，单片机u1分别与4g通讯模块g1和图像采集模块p1相连；单片机u1的pc14和pc15串口与低速时钟模块相连，该低速时钟模块内的晶振x3并联着串联在一起的电容c18和电容c19；单片机u1的vdd和vss接口分别与vcc2和接地线相连；单片机u1通过vbat接口为其供电，该接口分别连接二极管d7、二极管d8和电容c23；电池b2的两端接在电容c23与二极管d8之间；单片机u1通过reset接口与置位模块相连，所述置位模块包括电阻r7、开关k2和电容c20，其中开关k2和电容c20并联，电阻r7的两端分别连接vcc2和电容c20；单片机u1的vref-、osc-in和osc-out接口与外部高速时钟模块相连；所述高速时钟模块采用8mhz晶振x4，晶振x4与电阻r9并联，电阻r9的两端分别连接电容c25和电容c24；单片机u1的vref 、vdda和vssa接口与模拟量电压模块相连，vref 和vdda均与vssa接口之间连接并联的电容c21和电容c22，电阻r8的两端分别连接vcc2和vref 、vdda接口；
[0019]
所述电源模块包括四个并联的二极管d1、d2、d3和d4，从二极管d1、d3和二极管d2、d4之间引出两根导线，其中一根导线分别连接电容c1、电阻r1和三极管q1、q2的基极，另一根导线分别连接电容c1的另一端、电容c2、稳压二极管灯led1、电阻r5、电容c3、滑动变阻器rp1和vcc2的负极；两根导线之间通过电容c1相连，同时并联一个由电阻r1和电容c2组成的串联电路；在电阻r1与电容c2的连接处，引出一根导线连接至三极管q1的基极，三极管q1的集电极与电阻r1和三极管q2集电极相连，三极管q1的发射极与三极管q2的基极相连，三极管q2的发射极连接电阻r2；在电阻r2的另一端，分别与电阻r3、稳压二极管灯led2、电阻r4、电容c3和滑动变阻器rp1相连；电阻r3的另一端分别与稳压二极管灯led1和三极管q3的发射极相连；三极管q3的集电极分别与电阻r1、三极管q1的基极、电容c2和稳压二极管灯led2相连，三极管q3的基极分别与电阻r4和电阻r5相连。
[0020]
本发明产生的有益效果是：本发明为流速测量提供了一种新的技术方法，可与传统测流速方式互相校验应用，提升流速测量的准确性。本发明使用非接触式的测量方式取代传统接触式仪器河流测速，能够大幅度的减少测量成本投入。此外，本发明的基于ai无人
机视觉技术的河流表面流速检测方法及系统不需要布设额外的检测设备，适用范围更广，应用条件比传统测流方式更加简单。
附图说明
[0021]
图1为本发明的检测流程图；
[0022]
图2为本发明中无人机采集水流姿态图像流程图；
[0023]
图3为本发明中图像预处理流程图；
[0024]
图4为本发明中直方图趋势曲线生成流程图；
[0025]
图5为本发明中测试图像识别流程图；
[0026]
图6为本发明中目标像素点分布示意图；
[0027]
图7a为本发明中目标像素点处理核函数示意图一；
[0028]
图7b为本发明中目标像素点处理核函数示意图二；
[0029]
图8为本发明中图像方向信息放入方向区间示意图；
[0030]
图9为本发明实施例下图像方向信息生成统计直方图示意图；
[0031]
图10为本发明实施例下图像方向直方图趋势曲线示意图；
[0032]
图11为本发明实施例下测试图像比对示意图；
[0033]
图12为本发明中无人机采集图像示意图；
[0034]
图13为本发明中主控制模块结构示意图；
[0035]
图14为本发明中220v/5v电源示意图。
具体实施方式
[0036]
为了使本技术领域的人员更好地理解本发明方案，下面结合本发明实施例中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
[0037]
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的部分步骤可以适当变化。以下结合具体实施例对本发明作进一步的详细说明。
[0038]
本发明通过结合人工智能及计算机视觉技术，从而达到自动检测黄河表面流速的目的。本发明采用非接触的测量方式，减小了水流冲击对于仪器测量所带来的影响，具有检测成本低，检测结果稳定等优点。
[0039]
如图1所示，本发明中的检测方法包括已知水流姿态图像采集、图像预处理、图像直方图趋势曲线生成和测试图像识别四个部分。
[0040]
如图2所示，水流姿态图像采集可分为两步：
[0041]
第一步是水流姿态的检测，本发明采用水流线之间的平均偏移进行检测，可表示为
[0042][0043]
式(1)中
△h(j,j 1)
为图像内第j条与第j 1条水流线之间的平均偏移；为图像第j条水流线内第i段的横坐标；z为水流线被分割的段数，根据无人机搭配摄像头改变。
[0044]
第二步是无人机姿态的调整，根据各水流线之间的偏移和确定：
[0045][0046]
式(2)中s为各水流线之间的偏移和；m为总的水流线数；若s》0，则表明图像顺时针歪斜，需要无人机顺时针调整方向；若s＜m，则表明图像逆时针歪斜，需要无人机逆时针调整方向；若s＝m，则表明图像基本无倾斜，无须调整。
[0047]
无人机姿态调整包括前后左右上下六个方向的调整，可表示如下。
[0048][0049]
式中，θ，γ分别为无人机的航向角，俯仰角和翻滚角，分别控制无人机前后、上下、左右的方向；t
θ
，t
γ
分别是无人机的航向角、俯仰角和翻滚角的变化周期；θm，γm分别是无人机的航向角、俯仰角和翻滚角的振幅，是假设的一个固定航向角。
[0050]
其中，水流线可通过式(4)产生
[0051]
m(x,y)＝|d
x
(x,y)| |dy(x,y)|
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0052]
式中m(x,y)为图像梯度幅值，用于找出边缘特征；d
x
(x,y)为图像水平梯度幅值；dy(x,y)为图像竖直梯度幅值，计算方法如式(5)与式(6)所示。
[0053][0054][0055]
式(5)与式(6)中，f(x,y)为流速图像所对应像素点，可使用无人机进行高空采集，可以是照片，也可以是视频，为保证测试图像精确性，采集的图像需曝光度良好，画面清晰，无遮挡物。
[0056]
如图3所示，原始图像采集后，经剪切、复制、粘贴等一系列原因，会造成图像大小、分辨率、方向、曝光度变化，如不加控制与处理，会对后续图像测试产生影响。
[0057]
图像采集过程中，有些类别图像较少，有些类别图像较多，而图像太少会导致数据库过小，对于后续图像测试也是不利的。因此在图像预处理过程中，通过导入待处理图像，并对待处理图像进行图像旋转、伽马变换、均衡化等操作可以对图像较少的类别进行填充，合成图像数据库，扩大数据库规模。
[0058]
如图4所示，在导入待处理图像后，图像直方图趋势曲线生成可分为五个步骤：
[0059]
第一步为图像灰度值的提取，作为优选，本发明采用伽马校正法来提取图像灰度值。如式(7)所示。
[0060][0061]
式中gr为提取的灰度值；r为流速图像红色分量；g为流速图像绿色分量；b为流速图像蓝色分量。
[0062]
第二步为图像像素点梯度与像素点方向的计算，像素点梯度即为水平方向梯度与竖直方向梯度计算得出的模值，计算方法如式(8)所示。
[0063][0064]
像素点方向通过水平方向梯度与竖直方向梯度经反三角函数计算得出，方法如式(9)所示。
[0065][0066]
式(2)与式(3)中g
x
为目标像素点水平方向梯度，gy为目标像素点竖直方向梯度。g
x
与gy计算方法分别如式(10)与(11)所示：
[0067]gx
＝(1)*c (-1)*d
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0068]gy
＝(1)*a (-1)*b
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0069]
式中c为目标像素点右侧像素点灰度值；d为目标像素点左侧像素点灰度值；a为目标像素点下侧像素点灰度值；b为目标像素点上侧像素点灰度值。a、b、c和d根据式(7)计算得出，其逻辑关系如图6所示。
[0070]
式(10)中，使用的核函数示意图如图7a所示；式(11)中，使用的核函数示意图如图7b所示。
[0071]
第三步为将像素点放入不同方向区域。
[0072]
本发明中，共将方向1-360度等分为36份，即为1-10度、11-20度、21-30度、31-40度、41-50度、51-60度、61-70度、71-80度、81-90度、91-100度、101-110度、111-120度、121-130度、131-140度、141-150度、151-160度、161-170度、171-180度、181-190度、191-200度、201-210度、211-220度、221-230度、231-240度、241-250度、251-260度、261-270度、271-280度、281-290度、291-300度、301-310度、311-320度、321-330度、331-340度、341-350度、351-360度，分别记为1-36区域。
[0073]
根据方向的不同，将像素点放入不同区域，同时梯度值叠加，如图8所示。
[0074]
第四步为统计直方图的生成。统计直方图即为第三步方向区域的统计显示，如图9所示。图中横坐标代表方向区域，可以看到共有36个的区域；纵坐标为同一方向像素点梯度累加值。
[0075]
第五步为图像直方图趋势曲线的生成是在。直方图趋势曲线即为描述直方图形式的曲线，如图10所示。
[0076]
自此，原始图像即可用一条曲线来表示，极大地简化了后续测试流程。给训练数据库的图像加上标签，则可表示为式(12)：
[0077][0078]
式中f表示图像训练库；t表示类别的标签，共有101种，即取值范围为[1—101]；i为方向区域编号，取值范围为[1—36]；j为直方图趋势曲线方向区域对应的纵坐标，取值范围为[0—1]。
[0079]
测试图像识别是在直方图趋势曲线的基础上进行的，其处理流程图如图5所示，共可分为曲线方差计算和曲线方差比较两个部分。
[0080]
在本发明中，为避免数据计算量过大，在进行曲线方差计算之前，首先对各方向区域进行归一化，实施例图像直方图趋势曲线与测试图像直方图趋势曲线对比图像如图11所示。
[0081]
在计算过程中，考虑到共有36个方向区域，所以每个区域取平均值进行差值计算，计算方法如式(13)所示。
[0082][0083]
式中s为实施例数据库图像直方图趋势曲线与测试图像直方图趋势曲线的方差，f1,f2,...,f
36
分别为训练库图像在第1方向区域、第2方向区域与第36方向区域上的数据点平均值，分别为测试图像在第1方向区域、第2方向区域与第36方向区域方向上的数据点平均值。
[0084]
方差比较即找出最高相似概率的过程，计算方法如式(14)所示。
[0085][0086]
式中p为各类图像直方图趋势曲线与测试图像直方图趋势曲线的最高相似概率；当p取值范围为[0.5—1]时，认为测试图像识别效果良好，采用当前识别结果；当p取值范围为[0—0.5]时，认为测试图像识别效果较差，说明现有图像数据库数据不足，需要在每类图像库中添加图像重新训练，再次测试；s1,s2,...,sn为各类图像直方图趋势曲线与测试图像直方图趋势曲线的方差；n在数值上等于训练库中所有图像的个数，即n＝n1 n2
…
n
101
，n1,n2,
…
,n
101
为101个类别中图像的个数；k表示为测试图像编号，等于测试图像数量。
[0087]
取p所对应标签t，得到测试图像所属的识别类别，从而得出测试图像的流速。可表示为式(15):
[0088][0089]
式中f为式(12)中的图像训练库集；c为测量出的流速，取值范围与t相同，即[0—10]，单位为m/s。
[0090]
三种航角下均可得到一个流速数值，则需要通过无人机姿态对流速进行补偿，可表示为式(16)：
[0091][0092]
式中无人机姿态补偿后测得的水面流速；为航向角控制下测量的水面流速；v
θ
为俯仰角控制下测量的水面流速；v
θ
为翻滚角控制下测量的水面流速。
[0093]
如图13所示，本发明中的无人机主控制模块结构为：单片机u1采用stm32f1032et6芯片，为本发明提供控制及数据传输。单片机u1分别与4g通讯模块g1和图像采集模块p1相连，其中4g通讯模块g1将采集的图像及时发送计算机，进行实时处理。单片机u1的pc14和pc15串口与外部低速时钟模块相连，该低速时钟模块采用频率为32.768khz晶振x3，晶振x3并联着串联在一起的22pf电容c18和电容c19；单片机u1的vdd和vss接口分别与vcc2和接地线相连；单片机u1通过vbat接口为其供电，该接口分别连接1n4148二极管d7、d8和10kpf电容c23，采用3.3v电池b2，其两端接在电容c23与二极管d4之间；单片机u1通过reset接口与置位模块相连，该模块包括10k欧电阻r7、开关k2和10kpf电容c20，其中开关k2和电容c20并联，电阻r7的两端分别连接vcc和电容c20；单片机u1的vref-、osc-in和osc-out接口与外部高速时钟模块相连；该高速时钟模块采用8mhz晶振x4，晶振x4与1m欧电阻r9并联，电阻r9的两端分别连接22pf电容c24、c25；单片机u1的vref 、vdda和vssa接口与模拟量电压模块相连，vref 和vdda均与vssa接口之间连接并联的10uf电容c21和10kpf电容c22，10欧电阻r8的两端分别连接vcc2和vref 、vdda接口。上述电路完成了数据采集及发送功能。
[0094]
为保证系统的顺利运行，本发明的电源供应系统如图14所示。图中从左至右，vcc1为220v民用交流电，两端使用四个1n4001gp型二极管d1、d2、d3和d4进行并联，二极管d1、d2、d3和d4在结构功能上起到了整流器的目的。从二极管d1、d3和二极管d2、d4之间引出两根导线，其中一根导线分别连接一个470uf的电容c1、一个1k欧的电阻r1、两个2n2222a型三极管q1和q2的基极，另一根导线分别连接电容c1的另一端、一个22uf的电容c2、一个稳压二极管灯led1、一个220欧的电阻r5、一个100uf的电容c3、一个1000欧量程的滑动变阻器rp1和vcc2的负极；两根导线之间通过电容c1相连，同时并联一个由电阻r1和电容c2组成的串联电路；在电阻r1与电容c2的连接处，引出一根导线连接至三极管q1的基极，三极管q1的集电极与电阻r1和三极管q2集电极相连，三极管q1的发射极与三极管q2的基极相连，三极管q2的发射极连接一个1k欧的电阻r2；在电阻r2的另一端，分别与1k欧的电阻r3、稳压二极管灯led2、255欧的电阻r4、100uf的电容c3和1000欧量程的滑动变阻器rp1相连；电阻r3的另一端分别与稳压二极管灯led1和2n2222a型三极管q3的发射极相连；三极管q3的集电极分别与电阻r1、三极管q1的基极、电容c2和稳压二极管灯led2相连，三极管q3的基极分别与电阻r4和电阻r5相连；将滑动变阻器rp1滑动端移动至10％，滑动触头连接到vcc2正极，得到用于本发明的5v直流电源。
[0095]
本发明根据无人机姿态调节特性获取无人机姿态信息，并使用无人机获取相应的河流表面水流态势图像；根据河流表面水流态势图像特性，提出了一种用图像像素灰度值和方向的融合特征曲线代替河流表面流速态势图像的方法；根据融合特征曲线特性，建立了河流表面流速与不同灰度值和方向的概率映射函数关系，使用无人机姿态信息对测得流速进行补偿。