一种基于分形识别的无人机图像处理方法与流程

1.本发明涉及无人机技术领域，特别涉及一种基于分形识别的无人机图像处理方法。


背景技术：

2.无人驾驶飞机简称“无人机”，是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机。机上无驾驶舱，但安装有自动驾驶仪、程序控制装置、信号采集装置等设备。地面、舰艇上或母机遥控站人员通过雷达等设备，对其进行跟踪、定位、遥控、遥测和数字传输。可在无线电遥控下像普通飞机一样起飞或用助推火箭发射升空，也可由母机带到空中投放飞行。现有技术无人机中已存在图像跟踪技术，对图像进行跟踪来获取跟踪内容。
3.对于地理位置图像的获取方法包括，控制在空间上分离设置的至少两个光源中的每个光源的亮度周期性的变化，采用至少三个位置的三个摄像头分别采集用于三维重建的图像。基于图像的三维重建是根据物体或者场景所拍摄的两个或者两个以上二维的图像，由计算机自动进行计算和匹配，计算出物体或者场景的二维的几何信息和深度信息，并建立三维的立体模型的过程。随着无人机技术的发展，消费级无人机价格不断下降，以及激光雷达的小型化便携化，中小型无人机搭载激光雷达进行地理测绘成为可能。目前无人机lidar测绘普遍使用地面标靶定位和地面基站配合的方式，但使用起来对不同地貌的适应能力性不强，需要提前人为勘探，去测绘地点周围树立标靶，过程繁琐效率低。同时取得的点云数据需要在基站进行离线处理，实时性不够好。
4.同时，无人机图像的处理缺乏精度去噪等处理，以便于后续图像相关操作；以及对于当前无人机地理图像的检测还主要局限于特征识别的单一性，即仅仅通过追踪图像进行地理地质等识别，无法根据多传感器进行综合三维地理环境信息处理。


技术实现要素：

5.为解决当前无人机对于地理图像的跟踪存在检测不准确，三维地理勘探策略偏差的问题，本发明请求保护一种基于分形识别的无人机图像处理方法。
6.本发明请求保护一种基于分形识别的无人机图像处理方法，其特征在于：
7.训练无人机三维地理图像样本，得到无人机三维地理图像样本分类器；
8.获取无人机实地三维地理采样图像，对所述无人机实地三维地理采样图像进行预处理，采用所述无人机三维地理图像样本分类器对所述无人机三维地理图像样本分类器进行测试，获取所述无人机三维地理图像样本分类测试结果和实地三维地理评价结果；
9.根据所述无人机三维地理图像样本分类测试结果和实地三维地理评价结果获取多级分形的特征，对无人机三维地理图像样本分类测试结果和实地三维地理评价结果进行分级管理，获取实地三维地理的动态检测结果；
10.对所述实地三维地理的动态检测结果进行环境检测分析，获取所述实地三维地理的图像处理结果。
11.优选的，所述训练无人机三维地理图像样本，得到无人机三维地理图像样本分类器，还包括：
12.获取所述训练无人机三维地理图像样本的原始相位图像，提取其动态特征和颜色特征；
13.对所述训练无人机三维地理图像样本的原始相位图像的动态特征和颜色特征分别进行归一化处理，得到归一化后的所述原始相位图像的动态特征和颜色特征；
14.将所述归一化后的所述原始相位图像的动态特征和颜色特征进行融合，构成双相位无人机图像特征；
15.对所述训练无人机三维地理图像样本的原始相位图像进行手动获取c个双相位正向训练样本和d个两相位负向训练样本，其中0<c<500,0<d<1000；
16.采用得到的所述归一化后的所述原始相位图像的动态特征和颜色特征对c个双相位正向训练样本进行表示，得到双相位正向训练样本特征；
17.采用得到的所述归一化后的所述原始相位图像的动态特征和颜色特征对所有(c d)个双相位训练样本进行表示，得到所有双相位训练样本特征；
18.采用双相位正向训练样本特征和所有双相位训练样本特征构造支撑分类器svc。
19.优选的，所述获取无人机实地三维地理采样图像，对所述无人机实地三维地理采样图像进行预处理，采用所述无人机三维地理图像样本分类器对所述无人机三维地理图像样本分类器进行测试，获取所述无人机三维地理图像样本分类测试结果和实地三维地理评价结果，还包括：
20.控制镜头捕获数字图像，将采集的数字图像进行灰度化、去燥及重新设置图像尺寸处理，去除噪声使用高斯滤波和中值滤波；
21.使用图像清晰度评价算法判断图像的离焦程度，并通过据焦搜索方法找到焦点位置，驱动无人机镜头至最佳成像位置；
22.采用所述双相位无人机图像特征和所述双相位正向训练样本特征，将所述双相位无人机图像特征和所述双相位正向训练样本特征输入到第一层的小波神经网络中，利用第一层网络隐层和输入层节点的初始权值，输出层和隐层节点的初始权值、小波激活函数的缩放因子和平移因子分别计算第一层网络隐层的输出和输出层的输出；
23.将所述第一层网络隐层的输出和输出层的输出输入到所述采用双相位正向训练样本特征和所有双相位训练样本特征构造的支撑分类器svc中，获取最终的无人机图像测试结果；
24.对所述测试结果进行实地三维地理分析，对实地三维地理进行聚类处理，并获取所述实地三维地理的纹理特征和硬度特征。
25.优选的，所述根据所述无人机三维地理图像样本分类测试结果和实地三维地理评价结果获取多级分形的特征，对无人机三维地理图像样本分类测试结果和实地三维地理评价结果进行分级管理，获取实地三维地理的动态检测结果还包括：
26.获取分形网格，无论无人机三维地理图像样本分类测试结果和实地三维地理评价结果的数量有多少，每一级的无人机三维地理图像样本分类测试结果和实地三维地理评价结果有且仅有7个控制点；
27.对于任意一个无人机三维地理图像样本分类测试结果和实地三维地理评价结果
与分形网格的距离和方位通过分形网格的边长和编码进行快速计算和判断；
28.若已知任意两点之间的最小距离，则通过递归的方式实现所有无人机三维地理图像样本分类测试结果和实地三维地理评价结果的全覆盖，其中每个无人机三维地理图像样本分类测试结果和实地三维地理评价结果即为一个分形网格；
29.利用多级分形结构和递归方式，对所有无人机三维地理图像样本分类测试结果和实地三维地理评价结果进行编码；
30.基于蜂窝结构对所有无人机三维地理图像样本分类测试结果和实地三维地理评价结果完成全覆盖和编码，实现对所有无人机三维地理图像样本分类测试结果和实地三维地理评价结果的管理、检索与展示。
31.所述对所述实地三维地理的动态检测结果进行环境检测分析，获取所述实地三维地理的图像处理结果，还包括：
32.获取所述实地三维地理的动态检测结果，对所述实地三维地理的动态检测结果进行聚类分析；
33.当所述实地三维地理的动态检测结果属于第一聚类时，对所述实地三维地理的动态检测结果进行环境检测分析，检测当前环境中的气味浓度并规划路径以跟踪以及定位气味源，最终获得所述实地三维地理的图像处理结果；
34.当所述实地三维地理的动态检测结果属于第二聚类时，不进行检测当前环境中的气味浓度检测。
35.本发明请求保护一种基于分形识别的无人机图像处理方法，训练无人机三维地理图像样本，得到无人机三维地理图像样本分类器进而对无人机三维地理图像样本分类器进行测试，使用高斯和中值滤波去噪，获取无人机三维地理图像样本分类测试结果和实地三维地理评价结果；获取多级分形的特征，进行分级管理；进行环境检测分析，获取实地三维地理的图像处理结果。本发明基于分形多级蜂窝网格进行大数据信息的组织和管理，结构简洁清晰，可以进行清楚的划分和分级，本发明不仅关注图像特征，其还综合环境传感器进行无人机图像的辅助结合，获取综合处理结果，全方位识别无人机地面状况，达到多维度准确制定考查策略的效果。
附图说明
36.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
37.图1为本发明所涉及的一种基于分形识别的无人机图像处理方法的工作流程图；
38.图2为本发明所涉及的一种基于分形识别的无人机图像处理方法的实施例一；
39.图3为本发明所涉及的一种基于分形识别的无人机图像处理方法的实施例二；
40.图4为本发明所涉及的一种基于分形识别的无人机图像处理方法的实施例三。
具体实施方式
41.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
42.本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
43.参照附图1，本发明请求保护一种基于分形识别的无人机图像处理方法，其特征在于：
44.训练无人机三维地理图像样本，得到无人机三维地理图像样本分类器；
45.获取无人机实地三维地理采样图像，对所述无人机实地三维地理采样图像进行预处理，采用所述无人机三维地理图像样本分类器对所述无人机三维地理图像样本分类器进行测试，获取所述无人机三维地理图像样本分类测试结果和实地三维地理评价结果；
46.根据所述无人机三维地理图像样本分类测试结果和实地三维地理评价结果获取多级分形的特征，对无人机三维地理图像样本分类测试结果和实地三维地理评价结果进行分级管理，获取实地三维地理的动态检测结果；
47.对所述实地三维地理的动态检测结果进行环境检测分析，获取所述实地三维地理的图像处理结果。
48.优选的，参照附图2，本发明所涉及的一种基于分形识别的无人机图像处理方法的实施例一，所述训练无人机三维地理图像样本，得到无人机三维地理图像样本分类器，还包括：
49.获取所述训练无人机三维地理图像样本的原始相位图像，提取其动态特征和颜色特征；
50.对所述训练无人机三维地理图像样本的原始相位图像的动态特征和颜色特征分别进行归一化处理，得到归一化后的所述原始相位图像的动态特征和颜色特征；
51.将所述归一化后的所述原始相位图像的动态特征和颜色特征进行融合，构成双相位无人机图像特征；
52.对所述训练无人机三维地理图像样本的原始相位图像进行手动获取c个双相位正向训练样本和d个两相位负向训练样本，其中0<c<500,0<d<1000；
53.采用得到的所述归一化后的所述原始相位图像的动态特征和颜色特征对c个双相位正向训练样本进行表示，得到双相位正向训练样本特征；
54.采用得到的所述归一化后的所述原始相位图像的动态特征和颜色特征对所有(c d)个双相位训练样本进行表示，得到所有双相位训练样本特征；
55.采用双相位正向训练样本特征和所有双相位训练样本特征构造支撑分类器svc。
56.其中获取所述训练无人机三维地理图像样本的原始相位图像，提取其动态特征和颜色特征，具体包括：
57.提取所述训练无人机三维地理图像样本的原始相位图像的灰度值向量，并用该灰度值向量作为动态特征；
58.对所述训练无人机三维地理图像样本的原始相位图像进行m个尺度、n个方向的
gabor变换，选择中心像素，在窗口上提取高通子带rgb系数的均值信息和方差信息；
59.以图像中所有所述训练无人机三维地理图像样本的原始相位图像的像素点为中心像素点，提取所述均值信息和方差信息，得到均值向量和方差向量；
60.用均值向量和方差向量联合构成所述训练无人机三维地理图像样本的原始相位图像的颜色特征。
61.所述对所述训练无人机三维地理图像样本的原始相位图像的动态特征和颜色特征分别进行归一化处理，得到归一化后的所述原始相位图像的动态特征和颜色特征包括：
[0062][0063][0064]
其中，表示所述训练无人机三维地理图像样本的原始相位图像的动态特征；表示所述训练无人机三维地理图像样本的原始相位图像的颜色特征；表示归一化后的所述训练无人机三维地理图像样本的原始相位图像的动态特征；表示归一化后的所述训练无人机三维地理图像样本的原始相位图像的颜色特征。
[0065]
优选的，参照附图3，本发明所涉及的一种基于分形识别的无人机图像处理方法的实施例二，所述获取无人机实地三维地理采样图像，对所述无人机实地三维地理采样图像进行预处理，采用所述无人机三维地理图像样本分类器对所述无人机三维地理图像样本分类器进行测试，获取所述无人机三维地理图像样本分类测试结果和实地三维地理评价结果，还包括：
[0066]
控制镜头捕获数字图像，将采集的数字图像进行灰度化、去燥及重新设置图像尺寸处理，去除噪声使用高斯滤波和中值滤波；
[0067]
使用图像清晰度评价算法判断图像的离焦程度，并通过据焦搜索方法找到焦点位置，驱动无人机镜头至最佳成像位置；
[0068]
采用所述双相位无人机图像特征和所述双相位正向训练样本特征，将所述双相位无人机图像特征和所述双相位正向训练样本特征输入到第一层的小波神经网络中，利用第一层网络隐层和输入层节点的初始权值，输出层和隐层节点的初始权值、小波激活函数的缩放因子和平移因子分别计算第一层网络隐层的输出和输出层的输出；
[0069]
将所述第一层网络隐层的输出和输出层的输出输入到所述采用双相位正向训练样本特征和所有双相位训练样本特征构造的支撑分类器svc中，获取最终的无人机图像测试结果；
[0070]
对所述测试结果进行实地三维地理分析，对实地三维地理进行聚类处理，并获取所述实地三维地理的纹理特征和硬度特征。
[0071]
其中，所述输出层的输出的计算方式为
[0072][0073]
h(i)表示输出节点i的输出，此处h是输出层输出的一个总的表示，第一层网络的
输出层输出用h1表示，第二层网络的输出层输出用h2表示，p是隐层节点数，w
″
ij
表示输出节点i和隐层节点j之间的权值，此处w
″
是输出层节点和隐层节点权值的一个总的表示，第一层网络的输出层节点和隐层节点权值用w1″
表示，第二层网络的输出层节点和隐层节点权值w2″
表示，ψ(j)表示隐层节点j的输出，此处ψ是隐层节点输出的一个总的表示，第一层网络隐层节点输出用ψ1表示，第二层网络隐层节点输出用ψ2表示。
[0074]
优选的，参照附图4，本发明所涉及的一种基于分形识别的无人机图像处理方法的实施例三，所述根据所述无人机三维地理图像样本分类测试结果和实地三维地理评价结果获取多级分形的特征，对无人机三维地理图像样本分类测试结果和实地三维地理评价结果进行分级管理，获取实地三维地理的动态检测结果还包括：
[0075]
获取分形网格，无论无人机三维地理图像样本分类测试结果和实地三维地理评价结果的数量有多少，每一级的无人机三维地理图像样本分类测试结果和实地三维地理评价结果有且仅有7个控制点；
[0076]
对于任意一个无人机三维地理图像样本分类测试结果和实地三维地理评价结果与分形网格的距离和方位通过分形网格的边长和编码进行快速计算和判断；
[0077]
若已知任意两点之间的最小距离，则通过递归的方式实现所有无人机三维地理图像样本分类测试结果和实地三维地理评价结果的全覆盖，其中每个无人机三维地理图像样本分类测试结果和实地三维地理评价结果即为一个分形网格；
[0078]
利用多级分形结构和递归方式，对所有无人机三维地理图像样本分类测试结果和实地三维地理评价结果进行编码；
[0079]
基于蜂窝结构对所有无人机三维地理图像样本分类测试结果和实地三维地理评价结果完成全覆盖和编码，实现对所有无人机三维地理图像样本分类测试结果和实地三维地理评价结果的管理、检索与展示。
[0080]
本发明所述分形多级蜂窝网格指的是垂直多级网格，用于复杂的大系统中，进行组织的管理。在垂直多级网格中，第0级，显示的是整体信息的根节点，实际上可以看成是一个分形网格，也就是该信息组织的对象，第1级，只显示垂直多级信息的第一次分类，即主要分类情况，此时可以看到该信息分类被分为7大区域，中央区和围绕的六大边区。在第2级，7大区域进一步被分级，每一个区域同样被分成7个子区域，以此方式划分下去，形成对所有信息点的全覆盖。其中，对于每个分形网格的编码采用自相似分形思想，中央区域为0，周围环绕的区域依次为1至6。
[0081]
基于该图形结构以及分类方法，对于任意的信息点，可以采用7进制(7
‑
block)管理。例如：中央区域为该管理体系的核心，编码为0开头，中央区域可以为核心功能区，例如信息检索里的目录区域，或者区域行政管理的首都。其它环绕的6个区域分别以1、2、3、4、5、6这六个数字开头，10表示1号区域的中心，11表示1号区域的1号分形网格，如此类推对所有分形网格进行编码。例如给定任意分形网格的编码，例如114，第一步可以快速判断是一个三级蜂窝结构，一共有73个信息点，第二步，可以迅速判断该分形网格位于第一个子域的第一个子子域的第四个环绕分形网格。如果给定每一个子域的物理意义，可以马上判断该分形网格的含义。
[0082]
优选的，所述对所述实地三维地理的动态检测结果进行环境检测分析，获取所述实地三维地理的图像处理结果，还包括：
[0083]
获取所述实地三维地理的动态检测结果，对所述实地三维地理的动态检测结果进行聚类分析；
[0084]
当所述实地三维地理的动态检测结果属于第一聚类时，对所述实地三维地理的动态检测结果进行环境检测分析，检测当前环境中的气味浓度并规划路径以跟踪以及定位气味源，最终获得所述实地三维地理的图像处理结果；
[0085]
当所述实地三维地理的动态检测结果属于第二聚类时，不进行检测当前环境中的气味浓度检测。
[0086]
其中，对所述实地三维地理评价结果的内容进行小波检测分析，初始化所述实地三维地理评价结果的内容包括：经过声发射传感器采集，将声发射信号送至a/d转换器得到离散时间序列；
[0087]
采用快速离散傅里叶变换(fast fourier transform，fft)对多余物信号进行频域分析；
[0088]
计算得到多余物信号的频域特征，可以得到非实地三维地理活动多余物材质的频域特征值整体偏大，且波动范围较大，而实地三维地理活动多余物材质在频域上的特征值整体偏小，波动范围较小。对活动多余物信号在频域上提取特征值增加了区分多余物材质的特征参数。
[0089]
将所述封装好的调用数据文件发送给小波检测分析程序，进行小波包分解重构，完成特征提取包括：
[0090]
对活动多余物信号进行加窗处理，得到n帧多余物信号。对每一帧多余物信号进行快速傅里叶变换并计算每一帧多余物信号的能量谱。然后使用三角带通滤波器对能量谱进行滤波，同时对滤完波的多余物信号进行对数运算以及离散余弦变换，最后得到mfcc系数。重复上述步骤直至所有帧的多余物信号都提取了mfcc特征值。在对活动多余物信号进行mfcc特征提取时，带通滤波器的个数和活动多余物信号经过离散余弦变换后的维度对最后结果有影响。当滤波器个数较多时，得到mfcc特征值的时间会变长，数值也会变大；而变换后的维度大小确定了mfcc的细化程度，维度越大，细化程度越好。
[0091]
具体的，所述对所述实地三维地理的动态检测结果进行环境检测分析，获取所述实地三维地理的图像处理结果，还包括：
[0092]
获取所述实地三维地理的动态检测结果，对所述实地三维地理的动态检测结果进行聚类分析；
[0093]
当所述实地三维地理的动态检测结果属于第一聚类时，对所述实地三维地理的动态检测结果进行环境检测分析，检测当前环境中的气味浓度并规划路径以跟踪以及定位气味源，最终获得所述实地三维地理的图像处理结果；
[0094]
当所述实地三维地理的动态检测结果属于第二聚类时，不进行检测当前环境中的气味浓度检测。
[0095]
其中，当所述实地三维地理的动态检测结果属于第一聚类时，对所述实地三维地理的动态检测结果进行环境检测分析，检测当前环境中的气味浓度并规划路径以跟踪以及定位气味源，最终获得所述实地三维地理的图像处理结果，包括：所述第一聚类为当前所述实地三维地理的动态检测结果表征实地三维地理存在地质不稳定性；传感器在四旋翼无人机飞行过程中，依靠导电滑环旋转可连续获得一系列不同测量角度方向上的气味烟羽浓度
线积分cl(i浓度线积分，concentration line integral)，构造一个cli测量值的环形序列；在每个采样周期，气体传感器获得一个cli测量值，随即更新cli环形序列中所对应角度上的元素；四旋翼无人机在飞行过程中，污染气体传感器持续通过旋转采样并更新cli环形序列。当污染气体传感器初次检测到待测气味烟羽(cli测量值大于等于设定的cli阈值)后，旋翼无人机由烟羽发现阶段切换为烟羽跟踪阶段。
[0096]
在每个控制周期，都会扫描cli环形序列，找出不小于cli阈值的cli片段。若cli片段数目大于零，则从烟羽发现阶段转换为烟羽跟踪阶段。无人机下一步的运动方向由下述方法进行确定。首先，计算每个cli片段的中心对应的角度，这里称为cli片段中心角。然后从计算的多个cli片段中心角中找到最接近逆风方向的中心角，作为无人机下一步的运动方向，由此跟踪气味烟羽，逐步趋近气味源。
[0097]
采用rbf神经网络算法进行环境风矢量估计，采用rbf函数为高斯核函数，其函数表示形式为
[0098][0099]
x
c
表示高斯核函数中心，σ表示径向基函数的扩展常数或宽度参数，作用于控制函数的径向作用范围，σ越小则函数宽度越小
[0100]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0101]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。