基于频域空间转换的航拍道路类型识别方法与流程

1.本发明涉及数据处理及识别领域，具体涉及一种基于频域空间转换的航拍道路类型识别方法。


背景技术：

2.道路作为城市的公共空间，是城市设计中重要的组成部分。对道路的识别有利于城市设计对不同类型道路提出针对性的设计策略，以满足城市后续的道路规划，且对道路类型的获取还有利于后期地图导航系统的建设，故对道路类型的判断是至关重要的。
3.目前常见的对道路类型的识别是利用遥感图像提取城市道路的技术，该方法对城市道路的分类不准确，对于含多层道路的图像以及含有天桥的道路图像的识别效果较差，会将其误判为交叉道路，使得车辆的导航系统会出现安全隐患。


技术实现要素：

4.为了解决上述技术问题，本发明的目的在于提供一种基于频域空间转换的航拍道路类型识别方法，所采用的技术方案具体如下：采集道路图像，对所述道路图像进行傅里叶变换得到频谱图；提取所述频谱图中的高亮像素点；划分所述频谱图为四个区域，根据四个区域内所述高亮像素点的平均分布程度得到频谱图的第一区域相似度；计算四个区域内所述高亮像素点的平均灰度值作为频谱图的第二区域相似度；获取每个所述区域的中心点，连接呈对角线排列的区域的中心点得到两条直线；根据两条直线的夹角大小得到角度影响因素；获取所述道路图像中的重叠区域；基于所述频谱图，以频谱图中心点为圆点，分别以重叠区域的长的一半和重叠区域的宽的一半为半径，作两个圆；获取所述两个圆与所述两条直线的交点作为重要点；以所述重要点为圆点，分别以重叠区域的长的一半和重叠区域的宽的一半为半径作圆，得到重要点对应的重要区域；根据每个重要区域的高亮像素点的灰度值的差异计算道路差异性；根据所述第一区域相似度、所述第二区域相似度、所述角度影响因素和所述道路差异性对道路类型进行判断。
5.优选的，所述根据四个区域内所述高亮像素点的平均分布程度得到频谱图的第一区域相似度，包括：将呈对角线排列的区域作为一组区域块，得到两组区域块；获取每组所述区域块中的高亮像素点的区域块像素点数量；所有区域的高亮像素点数量之和与最大区域块像素点数量的比值为频谱图的第一区域相似度。
6.优选的，所述计算四个区域内所述高亮像素点的平均灰度值作为频谱图的第二区
域相似度，包括：将呈对角线排列的区域作为一组区域块，得到两组区域块；计算每组所述区域块中的高亮像素点的平均灰度值；两组区域块对应的平均灰度值之和的一半与最大平均灰度值的比值作为频谱图的第二区域相似度。
7.优选的，所述根据两条直线的夹角大小得到角度影响因素，包括：基于任意直线，获取所述直线与水平线的逆时针夹角；两条直线对应的逆时针夹角的差值的绝对值和预设夹角的比值为角度影响因素。
8.优选的，所述获取所述两个圆与所述两条直线的交点作为重要点，包括：将以频谱图中心点为圆心，以重叠区域的长的一半为半径得到的圆为第一圆；将以频谱图中心点为圆心，以重叠区域的宽的一半为半径得到的圆为第二圆；第一圆与两条直线中任意直线的交点为重要点，第二圆与两条直线中另一直线的交点为重要点。
9.优选的，所述根据每个重要区域的高亮像素点的灰度值的差异计算道路差异性，包括：计算每个重要区域内高亮像素点的平均灰度值和所有重要区域对应的总平均灰度值；根据各所述重要区域的平均灰度值和所述总平均灰度值之间的差值得到道路差异性；所述道路差异性的计算公式为：其中，为所述道路差异性；为第个重要区域的平均灰度值；为所有重要区域对应的总平均灰度值；为第1个重要区域的高亮像素点的数量；为第2个重要区域的高亮像素点的数量；为第3个重要区域的高亮像素点的数量；为第4个重要区域的高亮像素点的数量。
10.优选的，所述频谱图中的高亮像素点的获取方法为：利用大津阈值分割法提取所述频谱图中的高亮像素点。
11.优选的，所述根据所述第一区域相似度、所述第二区域相似度、所述角度影响因素和所述道路差异性对道路类型进行判断，包括：所述第一区域相似度和所述第二区域相似度相乘得到总相似度；所述总相似度大于等于预设相似度阈值时判断所述道路图像中不含有天桥；所述角度影响因素大于等于预设角度因素阈值时判断所述道路图像中道路为交叉道路；所述道路差异性大于等于预设差异性阈值时判断所述道路图像中道路为多层道路。
12.优选的，所述每个所述区域的中心点的获取方法，包括：对每个所述区域内的高亮像素点进行聚类得到各区域对应的中心点。
13.本发明实施例至少具有如下有益效果：本发明实施例涉及图像处理技术，首先采集道路图像并得到对应的频谱图；提取频谱图中的高亮像素点；划分频谱图为四个区域，根据四个区域内高亮像素点的平均分布程度得到频谱图的第一区域相似度；计算四个区域内高亮像素点的平均灰度值作为频谱图的第二区域相似度，根据第一区域相似度和第二区域相似度对道路图像中是否含有天桥进行判断；获取每个区域的中心点，连接呈对角线排列的区域的中心点得到两条直线；根据两条直线的夹角大小得到角度影响因素，根据角度影响因素对道路图像中是交叉道路还是多层道路进行判断；获取道路图像中的重叠区域；基于频谱图，以频谱图中心点为圆点，分别以重叠区域的长的一半和重叠区域的宽的一半为半径，作两个圆，获取两个圆与两条直线的交点作为重要点；以重要点为圆点，分别以重叠区域的长的一半和重叠区域的宽的一半为半径作圆，得到重要点对应的重要区域；根据每个重要区域的高亮像素点的灰度值的差异计算道路差异性，根据道路差异性对道路图像中是交叉道路还是多层道路进行更进一步的判断；根据第一区域相似度、第二区域相似度、角度影响因素和道路差异性对道路类型进行判断。本发明实施例通过对航拍得到的道路图像对应的频谱图进行分析，达到了对道路类型进行判断的目的，提高了对交叉道路、多层道路和含天桥道路的判断的准确性。
附图说明
14.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
15.图1为本发明一个实施例所提供的一种基于频域空间转换的航拍道路类型识别方法的方法流程图。
具体实施方式
16.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于频域空间转换的航拍道路类型识别方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
17.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
18.本发明实施例提供了一种基于频域空间转换的航拍道路类型识别方法的具体实施方法，该方法适用于航拍图像道路检测场景。利用无人机采集道路图像。为了解决对多层道路和含天桥的道路图像识别效果较差的问题，本发明实施例对航拍得到的道路图像对应的频谱图进行分析，通过提取频谱图的特征达到了对道路类型进行判断的目的，提高了对交叉道路、多层道路和含天桥道路的判断的准确性。
19.下面结合附图具体的说明本发明所提供的一种基于频域空间转换的航拍道路类型识别方法的具体方案。
20.请参阅图1，其示出了本发明一个实施例提供的一种基于频域空间转换的航拍道路类型识别方法的步骤流程图，该方法包括以下步骤：步骤s100，采集道路图像，对道路图像进行傅里叶变换得到频谱图。
21.利用无人机采集道路图像，由于采集到的道路图像为rgb图像，而傅里叶变换只可对单层图像进行变换，故对采集到的道路图像进行灰度化处理得到灰度图像，灰度图像即为可进行傅里叶变换的单层图像。对灰度图像进行傅里叶变换得到对应的频谱图。需要说明的是，傅里叶变换是将空域或者时域转换到频域的工具。
22.步骤s200，提取频谱图中的高亮像素点；划分频谱图为四个区域，根据四个区域内高亮像素点的平均分布程度得到频谱图的第一区域相似度。
23.为了对道路特征进一步的分析，提取频谱图中的高亮区域的特征信息，即利用大津阈值分割法提取频谱图中的高亮像素点。具体的：利用图像的灰度特性，将频谱图分为背景和前景两个部分，高亮区域即前景区域，也即目标区域。
24.背景和前景之间的类间方差越大，说明频谱图中背景和前景部分的差别越大，当部分前景错分为背景或者部分背景错分为前景都会导致这两部分差别变小，故使用类间方差最大的分割意味着错分概率最小。
25.对于频谱图像，将前景和背景的分割阈值记为t，频谱图中属于前景的像素点数量的占比记为，其平均灰度为；属于背景的像素点数量的占比记为，其平均灰度为。图像的总平均灰度记为，类间方差记为。
26.设频谱图的大小为m*n，将频谱图中像素的灰度值小于阈值t的像素点的数量记为，像素的灰度值大于阈值t的像素点的数量记为，则有：，则有：，则有：，则有：，则有：，则有：采用遍历的方法使类间方差最大的阈值t，根据阈值t可提取出频谱图中的高亮像素点，得到了频谱图中高亮区域的信息。
27.由于通常天桥比道路更窄，当道路图像中含有天桥时，道路图像中天桥的像素点数量会小于道路的像素点数量；当交叉的两条道路的像素点数量接近时，反映道路图像中更可能是交叉道路而不是道路和天桥的交叉，即反映道路图像中不含有天桥，故根据高亮像素点的数量来计算频谱图的第一区域相似度。
28.为了后续步骤计算方便，以频谱图的中心点作为坐标轴原点，过坐标轴原点作水平直线为x轴，作竖直方向为y轴，建立直角坐标系。根据坐标轴将频谱图划分为四个区域，
从x轴正方向以逆时针的角度对各区域进行其编号1,2,3,4，得到区域1，区域2，区域3和区域4。
29.根据四个区域内高亮像素点的平均分布程度得到频谱图的第一区域相似度。具体的：将呈对角线排列的区域作为一组区域块，得到两组区域块，即每组区域块包含两个区域。如区域1和区域3属于一组区域块，区域2和区域4属于一组区域块；每组区域块内的像素点反映了道路图像中的一条道路的频点。
30.获取每组区域块中的高亮像素点的区域块像素点数量。所有区域的高亮像素点数量之和与最大区域块像素点数量的比值为频谱图的第一区域相似度。该第一区域相似度的取值范围为；第一区域相似度越趋近于1，道路图像中含有天桥的概率越小，反之第一区域相似度越小，则道路图像中含有天桥的概率越大。
31.步骤s300，计算四个区域内高亮像素点的平均灰度值作为频谱图的第二区域相似度。
32.由于采集到的道路图像中，若同时含有道路和天桥，道路和天桥之间的灰度值往往是不同的，故可以根据高亮像素点的平均灰度值来计算频谱图的第二区域相似度。
33.第二区域相似度的获取步骤，具体的：将呈对角线排列的区域作为一组区域块，得到两组区域块；计算每组区域块中的高亮像素点的平均灰度值。两组区域块对应的平均灰度值之和的一半与最大平均灰度值的比值作为频谱图的第二区域相似度。
34.第二区域相似度的取值范围为，第二区域相似度越大说明对应的两组区域块相似度越大，即对应的采集到的道路图像为交叉道路的概率越大，为道路与天桥交叉的概率越小。
35.步骤s400，获取每个区域的中心点，连接呈对角线排列的区域的中心点得到两条直线；根据两条直线的夹角大小得到角度影响因素。
36.由于道路交叉口处的两条交叉道路往往呈90
°
夹角，而多层道路之间的夹角则没有固定的数值。故对于交叉道路与多层道路之间的判断，可以根据角度得到角度影响因素。需要说明的是，交叉道路的两条道路在同一水平线，如我们常见的十字路口灯；含天桥道路即天桥下方有道路，不在同一水平线，如常见的道路上的人行天桥；多层道路则指不再同一水平线的道路，如立交桥等。
37.首先对四个区域内的高亮像素点进行k-means均值聚类得到各区域对应的中心点，即得到了每个区域的中心点，连接呈对角线排列的中心点得到两条直线。需要说明的是，呈对角线的两个区域属于同一高亮直线区域，如区域1和区域3属于同一高亮直线区域，区域2和区域4属于同一高亮直线区域。
38.连接呈对角线排列的区域的中心点得到两条直线，基于任意直线，获取直线与水平线的逆时针夹角。
39.连接呈对角线排列的区域的中心点得到两条直线，即连接区域1和区域3对应的中心点得到直线，该直线与水平线的逆时针夹角记为，连接区域2和区域4对
应的中心点，该直线与水平线的逆时针夹角记为。频谱图中两个高亮直线形成的角度越接近90
°
，则越能反映道路图像中的道路是交叉道路而不是多层道路。
40.两条直线对应的逆时针夹角的差值的绝对值和预设夹角的比值为角度影响因素。在本发明实施例中预设夹角即为90
°
，在其他实施例中实施者可根据实际情况调整该取值。
41.该角度影响因素的取值范围为[0,1]，当角度影响因素越接近于1，反映道路之间形成的角度越接近90
°
，角度越接近90
°
则为交叉道路的可能性越大。
[0042]
步骤s500，获取道路图像中的重叠区域；基于频谱图，以频谱图中心点为圆点，分别以重叠区域的长的一半和重叠区域的宽的一半为半径，作两个圆；获取两个圆与两条直线的交点作为重要点。
[0043]
交叉道路或者多层道路呈现在道路图像中均会出现相交重叠区域。如交叉路口，是在同一层的道路，那交叉路口相交重叠区域的边缘的灰度变化应该是很小的；而如果是多层道路，它们重叠区域的边缘附近灰度变化就会很大。
[0044]
利用dnn语义分割网络来获得重叠区域的长和宽，该dnn语义分割网络的数据集为真实采集的道路图像；需要分割的像素分为两类，即训练集对应标签标注过程为：单通道的语义标签，道路区域的像素点标注为1，非道路区域的像素点属于背景像素点，标注为0。在本发明实施例中dnn语义分割网络的损失函数为交叉熵损失函数。
[0045]
通过dnn语义分割网络得到了道路图像中的重叠区域，计算重叠区域的长c和宽k。
[0046]
基于频谱图，将以频谱图中心点为圆心，以重叠区域的长的一半c/2为半径得到的圆作为第一圆。将以频谱图中心点为圆心，以重叠区域的宽的一半k/2为半径得到的圆作为第二圆。第一圆与呈对角线位置的中心点相连接得到的直线相交得到重要点，即第一圆与两条直线中任意直线的交点为重要点；第二圆与呈对角线位置的中心点相连接得到的直线相交得到重要点，即第二圆与两条直线中另一直线的交点为重要点。如第一圆与直线会有两个交点记为q1和q3，第二圆与直线也会有两个交点记为q2和q4，则交点q1、q2、q3和q4均为重要点。
[0047]
步骤s600，以重要点为圆点，分别以重叠区域的长的一半和重叠区域的宽的一半为半径作圆，得到重要点对应的重要区域；根据每个重要区域的高亮像素点的灰度值的差异计算道路差异性。
[0048]
分别以重要点q1和q3为圆心，以重叠区域的长的一半c/2为半径作圆；分别以重要点q2和q4为圆心，以重叠区域的宽的一半k/2为半径作圆，其中每个以重要点为圆心得到的圆即为该重要点对应的重要区域，共得到四个重要区域。
[0049]
计算每个重要区域内高亮像素点的平均灰度值和所有重要区域对应的总平均灰度值；根据各重要区域的平均灰度值和总平均灰度值之间的差值得到道路差异性。
[0050]
道路差异性的计算公式为：
其中，为第个重要区域的平均灰度值；为所有重要区域对应的总平均灰度值；为第1个重要区域的高亮像素点的数量；为第2个重要区域的高亮像素点的数量；为第3个重要区域的高亮像素点的数量；为第4个重要区域的高亮像素点的数量。
[0051]
道路差异性的计算公式中代表了以重要点q1为圆心，以重叠区域的长的一半c/2为半径的圆内所有高亮像素点灰度值的累加值。道路差异性实际为4个重要区域内高亮像素值的灰度值的方差。方差越大，道路差异性越大，表征重叠区域的边缘的差异性较大，反映道路图像中很有可能是多层道路，是交叉道路的概率越小。
[0052]
步骤s700，根据第一区域相似度、第二区域相似度、角度影响因素和道路差异性对道路类型进行判断。
[0053]
根据步骤s200~步骤s600得到的第一区域相似度、第二区域相似度、角度影响指标和道路差异对道路类型进行判断。需要说明的是，道路的具体类型包含：含天桥道路，交叉道路和多层道路。具体的：第一区域相似度和第二区域相似度相乘得到总相似度；当总相似度大于等于预设相似度阈值时判断道路图像中不含有天桥，当总相似度小于预设相似度阈值时认为道路类型为含天桥道路。在本发明实施中预设相似度阈值为0.95，在其他实施例中实施者可根据实际情况调整该阈值。
[0054]
当角度影响因素大于等于预设角度因素阈值时判断道路图像中道路为交叉道路，反之，当角度影响因素小于预设角度因素阈值时判断道路图像中道路为多层道路。在本发明实施例中预设角度因素阈值为0.9，在其他实施例中实施者可根据实际情况调整该阈值。
[0055]
根据角度影响因素对道路进行初步判断之后，对于角度影响因素大于等于预设角度因素阈值的交叉道路进一步进行判断。当道路差异性大于等于预设差异性阈值时判断道路图像中道路为多层道路，当道路差异性小于预设差异性阈值时认为道路图像中道路为交叉道路。在本发明实施例中预设差异性阈值为5，在其他实施例中实施者根据实际情况调整该阈值。
[0056]
即完成了对道路类型的判断。
[0057]
综上所述，本发明实施例涉及图像处理技术，首先采集道路图像并得到对应的频谱图；提取频谱图中的高亮像素点；划分频谱图为四个区域，根据四个区域内高亮像素点的平均分布程度得到频谱图的第一区域相似度；计算四个区域内高亮像素点的平均灰度值作为频谱图的第二区域相似度；获取每个区域的中心点，连接呈对角线排列的区域的中心点得到两条直线；根据两条直线的夹角大小得到角度影响因素；获取道路图像中的重叠区域；基于频谱图，以频谱图中心点为圆点，分别以重叠区域的长的一半和重叠区域的宽的一半为半径，作两个圆，获取两个圆与两条直线的交点作为重要点；以重要点为圆点，分别以重叠区域的长的一半和重叠区域的宽的一半为半径作圆，得到重要点对应的重要区域；根据每个重要区域的高亮像素点的灰度值的差异计算道路差异性；根据第一区域相似度、第二区域相似度、角度影响因素和道路差异性对道路类型进行判断。本发明实施例通过对航拍得到的道路图像对应的频谱图进行分析，达到了对道路类型进行判断的目的，提高了对交叉道路、多层道路和含天桥道路的判断的准确性。
[0058]
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0059]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
[0060]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。