无人机建筑航拍图神经网络自动校色方法与流程

1.本发明涉及无人机对建筑物的镜头成像的色彩校正领域，是针对无人机在不同光照、环境下拍摄的建筑物照片，进行色彩还原和矫正的方法。


背景技术：

2.因无人机具有高空拍摄、操作简单、价格实惠、携带方便等特点，已成为城市规划、建筑设计、景观设计等行业的重要测绘工具。通过无人机，设计师能够准确掌握并获取城市的地形、地貌、建筑等三维数据，方便后续的现状分析和方案设计。
3.在城市建筑色彩设计领域，除了需要获取城市建筑的三维数据外，还需要得到城市建筑的色彩数据。在城市尺度下，无人机的大规模、大批量拍摄模式，可让数据采集的效率大大提高。然而，无人机因飞行高度、天气情况、成像模式等因素，使得镜头拍摄的色彩与实际物体的色彩，存在较大差值。对于需要精准色彩数值的城市建筑色彩专业来说，当下的无人机获得的色彩数据，还无法被采用。
4.所以，如何对无人机拍摄的建筑照片进行色彩校正，在各种天气、环境下飞行，都能获取准确、可靠的色彩数据，是当下需要解决的重要问题。
5.需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素：

6.有鉴于此，本发明提供一种无人机建筑航拍图神经网络自动校色方法。通过设计由光线补偿、图像分割、色彩真值自动提取、卷积校色神经网络组成的校色算法，在减少环境光线变化带来的噪声的同时，可以自动、批量化地提取建筑物主色调和其对应的标准色环真值，并组建校色数据集训练卷积校色神经网络模型，从而实现高鲁棒、高效率、高精度的无人机建筑航拍图校色。
7.本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
8.根据本公开实施例的一个方面，提供了一种无人机建筑航拍图神经网络自动校色方法，包括以下五个步骤：
9.步骤一：使用无人机多次拍摄建筑物及标准色环得到待校色图像集，对待校色图像集中的图像进行光照补偿处理；
10.步骤二：使用基于transformer的detr神经网络对待校色图像集中光照补偿后的图像作图像分割处理，分割出建筑物区域，并通过降采样算法和聚类算法提取建筑物主色调；
11.步骤三：使用霍夫变换算法识别待校色图像集中光照补偿后的图像的标准色环轮廓，提取标准色环上与建筑物主色调对应的色彩真值；
12.步骤四：训练阶段将所有待校色图像集中光照补偿后的图像的建筑物主色调与其
对应的标准色环色彩真值制作成校色数据集，建筑物主色调作为训练数据，与之对应的标准色环色彩真值作为训练标签，以此训练卷积校色神经网络模型；
13.步骤五：推理阶段对待校色图像进行光照补偿处理，使用detr神经网络分割出待校色图像中的建筑物区域，使用训练好的卷积校色神经网络模型对建筑物区域进行校色，得到校色后的无人机建筑航拍图。
14.针对步骤一中的航拍操作与光照补偿，将标准色环摆放至与建筑物同一视场的位置，并操作无人机多次拍摄不同建筑物与标准色环的不同方位的航拍合照，再进行如下光照补偿处理：
15.首先用hsl色彩空间坐标表征图像上的像素点，并计算整个图像的光照增益，如公式(1)所示：
[0016][0017]
其中l
i
表示图像i的光照增益，x＝1，2...，width
i
，y＝1，2，...，height
i
分别为像素的横纵坐标，width
i
、height
i
分别表示图像i的宽度与高度，l
i(x，y)
表示图像坐标为(x，y)的像素点在hsl色彩空间下的l坐标；
[0018]
基于整个图像集计算平均光照增益，如公式(2)所示：
[0019][0020]
其中l
average
表示整个图像集的平均光照增益，n表示图像集中图像总数；
[0021]
然后基于图像集中所有图像在hsl色彩空间下的光照增益l
i
与图像集的平均光照增益l
average
计算放缩比例如公式(3)所示：
[0022][0023]
并将图像中所有像素点在hsl色彩空间下的l坐标乘以放缩比例得到图像集光照均衡的待校色图像；
[0024]
此后将图像集光照均衡的待校色图像i分割为w
×
h个相同的矩形子区域，矩形子区域的高为宽为并计算第j个矩形子区域中的光照增益l
ij
，计算方法同公式(1)，由此得到尺寸为w
×
h的分区光照矩阵s；将矩阵s逐元素地减去整个图像的光照增益l
i
，得到分区光照差值矩阵e
s
，如公式(4)所示：
[0025]
e
s
＝s
‑
l
i
×
i
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0026]
其中i为单位矩阵；
[0027]
用双立方差值法将分区光照差值矩阵e
s
扩充成与分区光照矩阵s等尺寸的光照差值矩阵e；将原图像在hsl色彩空间下l坐标的二维矩阵ml
i
减去光照差值矩阵e，得到全图光照均衡图像。
[0028]
在步骤二中，本方法使用detr神经网络模型在现有航拍图建筑物分割数据集上进行训练，并在推理阶段迁移到无人机航拍图建筑物分割的任务上进行推理；在推理阶段，基于transformer的detr神经网络模型使用resnet网络对输入图像进行卷积操作，获取信息丰富的二维特征图；将二维位置信息嵌入二维特征图并将特征图重构为一维特征向量，输
入多头注意力机制(multi
‑
head attention mechanism)的transformer模块；一维特征向量经由transformer模块的编码器编码、解码器解码得到预测特征向量，重构为二维预测特征图，并通过resnet网络对所得二维预测特征图进行稀疏卷积操作，扩张特征图尺寸，压缩特征图通道，得到最终的航拍图建筑物分割预测结果。
[0029]
进一步地，对于分割出的建筑物区域的像素集，先使用平均池化算法对像素集构成的二维分割图进行降采样处理，再进行无监督的层次聚类，获取建筑物主色调。
[0030]
进一步地，层次聚类采用chameleon聚类算法，基于属于建筑物的像素集构造一个knn(k
‑
nearest
‑
neighbor)图，并通过hmetis算法基于最小化割边的权重之和将knn图分割为m个子图{c1，c2，...，c
m
}；然后，chameleon聚类算法以相对互连性和相对近似性来度量子图之间的综合相似性；子图c
i
与c
j
的相对互连性度量ri(c
i
，c
j
)如公式(5)所示：
[0031][0032]
其中ec(c
i
，c
j
)是连接两个子图c
i
与c
j
的边的权重之和；ec(c
i
)是将子图c
i
划分为两个大小相等部分时所用割边的权重之和的最小值；子图c
i
与c
j
的相对近似性度量rc(c
i
，c
j
)如公式(6)所示：
[0033][0034]
其中是连接两个子图c
i
与c
j
的边的平均权重；是将子图c
i
划分为两个大小相等部分时所用割边的平均权重的最小值；|c
i
|是子图c
i
的模；子图c
i
与c
j
的综合相似性度量r如公式(7)所示：
[0035]
r＝ri(c
i
，c
j
)
×
rc(c
i
，c
j
)
α
ꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0036]
其中α是指数系数；
[0037]
chameleon聚类算法不断地合并综合相似性最大的两个子图，直到子图的最大综合相似性低于阈值t
s
，此时属于建筑物的像素集已被划分成若干像素簇，对每个像素簇计算其中像素的rgb均值，得到建筑物的若干个主色调rgb值。
[0038]
在步骤三中，霍夫变换首先使用边缘检测算法获取图像上的所有边缘，将边缘点置1，非边缘点置0；已知在图像的笛卡尔坐标系中，若一圆的圆心坐标为(a，b)，半径为r，则其曲线方程为(x
‑
a)2 (y
‑
b)2＝r2；而对于边缘上一点(x0，y0)，假设其处于半径为r的圆上，则所有过该点的圆之圆心所在的参数空间方程表示为(a
‑
x0)2 (b
‑
y0)2＝r2，即abr三维坐标系中的点对应xy平面上的一个圆；在abr三维坐标系中画出所有xy平面边缘上的点对应的圆所映射的圆锥，其交点数量大于预先设定的阈值的区域，即是图像上的一个圆；由此，霍夫变换算法得到圆形标准色环在图像上的圆心和半径。
[0039]
创建用于旋转遍历圆形标准色环的矩形窗口，以其一端绕色环圆心以固定步长旋转一周；计算旋转角度θ对应的矩形窗口内像素的平均值，记为m
θ
；找到像素均值的模取最小值时对应的旋转角度，并将该旋转角度θ0记为零点，其他旋转位置相应地以该零点为参考零点，以顺时针方向来记录角度，范围0度～360度；在所有旋转所得的像素均值中，找到与步骤二所得到的建筑物主色调rgb值欧氏距离最小时所对应的旋转角度，由此得到建筑物主色调对应的色彩真值。
[0040]
在步骤四中，卷积校色神经网络模型首先将建筑物主色调按照对应的二维位置映射到建筑物的分割结果上，其余位置设为黑色，以此获得只包含主色调的输入训练图像；相应地，与主色调对应的色彩真值也按照对应的二维位置映射到建筑物的分割结果上，其余位置设为黑色，以此获得只包含色彩真值的标签图像；其中卷积校色神经网络模型的校色特征提取层采用5层resnet模块压缩输入图像尺寸，从输入图像提取特征，再通过图像恢复层进行pixelshuffle上采样，恢复原始分辨率，并根据损失函数与标签图像计算校色损失，由此训练得到用于校色的卷积校色神经网络模型。
[0041]
本发明的有益效果在于：
[0042]
1.本发明设计了光照补偿流程，可以实现图像之间及图像内的光照均衡，有效减少了因不同时间不同位置航拍带来的光照不均对色彩校正的影响。
[0043]
2.基于detr神经网络与霍夫变换，设计了建筑物主色调与对应标准色环色彩真值的自动提取算法，自动从航拍图中提取建筑物主色调和对应的标准色环色彩真值，构建分别以建筑物主色调和标准色环色彩真值作为训练数据和训练标签的校色数据集，有效节省了不必要的人工工作量，提高整体无人机建筑航拍图自动校色的效率。
[0044]
3.设计卷积校色神经网络模型进行校色，相比传统多项式校色及多层感知机校色，本发明对建筑物校色前后色彩空间的映射规律有着更高的特征表达能力，有效提高校色精度与鲁棒性。
[0045]
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0046]
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0047]
图1示出了无人机建筑航拍图神经网络自动校色方法训练阶段流程图；
[0048]
图2示出了无人机建筑航拍图神经网络自动校色方法推理阶段流程图；
[0049]
图3示出了用于建筑物分割的detr神经网络的结构图；
[0050]
图4示出了用于校色的卷积校色神经网络的结构图；
[0051]
图5示出了本发明无人机建筑航拍图神经网络自动校色方法与其他多项式校色方法、多层感知机校色方法的校色性能表现对比。
具体实施方式
[0052]
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
[0053]
图1示出了无人机建筑航拍图神经网络自动校色方法的训练阶段流程图，对应地，图2示出了该校色方法的推理阶段流程图。根据本公开实施例的一个方面，提供了一种无人机建筑航拍图神经网络自动校色方法，包括以下五个步骤：
[0054]
步骤一：使用无人机多次拍摄建筑物及标准色环得到待校色图像集，对待校色图像集中的图像进行光照补偿处理；
[0055]
步骤二：使用基于transformer的detr神经网络对待校色图像集中光照补偿后的图像作图像分割处理，分割出建筑物区域，并通过降采样算法和聚类算法提取建筑物主色调；
[0056]
步骤三：使用霍夫变换算法识别待校色图像集中光照补偿后的图像的标准色环轮廓，提取标准色环上与建筑物主色调对应的色彩真值；
[0057]
步骤四：训练阶段将所有待校色图像集中光照补偿后的图像的建筑物主色调与其对应的标准色环色彩真值制作成校色数据集，建筑物主色调作为训练数据，与之对应的标准色环色彩真值作为训练标签，以此训练卷积校色神经网络模型；
[0058]
步骤五：推理阶段对待校色图像进行光照补偿处理，使用detr神经网络分割出待校色图像中的建筑物区域，使用训练好的卷积校色神经网络模型对建筑物区域进行校色，得到校色后的无人机建筑航拍图。
[0059]
以下依次对各个步骤进行详细介绍。
[0060]
针对步骤一中的航拍操作与光照补偿，将标准色环摆放至与建筑物同一视场的位置，并操作无人机多次拍摄不同建筑物与标准色环的不同方位的航拍合照，再进行如下光照补偿处理：
[0061]
首先用hsl色彩空间坐标表征图像上的像素点，并计算整个图像的光照增益，如公式(1)所示：
[0062][0063]
其中l
i
表示图像i的光照增益，x＝1，2...，width
i
，y＝1，2，...，height
i
分别为像素的横纵坐标，width
i
、height
i
分别表示图像i的宽度与高度，l
i(x，y)
表示图像坐标为(x，y)的像素点在hsl色彩空间下的l坐标；
[0064]
基于整个图像集计算平均光照增益，如公式(2)所示：
[0065][0066]
其中l
average
表示整个图像集的平均光照增益，n表示图像集中图像总数；
[0067]
然后基于图像集中所有图像在hsl色彩空间下的光照增益l
i
与图像集的平均光照增益l
average
计算放缩比例如公式(3)所示：
[0068][0069]
并将图像中所有像素点在hsl色彩空间下的l坐标乘以放缩比例得到图像集光照均衡的待校色图像；
[0070]
此后将图像集光照均衡的待校色图像i分割为w
×
h个相同的矩形子区域，矩形子区域的高为宽为并计算第j个矩形子区域中的光照增益l
ij
，计算方法同公式(1)，由此得到尺寸为w
×
片的分区光照矩阵s；将矩阵s逐元素地减去整个图像的光照增益l
i
，得到分区光照差值矩阵e
s
，如公式(4)所示：
[0071]
e
s
＝s
‑
l
i
×
i
ꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0072]
其中i为单位矩阵；
[0073]
用双立方差值法将分区光照差值矩阵e
s
扩充成与分区光照矩阵s等尺寸的光照差值矩阵e；将原图像在hsl色彩空间下l坐标的二维矩阵ml
i
减去光照差值矩阵e，得到全图光照均衡图像。
[0074]
在步骤二中，本方法使用detr神经网络模型在现有航拍图建筑物分割数据集上进行训练，并在推理阶段迁移到无人机航拍图建筑物分割的任务上进行推理。现有航拍图建筑物分割数据集可采用uavid、the aeroscapes等。
[0075]
图3示出了用于建筑物分割的detr神经网络的结构图；在推理阶段，基于transformer的detr神经网络模型使用resnet网络对输入图像进行卷积操作，获取信息丰富的二维特征图；将二维位置信息嵌入二维特征图并将特征图重构为一维特征向量，输入多头注意力机制(multi
‑
head attention mechanism)的transformer模块；一维特征向量经由transformer模块的编码器编码、解码器解码得到预测特征向量，重构为二维预测特征图，并通过resnet网络对所得二维预测特征图进行稀疏卷积操作，扩张特征图尺寸，压缩特征图通道，得到最终的航拍图建筑物分割预测结果。
[0076]
对于分割出的建筑物区域的像素集，先使用平均池化算法对像素集构成的二维分割图进行降采样处理，再进行无监督的层次聚类，获取建筑物主色调。层次聚类采用chameleon聚类算法，基于属于建筑物的像素集构造一个knn(k
‑
nearest
‑
neighbor)图，并通过hmetis算法基于最小化割边的权重之和将knn图分割为m个子图{c1，c2，...，c
m
}，本实施例中m取40；然后，chameleon聚类算法以相对互连性和相对近似性来度量子图之间的综合相似性；子图c
i
与c
j
的相对互连性度量ri(c
i
，c
j
)如公式(5)所示：
[0077][0078]
其中ec(c
i
，c
j
)是连接两个子图c
i
与c
j
的边的权重之和；ec(c
i
)是将子图c
i
划分为两个大小相等部分时所用割边的权重之和的最小值；子图c
i
与c
j
的相对近似性度量rc(c
i
，c
j
)如公式(6)所示：
[0079][0080]
其中是连接两个子图c
i
与c
j
的边的平均权重；是将子图c
i
划分为两个大小相等部分时所用割边的平均权重的最小值；|c
i
|是子图c
i
的模；子图c
i
与c
j
的综合相似性度量r如公式(7)所示：
[0081]
r＝ri(c
i
，c
j
)
×
rc(c
i
，c
j
)
α
ꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0082]
其中α是指数系数，本实施例取1，使相对互连性和相对近似性对图分割同等重要；
[0083]
chameleon聚类算法不断地合并综合相似性最大的两个子图，直到子图的最大综合相似性低于阈值t
s
，本实施例中t
s
取0.1，此时属于建筑物的像素集已被划分成若干像素簇，对每个像素簇计算其中像素的rgb均值，得到建筑物的若干个主色调rgb值。
[0084]
在步骤三中，霍夫变换首先使用边缘检测算法获取图像上的所有边缘，将边缘点置1，非边缘点置0，其中边缘检测算法可以采用canny算法；已知在图像的笛卡尔坐标系中，
若一圆的圆心坐标为(a，b)，半径为r，则其曲线方程为(x
‑
a)2 (y
‑
b)2＝r2；而对于边缘上一点(x0，y0)，假设其处于半径为r的圆上，则所有过该点的圆之圆心所在的参数空间方程表示为(a
‑
x0)2 (b
‑
y0)2＝r2，即abr三维坐标系中的点对应xy平面上的一个圆；在abr三维坐标系中画出所有xy平面边缘上的点对应的圆所映射的圆锥，其交点数量大于预先设定的阈值的区域，即是图像上的一个圆；由此，霍夫变换算法得到圆形标准色环在图像上的圆心和半径。
[0085]
创建用于旋转遍历圆形标准色环的矩形窗口，以其一端绕色环圆心以固定步长旋转一周，本实施例中设置矩形窗口宽度为3像素、高度为色环半径，步长设置为1度；计算旋转角度θ对应的矩形窗口内像素的平均值，记为m
θ
；找到像素均值的模取最小值时对应的旋转角度，并将该旋转角度θ0记为零点，其他旋转位置相应地以该零点为参考零点，以顺时针方向来记录角度，范围0度～360度；在所有旋转所得的像素均值中，找到与步骤二所得到的建筑物主色调rgb值欧氏距离最小时所对应的旋转角度，由此得到建筑物主色调对应的色彩真值。
[0086]
图4示出了卷积校色神经网络的结构图；卷积校色神经网络模型首先将建筑物主色调按照对应的二维位置映射到建筑物的分割结果上，其余位置设为黑色，以此获得只包含主色调的输入训练图像；相应地，与主色调对应的色彩真值也按照对应的二维位置映射到建筑物的分割结果上，其余位置设为黑色，以此获得只包含色彩真值的标签图像；其中卷积校色神经网络模型的校色特征提取层采用5层resnet模块压缩输入图像尺寸，从输入图像提取特征，再通过图像恢复层进行pixelshuffle上采样，恢复原始分辨率，并根据损失函数与标签图像计算校色损失，本实施例取mse均方误差损失函数，由此训练得到用于校色的卷积校色神经网络模型。
[0087]
图5示出了本发明无人机建筑航拍图神经网络自动校色方法与其他多项式校色方法、多层感知机校色方法的校色性能表现对比，以rmse和拟合优度r作为评价指标，可以看出，本发明方法具有较低的rmse和较高的拟合优度r，可以实现无人机建筑航拍图的校色。
[0088]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0089]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。