无人机建筑航拍图神经网络自动校色方法与流程

技术特征：
1.一种无人机建筑航拍图神经网络自动校色方法，其特征在于，包括以下步骤：步骤一：使用无人机多次拍摄建筑物及标准色环得到待校色图像集，对待校色图像集中的图像进行光照补偿处理；步骤二：使用基于transformer的detr神经网络对待校色图像集中光照补偿后的图像作图像分割处理，分割出建筑物区域，并通过降采样算法和聚类算法提取建筑物主色调；步骤三：使用霍夫变换算法识别待校色图像集中光照补偿后的图像的标准色环轮廓，提取标准色环上与建筑物主色调对应的色彩真值；步骤四：训练阶段将所有待校色图像集中光照补偿后的图像的建筑物主色调与其对应的标准色环色彩真值制作成校色数据集，建筑物主色调作为训练数据，与之对应的标准色环色彩真值作为训练标签，以此训练卷积校色神经网络模型；步骤五：推理阶段对待校色图像进行光照补偿处理，使用detr神经网络分割出待校色图像中的建筑物区域，使用训练好的卷积校色神经网络模型对建筑物区域进行校色，得到校色后的无人机建筑航拍图。2.如权利要求1所述的无人机建筑航拍图神经网络自动校色方法，其特征在于，所述步骤一中，将标准色环摆放至与建筑物同一视场的位置，并操作无人机多次拍摄不同建筑物与标准色环的不同方位的航拍合照，再对航拍合照进行光照补偿处理。3.如权利要求1所述的无人机建筑航拍图神经网络自动校色方法，其特征在于，所述步骤一中，所述光照补偿处理具体为：首先用hsl色彩空间坐标表征图像上的像素点，并计算整个图像的光照增益，如公式(1)所示：其中l
i
表示图像i的光照增益，x＝1，2...，width
i
，y＝1，2，...，height
i
分别为像素的横纵坐标，width
i
、height
i
分别表示图像i的宽度与高度，l
i(x，y)
表示图像坐标为(x，y)的像素点在hsl色彩空间下的l坐标；基于整个图像集计算平均光照增益，如公式(2)所示：其中l
average
表示整个图像集的平均光照增益，n表示图像集中图像总数；然后基于图像集中所有图像在hsl色彩空间下的光照增益l
i
与图像集的平均光照增益l
average
计算放缩比例如公式(3)所示：并将图像中所有像素点在hsl色彩空间下的l坐标乘以放缩比例得到图像集光照均衡的待校色图像；此后将图像集光照均衡的待校色图像i分割为w
×
h个相同的矩形子区域，矩形子区域的高为宽为并计算第j个矩形子区域中的光照增益l
ij
，计算方法同公式
(1)，由此得到尺寸为w
×
h的分区光照矩阵s；将矩阵s逐元素地减去整个图像的光照增益l
i
，得到分区光照差值矩阵e
s
，如公式(4)所示：e
s
＝s
‑
l
i
×
i
ꢀꢀꢀꢀꢀ
(4)其中i为单位矩阵；用双立方差值法将分区光照差值矩阵e
s
扩充成与分区光照矩阵s等尺寸的光照差值矩阵e；将原图像在hsl色彩空间下l坐标的二维矩阵ml
i
减去光照差值矩阵e，得到全图光照均衡图像。4.如权利要求1所述的无人机建筑航拍图神经网络自动校色方法，其特征在于，所述步骤二中，detr神经网络模型在现有航拍图建筑物分割数据集上进行训练，并在推理阶段迁移到无人机航拍图建筑物分割的任务上进行推理；在推理阶段，基于transformer的detr神经网络模型使用resnet网络对输入图像进行卷积操作，获取信息丰富的二维特征图；将二维位置信息嵌入二维特征图并将特征图重构为一维特征向量，输入多头注意力机制的transformer模块；一维特征向量经由transformer模块的编码器编码、解码器解码得到预测特征向量，重构为二维预测特征图，并通过resnet网络对所得二维预测特征图进行稀疏卷积操作，扩张特征图尺寸，压缩特征图通道，得到最终的航拍图建筑物分割预测结果。5.如权利要求1所述的无人机建筑航拍图神经网络自动校色方法，其特征在于，所述步骤二中，对于分割出的建筑物区域的像素集，先使用平均池化算法对像素集构成的二维分割图进行降采样处理，再进行无监督的层次聚类，获取建筑物主色调。6.如权利要求5所述的无人机建筑航拍图神经网络自动校色方法，其特征在于，所述步骤二中，所述层次聚类采用chameleon聚类算法，基于属于建筑物的像素集构造一个knn图，并通过hmetis算法基于最小化割边的权重之和将knn图分割为m个子图{c1，c2，...，c
m
}；以相对互连性和相对近似性来度量子图之间的综合相似性；子图c
i
与c
j
的相对互连性度量ri(c
i
，c
j
)如公式(5)所示：其中ec(c
i
，c
j
)是连接两个子图c
i
与c
j
的边的权重之和；ec(c
i
)是将子图c
i
划分为两个大小相等部分时所用割边的权重之和的最小值；子图c
i
与c
j
的相对近似性度量rc(c
i
，c
j
)如公式(6)所示：其中是连接两个子图c
i
与c
j
的边的平均权重；是将子图c
i
划分为两个大小相等部分时所用割边的平均权重的最小值；|c
i
|是子图c
i
的模；子图c
i
与c
j
的综合相似性度量r如公式(7)所示：r＝ri(c
i
，c
j
)
×
rc(c
i
，c
j
)
α
ꢀꢀꢀꢀꢀ
(7)其中α是指数系数；chameleon聚类算法不断地合并综合相似性最大的两个子图，直到子图的最大综合相似性低于阈值t
s
，此时属于建筑物的像素集已被划分成若干像素簇，对每个像素簇计算其中像素的rgb均值，得到建筑物的若干个主色调rgb值。
7.如权利要求1所述的无人机建筑航拍图神经网络自动校色方法，其特征在于，所述步骤三中，霍夫变换首先使用边缘检测算法获取图像上的所有边缘，将边缘点置1，非边缘点置0；已知在图像的笛卡尔坐标系中，若一圆的圆心坐标为(a，b)，半径为r，则其曲线方程为(x
‑
a)2 (y
‑
b)2＝r2；而对于边缘上一点(x0，y0)，假设其处于半径为r的圆上，则所有过该点的圆之圆心所在的参数空间方程表示为(a
‑
x0)2 (b
‑
y0)2＝r2，即abr三维坐标系中的点对应xy平面上的一个圆；在abr三维坐标系中画出所有xy平面边缘上的点对应的圆所映射的圆锥，其交点数量大于预先设定的阈值的区域，即是图像上的一个圆；由此，霍夫变换算法得到圆形标准色环在图像上的圆心和半径；创建用于旋转遍历圆形标准色环的矩形窗口，以其一端绕色环圆心以固定步长旋转一周；计算旋转角度θ对应的矩形窗口内像素的平均值，记为m
θ
；找到像素均值的模取最小值时对应的旋转角度，并将该旋转角度θ0记为零点，其他旋转位置相应地以该零点为参考零点，以顺时针方向来记录角度，范围0度～360度；在所有旋转所得的像素均值中，找到与步骤二所得到的建筑物主色调rgb值欧氏距离最小时所对应的旋转角度，由此得到建筑物主色调对应的色彩真值。8.如权利要求1所述的无人机建筑航拍图神经网络自动校色方法，其特征在于，所述步骤四中，所述卷积校色神经网络模型首先将建筑物主色调按照对应的二维位置映射到建筑物的分割结果上，其余位置设为黑色，以此获得只包含主色调的输入训练图像；相应地，与主色调对应的色彩真值也按照对应的二维位置映射到建筑物的分割结果上，其余位置设为黑色，以此获得只包含色彩真值的标签图像；其中卷积校色神经网络模型的校色特征提取层采用5层resnet模块压缩输入图像尺寸，从输入图像提取特征，再通过图像恢复层进行pixelshuffle上采样，恢复原始分辨率，并根据损失函数与标签图像计算校色损失，由此训练得到用于校色的卷积校色神经网络模型。

技术总结
本发明公开了一种无人机建筑航拍图神经网络自动校色方法。该方法包括：使用无人机多次拍摄建筑物及标准色环得到待校色图像集，并对图像进行光照补偿处理；使用DETR神经网络对待校色图像集中的图像作图像分割处理，分割出建筑物区域，并通过降采样算法和聚类算法提取建筑物主色调；识别待校色图像中标准色环的轮廓，并提取标准色环上与建筑物主色调对应的色彩真值；训练阶段将建筑物主色调作为训练数据，对应的标准色环色彩真值作为训练标签，制作校色数据集，训练并得到卷积校色神经网络模型；推理阶段对待校色图像进行光照补偿，使用DETR神经网络分割出建筑物区域，使用卷积校色神经网络模型对建筑物区域进行校色，得到校色后的无人机建筑航拍图。后的无人机建筑航拍图。后的无人机建筑航拍图。


技术研发人员：李如诗
受保护的技术使用者：中国美术学院
技术研发日：2021.08.20
技术公布日：2021/10/23