一种基于元学习的无人机小样本场景语义分割方法

本发明属于人工智能，具体涉及一种基于元学习的无人机小样本场景语义分割方法。

背景技术：

1、无人机航拍城市场景的语义分割是遥感与计算机视觉领域的重要研究方向，广泛应用于城市规划、交通监测、灾损评估与环境分析等任务。与传统地面视角或卫星视角不同，无人机平台具有飞行高度可调、相机姿态多变和拍摄时间灵活的特点，这使所获取的城市区域图像在像素尺度、地物外观和光照条件上呈现高度的多样性。同一类地物，如道路、建筑物或绿地，在不同航拍条件下可能在图像的绝对尺度、透视形变、纹理亮度和边界清晰度上表现迥异，给高精度语义分割带来严峻挑战。

2、现有技术存在如下问题：现有小样本语义分割方法大多基于自然图像近景场景设计，未充分利用航拍飞行元数据，缺少将高度、倾斜角等信息转化为物理尺度先验以指导分割的有效手段；现有方法通常依靠支持集和查询集的直接纹理相似性进行原型匹配，未有效分离纹理变化与结构边界，容易将建筑阴影、路面纹理和车辆反光误判为语义边界；现有训练元任务构建时多在随机或同类条件下抽取样本，未强制跨飞行条件采样，导致模型训练时面对的表观差异不足，难以适应真实应用中不同飞行高度和姿态带来的域差异；现有原型计算通常对所有支持集像素赋予等权或简单注意力，缺少基于物理尺度的精细化加权，限制了因透视和距离变化带来尺度多样性时的原型质量。

技术实现思路

1、本发明为实现上述目的，通过以下技术方案实现：

2、本发明提供一种基于元学习的无人机小样本场景语义分割方法，包括以下步骤：

3、s1、采集无人机航拍城市场景样本，构建元任务基础数据，包括航拍输入图像、图像航拍输入图像对应的像素级类别标注以及飞行元数据；

4、s2、利用飞行元数据估计地面采样距离，结合航拍输入图像的单目相对深度线索生成绝对尺度先验图，联合颜色梯度和绝对尺度先验图梯度提取结构响应张量，得到结构边界强度图，生成二值化边缘掩膜；

5、s3、根据飞行元数据形成飞行条件簇，在构建训练元任务时强制支持集样本和查询集样本来自不同飞行条件簇，对查询集样本执行尺度对齐和结构边界保护纹理重组，得到支持集增强航拍图像和增强查询航拍图像；

6、s4、构建尺度感知原型分割网络，采用共享特征提取骨干网络提取支持集特征图和查询集特征图，在内层循环中利用支持集标注和绝对尺度先验图生成尺度感知类别原型；计算查询集特征图每个空间位置的查询特征向量与各语义类别尺度感知原型之间的余弦相似度，生成类别先验响应图，将类别先验响应图与查询集特征图、下采样后的结构边界强度图拼接，输入结构引导解码器，同时输出语义分割预测图和预测边界图；在外层循环中利用查询集分割损失和边界损失更新共享特征提取骨干网络和结构引导解码器。

7、步骤s1具体包括：

8、采集城市区域的航拍输入图像，航拍输入图像记为，表示第幅无人机采集的城市区域rgb图像；为每幅航拍输入图像制作语义分割真值标注，语义分割真值标注记为，表示第幅航拍输入图像对应的像素级类别标注；同步保存每幅航拍输入图像对应的飞行元数据，包括飞行高度、相机倾斜角、相机视场角、拍摄时刻和相机成像宽度；对航拍输入图像和语义分割真值标注进行空间尺寸整理，得到尺寸一致的训练图像块和训练标注块；按照飞行区域、飞行时间和飞行条件划分训练样本、验证样本和测试样本。

9、步骤s2中，利用飞行元数据估计地面采样距离：

10、读取航拍输入图像对应的飞行高度、相机倾斜角、相机视场角和相机成像宽度；根据飞行高度、相机视场角、相机倾斜角和相机成像宽度计算地面采样距离；对地面采样距离进行异常值限制。

11、步骤s2中，生成绝对尺度先验图具体包括：

12、将航拍输入图像输入轻量级单目相对深度估计网络，得到相对深度图；

13、在相对深度图中选取中心区域，表示航拍输入图像中心区域的空间位置集合；将相对深度图按中心区域中位数进行归一化，将归一化后的结果乘以地面采样距离，得到绝对尺度先验图；

14、对绝对尺度先验图进行平滑和截断处理，得到稳定绝对尺度先验图。

15、步骤s2中，提取结构响应张量具体包括：

16、预先设定个离散方向，表示方向数量，针对每个离散方向，构造方向梯度算子；

17、对航拍输入图像的rgb三个颜色通道分别计算第个离散方向的方向梯度，并对3个颜色通道的方向梯度取l2范数，得到颜色方向梯度强度；对绝对尺度先验图计算第个离散方向的方向梯度绝对值，得到尺度方向梯度强度；

18、将颜色方向梯度强度和尺度边界增强因子相乘，得到第个离散方向的结构响应结果；

19、沿离散方向维度对结构响应张量取最大值，得到最大结构响应图；对最大结构响应图执行最小最大值归一化，得到结构边界强度图；根据结构边界强度图生成二值化边缘掩膜。

20、步骤s3中，根据每幅航拍输入图像的飞行高度、相机倾斜角、地面采样距离与拍摄时刻构建飞行条件向量，通过k均值聚类将训练样本划分为多个飞行条件簇，构建训练元任务时强制支持集样本与查询集样本来自不同飞行条件簇：

21、为每幅航拍输入图像构建飞行条件向量，表示第幅航拍输入图像对应的飞行条件描述向量；飞行条件向量包括飞行高度、相机倾斜角、地面采样距离、拍摄时刻正弦值和拍摄时刻余弦值；

22、对飞行条件向量中的每个维度执行标准化处理，得到标准化后的飞行条件向量；

23、对全部训练样本对应的飞行条件向量执行k均值聚类，得到个飞行条件簇；

24、构建训练元任务时，从个飞行条件簇中随机选择2个不同飞行条件簇，其中1个飞行条件簇提供支持集样本，另1个飞行条件簇提供查询集样本；从支持集对应飞行条件簇中抽取幅带标注航拍输入图像作为支持集样本，从查询集对应飞行条件簇中抽取幅带标注航拍输入图像作为查询集样本。

25、步骤s3中，对查询集样本执行尺度对齐，计算当前训练元任务支持集样本的参考地面采样距离，表示支持集样本的平均地面采样距离；针对每幅查询集样本，读取查询集地面采样距离；计算尺度缩放比，对尺度缩放比进行范围限制，得到稳定尺度缩放比；根据稳定尺度缩放比对查询集样本执行双线性重采样，得到尺度对齐查询航拍图像；对查询集样本对应的语义分割真值标注、绝对尺度先验图、结构边界强度图和二值化边缘掩膜执行同步空间变换。

26、步骤s3中，结构边界保护纹理重组增强具体包括：

27、从训练样本库中选取参考风格航拍图像；将尺度对齐查询航拍图像和参考风格航拍图像从rgb颜色空间转换到lab颜色空间，得到尺度对齐查询lab图像和参考风格lab图像；根据二值化边缘掩膜确定平坦区域，对尺度对齐查询lab图像在平坦区域内执行通道级统计匹配，得到风格匹配lab图像；将风格匹配lab图像转换回rgb颜色空间，得到纹理风格候选图像；将纹理风格候选图像按比例与尺度对齐查询航拍图像混合，混合强度记为；将纹理风格候选图像与尺度对齐查询航拍图像按混合强度进行加权混合，生成已引入参考风格的查询集候选图像；对二值化边缘掩膜执行高斯平滑，得到软边缘保护掩膜；使用软边缘保护掩膜保留尺度对齐查询航拍图像中的结构边缘，并只在平坦区域采用纹理风格候选图像，得到增强查询航拍图像；对支持集样本执行尺寸调整、颜色归一化和轻量随机扰动，得到支持集增强航拍图像。

28、步骤s4具体包括：

29、构建共享特征提取骨干网络，共享特征提取骨干网络采用mobilenetv3-large作为主干网络；将支持集增强航拍图像输入共享特征提取骨干网络，得到支持集特征图；将增强查询航拍图像输入同一个共享特征提取骨干网络，得到查询集特征图；

30、计算尺度感知初始类别原型：将支持集语义分割真值标注下采样到支持集特征图的空间分辨率，得到下采样支持集标注；将支持集绝对尺度先验图和查询集绝对尺度先验图进行下采样，得到下采样支持集绝对尺度先验图和下采样查询集绝对尺度先验图；对全部查询集样本的下采样查询集绝对尺度先验图在非填充区域内求平均，得到查询集平均尺度；对支持集样本中的每个空间位置计算尺度感知权重；对每个语义类别计算初始类别原型；

31、计算尺度感知类别原型：内层循环迭代从开始，以尺度感知初始类别原型作为第0步类别原型；每一步迭代中，利用当前原型与支持集特征计算注意力权重，再通过加权求和方式更新类别原型，得到；此过程重复次，完成第次迭代后，得到最终的尺度感知类别原型。

32、步骤s4中所述结构引导解码器包括3个卷积块和2个输出头；3个卷积块均包括卷积层、组归一化和relu激活函数；2个输出头为分割输出头和边界输出头；分割输出头包括卷积层、双线性插值上采样以及softmax函数，用于生成查询集语义分割预测图；边界输出头采用卷积层和sigmoid函数，用于生成预测边界图。

33、本发明的优点在于：

34、本发明将飞行高度、相机倾斜角、视场角等飞行元数据转化为物理地面采样距离，与单目相对深度估计网络相结合，生成以“米/像素”为单位的绝对尺度先验图，为语义分割提供统一的跨飞行条件尺度基准；在颜色梯度的基础上引入由绝对尺度先验图导出的尺度边界增强因子，构建多方向结构响应张量，有效抑制路面纹理、阴影与反光造成的伪边缘，突出建筑物轮廓、道路边界和水体岸线等稳定语义结构边界；提出跨飞行条件簇的元任务采样机制，强制支持集样本与查询集样本来自不同飞行高度、相机姿态和光照条件的飞行条件簇，并对查询集执行尺度对齐与结构边界保护下的纹理重组增强，使模型在训练阶段持续面对真实域差异，被迫学习尺度不变和结构稳定的类别表征；提出尺度感知类别原型计算与注意力快速适配机制，为尺度更接近查询集的像素赋予更大权重，并通过内层循环注意力迭代更新原型，同时将结构边界强度图、类别先验响应与查询集特征拼接输入结构引导解码器，提升边界分割精度。