一种基于多视图感知SAM的道路识别方法与流程

本发明属于智能交通，具体涉及一种基于多视图感知sam的道路识别方法。

背景技术：

1、道路区域识别用于从道路场景图像中确定可行驶道路区域，是自动驾驶环境感知、路径规划和车辆控制的基础。由于道路场景存在远近尺度变化、光照变化、遮挡和复杂交叉区域，道路识别模型需要同时利用全局结构和局部细节，才能稳定输出道路区域分割结果。

2、现有卷积神经网络依靠局部卷积提取道路特征，受限于有限感受野，难以充分捕捉长距离依赖关系；扩大感受野或加深网络虽可改善全局建模，但会显著增加参数量和计算量，难以满足车载嵌入式平台的实时性要求。视觉变换器通过自注意力机制建立长距离关联，但处理高分辨率道路图像时计算复杂度呈二次增长，计算开销较高。分割一切模型（segment anything model，sam）作为一种大规模视觉预训练基础模型，具有通用图像分割能力，其图像编码器、提示编码器和掩码解码器可共同完成提示引导的分割处理。然而，将sam直接用于道路识别仍面临诸多挑战。一方面，道路图像与预训练自然图像在数据分布、场景结构及成像特性方面存在显著差异，sam难以将通用分割知识有效迁移至道路场景。另一方面，sam在训练与推理过程中通常依赖人工点、框或掩码等外部提示，在自动驾驶实际部署中无法由人工实时提供，限制了其车载可用性。

3、为缓解对人工提示的依赖，现有方法通过引入额外的提示生成模块或辅助编码器分支实现自动提示，但这些方法往往过度关注提示生成，忽视了原始道路图像中的全局结构信息，导致生成的提示与全局道路结构之间存在割裂，影响最终分割精度。此外，现有适配器多直接采用自然语言处理领域的线性变换结构，对道路图像中复杂多变的尺度变化和空间结构表征能力不足，难以在有限可训练参数量下充分建模道路场景的多尺度特征。

技术实现思路

1、为了解决现有技术中存在的上述问题，本发明提供了一种基于多视图感知sam的道路识别方法。本发明要解决的技术问题通过以下技术方案实现：

2、本发明提供了一种基于多视图感知sam的道路识别方法，包括：

3、获取训练道路图像及其对应的真实道路标签，对所述训练道路图像进行多视图变换，得到包括全局视图和多个局部视图的训练多视图输入数据；

4、将所述训练多视图输入数据输入待训练道路识别模型，通过嵌入多尺度空间聚合适配器的冻结sam图像编码器提取全局视图编码特征和局部视图编码特征；

5、通过局部视图掩码预测器对所述局部视图编码特征进行空间拼接、跨视图融合和上采样，得到局部视图掩码；通过提示编码器对所述局部视图掩码进行编码，得到密集提示特征，并将所述密集提示特征与所述全局视图编码特征融合，得到融合特征；

6、通过掩码解码器对所述融合特征进行双向交叉注意力处理和上采样，得到训练道路识别结果；

7、根据所述训练道路识别结果、所述局部视图掩码和所述真实道路标签确定联合损失，基于所述联合损失更新所述多尺度空间聚合适配器、所述局部视图掩码预测器和所述掩码解码器的参数，得到训练后的道路识别模型；

8、对待识别道路图像进行多视图变换得到待识别多视图输入数据，将所述待识别多视图输入数据输入所述训练后的道路识别模型，得到道路区域识别结果。

9、与现有技术相比，本发明的有益效果：

10、本发明提供的基于多视图感知sam的道路识别方法，通过将训练道路图像转换为全局视图和多个局部视图，使道路识别模型同时获得完整道路结构和局部区域细节；通过在冻结sam图像编码器中嵌入多尺度空间聚合适配器，在无需更新图像编码器原始参数的条件下实现道路领域特征适配；通过对局部视图编码特征进行空间拼接、跨视图融合和上采样生成局部视图掩码，使局部视图之间的空间对应关系转化为可供提示编码器处理的密集提示；通过将密集提示特征与全局视图编码特征融合，并利用掩码解码器进行双向交叉注意力处理，使道路局部提示能够约束全局道路区域解码；通过根据训练道路识别结果、局部视图掩码和真实道路标签确定联合损失并更新模型参数，使训练道路识别结果同时受到局部视图掩码和真实道路标签的约束。最终，本发明可以在不依赖人工交互提示的条件下完成道路区域识别，并降低道路领域适配所需的参数更新范围，从而降低了有限训练数据下的过拟合风险，提升了模型在复杂道路场景下的泛化能力与部署效率。

11、以下将结合附图及实施例对本发明做进一步详细说明。

1.一种基于多视图感知sam的道路识别方法，其特征在于，包括：

2.根据权利要求1所述的基于多视图感知sam的道路识别方法，其特征在于，所述对所述训练道路图像进行多视图变换，得到包括全局视图和多个局部视图的训练多视图输入数据，包括：

3.根据权利要求1所述的基于多视图感知sam的道路识别方法，其特征在于，所述多尺度空间聚合适配器包括自适应归一化层、下投影层、多尺度空间聚合模块和上投影层；所述通过嵌入多尺度空间聚合适配器的冻结sam图像编码器提取全局视图编码特征和局部视图编码特征，包括：

4.根据权利要求3所述的基于多视图感知sam的道路识别方法，其特征在于，所述通过所述多尺度空间聚合模块和所述上投影层依次处理所述下投影特征，得到上投影特征，包括：

5.根据权利要求1所述的基于多视图感知sam的道路识别方法，其特征在于，所述局部视图掩码预测器包括特征拼接模块、门控多层感知机及上采样模块；所述通过局部视图掩码预测器对所述局部视图编码特征进行空间拼接、跨视图融合和上采样，得到局部视图掩码，包括：

6.根据权利要求1所述的基于多视图感知sam的道路识别方法，其特征在于，所述通过提示编码器对所述局部视图掩码进行编码，得到密集提示特征，并将所述密集提示特征与所述全局视图编码特征融合，得到融合特征，包括：

7.根据权利要求1所述的基于多视图感知sam的道路识别方法，其特征在于，通过掩码解码器对所述融合特征进行双向交叉注意力处理，包括：

8.根据权利要求7所述的基于多视图感知sam的道路识别方法，其特征在于，通过掩码解码器对所述融合特征进行上采样，得到训练道路识别结果，包括：

9.根据权利要求1所述的基于多视图感知sam的道路识别方法，其特征在于，所述根据所述训练道路识别结果、所述局部视图掩码和所述真实道路标签确定联合损失，包括：

10.根据权利要求1所述的基于多视图感知sam的道路识别方法，其特征在于，所述基于所述联合损失更新所述多尺度空间聚合适配器、所述局部视图掩码预测器和所述掩码解码器的参数，得到训练后的道路识别模型，包括：