面向无人机跨视角指挥的语义引导模糊点分割方法

摘要: 本发明涉及计算机视觉,尤其涉及一种面向无人机跨视角指挥的语义引导模糊点分割方法。背景技术:1、随着无人机平台、机载视觉感知设备以及人机交互技术的发展,无人机已逐...
面向无人机跨视角指挥的语义引导模糊点分割方法

本发明涉及计算机视觉,尤其涉及一种面向无人机跨视角指挥的语义引导模糊点分割方法。

背景技术:

1、随着无人机平台、机载视觉感知设备以及人机交互技术的发展,无人机已逐步应用于道路巡查、违停取证、安防巡检、应急搜救等场景。在上述应用中,操作者通常需要快速、准确地向无人机指定目标对象,以便无人机后续执行目标确认、定位、跟踪、观测位姿规划或图像采集等任务。相比于复杂的目标编号、坐标输入或全自动识别方式,利用点选位置结合语言描述的交互方式具有操作直观、输入成本低和目标指向明确等特点,因而适合用于无人机人机协同目标指引。

2、现有交互式目标分割方法通常利用点提示、框提示或掩码提示引导模型在图像中分割目标。其中,以点提示为代表的交互方式操作简单,已被广泛应用于基于视觉基础模型的交互式分割任务。现有方法通常假设用户输入的提示点能够准确落入目标对象内部,并根据提示点所在位置提取目标相关特征,进而生成对应的目标分割掩码。在提示点位置准确的情况下,该类方法能够获得较好的分割结果。

3、但是,在无人机应用场景中,提示点往往难以始终保持较高的位置精度。一方面,当操作者直接在无人机机载画面中进行点选时,无人机飞行造成的图像抖动、远距离小目标、网络传输时延、触控误差以及人工操作误差等因素均可能导致点选位置偏离目标实际区域。另一方面,在地面—空中协同、增强现实辅助指挥或多无人机协同场景中,操作者可能在地面相机、增强现实设备、固定监控设备、其他无人机图像或历史图像中指定目标,此时还需要将源视角中的目标位置映射至目标无人机当前视角。由于不同视角之间通常存在明显的尺度差异、姿态差异、遮挡关系和深度变化,且跨视角映射过程还可能受到相机标定误差、深度估计误差、视差、姿态漂移、目标运动、时间不同步以及传感器噪声等因素影响,因此映射后的提示点可能偏离真实目标位置。

4、上述偏差并不一定表现为简单的随机扰动,而可能具有一定的方向性和系统性。提示点在发生偏移后,可能落在目标边界附近,也可能落入背景区域或相邻干扰目标区域。在车辆密集停放、道路设施重复分布或场景中存在多个相似目标时,仅依赖提示点的几何位置容易产生目标歧义。

5、现有基于点提示的交互式分割方法通常对提示点位置较为敏感,缺乏针对提示点系统性偏移的显式校正机制。当提示点偏离真实目标并落入其他物体区域时,模型容易优先响应提示点所在位置,从而分割出错误对象。例如,在无人机违停车辆巡查场景中,操作者实际希望选择某一红色目标车辆,但跨视角映射后的点提示可能落在相邻车辆区域,此时仅依据点位置进行分割容易将相邻车辆识别为待分割目标。

6、为降低点位置误差对分割结果的影响,部分现有方法通过对提示点施加随机扰动、扩大搜索范围或采用局部窗口等方式增强模型对噪声提示的适应能力。然而,该类方法通常主要针对独立随机噪声进行处理,难以充分反映无人机跨视角目标指引过程中由深度、标定、视差和姿态等因素形成的结构化位置偏差。此外,采用固定局部窗口进行特征搜索时,其感受范围通常预先确定,难以适应不同飞行高度、不同视角变化以及不同映射误差幅度所造成的提示漂移;采用全局特征交互方式虽然能够扩大搜索范围,但在包含大量相似车辆、道路设施或背景结构的场景中,容易受到无关区域干扰,并增加计算开销。

7、另一方面,文本描述或视觉参考样例能够提供目标类别、颜色、外观属性、纹理特征以及空间关系等语义信息。例如,操作者可以使用“道路右侧的红色车辆”等文本描述待分割目标,也可以在源视角图像中圈选目标对象作为视觉参考。现有语义分割或指代表达分割方法能够利用上述语义信息进行目标定位,但如果完全依赖语义信息在整幅图像范围内搜索,在存在多个外观相似或语义相同目标的密集场景中,同样容易产生歧义。因此,粗略空间位置与目标语义信息具有互补关系:空间位置可以限制候选区域,语义信息可以在候选区域中进一步区分真实目标与相邻干扰目标。

8、因此,如何在提示点存在偏移甚至落入背景或相邻目标区域的情况下,同时利用提示点所提供的近似空间位置信息以及文本描述或视觉参考所提供的目标语义信息,对提示位置进行有效校正,并准确获得与操作者真实意图相对应的目标分割区域,仍是无人机人机协同目标指引和交互式目标分割领域需要解决的技术问题。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

2、本发明的主要目的在于提供一种面向无人机跨视角指挥的语义引导模糊点分割方法。

3、为达上述目的,本发明实施例提出了一种面向无人机跨视角指挥的语义引导模糊点分割方法,包括:

4、步骤s1,获取目标视角图像、用于指示待分割目标近似位置的模糊点提示以及用于描述所述待分割目标的语义提示;

5、步骤s2,对所述目标视角图像进行特征提取,获得图像特征;对所述模糊点提示进行位置编码,获得点提示特征;对所述语义提示进行语义编码,获得目标语义特征;

6、步骤s3,将所述目标语义特征与所述点提示特征进行融合,获得同时包含目标语义信息和空间位置信息的混合提示特征;

7、步骤s4,以所述模糊点提示对应的位置作为参考位置,基于所述混合提示特征确定相对于所述参考位置的采样偏移,并依据所述采样偏移从所述图像特征中提取局部图像特征,对所述模糊点提示进行特征级偏移校正,获得校正提示特征;

8、步骤s5,将所述校正提示特征与所述图像特征进行双向交互融合,获得融合特征;

9、步骤s6,根据所述融合特征生成与所述语义提示对应的待分割目标分割掩码。

10、可选的,所述模糊点提示包括至少一个用于表示待分割目标近似位置的提示点;

11、所述模糊点提示由用户在目标视角图像中直接选取得到,或者由源视角中的目标位置经过跨视角映射获得;所述模糊点提示允许偏离待分割目标实际位置,并落入目标边界、背景区域或相邻干扰目标区域。

12、可选的,所述语义提示包括文本语义提示和视觉语义提示中的至少一种;其中,所述文本语义提示包括目标类别、颜色、外观属性和空间关系中的至少一种,所述视觉语义提示包括源视角参考图像及对应目标参考区域。

13、可选的,步骤s2中对所述语义提示进行语义编码包括:

14、当所述语义提示为文本语义提示时,对文本描述进行编码,获得文本语义特征;

15、当所述语义提示为视觉语义提示时,对源视角参考图像进行特征提取,根据参考区域提取目标区域对应的参考特征,并对所述参考特征进行聚合,获得视觉语义特征;

16、将所述文本语义特征或所述视觉语义特征作为所述目标语义特征。

17、可选的,步骤s3包括:

18、将所述目标语义特征与所述点提示特征进行拼接;

19、利用自注意力机制对拼接后的特征进行交互,建立目标语义信息与空间位置信息之间的关联关系,获得所述混合提示特征。

20、可选的,步骤s4采用条件可变形注意力进行特征级偏移校正,包括:

21、以所述混合提示特征作为查询信息,以所述模糊点提示对应的位置作为参考位置,根据所述混合提示特征预测相对于所述参考位置的多个采样偏移及对应的注意力权重;

22、依据所述多个采样偏移在所述图像特征中确定多个采样位置,并获取对应采样位置的局部图像特征;

23、根据所述注意力权重对各局部图像特征进行加权聚合,获得所述校正提示特征。

24、可选的,所述图像特征包括多个尺度的图像特征;

25、步骤s4中分别在各尺度图像特征上依据所述采样偏移进行特征采样,并对各尺度获得的局部图像特征进行融合,以获得所述校正提示特征。

26、可选的,步骤s5包括:

27、以所述校正提示特征作为查询信息,以所述图像特征作为键和值进行提示到图像的交互;

28、以所述图像特征作为查询信息,以所述校正提示特征作为键和值进行图像到提示的交互;

29、根据两次交互结果获得所述融合特征。

30、可选的,所述目标视角图像为无人机机载相机采集的图像;

31、所述模糊点提示来源于机载画面、地面终端、增强现实设备、地面相机、其他无人机或历史图像中的目标位置;

32、所述分割掩码用于后续目标确认、目标定位、目标跟踪或任务规划。

33、本发明实施例的具有以下有益效果:

34、(1)本发明针对无人机人机协同目标指引过程中提示点容易产生位置偏移的问题,将模糊点提示与语义提示进行联合建模,在利用模糊点提供目标近似空间位置的基础上,引入目标语义信息对提示位置进行约束,使模型能够在提示点存在偏移时仍准确确定待分割目标,提高了复杂场景下目标分割的鲁棒性。

35、(2)本发明采用条件可变形注意力机制,以模糊点提示对应的位置作为参考位置,根据目标语义信息自适应预测采样偏移,并在目标邻域内聚合与目标语义一致的图像特征,实现了对模糊点提示的特征级偏移校正。相比于依赖固定窗口或全局搜索的方式,能够更加准确地恢复操作者真实指向的目标,提高目标分割精度。

36、(3)本发明通过构建目标语义特征与点提示特征的混合提示特征,并结合校正提示特征与图像特征的双向交互融合,使目标语义信息、空间位置信息及图像视觉信息充分协同,提高了目标特征表达能力,增强了模型对目标边界、目标外观及复杂背景的区分能力。

37、(4)本发明同时支持文本语义提示和视觉语义提示两种目标描述方式,既能够利用目标类别、颜色、外观属性及空间关系等文本信息描述目标,又能够利用源视角参考图像提供目标视觉样例,适用于不同类型的人机交互场景,提高了方法的适用范围和交互灵活性。

38、(5)本发明无需改变现有无人机飞行控制及安全决策模块,可作为独立的目标分割模块部署于无人机机载计算平台或地面计算平台,为后续目标确认、目标定位、目标跟踪及任务规划等处理提供目标分割结果,具有较好的工程应用价值和系统兼容性。