一种大场景图像视觉定位方法

本发明涉及计算机视觉、视觉定位领域，尤其涉及一种大场景图像视觉定位方法。

背景技术：

1、视觉定位任务旨在根据自然语言描述在图像中确定相应目标的位置，对于安防、交通等市政场景具有积极的应用意义。随着广域监控、交通枢纽、校园安防和应急搜救等系统采用多相机拼接或超高分辨率成像，单帧图像可达到数亿乃至十亿像素。在该类图像中，特定目标通常仅占整幅图像极小比例，目标面积占比可低于0.1%，且同一场景中常同时存在数百至数千名外观相似的目标。因此，利用大场景图像数据，探索大场景图像视觉定位方法，具有重要的研究意义。

2、现阶段，大场景视觉定位技术已取得了一定的研究进展。akyon等人所提出的sahi（切片辅助超推理）方案通过穷举搜索实现了大场景中小目标的高精度定位。ma等人提出了一种先区域定位再局部锁定的两步视觉定位方法，大幅度提高了搜索效率。goto等人进一步将两步搜索扩展为多步，通过级联的区域检测逐步定位目标位置。

3、然而，由于大场景的目标普遍占据极少的像素，上述方法虽实现了大场景图像的视觉定位任务，但仍难以兼顾实际部署中算法推理的精度和效率。

技术实现思路

1、相比于常规图像，大场景图像通常具有超高分辨率，这导致现有视觉定位方法难以兼顾定位效率与精度，限制了其在城市交通、安防等大场景监控环境中的有效应用。基于此，本发明提出了一种大场景图像视觉定位方法，该方法设计了包含：移动、缩放、高精度确认和终止的智能体仿生动作空间，利用局部视觉分支网络、全局视觉分支网络和历史记忆分支网络联合感知当前状态，通过多模态融合与动作评判输出模块预测下一搜索动作，基于稠密奖励函数采用两阶段训练策略训练模型，在保持高定位精度的同时大幅提升推理效率，详见下文描述：

2、一种大场景图像视觉定位方法，所述方法包括：

3、智能体根据策略选择动作集合中的动作，根据当前观测输出各候选动作的概率分布；

4、将局部视觉分支网络作为主动搜索网络的局部感知通道，输入为当前局部视野在图像金字塔层级上对应的高分辨率图像裁剪，输出局部视觉特征；

5、将全局视觉分支网络作为主动搜索网络的全局感知通道，以整幅大场景图像的低分辨率缩略图为输入，输出全局视觉特征；

6、基于局部视觉特征生成以当前局部视野中心为中心的空间热图，基于空间热图，空间记忆按照时间衰减方式递归更新；历史记忆编码器对多层空间记忆进行编码，获得历史记忆特征；

7、多模态融合模块用于将局部视觉特征、全局视觉特征和历史记忆特征的互补信息与目标外观文本统一到同一决策表示中；将经变换的四类特征按照特征维度进行拼接，并通过多层感知机获得融合特征；

8、构建由动作生成分支和状态评价分支组成的动作评判输出模块，当动作生成分支输出预设的动作时，智能体通过移动或缩放动作进行低成本连续搜索、通过高精度确认动作调用高精度视觉定位模型，并在满足终止条件后输出定位结果。

9、其中，所述动作集合为：四类行为；

10、用于在当前层级改变视野位置的“移动”动作，包括向上、向下、向左和向右；用于改变观察分辨率的“缩放”动作，包括放大和缩小；用于调用高精度视觉定位模型的“高精度确认”动作 ；以及用于结束搜索并输出结果的“终止”动作 ；

11、动作可表示为，；

12、其中，，，，。

13、其中，所述空间记忆按照时间衰减方式递归更新为：

14、

15、其中， 为时间衰减因子，为层级指示函数，表示当前局部视野的空间热图，表示时间步更新后的第个图像金字塔层级的空间记忆，表示上一时间步对应层级的空间记忆。

16、其中，所述动作生成分支输出预设的动作时，智能体执行相应处理，具体包括：

17、当动作生成分支输出移动或缩放动作时，智能体执行移动或缩放动作，更新当前局部视野、历史记忆，并在下一时间步重新提取局部视觉特征和历史记忆特征；

18、当动作生成分支输出高精度确认动作时，保持当前局部视野不变，并将当前局部视野对应的图像块和目标外观文本输入高精度视觉定位模型，输出当前局部视野坐标系中的候选目标局部视野框；

19、当动作生成分支输出终止动作时，智能体根据高精度视觉定位模型是否输出可比较的匹配置信度。

20、其中，所述方法还包括：采用基于行为克隆学习冷启动训练，包括：根据每条训练样本中的目标真实边界框、当前局部视野和当前图像金字塔层级基于下述规则生成示范搜索轨迹数据。

21、其中，所述方法还包括：采用基于近端策略优化算法的强化学习微调训练，包括：

22、设计由目标成功奖励、困难干扰项课程奖励、新区域探索奖励和动作代价组成的稠密奖励：

23、

24、

25、其中，为智能体视野获得的候选框与真实目标匹配时的成功奖励；为智能体视野命中外观相近的困难干扰项时的课程奖励，用于表明智能体已经学习到目标的基础外观属性，为根据历史记忆判断当前局部视野属于新区域时的探索奖励；为智能体作出错误动作时的代价之和，对应步数惩罚、重复访问惩罚和越界或无效动作惩罚。

26、本发明提供的技术方案的有益效果是：

27、1、本发明设计了包含移动、缩放、高精度确认和终止动作的智能体仿生动作空间，从而减少固定扫描和单次被动筛选造成的无效计算，进而在保障视觉定位准确性的同时提升大场景图像视觉定位效率；

28、2、本发明设计了局部视觉分支网络用于提取当前局部视野的局部视觉特征，设计了全局视觉分支网络用于提取整幅大场景图像的全局视觉特征，设计了历史记忆分支网络用于提取历史记忆特征，并通过多模态融合模块将上述三类特征与目标外观文本特征进行融合，通过动作评判输出模块基于融合特征输出各候选动作的概率分布和当前状态得分，从而提高复杂大场景中的搜索决策能力。

29、3、本发明设计了包含目标成功奖励、困难干扰项课程奖励、新区域探索奖励及多种动作代价的稠密奖励。该奖励的设计为长序列搜索提供连续反馈，能够缓解仅使用终端成败奖励导致的训练困难问题，并有效抑制重复访问、越界和无效搜索。

30、4、本发明设计了行为克隆学习冷启动和强化学习微调相结合的两阶段的智能体训练方式，使模型先学习基本搜索行为，再通过环境交互优化长期回报，从而提高训练稳定性和定位策略的有效性。

1.一种大场景图像视觉定位方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种大场景图像视觉定位方法，其特征在于，所述动作集合为：四类行为；

3.根据权利要求1所述的一种大场景图像视觉定位方法，其特征在于，所述空间记忆按照时间衰减方式递归更新为：

4.根据权利要求1所述的一种大场景图像视觉定位方法，其特征在于，所述动作生成分支输出预设的动作时，智能体执行相应处理，具体包括：

5.根据权利要求1所述的一种大场景图像视觉定位方法，其特征在于，所述方法还包括：采用基于行为克隆学习冷启动训练，所述冷启动训练包括：根据每条训练样本中的目标真实边界框、当前局部视野和当前图像金字塔层级生成示范搜索轨迹数据。

6.根据权利要求1所述的一种大场景图像视觉定位方法，其特征在于，所述方法还包括：采用基于近端策略优化算法的强化学习微调训练，包括：