基于监督学习的全向深度视觉数据融合方法及系统与流程

本发明涉及图像识别，具体涉及基于监督学习的全向深度视觉数据融合方法及系统。

背景技术：

1、全向深度视觉数据融合，是指将布置在设备本体不同方位的多个深度视觉传感器采集的数据，整理为与设备本体坐标系对应的环境距离表征，供机器人避障，导航规划，姿态调整或者运动策略网络使用，现有方案通常采用点云配准，深度图拼接或者二维半高度图作为输入，在视野覆盖较窄或者场景较简单时能够提供基础环境信息。

2、在复杂地形和动态障碍环境中，原始深度图直接输入会增加下游网络处理负担，二维半高度图难以表达上方，侧方和后方障碍，基于显式几何模型的多传感器标定与配准又容易受传感器边缘畸变，短时丢帧、镜头污损和设备振动影响，若异常视角仍按固定权重进入融合结果，容易使全向距离输出出现局部跳变或者缺口。

技术实现思路

1、本发明的目的在于提供一种基于监督学习的全向深度视觉数据融合方法及系统，用于在多路深度视觉输入存在畸变，遮挡，缺失或者短时不稳定时，形成具有方向索引，方向可信度和异常方向标记的标准化感知数据包，以解决背景技术中多视角融合依赖显式配准，输出形式不统一和异常视角影响难以隔离的问题。

2、为实现上述目的，本发明提供如下技术方案：基于监督学习的全向深度视觉数据融合方法，应用于全向深度视觉融合设备，方法包括：

3、获取布置在设备本体不同空间方位的多个深度视觉传感器采集的多路原始深度帧，并写入传感器状态标识；

4、以设备感知中心建立本体坐标系，生成多个方向索引并划分空间扇区；

5、依据视场覆盖关系确定各空间扇区的候选视角集合；

6、提取候选视角集合中各候选视角的深度特征和视角质量状态，基于视角质量状态对候选视角进行动态门控并生成扇区融合特征；

7、通过监督融合模型基于扇区融合特征输出全向距离向量和方向可信度；

8、在候选视角不足或方向可信度不满足条件时生成带补偿标记的补偿距离，并输出包含全向距离向量、方向可信度和异常方向标记的感知数据包。

9、进一步优选的，依据视场覆盖关系确定各空间扇区的候选视角集合，包括：

10、获取各深度视觉传感器的安装方位、视场角范围、有效距离范围和历史有效视野关系；

11、根据多个方向索引与各深度视觉传感器的视场角范围之间的对应关系，确定每个空间扇区对应的候选传感器编号；

12、根据传感器状态标识剔除处于丢帧状态、曝光异常状态或深度饱和状态的候选传感器，并将保留的候选传感器对应的深度帧作为候选视角集合。

13、进一步优选的，根据多个方向索引与各深度视觉传感器的视场角范围之间的对应关系，确定每个空间扇区对应的候选传感器编号，包括：

14、将多个方向索引按照前后、左右、上下或其组合关系划分为空间扇区；

15、对每个空间扇区统计能够覆盖该空间扇区内方向索引的深度视觉传感器；

16、在多个深度视觉传感器均能覆盖同一空间扇区时，依据覆盖角度、有效距离和历史有效视野关系确定候选顺序，并形成候选视角编组记录。

17、进一步优选的，提取候选视角集合中各候选视角的深度特征和视角质量状态，包括：

18、对候选视角对应的原始深度帧进行裁剪、缺失点填补和尺度统一，得到视角级深度特征，根据候选视角在当前采样窗口内的缺失比例、深度突变比例、边缘区域占比、与相邻候选视角的一致程度以及历史稳定性，生成对应的视角质量状态。

19、进一步优选的，基于视角质量状态对候选视角进行动态门控并生成扇区融合特征，包括：

20、根据视角质量状态确定候选视角在对应空间扇区内的参与强度；

21、当候选视角存在缺失比例升高、深度突变集中或与相邻候选视角不一致的情况时，降低该候选视角的参与强度；

22、当候选视角与邻域扇区反馈和历史距离序列保持一致时，提高该候选视角的参与强度；

23、将完成参与强度调节后的多个候选视角输入分组编码器，得到对应空间扇区的扇区融合特征。

24、进一步优选的，通过监督融合模型基于扇区融合特征输出全向距离向量和方向可信度之前，方法还包括：

25、构建训练样本，训练样本包括仿真环境生成的多路原始深度帧、高精度离线重建结果或者已知距离场景中的实测深度数据；

26、基于从本体坐标系原点向外发出的方向射线与障碍物或环境边界之间的命中结果生成距离教师标签，并为方向索引生成可见性标签、遮挡标签和可信度标签。

27、进一步优选的，构建训练样本之后，方法还包括向训练样本中加入遮挡样本、污损样本、视场边缘畸变样本和传感器短时失效样本，根据监督融合模型输出的距离结果、可信度结果和异常方向标记，与对应教师标签之间的差异更新监督融合模型参数，使监督融合模型学习从扇区融合特征到全向距离向量和方向可信度的映射关系。

28、进一步优选的，在候选视角不足或方向可信度不满足条件时生成带补偿标记的补偿距离，包括：

29、确定待补偿方向索引所属空间扇区及其相邻空间扇区；

30、读取相邻空间扇区的距离变化、待补偿方向索引的历史距离序列以及设备运动连续性；

31、根据距离变化、历史距离序列和设备运动连续性生成补偿距离，并将补偿距离与补偿标记、低可信度标记绑定输出。

32、进一步优选的，输出包含全向距离向量、方向可信度和异常方向标记的感知数据包，包括：将各方向索引对应的距离值、方向可信度、空间扇区状态、补偿标记和异常方向标记封装为标准化感知数据包，将标准化感知数据包发送至避障控制模块、导航规划模块或者运动策略网络，使下游模块根据方向可信度和异常方向标记确定对应方向距离的使用方式。

33、一种基于监督学习的全向深度视觉数据融合系统，系统包括多视角深度采集模块、方向索引建立模块、空间扇区编组模块、视角质量生成模块、动态视角门控模块、分组编码模块、监督融合模块、缺失方向补偿模块和感知数据输出模块，多视角深度采集模块用于获取多路原始深度帧，方向索引建立模块用于建立本体坐标系并生成方向索引，空间扇区编组模块用于确定候选视角集合，视角质量生成模块用于生成视角质量状态，动态视角门控模块和分组编码模块用于生成扇区融合特征，监督融合模块用于输出全向距离向量和方向可信度，缺失方向补偿模块用于生成带标记的补偿距离，感知数据输出模块用于输出标准化感知数据包。

34、在上述技术方案中，本发明提供的技术效果和优点：

35、相对于现有主要依赖点云拼接，固定几何配准或者将原始深度图直接输入下游控制网络的方案，本发明先将多路原始深度帧组织为空间扇区和候选视角集合，再用视角质量状态驱动动态视角门控，使传感器短时丢帧，视场边缘畸变，镜头污损和深度饱和等异常情况能够在扇区层面被记录和抑制，正常视角与相邻扇区反馈能够继续参与融合，候选视角的来源，质量变化和参与强度均能够随感知数据包保留，由此可减少异常视角对全向距离向量的持续影响，并使后续复核具有数据依据。本发明在部署阶段输出全向距离向量，方向可信度向量，空间扇区状态表和异常方向标记，监督融合模型首先接收扇区融合特征，其次生成方向距离和可信度，然后在候选视角不足或者方向可信度不满足条件时生成带补偿标记的补偿距离，最后输出标准化感知数据包，由于每个方向距离均对应明确的方向索引，可信度来源，候选视角记录和异常标记，下游避障控制，导航规划或者运动策略网络能够按照可信度选择使用方式，有利于实现感知模块与控制模块的解耦，也便于不同机器人平台替换融合模型。