面向主动三维高斯重建的目标感知视点选择方法

本发明涉及面向主动三维高斯重建的目标感知视点选择方法，属于计算机视觉与主动三维重建。

背景技术：

1、近年来，随着机器人自主感知、数字孪生、虚拟现实等技术的快速发展，三维场景重建作为获取真实环境几何结构与外观信息的重要技术，已成为计算机视觉与机器人环境感知领域的重要研究方向。与依赖预设采集轨迹的被动式三维重建相比，主动三维重建能够根据当前已获取的场景信息自主确定后续观测位置，并通过持续采集新的视觉数据逐步完善场景模型。其中，下一最佳视点（next best view，nbv）选择用于从多个候选观测视点中确定下一观测位置，以进一步获取当前尚未充分观测的场景信息，是影响主动三维重建效率和重建完整性的关键技术之一。

2、随着三维高斯泼溅（3d gaussian splatting，3dgs）技术的发展，三维高斯表示因具有显式场景表示、较高的渲染质量和渲染效率等特点，逐渐被应用于在线三维重建和主动视点规划。

3、现有主动三维高斯重建方法通常依据场景未知区域的可见性、空间覆盖程度、几何信息增益或重建不确定性等指标，对候选观测视点进行评价，并据此确定下一最佳观测视点，从而引导感知设备持续探索尚未充分观测的场景区域。然而，现有主动三维高斯重建中的视点选择方法主要依据场景整体几何信息对候选视点进行评价，对于已被部分观测的目标，其背面、自遮挡区域以及因其他物体遮挡形成的局部未观测区域，缺乏针对性的区分和利用。尽管目标的空间位置及部分几何结构能够通过已有观测数据获得，其背面或遮挡区域仍可能处于未观测或观测不充分状态。由于上述目标相关局部区域通常与场景中的一般未知空间采用相近的几何评价方式，因此在场景整体探索过程中可能无法得到及时的补充观测，从而造成部分目标重建不完整，并影响三维场景模型的整体重建完整性。已有部分主动重建方法在视点规划过程中引入目标、实例或语义信息，以增强对特定目标区域的观测，但若目标相关信息对视点选择产生过强影响，又可能使观测过程过度集中于局部目标区域，削弱对场景整体未知区域的探索。

4、因此，如何在保持场景整体几何探索能力的基础上，引导感知设备对部分观测目标的背面及遮挡区域进行有效补充观测，仍是主动三维高斯重建视点选择中需要解决的问题，且在有限观测资源条件下尤为突出。

技术实现思路

1、针对现有主动三维高斯重建中部分目标重建不完整，影响三维场景模型整体重建完整性的问题，本发明提供一种面向主动三维高斯重建的目标感知视点选择方法。

2、本发明的一种面向主动三维高斯重建的目标感知视点选择方法，包括，

3、基于观测过程中采集的rgb图像、深度图像及与各观测帧对应的相机位姿，建立rgb-d观测序列；并设置观测终止条件；

4、采用当前rgb-d观测序列，在线构建或更新三维高斯场景模型和体素占据地图；在体素占据地图中基于体素位置确定的已观测自由空间中选择候选观测视点；根据所述三维高斯场景模型在各候选观测视点下渲染轮廓区域中的未观测像素数量及相机移动距离，计算各候选观测视点的几何信息增益；

5、利用当前rgb-d观测序列，对rgb图像中的有效目标进行检测，确定有效目标类别及三维空间位置；将有效目标与已有目标记录进行匹配，并更新三维目标记忆；

6、根据三维目标记忆中目标三维空间位置及目标空间范围，在所述体素占据地图中以每个目标为中心确定局部体素邻域，提取局部体素邻域内状态为未观测空间的体素单元，构建目标相关未观测区域代理；

7、判断候选观测视点对目标相关未观测区域代理是否满足有效观测评价，基于满足有效观测评价的候选观测视点获得目标相关代理覆盖评价；

8、根据所述几何信息增益筛选满足预设几何信息增益阈值的候选观测视点，再结合目标相关代理覆盖评价对筛选的候选观测视点进行综合评价和重排序，将结果最优的选定候选观测视点作为下一最佳观测视点；

9、使相机移动至最佳观测视点，继续进行图像采集，直到达到观测终止条件，获得最终的三维高斯场景模型。

10、根据本发明的面向主动三维高斯重建的目标感知视点选择方法，将t时刻体素占据地图表示为：

11、，

12、式中为体素单元的中心位置，为已观测占据空间、为已观测自由空间，为未观测空间；

13、将候选观测视点表示为：

14、，

15、式中为候选观测视点集合，为第i个候选观测视点，；

16、对当前三维高斯场景模型在第i个候选观测视点下进行渲染，得到轮廓掩膜，统计轮廓掩膜中的未观测像素数量：

17、，

18、式中为未观测像素数量，为轮廓掩膜中的像素位置，表示指示函数；

19、相机移动距离为：

20、，

21、式中为相机移动距离，为对应候选观测视点的相机位置，为当前相机位置；

22、第i个候选观测视点的几何信息增益为：

23、，

24、式中为几何信息增益，为进行归一化的softmax函数。

25、根据本发明的面向主动三维高斯重建的目标感知视点选择方法，对t时刻采集的rgb图像进行有效目标检测，得到有效目标检测集合：

26、，

27、式中为图像帧数，为有效目标二维边界框，为目标类别，为检测置信度，为目标检测器，为用于目标检测的目标类别词汇集合，为检测置信度阈值；

28、提取有效目标的二维边界框内具有有效深度值的有效像素，结合对应深度图像及相机位姿，将所述有效像素反投影至三维空间并转换至世界坐标系，得到有效目标的三维空间位置：

29、，

30、式中为由相机坐标系转换至世界坐标系的旋转矩阵，为有效像素，为深度图像，为由相机坐标系转换至世界坐标系的平移向量，为有效像素的集合。

31、根据本发明的面向主动三维高斯重建的目标感知视点选择方法，更新三维目标记忆的方法为：

32、根据三维空间位置计算有效目标的三维中心位置：

33、，

34、式中为鲁棒中心估计函数；

35、将当前有效目标与已有目标记录进行匹配，若当前有效目标与已有目标记录的类别相同，且二者三维中心位置之间的距离小于预设空间匹配阈值，将当前有效目标的观测信息合并至对应已有目标记录；否则，在三维目标记忆中新建目标记录；

36、三维目标记忆表示为：

37、，

38、式中为第个目标记录；

39、，

40、式中为第个目标三维中心位置，为第个目标在世界坐标系各坐标轴方向上的目标空间范围，为第个目标的类别，为第个目标置信度权重。

41、根据本发明的面向主动三维高斯重建的目标感知视点选择方法，构建目标相关未观测区域代理的方法为：

42、根据第个目标三维中心位置以及第个目标在世界坐标系各坐标轴方向上的目标空间范围，确定对应局部体素邻域的半尺寸，再以第个目标三维中心位置为中心构建轴对齐局部体素邻域：

43、，

44、式中为在第个坐标轴方向上的坐标，为在第个坐标轴方向上的坐标，为局部体素邻域在第个坐标轴上的半尺寸，为世界坐标系的坐标轴；

45、在体素占据地图中查询局部体素邻域中各体素单元的占据状态，提取其中状态为未观测空间的体素单元，构建第个目标对应的目标相关未观测区域代理：

46、。

47、根据本发明的面向主动三维高斯重建的目标感知视点选择方法，判断候选观测视点对目标相关未观测区域代理是否满足有效观测评价包括：

48、若目标相关未观测区域代理的代理体素单元位于候选观测视点对应的相机视场范围内，候选观测视点满足相对于目标及代理体素单元的外向观测方向条件，以及候选观测视点至代理体素单元之间的观测射线未受到体素占据地图中已观测占据空间的阻挡，则当前候选观测视点满足有效观测评价。

49、根据本发明的面向主动三维高斯重建的目标感知视点选择方法，定义外向观测方向为由目标三维中心位置指向代理体素单元的方向，则单位外向观测方向向量为：

50、。

51、根据本发明的面向主动三维高斯重建的目标感知视点选择方法，根据三维目标记忆中的目标置信度权重筛选参与当前候选观测视点评价的目标集合：

52、，

53、式中为预设的目标置信度阈值；

54、对于第i个候选观测视点，目标相关代理覆盖评价表示为：

55、，

56、式中为第i个候选观测视点对应的相机视场范围，为与代理体素单元之间的空间可见性，为代理体素单元指向的单位方向向量。

57、根据本发明的面向主动三维高斯重建的目标感知视点选择方法，确定下一最佳观测视点的方法为：

58、对和进行归一化，得到归一化几何信息增益和归一化目标相关代理覆盖评价，和的取值范围均为；

59、根据归一化几何信息增益和归一化目标相关代理覆盖评价构建候选观测视点的综合评价函数：

60、，

61、式中为目标相关代理覆盖评价的权重系数；

62、计算候选观测视点集合中的最大归一化几何信息增益：

63、；

64、根据最大归一化几何信息增益和预设几何信息增益阈值，构建几何竞争候选观测视点集合：

65、，

66、式中为预设几何信息增益阈值比例系数，；

67、在几何竞争候选观测视点集合内，根据目标相关代理覆盖评价对候选观测视点进行重排序，得到下一最佳观测视点：

68、。

69、根据本发明的面向主动三维高斯重建的目标感知视点选择方法，预设几何信息增益阈值比例系数根据应用场景、候选观测视点分布及主动三维高斯重建需求进行调整。

70、本发明的有益效果：本发明方法融合目标相关未观测信息与场景几何信息的目标感知视点选择机制，通过利用已观测目标的三维空间信息及其周边未观测空间辅助下一最佳视点选择，在保持场景整体几何探索能力的同时，加强对目标背面及遮挡区域的补充观测，可解决现有主动三维高斯重建方法对部分观测目标的背面及遮挡区域补充观测不足，以及目标局部观测与场景整体几何探索难以兼顾的问题，在有限观测资源条件下实现了下一最佳观测视点的选择，提高了三维场景重建的完整性。

71、本发明方法在基于现有几何信息增益的下一最佳视点规划方法基础上进行改进，通过引入目标相关代理覆盖评价，并在几何信息增益约束下对候选视点进行联合评价与重排序，使视点规划兼顾部分观测目标的补充观测需求与场景整体几何探索，从而提高有限观测资源条件下三维场景的重建完整性。

72、针对部分观测目标背面及遮挡区域缺乏针对性补充观测的问题，本发明基于在线目标记忆构建目标相关未观测区域代理；利用实测rgb-d观测建立并持续更新目标的三维空间记忆，以已观测目标的三维空间信息为依据，从体素占据地图中提取目标周边的未观测空间，构建目标相关未观测区域代理，为后续目标感知视点选择提供空间引导信息。

73、针对候选视点虽朝向目标相关未观测区域但受观测方向和场景遮挡影响而难以形成有效观测的问题，本发明提出遮挡感知的目标相关未观测区域代理覆盖评价。通过综合考虑候选视点的视场范围、相对于目标的观测方向以及空间遮挡关系，对候选视点的有效代理覆盖能力进行评价，从而抑制无效观测并引导感知设备从互补方向对部分观测目标进行补充观测。

74、针对目标相关信息直接参与候选视点评价可能削弱场景整体几何探索能力的问题，本发明提出几何信息增益约束下的目标感知视点选择方法，通过几何信息增益筛选具有较高几何观测价值的候选视点，并在筛选后的候选集合内结合目标相关代理覆盖评价进行重排序，从而在增强目标局部补充观测能力的同时保持场景整体几何探索性能。