一种基于分布演化与旋转动力学的点云视频理解方法

摘要: 本发明属于三维视觉、点云处理,具体涉及一种基于分布演化与旋转动力学的点云视频理解方法。背景技术:1、点云视频由连续时间帧上的三维点集构成,能够同时记录动态场景的...
一种基于分布演化与旋转动力学的点云视频理解方法

本发明属于三维视觉、点云处理,具体涉及一种基于分布演化与旋转动力学的点云视频理解方法。

背景技术:

1、点云视频由连续时间帧上的三维点集构成,能够同时记录动态场景的空间几何结构和时间变化信息,可用于三维动作识别、场景流预测、四维语义分割、动态场景感知和机器人导航。与静态点云相比,点云视频需要在点对应关系不稳定、局部运动变化显著以及测量噪声存在的条件下保持跨帧几何一致性。

2、现有点云视频理解方法主要依赖带标注的四维数据直接训练时空网络,此类方法需要较高的数据采集、标注和计算成本,并且在场景变化时容易出现泛化能力下降。为降低动态数据依赖,已有方法将静态三维点云预训练模型迁移至点云视频任务,通过额外时序模块或自适应微调学习动态特征。

3、静态三维预训练模型主要从单帧点云中学习局部几何和整体形状,其预训练过程未显式刻画点云分布随时间的演化,也未针对旋转和平移变换建立动力学预测目标,因此直接迁移到点云视频时容易出现运动感知不足、几何变换敏感和时间一致性不足的问题。真实点云视频中的测量噪声还会进一步扰动点管中心及其邻域关系,使空间和时间特征聚合发生偏移。

4、此外,若在每一网络层同时对全部帧和全部点执行全局时空注意力,计算复杂度随点数平方增长,难以兼顾帧内局部几何建模和跨帧长程运动建模。仅对特征进行时间融合又难以校正由运动先验预测造成的中心位置偏差。

5、因此,需要一种从静态三维预训练阶段即学习点云分布演化和旋转动力学,并在点云视频微调阶段将所学运动先验同时注入空间位置与特征表示、校正局部几何关系并交替建模帧内空间邻域和跨帧时间邻域的点云视频理解方法。

技术实现思路

1、本发明要解决的技术问题是,针对静态三维预训练模型缺少运动感知和几何变换鲁棒性、直接迁移至点云视频时空间中心易受流场更新和噪声扰动、全局时空建模计算量较高且难以保持时空一致性的问题,提供一种基于分布演化与旋转动力学的点云视频理解方法。

2、本发明的一种基于分布演化与旋转动力学的点云视频理解方法,包括如下步骤:

3、步骤s1,获取静态三维点云及其对应的图像和文本;对所述静态三维点云进行多任务预训练,在所述多任务预训练过程中确定分布演化流场预测损失,并得到预训练点云编码器、预训练流变换器和多模态条件标记;

4、步骤s2,根据所述预训练点云编码器,构建初步点云视频编码网络;根据所述分布演化流场预测损失对点云视频编码网络进行微调,得到点云视频编码网络;对获取的点云视频,利用所述点云视频编码网络构建点管并进行编码,得到点管中心和点管特征;

5、步骤s3,根据所述预训练流变换器和所述多模态条件标记,以及所述点管中心和所述点管特征,预测流场;利用所述流场,更新点管中心,得到更新后的点管中心,并增强点管特征,得到增强点管特征;

6、步骤s4,根据所述更新后的点管中心,构建球形邻域;将所述球形邻域的中心均值与所述更新后的点管中心,加权融合,得到校正中心;

7、步骤s5,根据所述增强点管特征和所述校正中心,进行帧内空间特征与跨帧时间特征的交替建模,得到多尺度点管特征;

8、步骤s6,对所述多尺度点管特征,进行时空融合并输入任务头,输出点云视频理解结果。

9、优选的,步骤s1中所述对所述静态三维点云进行多任务预训练,在所述多任务预训练过程中确定分布演化流场预测损失,并得到预训练点云编码器、预训练流变换器和多模态条件标记,包括如下步骤:

10、步骤s1.1:将所述静态三维点云划分为多个局部组,对部分局部组执行随机掩码,将未掩码局部组输入点云编码器提取上下文特征,并根据所述上下文特征重建被掩码局部组,得到掩码点建模损失;

11、步骤s1.2:在所述静态三维点云与高斯随机噪声之间,构造条件路径;利用流变换器,预测所述条件路径不同时间位置之间的条件流场;并根据所述条件流场与目标流场之间的差异,得到分布演化流场预测损失;

12、步骤s1.3:对所述静态三维点云执行随机旋转和平移变换,利用点云编码器和变换预测头,预测旋转参数和平移参数;根据所述旋转参数和所述平移参数,得到旋转动力学预测损失;

13、步骤s1.4:利用图像编码器,提取所述静态三维点的图像特征;利用文本编码器,提取所述静态三维点的文本特征;将所述静态三维点、所述图像特征和所述文本特征映射至公共特征空间,得到跨模态对齐损失及多模态条件标记;

14、步骤s1.5:根据所述掩码点建模损失、所述分布演化流场预测损失、所述旋转动力学预测损失和所述跨模态对齐损失更新预训练网络,得到预训练点云编码器、预训练流变换器。

15、优选的,步骤s1.2中所述在所述静态三维点云与高斯随机噪声之间,构造条件路径;利用流变换器,预测所述条件路径不同时间位置之间的条件流场;并根据所述条件流场与目标流场之间的差异,得到分布演化流场预测损失,包括如下步骤:

16、步骤s1.2.1:在所述静态三维点云与高斯随机噪声之间构造随时间变化的条件路径,并获得参考时间索引;根据所述条件路径和所述参考时间索引,确定参考时间索引对应的条件路径样本;

17、步骤s1.2.2:将所述条件路径样本、所述参考时间索引和所述条件路径,输入流变换器,预测所述条件路径不同时间位置之间的条件流场,得到相邻时间位置之间的条件流场;

18、步骤s1.2.3:根据所述高斯随机噪声与所述静态三维点云之差,获得瞬时场;根据所述瞬时场,和相邻时间位置之间的条件流场的变化,估计目标流场;

19、步骤s1.2.4:根据所述条件流场与所述目标流场之间的均方误差,计算分布演化流场预测损失;

20、其中,所述条件路径,满足如下公式:

21、

22、上式中,表示时间对应的条件路径样本,表示时间,表示静态三维点云,表示高斯随机噪声,表示均值为零且协方差为的高斯分布,表示高斯随机噪声的标准差,表示单位矩阵;

23、其中,所述条件流场,满足如下公式:

24、

25、上式中,表示相邻时间位置之间的条件流场,表示流变换器的网络参数,表示参考时间索引,表示输入流变换器的条件路径,表示条件路径样本;

26、其中,所述目标流场,满足如下公式:

27、

28、上式中,表示目标流场,表示时间处的瞬时场,表示条件路径样本处的流场函数,表示相邻时间位置之间的条件流场的变化的变化差分步长,表示高斯随机噪声。

29、优选的,步骤s1.3中所述对所述静态三维点云执行随机旋转和平移变换,利用点云编码器和变换预测头,预测旋转参数和平移参数;根据所述旋转参数和所述平移参数,得到旋转动力学预测损失,包括如下步骤:

30、步骤s1.3.1:对所述静态三维点云,随机采样三维旋转向量和三维平移向量;

31、步骤s1.3.2:根据所述三维旋转向量,生成旋转矩阵;根据所述旋转矩阵和所述三维平移向量,对所述静态三维点云进行变换;

32、步骤s1.3.3:将变换后的静态三维点云,输入点云编码器,得到点云特征,之后将其输入到变换预测头,得到旋转参数和平移参数;

33、步骤s1.3.4:根据所述旋转参数与采样的所述旋转参数之间的差异,以及所述平移参数估计值与采样的所述平移参数之间的差异,计算旋转动力学预测损失;

34、其中,所述旋转矩阵,满足如下公式:

35、

36、上式中,表示旋转矩阵,表示三维旋转向量,表示单位矩阵,表示三维旋转向量的二范数,示三维旋转向量的叉乘矩阵;

37、其中,所述旋转参数,满足如下公式:

38、

39、上式中,表示旋转参数,表示平移参数,表示变换预测头,表示变换预测头的网络参数,表示点云编码器,表示点云编码器的网络参数,表示旋转矩阵,表示静态三维点云,表示平移向量;

40、其中,所述旋转动力学预测损失,满足如下公式:

41、

42、上式中,表示旋转动力学预测损失,表示均方误差函数,表示旋转参数,表示旋转参数,表示真实旋转参数,表示二范数的平方,表示平移参数,表示真实平移参数,表示误差函数。

43、优选的,步骤s1.4中所述将所述静态三维点、所述图像特征和所述文本特征映射至公共特征空间,得到跨模态对齐损失及多模态条件标记,包括如下步骤:

44、步骤s1.4.1:将所述静态三维点、所述图像特征和所述文本特征映射至公共特征空间;

45、步骤s1.4.2:设置图像待学习标记和文本待学习标记;根据映射至公共特征空间的图像特征和文本特征,与对应待学习标记之间的距离以及点云特征、图像特征和文本特征之间的余弦距离,计算跨模态对齐损失;

46、步骤s1.4.3:将所述图像待学习标记和文本待学习标记,作为多模态条件标记;

47、其中,所述跨模态对齐损失,满足如下公式:

48、

49、上式中,表示跨模态对齐损失,表示图像或文本模态,表示映射至公共特征空间的图像特征的模态,表示映射至公共特征空间的文本特征的模态,表示误差函数,表示种模态特征,表示种模态的待学习标记之间的距离,表示两两模态组合,表示点云模态、表示图像特征、表示文本特征,表示余弦距离,表示图像模态特征和表示文本模态特征。

50、优选的,步骤s1.5中所述根据所述掩码点建模损失、所述分布演化流场预测损失、所述旋转动力学预测损失和所述跨模态对齐损失更新预训练网络,得到预训练点云编码器、预训练流变换器,包括如下步骤:

51、步骤s1.5.1:根据所述掩码点建模损失、所述分布演化流场预测损失和所述旋转动力学预测损失,计算预训练主目标;对所述预训练主目标结合所述跨模态对齐损失,更新预训练网络,得到训练网络;

52、步骤s1.5.2:保留所述训练网络中的点云编码器作为预训练点云编码器、流变换器作为预训练流变换器和多模态条件标记作为多模态条件标记。

53、优选的,步骤s2中所述对获取的点云视频,利用所述点云视频编码网络构建点管并进行编码,得到点管中心和点管特征,包括如下步骤:

54、步骤s2.1:利用所述点云视频编码网络,从点云视频的锚定帧采样锚点,并在相邻帧中聚合与所述锚点对应的邻域点,构建沿时间维度延伸的点管;

55、步骤s2.2:利用包含所述预训练点云编码器的点云视频编码网络对所述点管进行编码,得到各帧各组的点管中心和点管特征。

56、优选的,步骤s3中所述根据所述预训练流变换器和所述多模态条件标记,以及所述点管中心和所述点管特征,预测流场;利用所述流场,更新点管中心,得到更新后的点管中心,并增强点管特征,得到增强点管特征,包括如下步骤:

57、步骤s3.1:根据时间索引、参考时间索引和所述多模态条件标记构造条件信息;

58、步骤s3.2:将所述点管中心、条件信息、时间索引和参考时间索引,输入预训练流变换器,得到预测的流场;

59、步骤s3.3:通过流到位置路径,利用所述流场更新点管中心,得到更新后的点管中心;

60、步骤s3.4:通过流到特征路径,将所述预测流场映射至特征空间,得到流场特征;

61、步骤s3.5:将所述流场特征、所述多模态条件标记和点管特征进行门控融合,得到增强点管特征;

62、其中,所述条件信息,满足如下公式:

63、

64、上式中,表示输入流变换器的条件信息,表示时间的嵌入,表示当前时间,表示参考时间的嵌入,表示参考时间,表示第种多模态条件标记的可学习映射,表示第种多模态条件标记;

65、其中,所述流场,满足如下公式:

66、

67、上式中,表示流场,表示冻结的预训练流变换器,为第时间帧的第组的点管中心,表示条件信息;

68、其中,所述流场特征,满足如下公式:

69、

70、上式中,表示流场特征,ln表示层归一化,表示线性投影;

71、其中,所述增强点管特征,满足如下公式:

72、

73、上式中,表示增强点管特征,ln表示层归一化,表示第时间帧的第组点管的点管特征,表示函数,表示作用于流场特征的可学习门控参数,表示流场特征,表示作用于第种多模态条件标记的可学习门控参数,表示第种多模态条件标记。

74、优选的,步骤s4中所述根据更新后的点管中心,构建球形邻域;将所述球形邻域的中心均值与所述更新后的点管中心,加权融合,得到校正中心,包括如下步骤:

75、步骤s4.1:在同一帧内以所述更新后的点管中心为球心,按照球邻域半径确定对应的球形邻域;

76、步骤s4.2:计算所述球形邻域内点管中心的平均位置,并将所述平均位置与更新后的点管中心按照所述球邻域的校正强度进行加权融合,得到校正中心;

77、其中,所述球形邻域,满足如下公式:

78、

79、上式中,表示第时间帧第组点管中心的球形邻域,表示第组点管,表示同一帧内的不同于的第组点管,为第时间帧的第组的更新后的点管中心,为第时间帧的第组的点管中心,表示欧氏距离,表示球邻域半径,表示每帧的点管组数;

80、其中,所述校正中心,满足如下公式:

81、

82、上式中,表示校正中心,表示球邻域校正强度,表示球形邻域中的点管中心数量,表示球形邻域。

83、优选的,步骤s5中所述根据所述增强点管特征和所述校正中心,进行帧内空间特征与跨帧时间特征的交替建模,得到多尺度点管特征,包括如下步骤:

84、步骤s5.1:将时间编码与所述增强点管特征进行融合,得到融合特征;对所述融合特征,依次执行多头自注意力和前馈网络,得到时空交替建模的首层输入特征;

85、步骤s5.2:将所述首层输入特征作为首个偶数层的输入,并将前一奇数层的输出特征作为后续偶数层的输入;在所述偶数层中,根据所述校正中心,构建帧内空间近邻图;对当前偶数层的输入特征执行边卷积,并将边卷积结果与当前偶数层的输入特征及所述校正中心的位置编码融合,得到偶数层输出特征;

86、步骤s5.3:将所述偶数层输出特征作为后一奇数层的输入;在所述奇数层中,构建跨帧时间管窗口,对当前奇数层的输入特征执行窗口注意力,并将窗口注意力结果与当前奇数层的输入特征及所述校正中心的位置编码融合,得到奇数层输出特征;

87、步骤s5.4:将所述奇数层输出特征作为后一偶数层的输入,交替执行步骤s5.2和步骤s5.3,使各网络层的输出特征作为下一网络层的输入特征;汇集不同网络层的输出特征,得到多尺度点管特征;

88、其中,所述输入特征,满足如下公式:

89、

90、上式中,表示输入特征,表示前馈网络,表示多头自注意力,表示增强点管特征,表示时间编码;

91、其中,所述偶数层的边卷积结果,满足如下公式:

92、

93、上式中,表示偶数层输出特征,表示时空交替块的输入特征,表示边卷积,表示位置编码,表示校正中心;

94、其中,所述奇数层的窗口注意力结果,满足如下公式:

95、

96、上式中,表示奇数层输出特征,表示时空交替块的输入特征,表示时间管窗口注意力,表示位置编码,表示校正中心。

97、本发明的有益效果在于:

98、(1)通过在静态三维预训练阶段预测点云分布演化流场,使预训练模型在不依赖动态点云标注的条件下获得可迁移的运动先验,弥补静态几何表征缺少时间变化信息的问题。

99、(2)通过随机旋转和平移参数预测建立旋转动力学学习目标,使点云编码器显式学习几何变换信息,提高静态预训练迁移至动态场景时对旋转和平移变化的鲁棒性。

100、(3)通过流到位置路径和流到特征路径将同一预测流场分别注入点管中心和点管特征,并利用可学习门控调节流先验及多模态条件的贡献,实现运动几何信息和语义信息的联合调制。

101、(4)通过球邻域校正对流场更新后的点管中心进行帧内邻域均值平滑,在保留流引导位置更新的同时抑制中心偏移和测量噪声,增强空间几何一致性。

102、(5)通过在网络层间交替执行空间近邻图卷积和时间管窗口注意力,分别聚合帧内局部几何关系和跨帧运动关系,将全局时空注意力的复杂度由点数平方级降低为与邻域规模相关的线性级。

103、(6)所述预训练点云编码器和流变换器能够统一服务于动作识别、点云视频去噪、场景流预测和四维语义分割,形成从静态三维预训练到多类点云视频任务的统一迁移流程。