一种连续时间规范运动点云视频理解方法

本发明属于点云视频理解，具体涉及一种连续时间规范运动点云视频理解方法。

背景技术：

1、点云视频由按照时间顺序排列的三维点云帧组成，能够同时表示物体或场景的空间几何结构和随时间变化的运动状态，适用于动作识别、动作分割、场景流预测、点云视频去噪、点云视频补全和四维语义分割。点云视频理解需要同时处理单帧内部的几何关系和连续帧之间的运动关系。

2、现有监督式点云视频理解方法直接利用带标签的动态点云序列训练时空网络，对动态数据规模和标注质量具有较强依赖。无监督或自监督点云视频学习方法虽然降低了标签依赖，但仍需要采集大量动态点云序列，而动态点云在采集、同步、存储和预处理方面的成本高于静态点云。

3、现有静态三维点云预训练方法主要通过掩码重建、对比学习或生成建模获取几何先验，再在点云视频任务中增加时间适配模块。由于静态预训练阶段未显式建立运动演化过程，迁移后的模型容易依赖静态形状和外观信息，难以在帧数较少或运动变化细微的条件下获得稳定的运动特征。

4、采用随机旋转、平移或局部扰动能够生成不同的静态增强样本，但离散增强样本之间缺少明确的时间顺序，不能直接表示运动轨迹中的中间状态，也不能约束相邻状态的变化速度。仅预测单个增强结果时，模型可能学习到变换不变性，而不能学习点云状态随时间连续演化的规律。

5、此外，点云视频微调获得的帧级特征通常同时包含跨帧共享的静态形状信息和随时间变化的运动信息。当共享形状信息占据主要特征分量时，细粒度运动变化容易被静态结构掩盖，从而影响动作分割、场景流预测及其他运动敏感任务。

6、因此，需要一种从静态点云中构造具有全局运动和局部运动的伪动态轨迹、对任意时间状态及其演化速度进行学习，并在点云视频微调阶段从帧级特征中分离共享形状信息与动态变化信息的点云视频理解方法。

技术实现思路

1、本发明提出一种连续时间规范运动点云视频理解方法，以解决静态三维预训练缺少连续时间运动先验、离散几何增强不能约束状态演化速度以及点云视频帧级特征受共享静态形状信息干扰的问题。尤其涉及一种利用静态三维点云构造包含全局刚性运动和局部残余运动的伪动态过程，通过连续时间状态预测和速度一致性学习动态先验，并在点云视频迁移阶段利用共享形状锚点分离静态形状信息与帧间运动信息的方法。

2、本发明的区别点包括：将静态点云定义为规范状态，通过全局旋转和平移构造整体刚性运动，并将伪动态过程构造时采样的局部残余位移按照点与局部锚定区域的空间邻近关系分配至各点，以获得同时包含全局运动和局部非刚性变化的伪动态点云；根据从单位旋转至目标旋转的连续旋转路径，在任意时间生成伪中间状态，并利用状态预测损失和相邻时间位置的速度一致性损失训练点云编码器；在点云视频微调阶段，从三个不同时间阶段的代表帧构建共享形状锚点，将所述共享形状锚点从各帧的帧级特征中减去，获得突出帧间动态变化的运动感知特征。

3、上述区别点解决的技术问题为：在不依赖大规模动态点云预训练数据的条件下，使静态点云预训练模型获得全局运动、局部运动和连续时间状态演化能力，并降低点云视频迁移过程中共享静态形状信息对运动特征的干扰。

4、上述区别点达到的技术效果为：利用静态点云建立具有明确时间顺序的伪动态监督，使点云编码器学习连续、平滑的运动表征；同时通过形状运动分解突出各帧相对于共享形状锚点的动态变化，提高点云视频模型对有限帧输入、局部运动和细粒度时间变化的敏感性。

5、本发明所采用的技术方案一种连续时间规范运动点云视频理解方法，包括如下步骤：

6、步骤s1，对获取的静态点，执行全局刚性变换和局部残余位移构造，得到伪动态点云；

7、步骤s2，根据所述伪动态点云，进行运动预测和连续时间状态学习，并利用掩码几何建模和多模态语义对预训练网络进行训练，得到预训练点云编码器；

8、步骤s3，利用所述预训练点云编码器，提取获取的点云视频中各时间帧对应的帧级特征；

9、步骤s4，根据所述帧级特征和所述点云视频中不同时间阶段的代表帧，构建共享形状锚点；

10、步骤s5，基于每个时间，根据所述帧级特征和所述共享形状锚点，生成运动感知特征；根据所述运动感知特征，输出点云视频理解结果。

11、优选的，步骤s1中所述对获取的静态点，执行全局刚性变换和局部残余位移构造，得到伪动态点云，包括如下步骤：

12、步骤s1.1：对获取的静态点云，进行中心化、尺度归一化和点采样，得到处理后的静态点云；经所述处理后的静态点云，作为规范状态；

13、步骤s1.2：采用最远点采样，选取所述规范状态中的多个局部点云块中心，并采用近邻查询为各所述局部点云块中心在所述规范状态中的聚合邻域点，得到与各中心对应的多个中心局部点云块；

14、步骤s1.3：根据随机采样的轴角旋转向量生成旋转矩阵，并根据所述旋转矩阵和随机采样的全局平移向量，对各所述中心局部点云块执行全局刚性变换，得到全局变换后的点云；

15、步骤s1.4：从所述规范状态中选取多个局部锚定区域，根据所述规范状态中各点与各所述局部锚定区域的空间邻近关系，为各点分配相应的局部残余位移，并将所分配的局部残余位移叠加至所述全局变换后的点云上，得到伪动态点云；

16、其中，所述旋转矩阵，满足如下公式：

17、

18、上式中，表示旋转矩阵，表示矩阵指数运算，表示单位矩阵，表示轴角旋转向量的反对称矩阵，表示正弦函数，表示所述轴角旋转向量的二范数，表示余弦函数。

19、优选的，步骤s2中所述根据所述伪动态点云，进行运动预测和连续时间状态学习，并利用掩码几何建模和多模态语义对预训练网络进行训练，得到预训练点云编码器，包括如下步骤：

20、步骤s2.1：将所述伪动态点云输入点云编码器，得到编码特征；将所述编码特征，输入全局运动预测头，得到旋转参数估计值和平移向量估计值，并根据所述旋转参数估计值和所述平移向量估计值与随机采样的轴角旋转向量和采样的全局平移向量之间的差异，计算全局运动预测损失；

21、其中，所述全局运动预测损失，满足如下公式：

22、

23、上式中，表示全局运动预测损失，表示旋转参数估计值，表示旋转参数，示二范数的平方，表示用于平衡旋转误差和平移误差的可学习权重，表示平移向量估计值，表示全局平移向量，表示与之间的距离；

24、步骤s2.2：将获取的各局部点云块中心的编码标记，输入局部流预测头，得到各局部点云块中心的预测残余位移，并根据所述预测残余位移与各局部点云块中心的局部残余位移之间的差异，计算局部运动预测损失；

25、其中，所述局部运动预测损失，满足如下公式：

26、

27、上式中，表示局部运动预测损失，表示局部动态点云块集合，表示各局部点云块中心的预测残余位移，表示各局部点云块中心的局部残余位移，表示预测残余位移与局部残余位移之间的差异；

28、步骤s2.3：根据随机采样的轴角旋转向量、全局平移向量和各点对应的局部残余位移，在零至一的时间区间内生成任意连续时间对应的真实伪状态；将所述规范状态和其对应时间输入状态预测网络，得到预测伪状态；根据所述预测伪状态与真实伪状态之间的差异，计算状态预测损失；

29、步骤s2.4：分别在相邻时间位置生成真实伪状态和预测伪状态，根据相邻真实伪状态的变化得到真实状态速度，根据相邻预测伪状态的变化得到预测状态速度；基于所述规范状态，根据所述预测状态速度与所述真实状态速度之间的差异，计算速度一致性损失；

30、步骤s2.5：从各局部点云块中选择部分局部点云块作为掩码区域，根据未被掩码的局部点云块，重建所述掩码区域，得到重建局部点云块；根据所述重建局部点云块和所述掩码区域中的局部点云块，计算掩码几何建模损失；

31、步骤s2.6：利用冻结的图像编码器和文本编码器提取与所述静态点云对应的图像特征和文本特征，根据图像相关标记、文本相关标记、所述图像特征和所述文本特征，计算多模态语义的对齐损失；

32、步骤s2.7：根据所述全局运动预测损失、所述局部运动预测损失、所述状态预测损失、所述速度一致性损失、所述掩码几何建模损失和所述多模态语义的对齐损失，更新所述预训练网络的网络参数，得到预训练点云编码器。

33、优选的，步骤s2.3中所述根据随机采样的轴角旋转向量、全局平移向量和各点对应的局部残余位移，在零至一的时间区间内生成任意连续时间对应的真实伪状态，包括如下步骤：

34、步骤s2.3.1：根据随机采样的轴角旋转向量、全局平移向量和各点对应的局部残余位移，在零至一的时间区间内采样时间，根据从单位旋转矩阵至所述旋转矩阵的连续旋转路径，生成所述采样时间对应的连续旋转矩阵；

35、步骤s2.3.2：根据所述连续旋转矩阵、所述规范状态、所述全局平移向量和所述局部残余位移，生成所述采样时间对应的真实伪状态；

36、其中，所述真实伪状态，满足如下公式：

37、

38、上式中，表示时间对应的真实伪状态点，表示时间对应的连续旋转矩阵，且满足，表示采样的旋转参数，表示规范状态中的点集合，表示时间，表示全局平移向量，表示局部残余位移；

39、其中，所述预测伪状态，满足如下公式：

40、

41、上式中，表示时间对应的预测伪状态，表示参数为的状态预测网络。

42、优选的，步骤s2.4中所述分别在相邻时间位置生成真实伪状态和预测伪状态，根据相邻真实伪状态的变化得到真实状态速度，根据相邻预测伪状态的变化得到预测状态速度，包括如下步骤：

43、步骤s2.4.1：根据生成真实伪状态和预测伪状态的方式，分别获得两个相邻时间位置对应的真实伪状态和预测伪状态；

44、步骤s2.4.2：根据两个相邻时间位置对应的真实伪状态之间的变化和时间间隔，得到真实状态速度，并根据两个相邻时间位置对应的预测伪状态之间的变化和所述时间间隔，得到预测状态速度；

45、其中，所述速度一致性损失，满足如下公式：

46、

47、上式中，表示速度一致性损失，n表示规范状态中的点数，表示第个点，表示时间处预测状态速度，表示时间处的真实状态速度，表示预测状态速度与真实状态速度之间的差异。

48、优选的，步骤s2.6中所述多模态语义对齐损失，满足如下公式：

49、

50、上式中，表示对齐损失，表示图像相关标记，表示图像特征，表示文本相关标记与文本相关标记之间的距离，表示文本相关标记，表示文本特征。

51、优选的，步骤s2.7中所述根据所述全局运动预测损失、所述局部运动预测损失、所述状态预测损失、所述速度一致性损失、所述掩码几何建模损失和所述多模态语义对齐损失，更新所述预训练网络的网络参数，得到预训练点云编码器，包括如下步骤：

52、步骤s2.7.1：根据所述全局运动预测损失、所述局部运动预测损失、所述状态预测损失、所述速度一致性损失、所述掩码几何建模损失和所述多模态语义对齐损失，以预训练总体函数为目标，更新预训练网络的网络参数；

53、步骤s2.7.2：完成预训练后，保留所述预训练网络中的点云编码器及其预训练参数，得到预训练点云编码器；

54、其中，所述预训练总体函数，满足如下公式：

55、

56、上式中，表示预训练总体目标，表示全局运动预测损失的权重，表示全局运动预测损失，表示局部运动预测损失的权重，表示局部运动预测损失，表示状态预测损失的权重，表示状态预测损失，表示速度一致性损失的权重，表示速度一致性损失，表示掩码几何建模损失的权重，表示掩码几何建模损失，表示多模态语义对齐损失的权重，表示多模态语义对齐损失。

57、优选的，步骤s3中所述利用所述预训练点云编码器，提取获取的点云视频中各时间帧对应的帧级特征，包括如下步骤：

58、步骤s3.1：利用所述预训练点云编码器，将点云视频中每个时间帧，划分为多个局部点云组；

59、步骤s3.2：对各局部点云组进行编码，得到各时间帧对应的局部标记；

60、步骤s3.3：基于每个时间帧，聚合每个时间帧的所有局部标记，得到帧级特征；

61、其中，每个时间帧对应的局部标记，满足如下公式：

62、

63、上式中，表示第帧局部标记，表示局部点云组编码操作，表示第帧局部点云组，表示时间帧索引。

64、优选的，步骤s4中所述基于每个时间，根据所述帧级特征和所述点云视频中不同时间阶段的代表帧，构建共享形状锚点，包括如下步骤：

65、步骤s4.1：从所述点云视频的三个不同时间阶段，分别选取一个代表帧；

66、步骤s4.2：对三个代表帧分别进行归一化，并将归一化后的三个代表帧输入形状编码器，得到三个全局形状特征；

67、步骤s4.3：对三个全局形状特征，分别进行特征归一化，并对归一化后的三个全局形状特征求算术平均，得到平均形状特征；

68、步骤s4.4：将所述平均形状特征，投影至所述帧级特征所在的特征空间，得到共享形状锚点；

69、其中，所述三个全局形状特征，满足如下公式：

70、

71、上式中，表示第个代表帧的全局形状特征，表示形状编码器，表示归一化操作，表示时间阶段对应的代表帧，表示第个时间阶段；

72、其中，所述共享形状锚点，满足如下公式：

73、

74、上式中，表示共享形状锚点，表示将平均形状特征投影至帧级特征所在的特征空间的映射，表示特征归一化操作。

75、优选的，步骤s5中所述基于每个时间，根据所述帧级特征和所述共享形状锚点，生成运动感知特征；根据所述运动感知特征，输出点云视频理解结果，包括如下步骤：

76、步骤s5.1：基于每个时间，将所述帧级特征减去所述共享形状锚点，得到帧对应的运动感知特征；

77、步骤s5.2：对各时间帧对应的运动感知特征进行时间聚合，得到聚合后的运动特征；

78、步骤s5.3：将所述聚合后的运动特征输入任务头，输出点云视频理解结果；

79、其中，所述点云视频理解结果，满足如下公式：

80、

81、上式中，表示点云视频理解结果，表示参数为的任务头，表示时间聚合操作，表示第帧的运动感知特征，表示时间帧索引，表示点云视频的帧数。

82、本发明的有益效果在于：

83、（1）本发明通过全局刚性运动和局部残余运动共同构造伪动态点云，使静态点云预训练同时获得整体姿态变化和局部动态区域变化的监督信息。

84、（2）本发明在任意时间生成伪中间状态，不将动态预训练限制于起始状态和终止状态，从而建立具有明确时间顺序的连续状态演化过程。

85、（3）本发明通过速度一致性损失约束相邻时间位置的预测速度，使预测状态沿预设伪动态轨迹平滑变化，提高预训练表征的时间连续性。

86、（4）本发明在连续运动学习的同时保留掩码几何建模，并利用图像和文本特征进行语义对齐，使预训练编码器兼顾局部几何、运动演化和高层语义信息。

87、（5）本发明从点云视频的多个时间阶段构造共享形状锚点，并将其从各帧特征中减去，降低跨帧共享静态形状信息对运动变化的干扰。

88、（6）本发明的预训练过程以静态点云作为基础数据，减少对大规模点云视频预训练数据的依赖，所得编码器能够迁移至序列级、帧级、逐点预测和点云序列重建任务。