基于人脑核磁认知蒸馏的三维视觉点云补全方法及装置

本技术涉及三维点云补全与脑认知信号融合，尤其涉及一种基于人脑核磁认知蒸馏的三维视觉点云补全方法及装置。

背景技术：

1、三维点云补全是指从部分观测的点云数据中恢复出完整三维形状的任务，是自动驾驶、机器人导航、增强现实等应用中的基础性技术环节。相关技术中的三维点云补全方法主要基于数据驱动范式，通过从大规模点云数据集中学习部分观测与完整形状之间的几何映射关系来完成补全。

2、然而，在严重遮挡或输入点云高度稀疏的条件下，部分观测所提供的几何信息极为有限，现有数据驱动方法由于过度依赖训练数据集中固有的统计性几何关联，在面对几何歧义较大的区域时，往往无法推断出语义合理且结构完整的缺失部分，导致补全结果出现模糊、畸变或结构残缺。

3、因此，如何在推理阶段无需额外先验输入且保持高计算效率的前提下，将高层的结构先验内化至点云补全模型以提升其鲁棒性和泛化性，是当前亟待解决的技术问题。

技术实现思路

1、本技术的目的是提供一种基于人脑核磁认知蒸馏的三维视觉点云补全方法及装置，通过将人脑三维视觉认知先验经层级化蒸馏内化至点云补全模型，使得模型在推理阶段无需依赖额外先验输入即可具备鲁棒的结构推理能力，显著提升了严重遮挡与跨域场景下的补全泛化性，并保持了实时推理效率。

2、本技术提供一种基于人脑核磁认知蒸馏的三维视觉点云补全方法，包括：

3、获取待补全的三维不完整点云；将所述三维不完整点云输入至点云补全模型，得到补全后的完整三维点云；其中，所述点云补全模型中的几何编码器用于对所述三维不完整点云进行几何特征提取，得到点云特征；所述点云补全模型中的全局语义瓶颈层用于对所述点云特征进行全局语义提取，得到全局特征；所述点云补全模型中的重建解码器用于对所述全局特征进行精细重建，输出补全后的完整点云。

4、可选地，所述点云补全模型的训练步骤包括：构建教师网络和初始的学生网络；所述教师网络包含认知融合模块，所述初始的学生网络为去除所述认知融合模块的同架构网络；获取训练数据，所述训练数据包括不完整点云样本以及对应的功能磁共振成像信号；将所述训练数据输入至所述教师网络，通过时空认知编码器提取所述功能磁共振成像信号中的认知特征向量，并通过所述认知融合模块将所述认知特征向量与所述不完整点云样本的几何特征进行多尺度融合，训练所述教师网络至收敛；冻结所述教师网络的参数，将所述不完整点云样本输入至所述初始的学生网络，基于所述教师网络和所述初始的学生网络在多个层级的中间表征进行层级对齐，计算蒸馏损失，并基于所述蒸馏损失训练所述初始的学生网络，得到所述点云补全模型。

5、可选地，所述通过时空认知编码器提取所述功能磁共振成像信号中的认知特征向量，包括：对所述功能磁共振成像信号进行预处理，得到时空张量形式的大脑皮层平面映射图；通过空间提取器对所述大脑皮层平面映射图中的每一帧进行空间特征提取，得到空间嵌入序列；通过长短期记忆网络对所述空间嵌入序列进行时序依赖建模，得到上下文感知特征序列；通过全局聚合模块利用可学习查询向量对所述上下文感知特征序列进行注意力加权聚合，输出所述认知特征向量。

6、可选地，所述通过所述认知融合模块将所述认知特征向量与所述不完整点云样本的几何特征进行多尺度融合，包括：在几何编码器前端，通过门控融合块对所述几何特征与所述认知特征向量进行自适应加权融合，得到调制后的输入特征；在全局语义瓶颈层，通过第一认知特征线性调制模块将所述认知特征向量映射为第一仿射参数，并基于所述第一仿射参数对所述调制后的输入特征进行特征调制，得到语义校准后的全局特征；在重建解码器端，通过第二认知特征线性调制模块将所述认知特征向量映射为第二仿射参数，并基于所述第二仿射参数对所述语义校准后的全局特征进行特征调制，得到细节恢复后的重建特征。

7、可选地，所述通过门控融合块对所述几何特征与所述认知特征向量进行自适应加权融合，得到调制后的输入特征，包括：通过多层感知机联合处理所述几何特征与所述认知特征向量，生成可学习的门控掩模；基于所述门控掩模和预设的缩放因子，对所述几何特征和所述认知特征向量进行加权求和，得到所述调制后的输入特征。

8、可选地，所述基于所述第一仿射参数进行特征调制，或者，基于所述第二仿射参数进行特征调制，包括：通过目标认知特征线性调制模块将所述认知特征向量映射为包含缩放向量和偏置向量的仿射参数；所述目标认知特征线性调制模块为所述第一认知特征线性调制模块，或者，所述第二认知特征线性调制模块；利用所述缩放向量对当前层的待调制特征进行缩放处理，并将缩放处理后的特征与所述偏置向量以及所述当前层的待调制特征进行叠加；其中，在进行所述基于所述第一仿射参数进行特征调制时，所述当前层的待调制特征为所述调制后的输入特征；在进行所述基于所述第二仿射参数进行特征调制时，所述当前层的待调制特征为所述语义校准后的全局特征。

9、可选地，所述基于所述教师网络和所述初始的学生网络在多个层级的中间表征进行层级对齐，计算蒸馏损失，包括：对于输入级和精细重建级的空间结构化特征，通过温度缩放归一化激活幅度得到空间注意力图，计算所述教师网络与所述初始的学生网络的空间注意力图的散度损失，作为注意力迁移损失；对于全局语义级的紧凑全局特征，计算所述教师网络与所述初始的学生网络的全局特征之间的均方误差，作为直接特征对齐损失；结合所述注意力迁移损失、所述直接特征对齐损失以及点云重建任务损失，确定所述蒸馏损失。

10、本技术还提供一种基于人脑核磁认知蒸馏的三维视觉点云补全装置，包括：

11、获取模块，用于获取待补全的三维不完整点云；点云补全模块，用于将所述三维不完整点云输入至点云补全模型，得到补全后的完整三维点云；其中，所述点云补全模型中的几何编码器用于对所述三维不完整点云进行几何特征提取，得到点云特征；所述点云补全模型中的全局语义瓶颈层用于对所述点云特征进行全局语义提取，得到全局特征；所述点云补全模型中的重建解码器用于对所述全局特征进行精细重建，输出补全后的完整点云。

12、可选地，所述装置还包括：模型构建模块和模型训练模块；所述模型构建模块，用于构建教师网络和初始的学生网络；所述教师网络包含认知融合模块，所述初始的学生网络为去除所述认知融合模块的同架构网络；所述获取模块，还用于获取训练数据；所述训练数据包括不完整点云样本以及对应的功能磁共振成像信号；所述模型训练模块，具体用于将所述训练数据输入至所述教师网络，通过时空认知编码器提取所述功能磁共振成像信号中的认知特征向量，并通过所述认知融合模块将所述认知特征向量与所述不完整点云样本的几何特征进行多尺度融合，训练所述教师网络至收敛；所述模型训练模块，具体还用于冻结所述教师网络的参数，将所述不完整点云样本输入至所述初始的学生网络，基于所述教师网络和所述初始的学生网络在多个层级的中间表征进行层级对齐，计算蒸馏损失，并基于所述蒸馏损失训练所述初始的学生网络，得到所述点云补全模型。

13、可选地，所述装置还包括：特征提取模块；所述特征提取模块，用于对所述功能磁共振成像信号进行预处理，得到时空张量形式的大脑皮层平面映射图；所述特征提取模块，还用于通过空间提取器对所述大脑皮层平面映射图中的每一帧进行空间特征提取，得到空间嵌入序列；所述特征提取模块，还用于通过长短期记忆网络对所述空间嵌入序列进行时序依赖建模，得到上下文感知特征序列；所述特征提取模块，还用于通过全局聚合模块利用可学习查询向量对所述上下文感知特征序列进行注意力加权聚合，输出所述认知特征向量。

14、可选地，所述装置还包括：特征融合模块；所述特征融合模块，用于在几何编码器前端，通过门控融合块对所述几何特征与所述认知特征向量进行自适应加权融合，得到调制后的输入特征；所述特征融合模块，还用于在全局语义瓶颈层，通过第一认知特征线性调制模块将所述认知特征向量映射为第一仿射参数，并基于所述第一仿射参数对所述调制后的输入特征进行特征调制，得到语义校准后的全局特征；所述特征融合模块，还用于在重建解码器端，通过第二认知特征线性调制模块将所述认知特征向量映射为第二仿射参数，并基于所述第二仿射参数对所述语义校准后的全局特征进行特征调制，得到细节恢复后的重建特征。

15、可选地，所述装置还包括：特征调制模块；所述特征调制模块，用于通过多层感知机联合处理所述几何特征与所述认知特征向量，生成可学习的门控掩模；所述特征调制模块，还用于基于所述门控掩模和预设的缩放因子，对所述几何特征和所述认知特征向量进行加权求和，得到所述调制后的输入特征。

16、可选地，所述特征融合模块，具体用于通过目标认知特征线性调制模块将所述认知特征向量映射为包含缩放向量和偏置向量的仿射参数；所述目标认知特征线性调制模块为所述第一认知特征线性调制模块，或者，所述第二认知特征线性调制模块；所述特征融合模块，具体还用于利用所述缩放向量对当前层的待调制特征进行缩放处理，并将缩放处理后的特征与所述偏置向量以及所述当前层的待调制特征进行叠加；其中，在进行所述基于所述第一仿射参数进行特征调制时，所述当前层的待调制特征为所述调制后的输入特征；在进行所述基于所述第二仿射参数进行特征调制时，所述当前层的待调制特征为所述语义校准后的全局特征。

17、可选地，所述模块训练模块，具体用于对于输入级和精细重建级的空间结构化特征，通过温度缩放归一化激活幅度得到空间注意力图，计算所述教师网络与所述初始的学生网络的空间注意力图的散度损失，作为注意力迁移损失；所述模块训练模块，具体还用于对于全局语义级的紧凑全局特征，计算所述教师网络与所述初始的学生网络的全局特征之间的均方误差，作为直接特征对齐损失；所述模块训练模块，具体还用于结合所述注意力迁移损失、所述直接特征对齐损失以及点云重建任务损失，确定所述蒸馏损失。

18、本技术还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如上述任一种所述基于人脑核磁认知蒸馏的三维视觉点云补全方法的步骤。

19、本技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于人脑核磁认知蒸馏的三维视觉点云补全方法的步骤。

20、本技术还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于人脑核磁认知蒸馏的三维视觉点云补全方法的步骤。

21、本技术提供的基于人脑核磁认知蒸馏的三维视觉点云补全方法及装置，首先，获取待补全的三维不完整点云；之后，将所述三维不完整点云输入至点云补全模型，得到补全后的完整三维点云；其中，所述点云补全模型中的几何编码器用于对所述三维不完整点云进行几何特征提取，得到点云特征；所述点云补全模型中的全局语义瓶颈层用于对所述点云特征进行全局语义提取，得到全局特征；所述点云补全模型中的重建解码器用于对所述全局特征进行精细重建，输出补全后的完整点云。如此，通过将人脑三维视觉认知先验经层级化蒸馏内化至点云补全模型，使得模型在推理阶段无需依赖额外先验输入即可具备鲁棒的结构推理能力，显著提升了严重遮挡与跨域场景下的补全泛化性，并保持了实时推理效率。