基于部件级语义对齐的三维-文本检索数据集构建方法及检索方法

本发明属于自然语言处理，具体涉及基于部件级语义对齐的三维-文本检索数据集构建方法及检索方法。

背景技术：

1、跨模态三维-文本检索旨在建立三维形状与自然语言描述之间的语义对应关系，在自动驾驶、具身智能和虚拟现实等场景中具有广泛应用。现有方法主要分为全局语义对齐和部件级对齐两类。全局对齐方法以text2shape为代表，将三维形状和文本描述分别编码为全局特征向量，通过度量学习构建联合嵌入空间以实现跨模态匹配。在此基础上，ulip、openshape等方法借助clip的图像-文本对齐空间，以图像为中介建立点云与文本之间的语义关联。为弥补全局表征对局部结构建模的不足，部件级对齐方法如parts2words、sca3d等尝试建立点云局部区域与文本词汇之间的对应关系，通过最优传输或部件级数据增强提升细粒度部件匹配能力。此外，为支持部件级三维理解，partnet等数据集提供了层次化的部件分割标注，为部件级形状分析奠定了基础。

2、然而，现有方法在三维-文本检索中仍存在以下问题：第一，全局语义对齐方法将三维形状压缩为单一全局特征，难以保留类内样本的部件级细粒度信息，导致对同类物体细微结构差异的区分能力不足；第二，部件级对齐方法依赖外部提供的部件分割标注或预先定义的部件划分方式，在缺乏显式部件分割标注的条件下难以学习到稳定的部件表示，而获取高精度的部件分割标注成本高昂，限制了方法的泛化能力；第三，三维形状与文本描述之间存在信息不对称性，文本通常仅描述显著部件而三维形状包含完整几何结构，大量与文本无语义对应的三维区域在特征空间中易形成噪声干扰；第四，现有数据集在部件层面的语义标注存在不一致性，同一物理部件在不同样本中可能对应不同语义标签，且标注语义与自然语言描述之间缺乏直接的对应关系，难以支持细粒度跨模态对齐任务的训练与评测。

技术实现思路

1、本发明的目的就在于提供基于部件级语义对齐的三维-文本检索数据集构建方法及检索方法，以解决现有三维-文本跨模态检索中因全局特征难以捕获部件级差异、依赖昂贵部件标注以及模态信息不对称导致匹配噪声的问题。

2、本发明通过以下技术方案来实现上述目的：

3、第一方面、本发明提出了基于部件级语义对齐的三维-文本检索数据集构建方法，其特征在于，所述方法包括：

4、获取三维物体的点云坐标信息及部件分割标注，所述部件分割标注用于标识点云中各点所属的部件区域；

5、对所述部件分割标注进行语义映射，基于点云几何特征将各分割区域判定为预定义部件类别体系中的语义部件，生成部件级语义标签；

6、为各语义部件分配颜色标识，生成着色点云，并对所述着色点云进行渲染，获得多视角渲染图像；

7、提取所述多视角渲染图中部件级结构属性与外观属性，结合所述部件级语义标签及颜色标识生成结构化文本描述；

8、将所述着色点云、多视角渲染图像与结构化文本描述进行跨模态关联存储，得到对应三维物体的所述检索数据集。

9、进一步的，所述三维物体为家具类物体；所述基于点云几何特征将各分割区域判定为预定义部件类别体系中的语义部件，包括：

10、计算各分割区域的几何特征，所述几何特征包括分割区域相对于物体整体的位置高度、水平延展范围、长宽比例，以及空间偏移量；

11、将所述几何特征与各语义部件的标准几何模板进行匹配，根据匹配度确定分割区域所属的部件类别；

12、所述预定义部件类别体系至少包括：椅背、椅座、扶手、椅腿、椅底座、桌面、桌腿、桌底座。

13、第二方面、本发明提出了一种三维-文本跨模态检索方法，包括以下步骤：

14、利用如上述的检索数据集训练检索模型，训练过程中联合优化全局对比损失与部件对齐损失；

15、获取待检索的三维点云、渲染图像及文本查询，作为待处理模态，分别提取待处理模态的局部特征与全局特征，局部特征包括点云模态的逐点特征、图像模态的块特征和文本模态的词元特征；

16、将待处理模态的全局特征和局部特征输入训练好的检索模型，所述检索模型包括模态特异性槽注意力模块和部件匹配模块；

17、将待处理模态的局部特征输入模态特异性槽注意力模块，对点云引入几何编码、对图像引入位置嵌入、对文本引入语义加权，经迭代更新各模态局部特征分解为对应预定义部件类别体系中各部件的槽表示；

18、将各模态的槽表示输入原型引导的部件匹配模块，将各模态槽表示映射至统一语义空间，得到各模态的部件级嵌入；

19、基于所述部件级嵌入计算相似度，输出检索结果。

20、进一步的，所述各模态局部特征分解为对应预定义部件类别体系中各部件的槽表示，包括：

21、确定所述待处理模态局部特征的编码特征矩阵；

22、基于所述编码特征矩阵和预设的槽初始化矩阵，将所述预设的槽初始化矩阵作为槽状态的初始值，通过迭代式槽注意力机制对槽状态进行多次更新；

23、所述迭代式槽注意力机制的单次迭代包括：将所述编码特征矩阵作为输入特征，通过softmax归一化计算注意力权重，将所述输入特征加权聚合为更新向量，当前槽状态经由门控循环单元完成更新，并进一步通过带残差连接的前馈网络进行细化，经次迭代后得到稳定的部件级槽表示，包括下式：

24、；

25、其中，为第个槽表示在次迭代中的状态，ffn 为前馈网络，ln为层归一化，gru为门控循环单元，为gru输出的中间状态。

26、进一步的，所述模态特异性槽注意力模块对各模态局部特征的编码特征矩阵通过以下方式获得：

27、对于点云模态，基于点云中每个点的三维坐标及其个近邻点的相对位移向量计算相对几何特征，所述相对几何特征包括相对位移向量、欧氏距离、距离平方、单位方向向量、方位角和仰角，将所述相对几何特征通过双路径方式融入槽注意力的键计算，其中第一路径将几何特征与逐点特征融合后再进行键映射，第二路径对几何特征进行独立投影后直接注入键表示，得到点云模态的编码特征矩阵；

28、对于图像模态，基于图像块特征的空间位置坐标生成可学习的二维位置嵌入矩阵，将所述二维位置嵌入矩阵显式叠加到图像块特征中，得到图像模态的编码特征矩阵；

29、对于文本模态，基于文本词元的原始特征矩阵，通过多层感知机预测每个词元的重要性分数，基于所述重要性分数对原始词元特征进行自适应增强，得到文本模态的编码特征矩阵。

30、进一步的，所述模态特异性槽注意力模块还利用图像模态生成槽激活先验，各模态的槽激活概率通过以下方式获得：

31、以图像模态的全局特征作为输入，经多层感知机映射并通过sigmoid激活，生成逐槽的先验激活概率，并将所述先验激活概率传播至点云模态与文本模态，以约束不同模态对同一三维物体保持一致的有效槽数量；

32、确定各模态槽特征的自身激活概率，基于模态自身的激活预测器将槽特征映射为标量并经sigmoid函数激活；

33、将所述先验激活概率与所述自身激活概率进行加权融合，得到各模态最终的槽激活概率如下式：

34、；

35、其中，表示模态的激活预测器，用于将槽特征映射、为标量，并经sigmoid得到该模态的槽激活估计；表示图像模态导出的第个槽先验概率，为融合系数。

36、进一步的，所述部件匹配模块通过以下方式将各模态槽表示映射至统一语义空间：

37、确定预定义部件类别体系中各部件类别的语义描述，通过clip文本编码器将所述语义描述编码为文本特征向量，经线性投影及l2归一化得到共享语义原型的初始锚点；

38、在所述初始锚点基础上叠加可学习偏移量，得到可优化的共享语义原型，并对dustbin原型进行随机初始化；

39、计算各模态槽特征与所述共享语义原型及dustbin原型的余弦相似度，经温度缩放后通过softmax归一化得到软分配权重；

40、基于所述软分配权重对共享语义原型进行加权求和，得到每个槽对应的原型特征，并通过门控机制将原始槽特征与所述原型特征进行自适应融合，得到各模态的部件级嵌入。

41、进一步的，所述dustbin原型用于吸收与所有共享语义原型均不匹配的噪声槽；计算软分配权重时，对共享语义原型和dustbin原型分别加入不同方向的对数偏置项，使激活概率较低的槽更易被分配至dustbin原型。

42、进一步的，所述全局对比损失通过以下方式计算：

43、确定文本、图像和点云三种模态的全局特征，对所述全局特征进行l2归一化；

44、基于对称infonce损失函数，分别计算文本-图像对、文本-点云对和图像-点云对的双向对比损失；

45、将三个模态对的对比损失取平均值，得到全局对比损失。

46、进一步的，所述部件对齐损失通过以下方式计算：

47、确定各模态的部件级嵌入及各模态的槽激活概率和软激活掩码；

48、基于所述槽激活概率和软激活掩码对各模态的部件级嵌入进行加权聚合，得到部件感知的样本级表示，并在所述样本级表示上施加infonce损失，得到样本间对比损失；

49、通过比较点云部件级嵌入与文本部件级嵌入对共享语义原型的分配权重，计算跨模态部件对应强度，生成软对应矩阵，基于所述软对应矩阵最大化同一样本内跨模态对应部件嵌入之间的相似度，得到样本内对齐损失；

50、将所述样本间对比损失与所述样本内对齐损失加权求和，得到部件对齐损失。

51、本发明的有益效果在于：

52、1、本发明构建了fg3d细粒度三维-文本基准数据集，通过几何特征将分割区域映射至统一的部件类别体系，并采用确定性配色策略生成着色点云及多视角渲染图像，利用视觉语言模型自动生成结构化文本描述，实现了点云、图像与文本在部件层面的严格语义对应，解决了现有数据集部件标注不一致、标注成本高的问题。

53、2、本发明构建模态特异性槽注意力机制，针对点云、图像和文本分别引入几何编码、位置嵌入和语义加权，使模型在无需人工部件标注的条件下自适应地将输入特征分解为部件级槽表示，降低了数据标注依赖。

54、3、本发明构建原型引导的部件匹配模块，通过共享语义原型将异构模态的槽表示映射至统一语义空间，并利用dustbin原型吸收与语义部件无关的噪声槽，有效缓解了模态间信息不对称带来的匹配干扰。

55、4、本发明联合优化全局对比损失与部件对齐损失，使模型在部件粒度上建立稳定的跨模态对应关系，支持形状到文本和文本到形状的双向细粒度检索。