基于三维文本交错多模态链式思维推理的三维场景理解方法

摘要: 本发明属于人工智能、三维视觉、多模态大语言模型和点云场景理解领域,具体涉及一种基于三维文本交错多模态链式思维推理的三维场景理解方法。该方法可用于三维场景描述、三...
基于三维文本交错多模态链式思维推理的三维场景理解方法

本发明属于人工智能、三维视觉、多模态大语言模型和点云场景理解领域,具体涉及一种基于三维文本交错多模态链式思维推理的三维场景理解方法。该方法可用于三维场景描述、三维场景问答、三维场景对话、具身推理和场景任务规划等任务。

背景技术:

1、三维场景理解是自主导航、机器人、增强现实、虚拟现实和智能制造等应用中的基础技术。与二维图像相比,三维点云通常具有稀疏、不规则、对象尺度差异大和空间关系复杂等特点。因此,模型既需要识别场景中的对象,也需要理解对象属性、相对位置和上下文关系,还需要识别用户指令中的隐含意图。

2、近年来,基于三维点云的大语言模型将点云特征与文本特征映射到统一特征空间,使模型能够根据三维场景回答自然语言问题或生成描述。然而,现有方法通常将三维特征作为静态前缀上下文输入大语言模型。此后,推理过程主要依赖文本序列展开,难以在中间推理步骤中主动查询、校验和修正三维视觉证据。

3、上述方式容易带来两类问题。第一,复杂三维场景中的对象属性、空间关系和任务上下文通常需要多步推理,现有模型将文本内容与三维场景中具体对象及其关系相对应的接地推理能力不足。第二,当场景中存在多个同类对象或外观相似对象时,用于表述中间推理过程的链式思维文本中的对象相关提及(即指向场景对象的文本片段)可能与错误的三维对象特征对应。错误证据会误导中间推理,并进一步引起目标识别错误、幻觉回答或空间关系判断不一致。

4、此外,现有三维场景理解数据通常只包含问题与答案,或者指令与响应,缺少面向三维场景的高质量链式思维文本。因此,现有数据难以显式训练模型在推理过程中利用对象级三维证据。为此,需要一种三维场景理解方法。该方法应能够构建三维特定链式思维数据,并在文本推理过程中交错注入由相关三维对象特征融合得到的融合三维证据标记和表征匹配歧义程度的歧义标记。

技术实现思路

1、本发明旨在提供一种基于三维文本交错多模态链式思维推理的三维场景理解方法。该方法用于解决现有三维大语言模型在复杂场景中多步推理能力不足、文本推理与三维视觉证据交互不足,以及多实例歧义导致错误标记交错注入的问题。本发明能够增强三维场景中的接地多步推理能力,并缓解多实例歧义和幻觉回答问题。

2、本发明的技术方案为:

3、一种基于三维文本交错多模态链式思维推理的三维场景理解方法,具体步骤如下:

4、步骤1:获取三维场景点云和自然语言任务输入,并将三维场景表示为对象级点云实例。

5、所述自然语言任务输入包括三维场景描述、三维场景问答、三维场景对话、具身推理或场景任务规划中的至少一种。

6、步骤2:构建三维特定链式思维数据。

7、获取已有的三维任务数据。针对每个三维任务数据样本,将自然语言任务输入、对应三维场景信息和预设任务提示输入大语言模型,生成与场景对象相关的链式思维文本。链式思维文本生成完成后,通过规则校验和人工抽检保证链式思维文本的质量。

8、所述对应三维场景信息从该样本关联的三维场景及已有标注中获得,包括对象、对象属性和空间关系信息。所述预设任务提示是根据任务类型预先设置、用于约束链式思维文本内容和形式的文本指令。

9、所述自然语言任务输入与对应三维场景一一关联,其内容为针对该场景提出的描述请求、问题、对话请求、具身推理请求或任务规划请求。所述场景对象是对象级点云实例分割得到的单个对象点集。对于scannet和3rscan数据集,优选采用数据集提供的对象级点云实例标注;对于其他未提供实例标注的场景,可采用三维实例分割方法(例如mask3d)获得对象级点云实例。所述对象级点云实例对应的对象类别包括桌子、椅子、门、灯、柜子、沙发和电视机等。所述链式思维文本包括对象属性、空间关系和任务上下文等内容;对于复杂任务,采用多步骤分解提示,生成渐进式链式思维文本;对于简单任务,采用接地线索提示,生成包含对象和空间关系的简洁链式思维文本。

10、步骤3:对三维场景进行对象级三维编码,获得对象级三维标记。

11、首先,采用点云编码器提取每个对象级点云实例的几何向量。其中,所述对象级点云实例是从三维场景点云中分离出的单个对象点集;所述点云编码器用于将对象点集转换为固定维度的向量,该向量用于表征对应对象的三维几何特征。优选地,可以采用pointnet++作为所述点云编码器,并按照分层采样、邻域分组和局部特征聚合过程输出所述几何向量。

12、随后,采用空间关系建模模块获得包含对象间关系的对象级三维特征。所述空间关系建模模块采用空间变换器结构,以各对象级点云实例的几何向量为输入,通过多头自注意力计算对象间关联权重,并按照所述关联权重对其他对象的特征进行加权聚合,得到对象级三维特征,该特征既保留对应对象的几何信息,又包含由空间关系建模模块聚合得到的对象间上下文信息。

13、最后,通过三维投影层将所述对象级三维特征映射到大语言模型的隐藏特征空间,得到对象级三维标记。所述三维投影层采用线性层,用于将输入特征的维度转换为待输入的大语言模型所要求的隐藏维度。

14、步骤4:进行三维视觉语言对齐训练。

15、将系统提示、自然语言任务输入和对象级三维标记输入大语言模型。所述系统提示是用于限定大语言模型角色和输出要求的预设文本指令。所述大语言模型中的词嵌入层将系统提示、自然语言任务输入和训练样本中的链式思维文本转换为文本词元表示。再采用线性层作为文本投影层,对所述文本词元表示执行线性映射,得到与大语言模型的隐藏特征空间一致的对齐文本表示。系统提示和自然语言任务输入的对齐文本表示用于视觉语言处理;链式思维文本中对象相关提及的对齐文本表示用于后续语义相似度计算、候选三维对象匹配和标记交错注入。

16、步骤5:识别链式思维文本中的对象相关提及,获得候选三维对象集合。

17、首先,获取三维场景中每个对象级点云实例的预测类别名称。根据输入场景所属数据集选择与所述点云编码器配套、且输出该数据集预设对象类别集合的对象类别分类头,所述对象类别分类头在三维视觉语言对齐训练阶段和指令微调训练阶段保持冻结。随后,采用所述大语言模型配套的词元化器,分别对各预测类别名称和链式思维文本进行词元化。其中,词元化是指按照词元化器规则将文本切分为可由模型处理的离散文本词元序列;对预测类别名称和链式思维文本使用同一个词元化器,并在比较前统一语言、大小写和空格形式。当链式思维文本中的连续词元与某一预测类别名称词元一致时,将该连续词元片段作为对象相关提及。再将具有相同预测类别的对象级三维标记组成候选三维对象集合。具体地,将预测类别名称和链式思维文本分别转换为文本词元序列,并按文本顺序比较链式思维文本中的连续词元;仅当连续词元与某一预测类别名称的全部词元完全一致时,才将该片段确定为对象相关提及,并将具有相同预测类别的对象级三维标记组成候选三维对象集合。

18、步骤6:采用查询引导的证据融合模块融合候选三维对象集合,获得融合三维证据标记。

19、所述查询引导的证据融合模块包括可学习查询向量、交叉注意力层和多层感知机。所述可学习查询向量是该模块中随训练更新的模型参数,记为。将与对象相关提及对应的候选三维对象集合记为。所述候选三维对象数量是候选三维对象集合内对象级三维标记的数量。若候选三维对象数量等于1,则直接将该对象级三维标记作为融合三维证据标记。若候选三维对象数量大于1,则以为查询,对中的对象级三维标记执行交叉注意力聚合。具体地,交叉注意力层将查询向量和对象级三维标记分别经线性变换得到查询、键和值;计算查询与各键的缩放点积,并经过softmax归一化得到注意力权重;再按照所述权重对各值加权求和,得到聚合特征,并将聚合特征输入多层感知机,所述融合三维证据标记表示为。该方式避免在存在多个同类对象时过早选择单个对象,从而降低错误标记交错注入概率。

20、步骤7:进行歧义建模,生成与融合三维证据标记对应的歧义标记。

21、首先,根据候选三维对象数量计算候选三维对象集合歧义项。所述候选三维对象集合歧义项用于表示同一对象相关提及对应多个候选三维对象时的不确定性。候选三维对象数量越多,该项越大,候选三维对象集合歧义项计算式为。其中,表示候选三维对象数量,表示自然对数。

22、然后,根据融合三维证据标记与对象相关提及的对齐文本表示之间的余弦相似度计算语义不一致项。对对象相关提及对应的对齐文本表示进行平均池化,得到文本表示。语义不一致项的计算式为。其中,表示融合三维证据标记,表示对象相关提及的文本表示;余弦相似度越低,二者越不一致。

23、最后,将候选三维对象集合歧义项和语义不一致项拼接为二维输入,输入由第一全连接层、relu激活层和第二全连接层依次连接组成的歧义建模网络。第一全连接层将二维输入映射为中间特征,relu激活层对中间特征逐元素执行运算,其中,表示中间特征中的任一元素;第二全连接层将其映射为与上述大语言模型的隐藏维度一致的维输出,并生成与融合三维证据标记对应的歧义标记。

24、所述歧义建模网络的计算关系为。其中,为歧义标记,表示歧义建模网络,输出维度与上述大语言模型的隐藏维度一致;在没有匹配对象的文本片段处,不生成融合三维证据标记和歧义标记,也不执行后续标记交错注入。

25、步骤8:将融合三维证据标记和歧义标记交错注入链式思维文本,形成三维文本交错多模态链式思维序列,并基于该序列进行训练或推理,从而获得理解结果文本。

26、具体地,按照链式思维文本中各对象相关提及的先后顺序,对每个对象相关提及执行以下操作:在该对象相关提及的第一个文本词元之前插入对应的融合三维证据标记,再紧邻插入对应的歧义标记;未匹配到候选三维对象的文本片段保持原文本词元顺序不变。完成全部对象相关提及的插入后,得到三维文本交错多模态链式思维序列。

27、训练时,直接采用步骤2中构建并经质量控制的链式思维文本,并将对应的融合三维证据标记和歧义标记交错注入其中;推理时,先由大语言模型生成链式思维文本并暂停文本生成,对所生成的链式思维文本执行对象相关提及识别、候选三维对象匹配和标记交错注入,得到三维文本交错多模态链式思维序列,再基于该序列恢复文本生成并输出理解结果文本。在训练阶段,采用低秩适配(lora)对大语言模型中负责文本建模与生成的语言骨干网络进行微调,同时训练空间关系建模模块、三维投影层、文本投影层、查询引导的证据融合模块和歧义建模网络;点云编码器、配套对象类别分类头和词元化器保持冻结。

28、插入的融合三维证据标记和歧义标记参与自注意力计算,但其损失掩码设置为0,不作为文本生成目标。所述理解结果文本在训练阶段对应训练数据集中经人工标注或质量控制获得的标准答案文本,在推理阶段由大语言模型生成;训练时,将所述标准答案文本经同一词元化器切分得到理解结果文本词元,并与步骤4所述链式思维文本词元一并作为文本生成目标,损失掩码设置为1,用于优化大语言模型的生成能力。

29、推理阶段恢复文本生成后,所述前缀信息由系统提示、自然语言任务输入和对象级三维标记组成;大语言模型基于所述前缀信息和三维文本交错多模态链式思维序列继续生成理解结果文本。所述理解结果文本不是固定的场景类别,而是根据自然语言任务输入生成的三维场景描述文本、三维场景问答答案、三维场景对话回复、具身推理结论或场景任务规划步骤。

30、本发明的有益效果:

31、(1)通过构建三维特定链式思维数据,使模型能够学习面向三维场景的对象属性、空间关系和任务上下文的多步推理过程。

32、(2)通过将融合三维证据标记显式交错注入链式思维文本,使大语言模型不再仅依赖静态三维前缀,而能够在推理过程中主动利用与自然语言任务输入相关的融合三维证据标记。

33、(3)通过查询引导的证据融合模块和歧义建模网络,缓解多个同类对象或相似对象带来的错误匹配问题,提高实例级消歧能力。

34、(4)通过歧义标记向模型提供候选三维对象集合的歧义程度信息,降低不存在对象、错误空间关系或错误对象属性导致的幻觉回答。

35、(5)本方法可统一适用于三维场景描述、三维场景问答、三维场景对话、具身推理和场景任务规划等多种三维场景理解任务。