一种基于多模态融合的室内场景结构化生成方法及系统与流程

本发明属于室内场景重建，具体涉及一种基于多模态融合的室内场景结构化生成方法及系统。

背景技术：

1、随着三维扫描、计算机视觉、建筑信息建模以及人工智能等技术的发展，基于多源数据进行建筑室内场景重建逐渐成为室内数字化建模的重要技术手段。现有的室内场景重建通常综合利用点云、影像、建筑平面图等不同来源的数据，通过对不同模态数据进行配准、特征提取和融合，获得建筑室内空间的几何结构及场景信息。其中，点云数据能够提供较为直接的空间几何和表面信息，影像数据能够提供纹理、颜色及部分语义信息，平面图能够提供墙体、房间以及空间布局等结构信息。通过融合不同来源的数据，可以在一定程度上弥补单一数据源在室内场景重建过程中存在的信息缺失。

2、现有的多源数据融合重建方法通常采用基于几何约束的联合优化方式，将不同模态的数据转换为相应的几何约束项，并通过统一的优化过程获得场景重建结果。例如，将平面图中的墙体位置、房间边界等信息作为空间结构约束，将点云中的表面观测信息作为几何约束，并结合影像数据提供的视觉信息对重建结果进行优化。该类方法在不同模态数据质量相对均衡的情况下能够取得较好的重建效果。然而，在实际建筑室内环境中，不同模态数据在不同空间区域内的可靠程度往往存在较大差异。例如，在某一房间内可能由于镜面反射、光照条件等因素导致影像数据质量下降，也可能由于家具、设备或其他障碍物遮挡而造成点云数据大范围缺失，还可能由于建筑平面图更新不及时或人工标注不完整而导致平面图数据与实际空间存在偏差。在此情况下，采用固定权重或预先设定比例对不同模态数据进行融合，难以反映不同模态数据在不同空间区域内的实际可靠程度，低质量模态所产生的错误约束可能被过度引入重建过程，从而造成局部空间尺寸、墙体位置或其他几何结构的重建偏差。

3、另一方面，现有室内场景重建方法所生成的结果通常主要以稠密点云、三角网格或其他几何模型形式进行表达。这类表示方式能够较为完整地描述室内空间的几何细节，但通常侧重于对场景整体几何形态的表达，缺少针对墙体、门、窗、家具以及其他室内构件的对象级划分，以及与各对象对应的尺寸、位置、朝向和类别等参数化描述。因此，重建结果虽然能够用于场景可视化或几何测量，但在需要对特定场景对象进行独立编辑的应用中存在一定局限。例如，在室内装修设计、家具布局调整或空间功能重新规划等应用中，通常需要针对单个家具、墙体或门窗对象进行移动、删除、替换或尺寸调整，而传统的点云或三角网格形式难以直接提供具有明确对象边界和属性信息的可编辑场景表示。

4、此外，随着多模态人工智能技术的发展，点云、影像、平面图以及文本描述等异构数据被逐渐应用于室内场景理解和场景生成。现有多模态融合方法通常在特征提取后，将不同模态得到的特征进行直接拼接、相加或其他简单融合，并将融合后的特征输入后续的场景理解或生成网络。然而，不同模态数据之间通常存在较强的语义对应关系，例如平面图所描述的房间功能可以与影像中识别出的家具类型相互印证，点云中的空间结构也可以与平面图中的房间边界相互对应。现有方法通常未充分利用上述跨模态语义对应关系，也较少对不同模态特征融合后的语义一致性进行显式建模，使得融合特征中可能包含不同模态之间相互矛盾或语义不一致的信息，进而影响室内场景重建或生成结果的准确性和合理性。

5、进一步地，现有多模态室内场景重建方法在完成一次数据融合和场景生成后，通常直接输出最终重建结果，而缺少将生成结果与原始点云、影像、平面图等模态数据进行再次比对和复核的机制。当生成结果与某一原始模态数据存在明显冲突时，例如生成的房间尺寸与平面图中标注的尺寸不一致，或者生成的墙体位置与点云观测结果存在较大偏差，现有方法通常难以自动判断产生冲突的具体模态及其原因，也难以根据生成结果与原始数据之间的差异对相应模态在融合过程中的权重进行针对性调整。因此，现有技术在多模态数据可靠性动态变化、对象级场景表达、跨模态语义一致性以及融合结果反馈修正等方面仍存在改进空间。

技术实现思路

1、本发明提供一种基于多模态融合的室内场景结构化生成方法及系统，以解决现有技术中多模态数据融合适应性不足、重建结果结构化程度较低以及缺乏生成结果反馈校正机制的问题。

2、为了解决上述技术问题，本发明实施例公开了如下技术方案：

3、本发明的一个方面提供一种基于多模态融合的室内场景结构化生成方法，包括：

4、获取室内场景的多模态数据，并分别提取每种模态数据的特征；

5、针对室内场景中的每个预设空间区域，确定各模态数据在所述空间区域的可靠性权重，并基于可靠性权重对所述空间区域内各模态数据的特征进行融合；

6、根据融合后的特征确定室内场景中的对象及各对象的参数化属性，并根据各对象的参数化属性以及对象之间的空间关系构建结构化场景模型；

7、将所述结构化场景模型中的各个对象与对应的多模态数据进行一致性评价，并根据评价结果确定异常对象；

8、调整所述异常对象所在空间区域内各模态数据的可靠性权重，基于调整后的可靠性权重重新确定所述异常对象的参数化属性，并更新结构化场景模型。

9、可选的，所述获取室内场景的多模态数据，包括：

10、获取室内场景的多种模态数据，分别对每种模态数据进行预处理，并确定各模态数据对应的空间位置信息；

11、根据各模态数据对应的空间位置信息建立不同模态数据之间的空间对应关系。

12、可选的，所述分别提取每种模态数据的特征，包括：

13、分别对各模态数据进行特征编码，得到各模态数据对应的初始特征；

14、根据不同模态数据之间的空间对应关系，将对应相同空间区域的不同模态数据的初始特征映射为具有相同特征维度的特征表示；

15、对相同空间区域的不同模态特征进行跨模态对比学习，使各模态数据的特征在语义上对齐。

16、可选的，所述针对室内场景中的每个预设空间区域，确定各模态数据在所述空间区域的可靠性权重，并基于可靠性权重对所述空间区域内各模态数据的特征进行融合，包括：

17、针对每个预设空间区域，确定各模态数据在所述空间区域的数据质量，以及各模态数据与其他模态数据在所述空间区域内的一致程度；

18、根据各模态数据的数据质量以及与其他模态数据的一致程度，确定各模态数据在所述空间区域的可靠程度，并根据所述可靠程度确定各模态数据对应的可靠性权重；

19、根据各模态数据在所述空间区域的可靠性权重，对所述空间区域内各模态数据对应的特征进行加权融合，得到所述空间区域的融合特征。

20、可选的，所述模态数据包括点云、影像、平面图和文本描述；

21、所述确定各模态数据在所述空间区域的数据质量，包括：

22、根据点云数据在所述空间区域内的局部点密度和法线一致性确定点云数据的数据质量；

23、根据影像数据在所述空间区域内的曝光程度、清晰度和视角覆盖情况确定影像数据的数据质量；

24、根据平面图数据在所述空间区域内的标注完整程度确定平面图数据的数据质量；

25、根据文本描述与所述空间区域内其他模态数据之间的一致程度确定文本描述的数据质量。

26、可选的，所述根据融合后的特征确定室内场景中的对象及各对象的参数化属性，包括：

27、设置多个对象槽位，并根据各对象槽位与所述融合特征之间的关联程度，从所述融合特征中提取与各对象槽位对应的对象特征；

28、基于对象特征对各对象槽位进行迭代更新，根据迭代更新后的各对象槽位确定室内场景中的对象，并根据对应的对象特征确定各对象的参数化属性，所述参数化属性包括对象类别、位置、朝向和尺寸中的至少一种。

29、可选的，所述根据各对象的参数化属性以及对象之间的空间关系构建结构化场景模型，包括：

30、根据各对象的参数化属性建立对应的对象节点，并根据各对象的空间关系建立对象节点之间的关联关系；

31、根据各对象节点的参数化属性生成各对象的几何模型，并将几何模型与对应的对象节点进行关联，得到结构化场景模型。

32、可选的，所述将所述结构化场景模型中的各个对象与对应的多模态数据进行一致性评价，并根据评价结果确定异常对象，包括：

33、根据各对象的空间位置，确定各对象对应的各模态数据；

34、将各对象的参数化属性分别与对应的各模态数据进行比对，确定各对象相对于各模态数据的属性偏差；

35、根据所述属性偏差确定各对象与对应的多模态数据之间的一致程度，并将一致程度不满足预设一致性条件的对象确定为异常对象。

36、可选的，所述调整所述异常对象所在空间区域内各模态数据的可靠性权重，包括：

37、针对异常对象所在空间区域内的各模态数据，分别降低单一模态数据的可靠性权重，并基于调整后的可靠性权重重新融合所述空间区域内各模态数据的特征；

38、根据每次重新融合后的特征重新确定所述异常对象的参数化属性，并确定所述参数化属性与除当前调整可靠性权重的模态数据之外的其他模态数据之间的一致程度；

39、根据各模态数据在可靠性权重调整前后所述一致程度的变化，确定所述空间区域内可靠性权重待调整的目标模态数据；

40、降低所述目标模态数据在所述空间区域内的可靠性权重，并根据调整后的目标模态数据的可靠性权重重新确定所述空间区域内其他模态数据的可靠性权重。

41、可选的，所述基于调整后的可靠性权重重新确定所述异常对象的参数化属性，并更新结构化场景模型，包括：

42、根据调整后的可靠性权重，重新融合异常对象所在空间区域内各模态数据的特征，得到更新后的融合特征；

43、根据所述更新后的融合特征重新确定异常对象的参数化属性，并以重新确定的参数化属性替换异常对象原有的参数化属性；

44、根据重新确定的参数化属性更新异常对象对应的几何模型以及异常对象与其他对象之间的空间关系，得到更新后的结构化场景模型。

45、可选的，所述方法还包括：

46、根据各对象的参数化属性，对各对象之间以及各对象与对应空间边界之间进行几何合理性检测；

47、将存在几何冲突或者超出对应空间边界的对象确定为冲突对象；

48、根据所述冲突对象对应的几何合理性检测结果调整所述冲突对象的生成约束，并基于调整后的生成约束重新确定所述冲突对象的参数化属性；

49、根据重新确定的参数化属性更新所述冲突对象对应的对象节点及几何模型。

50、可选的，所述方法还包括：

51、当任一预设空间区域内各模态数据的可靠程度均不满足预设可靠性条件时，将所述空间区域确定为高不确定性区域；

52、获取与室内场景对应的统计先验信息，并将所述统计先验信息作为所述高不确定性区域的补充生成条件，基于所述高不确定性区域的融合特征和补充生成条件确定所述高不确定性区域内对象的参数化属性。

53、本发明的另一个方面提供一种基于多模态融合的室内场景结构化生成系统，包括：

54、多模态数据特征提取模块，被配置为获取室内场景的多模态数据，并分别提取每种模态数据的特征；

55、多模态数据特征融合模块，被配置为针对室内场景中的每个预设空间区域，确定各模态数据在所述空间区域的可靠性权重，并基于可靠性权重对所述空间区域内各模态数据的特征进行融合；

56、结构化场景模型构建模块，被配置为根据融合后的特征确定室内场景中的对象及各对象的参数化属性，并根据各对象的参数化属性以及对象之间的空间关系构建结构化场景模型；

57、异常对象确定模块，被配置为将所述结构化场景模型中的各个对象与对应的多模态数据进行一致性评价，并根据评价结果确定异常对象；

58、结构化场景模型调整模块，被配置为调整所述异常对象所在空间区域内各模态数据的可靠性权重，基于调整后的可靠性权重重新确定所述异常对象的参数化属性，并更新结构化场景模型。

59、本发明公开的一种基于多模态融合的室内场景结构化生成方法及系统，通过针对不同空间区域确定各模态数据的可靠性权重，并基于可靠性权重进行多模态特征融合，能够根据各区域内不同模态数据的可靠程度自适应调整其对融合结果的贡献，降低低质量模态数据对场景生成结果的影响。同时，基于融合特征确定室内场景中的对象及其参数化属性，并结合对象之间的空间关系构建结构化场景模型，使生成结果具有对象级的结构化表达。此外，通过将生成对象与对应的多模态数据进行一致性评价，识别异常对象并调整其所在空间区域内的模态可靠性权重，对异常对象进行重新生成和模型更新，从而实现对生成结果的反馈校正，提高室内场景结构化生成结果的准确性和可靠性。

60、提供 技术实现要素： 部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的重要特征或必要特征，也无意限制本公开的范围。