基于多模态大模型的室内空间语义地图自动构建方法及系统

本发明属于计算机视觉，尤其涉及基于多模态大模型的室内空间语义地图自动构建方法及系统。

背景技术：

1、随着机器人技术、室内导航系统以及智能空间管理应用的快速发展，室内空间语义地图的构建已成为支撑上述场景实现高阶智能化的核心基础设施。语义地图区别于传统的几何地图，其核心价值在于不仅能够表达空间的几何结构，更能够揭示空间中各个区域的功能属性、物体分布以及它们之间的逻辑关联。在机器人导航场景中，一幅完整的语义地图可以使机器人理解比如“该区域为实验区、适合开展精密操作”或“该区域为储物区、存放有特定工具”等高层语义信息，从而实现任务导向的智能决策而非单纯的路径规划。在智能家居与空间管理领域，语义地图同样为用户提供了对室内环境更加直观、高效的理解方式，使用户能够以自然语言指令替代传统的按键操作或图形界面交互。

2、在现有技术框架下，室内语义地图构建以几何建图为基础，配套人工或传统算法完成语义赋值，主流方法包含四类：一是手工标注法，依托slam构建几何地图后通过人工标注赋予语义信息，精度高但自动化程度极低；二是几何规则推理法，利用物体尺寸、形态、空间布局等几何特征划分基础语义类别，无需数据集，仅能识别简单场景元素；三是传统机器学习分类法，通过人工设计的曲率、纹理、法线等特征，结合svm、随机森林等算法实现物体分类，完成语义融合；四是模板匹配法，依托预设三维物体模板匹配点云数据，实现固定物件的语义标注。 传统构建方法存在诸多固有缺陷：其一，语义识别粒度粗糙，仅可区分墙体、家具等大类，无法实现精细化分类，难以适配复杂室内场景；其二，依赖人工特征设计与固定规则，抗干扰能力弱，易受光照、遮挡、视角变化影响，鲁棒性较差；其三，场景泛化能力薄弱，新增物体、户型需重新设计规则与模板，拓展成本高、适配性差；其四，几何地图与语义标签融合松散，多为后置标注方式，易出现语义错位、边界模糊等问题。

3、随着深度学习技术的发展，基于视觉的房间分割与物体检测方案逐渐成为研究热点。然而，这些方案在面对实际应用需求时仍然暴露出明显的局限性。

4、在空间定位层面，现有视觉方案通常将空间分割任务建模为连续的坐标回归问题，要求模型直接输出功能区在房间中的精确位置坐标。这种连续回归范式对于大语言模型的视觉推理能力而言存在显著的不稳定性，因为空间位置的精确判断需要模型对房间整体几何结构、参照物分布以及透视关系具备极其精准的理解，而在缺乏深度信息辅助的普通rgb照片条件下，这种精确理解往往难以稳定达成。

5、此外，连续坐标的表达方式与后续的地图存储、可视化渲染以及机器人运动规划等下游模块之间缺乏统一的接口标准，导致系统的模块化程度较低。在语义层次层面，现有技术方案通常采用房间与物体直接相连的两层结构，这种结构能够回答“某个物体位于何处”的问题，却难以回答“该区域适合进行何种活动”或“该区域与周边区域之间存在何种功能关联”等更高层次的语义问题。在增量更新层面，传统方案通常将语义地图的构建视为一次性完成的任务，当室内环境发生变化（如物品移位、区域功能调整）时，需要重新执行完整的建图流程，这造成了极大的计算资源浪费与时间成本。

6、现有方案缺乏一种将连续空间推理降维为离散分类选择的有效机制。室内空间的物理边界是连续的，但人类对空间的认知与表达却往往是离散的——人们习惯于用“左上角区域”、“门附近区域”、“靠窗区域”等离散描述来定位和交流空间信息。这种认知模式启示我们：如果能够将连续的房间空间离散化为有限数量的可枚举网格，使大语言模型的空间推理从连续坐标回归转变为网格id的分类选择，那么推理的稳定性与可解释性将获得根本性的提升。然而，现有技术中尚缺乏一种成熟的、能够动态适应不同房间尺寸并与大语言模型输出格式适配的网格化坐标映射体系。

7、与此同时，大语言模型在自然语言理解与知识推理方面的卓越能力已经得到广泛验证，多模态大语言模型更进一步具备了从图像中提取语义信息并进行视觉推理的潜力。本发明拟实现一种兼顾空间推理稳定性、语义层次完整性以及增量更新效率的室内空间语义地图自动构建方法。

技术实现思路

1、本发明涉及一种基于多模态大模型的室内空间语义地图自动构建方法，通过将连续的房间空间离散化为有限数量的可枚举网格，使多模态大语言模型的空间推理从连续坐标回归任务降维为离散的网格分类选择任务，并采用三级锚点链式推理机制逐级收敛空间定位结果，结合知识图谱技术实现语义层次的三级区域划分，最终构建包含视觉地图与语义地图双重表达的室内空间语义地图系统。

2、为实现上述发明目的，本发明采用以下技术方案：

3、一种基于多模态大模型的室内空间语义地图自动构建方法，包括以下步骤：

4、步骤一，输入预处理：获取待构建室内空间的多张全景图和多张区域近景图，其中全景图从房间的四个正面对室内环境进行等间距拍摄，四个拍摄位置分别为房间的前墙方向、后墙方向、左墙方向和右墙方向，每个方向的拍摄位置处获取一张图像；若房间内存在功能复杂的局部区域，则额外获取该区域的近景图像，近景图像的拍摄角度和范围根据该区域的复杂程度确定；将所述全景图和区域近景图进行格式统一化处理，包括图像分辨率归一化、色彩空间转换和元数据标准化，并建立图像与对应区域的映射关系。

5、步骤二，网格初始化：多模态大语言模型读取所述全景图，通过分析地板砖数量、天花板尺寸、墙面比例、门窗尺寸、家具尺度和拍摄视角等视觉线索，估计房间的相对长宽比例与大致面积；网格编号采用行优先顺序排列，左上角网格编号为0，第r行第c列的网格编号为该行的起始编号加上列索引值，其中r的取值范围为0至n-1，c的取值范围为0至m-1；网格中心点的归一化坐标通过以下方式计算：水平中心坐标等于列索引值加上0.5之后除以m，垂直中心坐标等于行索引值加上0.5之后除以n；根据估计结果动态确定n行m列的网格划分参数，其中n和m的取值根据房间面积等级确定，小型房间对应3×3网格，中型房间对应4×4网格，大型房间对应5×5或6×6网格，狭长走廊对应纵横不等的网格划分；多模态大语言模型的主输出为离散的网格编号或网格编号数组，归一化坐标主要用于数据序列化和图形渲染。

6、步骤三，一级锚点识别：多模态大语言模型分析四张全景图中墙面和地面的透视关系，判断房间的主墙方向，墙体方向分为前墙（front）方向、后墙（rear）方向、左墙（left）方向和右墙（right）方向，用于建立房间的语义坐标系；多模态大语言模型在所述全景图中识别门、窗等固定建筑元素，并将所述门、窗元素映射到房间的四面墙上，其中墙面分为前墙front墙面、后墙rear墙面、左墙left墙面和右墙right墙面；对于front墙面或rear墙面上的门窗，使用水平归一化坐标表示左右位置，垂直坐标固定为0或1；对于left墙面或right墙面上的门窗，使用垂直归一化坐标表示纵向位置，水平坐标固定为0或1；每个一级锚点包含以下字段：类型字段标识该锚点为门或窗，墙面字段标识该锚点所在的墙面，room_x字段表示归一化水平坐标，room_y字段表示归一化垂直坐标，confidence字段表示识别置信度，evidence字段表示识别依据的文字描述；所述门、窗元素作为一级锚点用于后续空间定位的主参照，具有最高的空间定位优先级。

7、步骤四，二级锚点识别：多模态大语言模型从所述全景图和区域近景图中识别大型家具或半固定设施，包括储物柜、架子、实验台、工作台和机器人充电区；输出每个大型家具的名称、类型、所在墙面、归一化坐标以及其占用的网格区域；每个二级锚点包含以下字段：name字段表示家具名称，type字段标识为大型家具，occupied_zones字段表示该家具占用的网格编号数组，near_wall字段表示该家具靠近的墙面，room_x字段和room_y字段表示归一化坐标，evidence字段表示识别依据的文字描述；所述大型家具作为二级锚点用于为功能区定位提供更细粒度的空间约束，当功能区域定位存在歧义时，大型家具的位置信息可以帮助确定功能区域的具体位置。

8、步骤五，功能区三级定位：多模态大语言模型逐张分析所述区域近景图，首先判断每张区域近景图对应的功能区域名称，然后根据图中出现的门、窗、墙体、大型家具、地面空隙和相邻物体等视觉线索，将该功能区域映射到所述n×m网格中的一个或多个网格单元；功能区域命名遵循室内空间的实际使用功能，包括但不限于实验区、办公区、储物区、机器人充电区、设备区等；每个功能区域包含以下字段：area_id字段表示功能区域唯一标识符，name字段表示功能区域名称，description字段表示功能区域描述文字，zones字段表示该功能区域占用的网格编号数组，room_x字段和room_y字段表示归一化坐标，reasoning字段表示定位推理过程和依据，image_ref字段表示对应的区域近景图引用；当功能区域占用多个网格时，这些网格在空间上应该是连续的，连续性要求确保功能区域的空间完整性和连通性。

9、步骤六，串行区域分配与冲突消解段：在分析多个区域近景图时，采用串行处理机制，每次分析新的区域时将已占用网格作为上下文信息提供给多模态大语言模型，使后续区域主动避开已占用区域；初始化已占用网格集合，将一级锚点所在的网格和二级锚点占用的网格加入已占用网格集合；对于每个待分析的区域近景图，将已占用网格集合作为输入上下文的一部分提供给多模态大语言模型；多模态大语言模型输出候选网格分配结果；若候选网格与已占用网格集合不存在交集，则接受该候选结果；若存在交集，则触发冲突消解流程；冲突消解的具体执行过程遵循以下原则：保护锚点优先原则指门、窗邻近区和大型家具占位区优先级最高，普通功能区不得覆盖；证据强度优先原则指定位理由中包含明确参照物的区域优先保留原网格；相邻迁移优先原则指被迁移区域优先移动到上下左右相邻的空网格；方向约束保持原则指靠窗区域迁移后仍应位于窗墙附近，靠门区域迁移后仍应位于门墙附近；多格区域整体移动原则指若某功能区域占据多个连续网格，则冲突消解时保持其连通性和形状连续性；冲突消解完成后，将消解后的网格加入已占用网格集合，继续处理下一个区域近景图；冲突消解过程记录消解理由，用于后续的结果追溯和系统优化。

10、步骤七，语义地图构建：构建三层语义图谱数据模型，第一层为房间层，用于表达房间整体空间容器和全局坐标系，房间节点包含room_id字段表示房间唯一标识符，name字段表示房间名称，grid_config字段包含rows表示网格行数、cols表示网格列数、zone_order表示网格排序方式、coordinate_system表示坐标系类型，room_features字段包含门、窗、墙体的特征信息；第二层为功能区域层，用于表达功能区语义、网格位置和定位理由，每个功能区域节点包含area_id字段、name字段、description字段、zones字段、room_x字段、room_y字段、image_ref字段、reasoning字段，以及area_connections字段表示与其他功能区域的连接关系；第三层为物体信息层，用于表达区域内可见物体实体及其相互之间的空间关系，每个物体信息节点包含object_id字段（物体唯一编号）、name字段（物体名称）、area_id字段（所属功能区域编号）、count字段（同名物体数量）、description字段（物体描述）、highlighted_image字段（物体高亮图片），以及objectrelation数组表示该物体关系字段，objectrelation包含source_id字段（源物体编号）、target_id字段（目标物体编号）、relation字段（物体关系类型）和description字段（关系判断说明）；物体空间关系包括相邻关系、包含关系和朝向的相对关系；知识图谱存储采用图数据库结构进行存储，语义关系类型包括包含关系、邻近关系、连接关系和朝向上的相对关系。

11、步骤八，可视化输出：根据所述网格划分参数和功能区域映射结果，生成俯视视觉地图，根据多模态大语言模型输出的网格划分参数和功能区域映射结果，生成分格填色的俯视网格地图，每个网格单元根据其所属的功能区域填充对应的颜色，将门、窗、一级锚点和二级锚点在俯视地图上进行标识显示；根据所述三层语义图谱数据模型，生成知识图谱表示的语义地图；通过sse协议实现后端到前端的实时事件推送，创建建图任务并生成任务唯一标识符和事件队列，后台执行完整的建图流程管线，每个阶段的开始、进展和完成状态都通过事件推送机制发送到前端，事件类型包括阶段开始事件、阶段进展事件、过程日志事件、阶段完成事件、任务完成事件、阶段错误事件和心跳保活事件，前端通过建立与后端的sse连接，实时接收并解析事件数据，更新用户界面状态，使用户能够实时查看建图进度和中间结果；可视化输出支持多种格式，包括静态图像格式、网页交互格式和三维模型格式；根据三层语义图谱数据模型和俯视视觉地图，生成三维房间模型文件，三维模型包含房间的几何结构、门窗位置、功能区域划分和物体摆放信息，采用webgl技术在浏览器中进行渲染，支持用户通过浏览器查看三维房间模型并进行交互式浏览。

12、进一步的，在所述步骤七之后还包括物体检测与交叉验证步骤：使用yolo-world零样本开放词汇检测模型对区域近景图进行物体检测，多模态大语言模型输出的物体中文名称转换为开放词汇检测提示词，将转换后的提示词列表输入yolo-world模型进行零样本检测，对检测结果与多模态大语言模型输出的物体进行名称匹配和语义相似度比较，选择置信度最高的匹配检测框作为可视化结果，将yolo-world检测得到的物体边界框叠加在原始区域近景图上，边界框的颜色根据物体类别进行区分，边界框旁边标注物体名称；若不存在匹配检测框，则保留多模态大语言模型的语义实体，但标注图像字段为空。

13、进一步的，还包括增量更新步骤：当用户上传某一区域的新照片后，系统通过图像匹配算法将新照片与已有功能区域进行匹配，匹配算法采用多模态大语言模型进行区域图像的语义匹配，将新照片和已有功能区域的参考图像同时输入模型，模型输出匹配置信度和匹配理由；匹配成功后，将该区域旧参考图和新照片同时输入多模态大语言模型，要求其输出物体层面的变化清单，变化类型包括新增、移除、移动和状态变化四种类型；根据变化清单更新对应的功能区域节点和物体信息节点，重新生成语义地图文件、可视化布局图和三维房间模型；区域图片更新过程不重新运行完整的建图流程，而是通过区域匹配、变化检测和增量重生成三个步骤完成语义地图的更新。

14、进一步的，本发明所述的多模态大语言模型为具备视觉理解能力的大型语言模型，能够接收图像输入并输出结构化的文本描述；模型在输入图像中提取空间特征、物体特征和功能特征，并将这些特征映射为语义化的结构输出；本发明所述的全自主空间推理过程不依赖深度传感器、人工标注或预设房间模板，所有空间推理结果均由多模态大语言模型从普通rgb照片中直接视觉推理得出；在可选实施方式中，若用户提供房间实际尺寸参数或系统存在同一房间的历史锚点缓存，则这些信息可作为先验输入用于提高推理稳定性和效率，但该先验输入不是本发明实施的必要条件，用户先验输入为可选输入项。

15、进一步的，本发明所述的动态n×m网格化空间坐标映射体系的核心作用为将连续的房间空间转换为有限数量的可枚举网格，使多模态大语言模型的空间推理从连续坐标回归任务降维为离散的网格分类选择任务，从而提高空间推理的稳定性和可解释性；本发明所述的三级锚点链式推理机制按照网格初始化、一级锚点识别、二级锚点识别和功能区定位的顺序逐级收敛，使多模态大语言模型的视觉推理具有可解释的中间结果，每一级的输出作为下一级的输入约束条件，实现推理结果的逐级精确化。

16、进一步的，还包括错误处理机制：当多模态大语言模型在某一阶段无法给出确定性的推理结果时，系统记录该阶段的识别置信度，并在下游处理中对该结果进行标记，推理置信度用于评估多模态大语言模型推理结果的可信程度，置信度低于预设阈值的结果需要进行人工复核或补充图像信息；若多个阶段均无法给出确定性结果，则向用户返回建图失败信息并提示需要补充拍摄图像。

17、一种实现上述方法的系统，包括：图像采集模块，用于获取待构建室内空间的全景图和区域近景图；图像预处理模块，用于对采集的图像进行格式统一化处理；网格初始化模块，用于根据全景图估计房间尺寸并确定网格划分参数；锚点识别模块，用于识别一级锚点和二级锚点；功能区定位模块，用于将功能区域映射到网格单元；冲突消解模块，用于处理多个功能区域之间的网格冲突；语义图谱构建模块，用于构建三层语义图谱数据模型；可视化输出模块，用于生成视觉地图和语义地图；实时通信模块，用于实现sse协议的事件推送。

18、进一步的，所述系统还包括物体检测模块，用于使用yolo-world模型进行零样本物体检测；增量更新模块，用于处理区域图像变化后的语义地图更新；三维重建模块，用于生成三维房间模型；任务管理模块，用于管理建图任务的创建、执行和状态追踪；数据存储模块，用于持久化存储语义地图数据。

19、本发明的有益效果在于：

20、通过将连续空间离散化为可枚举网格，使多模态大语言模型的空间推理从连续回归降维为离散分类选择，显著提高了空间推理的稳定性；通过三级锚点链式推理机制，使推理过程具有可解释的中间结果；

21、通过三层语义图谱数据模型，实现了从房间到功能区再到物体的完整语义层次表达；

22、通过串行区域分配与冲突消解机制，避免了功能区域的位置冲突；通过sse实时通信，使用户能够实时查看建图进度；通过增量更新机制，避免了环境变化后重新建图的计算浪费。