多模态协同交互的建筑信息模型BIM处理方法及装置与流程
本技术涉及筑信息模型协同工作,尤其涉及一种多模态协同交互的建筑信息模型bim处理方法及装置。
背景技术:
1、建筑信息模型(bim)技术已广泛应用于建筑、市政、交通等工程领域。由于各专业建模软件互不兼容,工程项目中往往同时存在多种软件产生的.rvt、.dgn、.ifc、.nwd等数十种异构格式文件,跨专业集成显示困难,数据在多次转换中易产生几何失真与语义丢失。工程级bim模型数据量常达gb级以上,在web浏览器端加载时普遍存在首屏等待时间长、交互卡顿甚至内存溢出崩溃等问题,难以实现轻量化便捷访问。在交互方式上,传统鼠标键盘操作在工程现场、移动办公、沉浸式评审等场景下使用不便。相关技术中,部分方案尝试引入手势交互,但多依赖摄像头或穿戴式传感器等单一感知通道,在光照变化、手部遮挡、腕带未佩戴等复杂工况下识别率与稳定性显著下降,误触率偏高,难以满足工程应用的可靠性要求。
技术实现思路
1、本技术旨在至少在一定程度上解决相关技术中的技术问题之一。
2、为此,本技术第一方面实施例提出了一种多模态协同交互的建筑信息模型bim处理方法,包括以下步骤:
3、将多源异构的源格式bim文件通过并行解析器池统一解析,提取几何信息、语义属性信息、层级组织信息和关联关系信息,将所述源格式bim文件转换为预设格式的建筑信息模型bim;
4、基于八叉树空间分块算法对所述建筑信息模型bim进行切片,并为每个切片生成多个细节层级的模型;
5、根据浏览器端当前观察视点的位置在所述切片中筛选出视锥体范围内的可见切片,并根据所述当前观察视点的位置与切片包围盒的距离确定每个所述可见切片的视距等级;
6、在浏览器端渲染循环中,根据每个所述可见切片的视距等级和预设的视距等级与目标细节层级模型之间的第一映射关系,实时确定并加载每个所述切片对应的目标细节层级模型;
7、通过手腕神经交互控制模型获取并识别用户的手势动作意图,生成第一控制指令和第一置信度,通过视觉手势识别控制模型获取并识别所述用户的手部姿态与位置,生成第二控制指令和第二置信度;
8、基于所述第一置信度、所述第二置信度对所述第一控制指令和所述第二控制指令进行融合,得到操作指令,并对在浏览器端渲染显示的所述建筑信息模型bim进行操控。
9、在本技术一些实施例中,所述预设格式包括header层、geometry层、semantic层、hierarchy层和lod index层;
10、header层,用于存储版本号、单位制、坐标原点、模型总包围盒与压缩算法标识;
11、geometry层,用于采用顶点索引共享方式存储网格数据,并采用压缩算法进行几何压缩;
12、semantic层,用于以键值对形式存储构件语义属性,并建立倒排索引;
13、hierarchy层,用于以平铺数组加父节点id的方式存储构件的树状组织关系;
14、lod index层,用于存储各空间切片的索引与多个细节层级的索引,用于支持空间查询与按需加载。
15、在本技术一些实施例中,所述基于八叉树空间分块算法对所述建筑信息模型bim进行切片,并为每个切片生成多个细节层级的模型,包括:以所述建筑信息模型bim整体包围盒为根节点,按构件在三维空间中的分布递归划分为多个八叉树节点;当任一节点的数据量超过预设阈值时,继续进行节点细分,直至所有节点的数据量均满足所述预设阈值,完成空间切片;对每个所述切片,采用基于二次误差度量的网格简化算法,逐级生成所述多个细节层级的模型;其中,所述多个细节层级的模型包括精细模型、中等细节模型、简化模型和极简占位框模型。
16、在本技术一些实施例中,所述第一映射关系包括:
17、视距等级为近距离等级时,对应的目标细节层级模型为精细模型;
18、视距等级为中距离等级时,对应的目标细节层级模型为中等细节模型;
19、视距等级为远距离等级时,对应的目标细节层级模型为简化模型。
20、在本技术一些实施例中,所述通过手腕神经交互控制模型获取并识别用户的手势动作意图,生成第一控制指令和第一置信度,包括:通过佩戴于用户前臂的多通道肌电腕带采集肌电信号,并进行带通滤波与工频陷波预处理;对预处理后的肌电信号进行滑窗分段,提取时域特征和频域特征;将所述时域特征和所述频域特征输入手腕神经交互控制模型进行分类,识别得到所述第一控制指令和所述第一置信度;其中,所述手腕神经交互控制模型基于卷积神经网络和长短期记忆网络构成的混合神经网络构建。
21、在本技术一些实施例中,所述通过视觉手势识别控制模型获取并识别所述用户的手部姿态与位置,生成第二控制指令和第二置信度,包括:通过摄像头采集所述用户的手部图像,并定位手部区域;提取手部的多个关键点坐标,形成手势姿态向量;将连续多帧的手势姿态向量序列输入所述视觉手势识别控制模型进行动态手势分类,识别得到所述第二控制指令和所述第二置信度;获取手部的空间位置信息,将所述空间位置信息通过外参标定映射至浏览器端渲染显示的所述建筑信息模型bim,作为虚拟指针坐标。
22、在本技术一些实施例中,所述基于所述第一置信度、所述第二置信度对所述第一控制指令和所述第二控制指令进行融合,得到操作指令,包括:当所述第一控制指令和第二控制指令的输出结果一致时,基于所述第一置信度、所述第二置信度对所述第一控制指令和所述第二控制指令进行加权融合,得到所述操作指令;当所述第一控制指令和第二控制指令的输出结果不一致时,将所述第一置信度和所述第二置信度之中最大值对应的控制指令作为所述操作指令,并通过卡尔曼滤波对所述操作指令进行平滑处理。
23、本技术第二方面实施例提出了一种多模态协同交互的建筑信息模型bim处理装置,包括:
24、格式统一模块,用于将多源异构的源格式bim文件通过并行解析器池统一解析,提取几何信息、语义属性信息、层级组织信息和关联关系信息,将所述源格式bim文件转换为预设格式的建筑信息模型bim;
25、切片处理模块,用于基于八叉树空间分块算法对所述建筑信息模型bim进行切片,并为每个切片生成多个细节层级的模型;
26、视距确定模块,用于根据浏览器端当前观察视点的位置在所述切片中筛选出视锥体范围内的可见切片,并根据所述当前观察视点的位置与切片包围盒的距离确定每个所述可见切片的视距等级;
27、细节层级确定模块,用于在浏览器端渲染循环中,根据每个所述可见切片的视距等级和预设的视距等级与目标细节层级模型之间的第一映射关系,实时确定并加载每个所述切片对应的目标细节层级模型;
28、生成模块,用于通过手腕神经交互控制模型获取并识别用户的手势动作意图,生成第一控制指令和第一置信度,通过视觉手势识别控制模型获取并识别所述用户的手部姿态与位置,生成第二控制指令和第二置信度;
29、交互模块,用于基于所述第一置信度、所述第二置信度对所述第一控制指令和所述第二控制指令进行融合,得到操作指令,并对在浏览器端渲染显示的所述建筑信息模型bim进行操控。
30、本技术第三方面实施例提出了一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;
31、所述存储器存储计算机执行指令;
32、所述处理器执行所述存储器存储的计算机执行指令,以实现前述第一方面所述的方法。
33、本技术第四方面实施例提出了一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现前述第一方面所述的方法。
34、本技术提供的多模态协同交互的建筑信息模型bim处理方法,通过并行解析器池将多源异构源格式bim文件统一转换为预设中间格式文件,打破了不同建模软件之间的格式壁垒,有效减少多次格式转换造成的几何失真与语义信息丢失的情况。通过八叉树空间分块切片与多细节层级模型生成,结合基于观察视点的视锥体筛选与视距等级判定,可在浏览器端仅加载用户当前可见切片且按距离远近自适应匹配模型精细程度的按需调度机制,显著降低了大体量模型对浏览器内存和渲染算力的占用,保障了交互浏览的流畅性。通过手腕神经交互与视觉手势识别双通道分别生成控制指令及其置信度,并基于置信度对两通道指令进行融合决策,有效克服了工程现场复杂工况下单一交互通道识别率低、易失效的问题,实现了对渲染模型自然、精准、高可靠的多模态协同操控。本技术适用于工程现场巡检、移动办公、会议汇报、沉浸式评审以及vr/ar展示等多种场景,具有良好的工程实用性与推广价值。
35、本技术附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本技术的实践了解到。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com