一种沉浸式游览场景下的多模态数据感知与交互系统的制作方法
本发明属于人机多模态交互,涉及一种沉浸式游览场景下的多模态数据感知与交互系统。
背景技术:
1、随着数字孪生、沉浸式可视化技术在文旅行业快速落地,葡萄酒产区沉浸式数字游览成为新型文旅体验模式,依托vr/ar、大屏交互等设备可实现酒庄实景复刻、酿造工艺三维演示、产区文化数字化展示,为游客带来可视化游览体验。当前行业内沉浸式游览系统普遍采用人机交互方案实现游客与数字场景联动,但现有沉浸式交互技术存在多重技术短板,难以匹配酒庄精细化游览需求。
2、当下主流文旅交互系统多依赖触控、按键等单一交互模式,未融合语音、手势、触摸多模态协同交互能力,交互范式固定僵化,游客需适配设备操作逻辑,中老年及初次体验用户使用门槛高,且无法根据漫游、品鉴、观展等不同游览状态提供差异化交互方式。少数搭载多类采集硬件的系统将语音、手势、触摸数据独立解析处理,缺少统一时序对齐与融合感知框架,无法识别游客同步操控场景、咨询工艺、查看设备细节的复合交互意图,模态数据时序错位还会造成指令冲突、漏触发等问题。同时传统交互基于固定热点触发逻辑,无法适配数字孪生动态场景,对口语提问、轻微手势、轻触等弱交互信号识别精度差,误响应与信号过滤问题并存;且系统未搭建自适应降噪机制,场馆杂音、无意识肢体抖动、误触等无效信号频繁干扰正常交互。因此,亟需一种能够能够实现语音、手势、触摸三模态数据统一采集、降噪与时序同步融合的感知交互方案。
技术实现思路
1、本发明的目的在于解决现有技术中人机交互自然度低,多模态交互数据相互割裂、缺乏统一融合与时序同步机制的问题,提供一种沉浸式游览场景下的多模态数据感知与交互系统。
2、为达到上述目的,本发明采用以下技术方案予以实现:
3、一种沉浸式游览场景下的多模态数据感知与交互系统,包括:数据采集层、数据融合层、解析决策层、场景响应层以及迭代优化层;
4、所述数据采集层同步采集游客触摸操作数据、肢体手势数据及自然语音数据;
5、所述数据融合层内置自适应阈值噪声过滤子模块与时序对齐融合子模块;所述自适应阈值噪声过滤子模块用于剔除环境杂音、无意识肢体微动及误触摸无效信号;所述时序对齐融合子模块统一校准全部模态数据时间戳,输出有效融合交互数据;
6、所述解析决策层内置识别模型,用于解析有效融合交互数据,获取游客游览意图,并输出标准化交互意图指令;
7、所述场景响应层根据标准化交互意图指令同步执行三维场景操控、葡萄酒文化语音图文讲解、展品细节展示和游览内容自适应渲染调整,生成可视化、语音化交互反馈并呈现给游客;
8、所述迭代优化层接收场景响应层上传的交互反馈数据,迭代优化语音语义匹配阈值、手势识别阈值及触摸有效判定阈值,并将更新后的模型参数下发至解析决策层更新识别模型。
9、本发明的进一步改进在于:
10、进一步的,所述数据采集层包括触控显示终端、手势感知摄像头及语音麦克风阵列;所述触控显示终端采集用户进行触摸的坐标、时长及运动轨迹作为触摸操作数据;所述手势感知摄像头采集用户的骨骼点位、动作轨迹、姿态角度作为肢体手势数据;所述语音麦克风阵列收录游客口语提问、操作指令作为自然语音数据。
11、进一步的,所述自适应阈值噪声过滤子模块用于剔除环境杂音、无意识肢体微动及误触摸无效信号,具体为:所述自适应阈值噪声过滤子模块基于自适应阈值算法分别对游客触摸操作数据、肢体手势数据及自然语音数据进行降噪处理,分别设定噪声阈值、手势动态位移阈值及触摸判断阈值;分别将自然语音数据的音频频谱功率与噪声阈值进行比对,将手势点位位移幅度与手势动态位移阈值进行比对,将触摸时长与接触面积特征及触摸判断阈值进行比对;若分别大于对应的噪声阈值、手势动态位移阈值及触摸判断阈值,则保留对应的音频频谱功率、手势点位位移幅度、触摸时长与接触面积特征;若小于,则舍弃对应的音频频谱功率、手势点位位移幅度、触摸时长与接触面积特征。
12、进一步的,所述时序对齐融合子模块统一校准全部模态数据时间戳,输出有效融合交互数据,具体为:以酒庄数字孪生场景渲染时钟作为全局统一基准,并对过滤后的游客触摸操作数据、肢体手势数据及自然语音数据分别设定本地采集时间戳;获取本地采集时间戳与全局统一基准之间的时间差;并对游客触摸操作数据、肢体手势数据及自然语音数据进行缓存插值、帧丢弃/补帧校准,将语音、手势、触摸的时间误差统一控制在预设的误差阈值内;对超前、滞后的模态数据做时序补偿,保证同一用户在同一时刻产生的语音、手势、触摸动作在时间轴完全对齐。
13、进一步的,所述识别模型包括:语音语义模型、手势动作分类模型及触摸区域定位模型;
14、所述解析有效融合交互数据,获取游客游览意图,并输出标准化交互意图指令,具体为:
15、所述识别模型对有效融合交互数据进行通道拆分,分别获取语音数据流、手势数据流和触摸坐标数据流;
16、语音语义模型提取语音数据流中的口语文本,依托酒庄知识库关键词库,识别葡萄酒产区、酿造工艺、品鉴方法、酒庄历史类提问/操作指令,输出语音意图标签;
17、手势动作分类模型提取手势数据流中的手势点位、姿态角度及运动轨迹,分类识别场景漫游、视角旋转、场景缩放及展品指向的手势动作,输出空间操控指令标签;
18、触摸区域定位模型根据屏幕触摸坐标及滑动轨迹,定位游客选中功能区域,输出触摸意图标签;
19、若检测到同一时间窗口内同时存在有效语音、手势及触摸信号,所述语音语义模型、手势动作分类模型及触摸区域定位模型分别进行识别处理,获取复合意图标签;
20、将语音意图标签、空间操控指令标签及触摸意图标签或复合交互意图标签进行标准化封装,并将标准化交互意图指令实时传输至场景响应层。
21、进一步,所述场景响应层对接酒庄数字孪生场景引擎与葡萄酒文化内容数据库,接收解析决策层下发的标准化交互意图指令后进行处理,依托统一渲染调度机制同步完成三维场景操控、葡萄酒文化语音图文讲解、展品细节展示以及游览内容自适应渲染调整;其中依据手势和触摸指令调用酒庄数字孪生场景引擎接口对葡萄园三维场景进行漫游、视角切换与模型缩放,根据语音查询关键词检索葡萄酒文化内容数据库匹配对应音频、图文与三维演示素材同步播报展示;通过触摸坐标、手势指向点位定位三维展品,同时结合游客历史交互行为动态调节模型渲染精度与知识展示深度。
22、进一步,所述迭代优化层接收场景响应层上传的交互反馈数据,迭代优化语音语义匹配阈值、手势识别阈值及触摸有效判定阈值,并将更新后的模型参数下发至解析决策层更新识别模型,具体为:所述迭代优化层搭载轻量化机器学习迭代算法,针对语音交互统计语义匹配失败、模糊指令识别偏差样本,动态修正语音语义匹配阈值;针对手势交互统计微弱有效动作被过滤、无意识微动被误识别两类异常样本,自适应调整手势动作识别判定阈值;针对触摸交互统计无意误触识别成功、有效轻触被过滤的异常案例,更新触摸有效操作判定阈值;完成多轮样本统计与阈值迭代收敛后,生成优化后的全套模型识别参数包并发送至解析决策层,实时覆盖替换解析决策层内置的识别模型,完成识别模型在线更新。
23、与现有技术相比,本发明具有以下有益效果:
24、本发明通过数据采集层采集游客触摸操作数据、肢体手势数据及自然语音数据;数据融合层通过自适应阈值过滤干扰信号,并以数字孪生渲染时钟为基准进行多模态时序对齐;解析决策层搭载识别模型,拆分数据流识别单模态或复合游览意图,输出标准化交互指令;场景响应层联动数字孪生引擎与葡萄酒文化数据库,实现三维场景操控、文化讲解、展品展示与自适应渲染;迭代优化层利用轻量化机器学习动态修正各模态识别阈值,在线更新识别模型。本发明解决了传统文旅中存在的交互模态割裂、时序错位、识别精度差及误触的问题,能够实现语音、手势、触摸协同自然交互,能够依据游客行为个性化调整展示内容与渲染效果,适配酒庄沉浸式游览长期运营。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com