一种基于数字孪生与多模态交互的文化遗产沉浸式体验系统、方法及装置

本发明属于数字孪生与文化遗产数字化领域，具体地说是一种基于数字孪生与多模态交互的文化遗产沉浸式体验系统、方法及装置。

背景技术：

1、文化遗产承载着人类文明的记忆与智慧，其数字化保护与传承已成为文化遗产领域的重要研究方向。近年来，随着数字孪生技术的成熟，通过三维建模与虚拟现实手段对文化遗产旧址、传统技艺进行数字化复现，能够突破时空限制，使公众获得沉浸式的文化体验。与此同时，多模态交互技术的引入使得用户可以通过语音指令、手势动作等自然方式与数字内容进行互动，显著降低了数字化体验的操作门槛。在上述技术融合的推动下，基于数字孪生与多模态交互的沉浸式体验系统日益受到关注，相关技术方案已在部分博物馆、文化展馆中逐步落地。

2、然而，现有沉浸式体验系统在处理用户多模态输入时，通常采用统一的意图识别处理策略，即对所有语音指令和手势动作均经过相同的特征提取与语义理解流程后方能产生响应。这种单一处理方式导致系统在实际运行中存在明显的效率与精度的矛盾：对于“展示某件作品”“放大视图”等意图明确的指令，系统仍需经历完整的识别流程，响应延迟明显，影响交互的流畅感；而对于语音含混、手势指向模糊或语音与手势语义冲突等边界不清晰的情形，统一的处理流程又缺乏有效的深度分析机制，容易产生误判或无法响应，严重削弱了沉浸式体验的连贯性与真实感。如何兼顾明确意图的快速响应与模糊意图的精准理解，成为制约该类系统用户体验提升的关键技术难题。

技术实现思路

1、为了解决上述技术问题，本发明提供一种基于数字孪生与多模态交互的文化遗产沉浸式体验系统、方法及装置，以解决现有技术中对所有多模态输入采用统一意图识别处理策略而导致明确意图响应效率低且模糊意图识别精度不足的问题。

2、本发明提供一种基于数字孪生与多模态交互的文化遗产沉浸式体验系统，包括：

3、多模态交互输入模块，用于采集用户输入的语音交互数据和/或手势交互数据，生成多模态输入信号；

4、意图识别与分级处理模块，用于接收所述多模态输入信号，按照双层递进处理机制对用户意图进行识别：第一层采用规则匹配方法对所述多模态输入信号进行快速意图归类，输出第一意图识别结果；对于所述第一层无法明确归类的模糊信号，将所述模糊信号传递至第二层，采用多模态特征融合方法进行深度意图分析，输出第二意图识别结果；

5、数字孪生场景构建模块，用于根据文化遗产的历史数据和数据采集模块提供的口述史料数据，构建文化遗产旧址的数字孪生三维场景；

6、数据采集模块，用于采集文化遗产的口述史料数据、技艺动作数据和/或工艺数据，并对采集到的数据进行结构化存储；

7、文创产品展示模块，用于根据所述意图识别与分级处理模块输出的意图识别结果，从所述数字孪生三维场景中调用对应的展示内容，并通过智能文创产品向用户输出沉浸式体验内容。

8、优选的，所述数字孪生场景构建模块包括：

9、场景分区单元，用于将文化遗产旧址的整体场景按照空间结构划分为若干子区域；

10、独立建模单元，用于对各所述子区域分别独立执行数字孪生建模，生成各子区域的局部三维模型；

11、边界协同修正单元，用于识别相邻子区域之间的边界耦合关系，对各所述局部三维模型在边界处进行协同修正，使相邻子区域之间的三维模型在边界处保持几何连续性与风格一致性；

12、模型合并单元，用于将协同修正后的各子区域三维模型合并为完整的数字孪生三维场景。

13、优选的，所述意图识别与分级处理模块采用冗余验证机制对关键意图识别结果进行交叉确认，包括：

14、第一识别路径，用于基于语义特征分析对所述多模态输入信号进行意图识别，生成第一识别结果；

15、第二识别路径，用于基于时序特征分析对所述多模态输入信号进行意图识别，生成第二识别结果，所述第二识别路径与所述第一识别路径在方法论上相互独立；

16、交叉确认单元，用于将所述第一识别结果与所述第二识别结果进行比对：若两者一致，则以该一致结果作为最终意图识别结果输出；若两者存在冲突，则分别计算所述第一识别结果和所述第二识别结果的置信度评分，选取置信度评分更高的识别结果作为最终意图识别结果输出，并将冲突事件记录为潜在风险标记。

17、本发明还提供一种基于数字孪生与多模态交互的文化遗产沉浸式体验方法，包括以下步骤：

18、步骤s1，采集用户输入的语音交互数据和/或手势交互数据，生成多模态输入信号；

19、步骤s2，按照双层递进处理机制对用户意图进行识别：采用规则匹配方法对所述多模态输入信号进行快速意图归类，输出第一意图识别结果；对于无法明确归类的模糊信号，采用多模态特征融合方法进行深度意图分析，输出第二意图识别结果；

20、步骤s3，根据文化遗产的历史数据和口述史料数据，构建文化遗产旧址的数字孪生三维场景；

21、步骤s4，根据所述意图识别结果，从所述数字孪生三维场景中调用对应的展示内容，并通过智能文创产品向用户输出沉浸式体验内容。

22、优选的，还包括根据智能文创产品的设备类型进行分级响应的步骤：

23、获取当前智能文创产品的设备类型标识和/或计算能力参数；

24、根据所述设备类型标识和/或计算能力参数，将所述智能文创产品划分为三个等级，所述三个等级为高等级设备、中等级设备和低等级设备；

25、对于所述高等级设备，触发所述数字孪生三维场景的全量渲染和全功能多模态交互响应；

26、对于所述中等级设备，触发所述数字孪生三维场景的轻量化渲染和简化多模态交互响应；

27、对于所述低等级设备，触发基础展示内容的加载和预设交互方式的响应。

28、优选的，还包括置信度评估与不确定性传播控制的步骤：

29、在每个交互环节输出处理结果时，同步计算该处理结果的置信度评分，所述置信度评分根据如下公式计算：

30、

31、其中，表示置信度评分，表示输入数据的完整性评分，表示当前处理方法对输入数据类型的适用程度评分，表示历史同类输入的处理成功率评分，、、分别为对应的权重系数，且；

32、将所述置信度评分与处理结果一同传递至下一交互环节，使所述下一交互环节在接收到低于预设置信度阈值的处理结果时自动采用保守处理策略，并在本环节输出时相应降低本环节输出结果的置信度评分；

33、当任一交互环节的置信度评分低于预设最低置信度阈值时，触发不确定性预警，暂停当前处理流程并请求补充输入数据或人工确认。

34、优选的，还包括条件触发式旁路加速的步骤：

35、获取当前处理节点的中间处理结果；

36、判断所述中间结果是否满足预设旁路触发条件，所述旁路触发条件存储于系统配置数据库中，由历史处理数据统计归纳得出；

37、若所述中间结果满足所述旁路触发条件，则跳过后续标准处理环节，直接根据所述中间结果映射输出最终体验内容；

38、若所述中间结果不满足所述旁路触发条件，则继续沿标准处理流程执行后续处理环节。

39、本发明还提供一种基于数字孪生与多模态交互的文化遗产沉浸式体验装置，所述装置为智能文创产品，包括：

40、壳体；

41、设置于所述壳体内的处理器和存储器，所述存储器中存储有计算机程序；

42、设置于所述壳体上或壳体内的语音采集单元，用于采集用户的语音交互数据；

43、设置于所述壳体上或壳体内的手势感应单元，用于采集用户的手势交互数据；

44、设置于所述壳体上的展示输出单元，用于向用户输出文化遗产的沉浸式体验内容；

45、所述计算机程序被所述处理器执行时，实现如上述的方法的步骤。

46、优选的，所述智能文创产品为桌面摆件、ar明信片或智能徽章；

47、当所述智能文创产品为桌面摆件时，所述展示输出单元包括显示屏和/或投影装置；

48、当所述智能文创产品为ar明信片时，所述展示输出单元包括ar标识码和/或nfc标签，用于与移动终端配合实现增强现实展示；

49、当所述智能文创产品为智能徽章时，所述展示输出单元包括led显示阵列和/或nfc通信模块。

50、本发明还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上述的方法的步骤。

51、与现有技术相比，本发明具有如下有益效果：

52、通过构建多模态交互输入与双层递进意图识别相结合的智能处理架构，实现了用户语音与手势指令的精准理解。第一层规则匹配机制对明确意图进行快速响应，第二层多模态特征融合机制对模糊信号进行深度解析，两者协同确保交互过程既具备高效的实时性，又具备处理复杂指令的鲁棒性。

53、在数字孪生场景构建方面，本发明采用分区独立建模与边界协同修正的策略，将大规模旧址化整为零分别重建，再通过几何与风格的双重协同修正实现无缝融合，同时将口述史料中蕴含的色彩、材质与装饰描述直接转化为三维模型的纹理参数，使虚拟场景不仅形似旧址原貌，更承载了传承人主观叙述中的文化气质与历史温度。

54、针对不同形态智能文创设备的算力差异，本发明引入分级响应机制，使高端桌面摆件呈现完整的沉浸式三维场景，而轻量化设备仍能获得适配其能力的精简体验，实现了多终端场景下的体验一致性。

55、在此基础上，冗余验证与置信度传播机制为关键识别结果提供了可靠性保障，条件触发的旁路加速路径则为高频简单请求开辟了快捷通道，进一步提升了系统的响应效率。

56、综合以上手段，本发明在保证文化遗产数字呈现的精确性与交互体验的流畅性的同时，显著增强了系统在长期运行、多设备适配和复杂输入条件下的适应能力与稳定性，为文化遗产的活态传承与智能化展示提供了完整的技术支撑。