一种面向博物馆的多模态智能导览生成方法及系统与流程

摘要: 本发明涉及多模态信息处理领域,更具体地说,涉及一种面向博物馆的多模态智能导览生成方法及系统。背景技术:1、随着智慧博物馆建设推进,展馆导览逐渐由固定语音讲解转向...
一种面向博物馆的多模态智能导览生成方法及系统与流程

本发明涉及多模态信息处理领域,更具体地说,涉及一种面向博物馆的多模态智能导览生成方法及系统。

背景技术:

1、随着智慧博物馆建设推进,展馆导览逐渐由固定语音讲解转向知识库问答、知识图谱展示和虚拟场馆交互。现有技术中,cn109657068a公开了面向智慧博物馆的文物知识图谱生成与可视化方法,重点在于文物知识图谱本体设计、知识抽取、知识存储及可视化交互;cn118069812a公开了基于大模型的导览方法,主要通过向量数据库检索知识库内容并结合大模型生成导览答案;cn112734905a公开了适用于虚拟场馆交互展示的数据管理系统,侧重场景、位置、区域、解说和视图管理。上述方案虽然能够提升展品知识组织、问答响应或虚拟展示效果,但仍主要围绕单一展品信息检索、固定知识呈现或通用问答生成展开,未能结合观众实际参观路径、观看方向、停留状态和跨展区行为识别叙事断点,也未对导览句段进行证据单元绑定校验,容易出现前置知识缺失、主题衔接断裂或生成内容缺乏馆藏依据的问题。因此,有必要提出一种基于多模态参观信息、叙事断点识别和桥接证据集合约束的博物馆智能导览生成方案。

技术实现思路

1、本发明的目的在于提供一种面向博物馆的多模态智能导览生成方法及系统,其解决了现有导览方案难以根据观众实际参观路径、观看行为和知识接收状态进行动态衔接,且生成内容缺少证据约束的问题。

2、本发明通过以下技术方案来实现上述目的:一种面向博物馆的多模态智能导览生成方法,所述方法包括:

3、获取观众终端在展区内采集的多模态参观信息,所述多模态参观信息包括当前视场图像、语音询问内容、定位数据、终端姿态数据、停留时长、移动轨迹和交互操作数据,并根据所述定位数据、终端姿态数据、停留时长和移动轨迹确定观众所在展区、观看方向及参观行为状态;

4、基于所述当前视场图像、展柜定位结果、展品编号匹配结果和展签文字识别结果确定目标展品,并根据所述当前视场图像中的视场中心区域、所述语音询问内容中的展品特征词和展品图像标注结果确定所述目标展品的关注区域;

5、以所述目标展品的展品编号为索引,从馆藏数据库、展签文本、策展说明、展品图像标注数据和历史知识库中提取证据单元,并为所述证据单元配置来源标识、证据类型、适用讲解层级和可信度标签,形成目标展品证据链;

6、将所述目标展品证据链拆分为多个叙事单元,并为各叙事单元配置前置知识关系、后续知识关系、替代展品关系、不可替代标签和主题衔接关系;

7、将观众实际参观路径与预设叙事路径进行比对,当检测到观众未接收具有不可替代标签的叙事单元、观众参观方向与预设叙事路径相反、观众跨展区跳转至不存在主题衔接关系的展区,或当前目标展品存在未被接收的前置知识关系时,判定存在叙事断点;

8、在存在叙事断点时,从已观看展品证据链、当前目标展品证据链和待观看展品证据链中提取可衔接证据单元,并按照已接收信息、当前展品信息和后续主题信息的顺序生成桥接证据集合;

9、将所述桥接证据集合输入导览生成模型,生成桥接式导览内容,并对所述桥接式导览内容中的每一导览句段建立与证据单元之间的绑定关系;

10、将所述桥接式导览内容输出为多模态导览结果,并根据观众对所述多模态导览结果的反馈数据更新后续导览生成策略。

11、优选地,所述参观行为状态通过如下方式确定:

12、当观众在同一展柜前的停留时长小于预设经过时长且未触发语音询问内容时,确定为快速经过状态;

13、当观众在同一展柜前的停留时长达到预设观看时长且当前视场图像连续包含同一目标展品时,确定为驻足观看状态;

14、当当前视场图像中的视场中心区域连续指向同一关注区域且终端姿态变化幅度小于预设姿态变化阈值时,确定为局部细看状态;

15、当采集到语音询问内容或交互操作数据中的追问指令时,确定为主动提问状态;

16、当导览内容未完成输出且检测到观众离开当前展柜、点击跳过控件或关闭导览窗口时,确定为跳过讲解状态。

17、优选地,所述确定目标展品,包括:

18、对当前视场图像进行展柜边界识别、展品轮廓识别和展签文字识别,得到候选展品集合;

19、根据观众所在展区、观看方向和展柜定位结果,对所述候选展品集合进行空间过滤;

20、当空间过滤后的候选展品数量为1时,将该候选展品确定为目标展品;

21、当空间过滤后的候选展品数量大于1时,根据视场中心区域与各候选展品图像区域的重合面积、观众对各候选展品的连续停留时长、语音询问内容中的展品特征词和交互操作数据确定目标展品。

22、优选地,所述目标展品证据链包括:

23、基础信息证据单元、视觉特征证据单元、历史背景证据单元、工艺信息证据单元和策展主题证据单元;

24、所述基础信息证据单元包括展品名称、年代、类别、尺寸、材质、来源和保存状态;

25、所述视觉特征证据单元包括纹饰、铭文、器型、色彩、残损部位和图像标注区域;

26、所述历史背景证据单元包括历史时期、人物事件、用途场景和文化含义;

27、所述工艺信息证据单元包括制作工艺、加工痕迹、材料来源和修复记录;

28、所述策展主题证据单元包括展览单元、策展意图、相邻展品关系和主题递进关系。

29、优选地,所述将目标展品证据链拆分为多个叙事单元,包括:

30、将基础信息证据单元拆分为基础识别类叙事单元;

31、将视觉特征证据单元拆分为视觉观察类叙事单元;

32、将工艺信息证据单元拆分为工艺解释类叙事单元;

33、将历史背景证据单元拆分为历史背景类叙事单元;

34、将策展主题证据单元拆分为策展主题类叙事单元;

35、将不同目标展品之间具有关联关系的证据单元拆分为延伸比较类叙事单元;

36、其中,所述不可替代标签配置于对后续叙事单元具有必要前置作用且不存在替代展品关系的叙事单元。

37、优选地,所述判定存在叙事断点,包括:

38、根据观众实际参观路径确定观众已观看展品序列,并根据预设叙事路径确定应观看展品序列;

39、当所述应观看展品序列中具有不可替代标签的叙事单元未出现在已观看展品序列中,判定存在关键叙事缺失断点;

40、当观众对具有不可替代标签的叙事单元对应展品的停留时长低于该展品的有效停留阈值,判定存在接收不足断点;

41、当观众实际参观方向与预设叙事路径方向相反,判定存在反向参观断点;

42、当观众从第一展区跳转至第二展区且所述第一展区与第二展区之间不存在主题衔接关系,判定存在跨展区跳转断点;

43、当当前目标展品的叙事单元存在未被接收的前置知识关系,判定存在前置知识缺失断点。

44、优选地,所述有效停留阈值根据展品讲解文本长度、展品图像标注数量和展品叙事单元数量确定;

45、其中,展品讲解文本长度越长、展品图像标注数量越多或展品叙事单元数量越多,对应的有效停留阈值越大;

46、所述有效停留阈值在普通展品中设置为15秒至30秒,在具有不可替代标签的展品中设置为30秒至90秒。

47、优选地,所述生成桥接证据集合,包括:

48、从已观看展品证据链中提取与观众已接收叙事单元对应的已接收证据单元;

49、从当前目标展品证据链中提取与所述叙事断点关联的当前证据单元;

50、从待观看展品证据链中提取与后续知识关系或主题衔接关系对应的后续证据单元;

51、根据叙事断点类型对所述已接收证据单元、当前证据单元和后续证据单元进行排序,当叙事断点类型为关键叙事缺失断点或前置知识缺失断点时,将当前证据单元之前插入用于补足前置知识的已接收证据单元;

52、当叙事断点类型为反向参观断点或跨展区跳转断点时,在当前证据单元与后续证据单元之间插入主题衔接证据单元;

53、将排序后的证据单元作为桥接证据集合。

54、优选地,所述生成桥接式导览内容,包括:

55、将桥接证据集合、参观行为状态、关注区域、叙事断点类型和目标展品信息输入导览生成模型;

56、由导览生成模型生成包括前置知识回补句段、当前展品解释句段和后续主题引导句段的桥接式导览内容;

57、对桥接式导览内容进行证据绑定校验,若某一导览句段未绑定任一证据单元,则删除该导览句段;

58、若某一导览句段仅绑定可信度低于预设可信度阈值的证据单元,则将该导览句段改写为提示式表达;

59、若某一导览句段绑定的证据单元与目标展品不一致,则停止输出该导览句段并重新调用导览生成模型;

60、所述多模态导览结果包括语音讲解、字幕文本、展品局部图像标注、增强现实提示、问题引导卡片和交互式问答内容中的一种或多种。

61、一种面向博物馆的多模态智能导览生成系统,应用于执行上述的面向博物馆的多模态智能导览生成方法,所述系统包括:

62、多模态信息采集模块,用于获取观众终端在展区内采集的当前视场图像、语音询问内容、定位数据、终端姿态数据、停留时长、移动轨迹和交互操作数据,并确定观众所在展区、观看方向及参观行为状态;

63、目标展品识别模块,用于基于当前视场图像、展柜定位结果、展品编号匹配结果和展签文字识别结果确定目标展品及关注区域;

64、证据链构建模块,用于从馆藏数据库、展签文本、策展说明、展品图像标注数据和历史知识库中提取证据单元,并构建目标展品证据链;

65、叙事单元处理模块,用于将目标展品证据链拆分为多个叙事单元,并配置前置知识关系、后续知识关系、替代展品关系、不可替代标签和主题衔接关系;

66、叙事断点判断模块,用于将观众实际参观路径与预设叙事路径进行比对,并判定关键叙事缺失断点、接收不足断点、反向参观断点、跨展区跳转断点或前置知识缺失断点;

67、桥接证据生成模块,用于从已观看展品证据链、当前目标展品证据链和待观看展品证据链中提取可衔接证据单元,并生成桥接证据集合;

68、导览内容生成模块,用于根据桥接证据集合生成桥接式导览内容,并对导览句段执行证据绑定校验;

69、多模态输出模块,用于输出多模态导览结果,并根据观众后续反馈更新导览生成策略。

70、本发明的有益效果在于:

71、1、通过采集当前视场图像、语音询问内容、定位数据、终端姿态数据、停留时长、移动轨迹和交互操作数据,能够综合判断观众所在展区、观看方向和参观行为状态,相较于仅依赖扫码或固定点位触发的导览方式,能够更准确识别观众真实关注对象和即时讲解需求。

72、2、通过构建目标展品证据链,将馆藏数据库、展签文本、策展说明、展品图像标注数据和历史知识库中的信息统一组织为可追溯证据单元,并使导览句段与证据单元建立绑定关系,能够降低导览生成模型输出无依据内容的概率,提高讲解内容与馆藏资料、展签内容和策展主题之间的一致性。

73、3、通过将目标展品证据链拆分为多个叙事单元,并配置前置知识关系、后续知识关系、替代展品关系、不可替代标签和主题衔接关系,使导览内容能够围绕展览主题形成连续叙事,而不是局限于单一展品的孤立介绍。

74、4、根据观众实际参观路径判断关键叙事缺失、接收不足、反向参观、跨展区跳转和前置知识缺失等叙事断点,并在存在叙事断点时生成桥接证据集合,用于补足缺失前置知识并衔接当前展品与后续主题,减少讲解突兀跳转。

75、5、将桥接式导览内容输出为语音讲解、字幕文本、展品局部图像标注、增强现实提示、问题引导卡片或交互式问答内容,并基于观众后续停留、追问、点击、跳过和路径变化更新导览生成策略,从而实现面向不同参观行为的持续自适应导览。