一种穿戴式视觉记忆驱动场景智能问答处理系统及方法与流程

摘要: 本发明涉及人工智能导览,具体是指一种穿戴式视觉记忆驱动场景智能问答处理系统及方法。背景技术:1、目前可穿戴导览设备在使用时持续上传用户视野图像,服务端识别展品并...
一种穿戴式视觉记忆驱动场景智能问答处理系统及方法与流程

本发明涉及人工智能导览,具体是指一种穿戴式视觉记忆驱动场景智能问答处理系统及方法。

背景技术:

1、目前可穿戴导览设备在使用时持续上传用户视野图像,服务端识别展品并播放讲解,用户还可针对正在观看或刚刚讲解的展品提出问题。

2、然而实际应用时,现有技术还存在以下不足:

3、1、对单帧图像执行最近邻向量检索,将最高相似度对象直接作为识别结果的方式,单帧容易受运动模糊、反光、遮挡和相邻展品影响,识别结果在多个对象间跳变;

4、2、用户每次提问都重新识别当前画面,或者仅把语音问题直接发送给通用语言模型的方式,用户追问时相机可能已偏离展品,重新识别会丢失上下文;完全不看画面又无法回答"我现在看的是哪个"等视觉问题,每次问答都上传或调用视觉模型造成额外延迟和算力浪费;

5、3、把完整展品讲稿直接拼接进提示词的方式,未区分焦点对象、问题类型和是否需要相机,容易使模型复述整段内容、把无关问题强行关联到当前展品,或被错误焦点带偏;

6、4、识别、讲解、问答和重看分别维护对象状态的方式,缺少统一焦点记忆与切换规则,导致视觉识别上下文与语言对话上下文相互混淆,跨展品问答串话。

技术实现思路

1、本发明要解决的技术问题是,克服以上技术缺陷,提供一种共识稳定、焦点连续、按需调用的穿戴式视觉记忆驱动场景智能问答处理系统及方法。

2、为解决上述技术问题,本发明提供的技术方案为:一种穿戴式视觉记忆驱动场景智能问答处理方法,包括如下步骤:

3、s1:接收可穿戴设备上传的满足预设采集有效条件的连续有效帧,所述有效帧携带会话标识、采集时间和门控代次标识;

4、对连续有效帧进行视觉候选检索,将跨帧同一对象的候选合并并计算共识分数,当共识分数满足共识条件时建立焦点对象;

5、s2:接收用户的语音提问,对语音提问进行意图路由,输出意图类别及相机必要性参数;

6、s3:当相机必要性参数为真时,从与当前会话标识和当前门控代次标识一致的候选图像帧中,选取采集时间与用户问题时间满足预设邻近条件的有效图像帧执行视觉检索;

7、当相机必要性参数为假时,复用焦点对象及领域知识,且不关闭全局视觉记忆采集;

8、s4:根据焦点对象从领域数据库中读取结构化事实和推荐讲稿,构造受约束的检索增强上下文;

9、s5:将语音提问、选定图像或焦点对象、检索增强上下文及问答历史输入多模态生成模型,输出回答文本;

10、在采用视觉识别结果、知识检索结果或生成结果前,校验其携带的会话标识、门控代次标识和焦点版本是否与当前状态一致,不一致时拒绝采用。

11、优选的,所述s1中的共识分数基于对象在滑动窗口中的出现比例、相似度聚合值、区域一致性、时间新鲜度及与其他候选的冲突度加权计算得到;

12、所述共识条件包括最低出现帧数、最低分数及第一候选与第二候选的分差中的至少一种。

13、优选的,所述预设采集有效条件包括可穿戴设备运动状态、图像清晰度、曝光有效性、相机可用状态或采集权限中的至少一种;运动门控为所述预设采集有效条件的一种实施方式,不构成对其他等效有效帧筛选方式的限制。

14、优选的,所述s1中焦点对象的建立与切换采用滞回机制,包括:

15、新对象切换阈值高于当前焦点的建立阈值;

16、非连续性视觉中断信号不触发焦点清除,其中非连续性视觉中断信号包括单个空白帧、相机短暂遮挡及用户低头姿态;

17、焦点每次建立或切换时增加焦点版本号,异步任务返回时校验焦点版本号,当焦点版本号与当前焦点版本不一致时拒绝采用该异步任务结果。

18、优选的,所述s2中意图路由的输入包括语音识别文本、当前焦点名称和最近一轮对话摘要;

19、所述意图类别包括讲解请求、视觉问答、焦点追问、设备控制、导航、闲聊或域外问题;

20、当用户明确说出展品名称时,在展品文本库中执行容错检索,达到阈值后建立指名焦点。

21、优选的,所述s4中检索增强上下文的提示约束包括:

22、领域知识仅作为事实依据注入;

23、模型输出范围限定为语音提问所请求的信息内容;

24、当语音提问与所述焦点对象无关联时,基于模型通用知识生成回答;

25、当领域知识未覆盖且当前帧无法判定时,模型输出不确定声明。

26、优选的,所述方法分别维护焦点记忆和问答历史,

27、当焦点对象发生变化或空闲时间超过阈值时清除问答历史;

28、不同焦点对象的问答历史相互隔离。

29、优选的,所述s1中焦点对象建立后还包括重播抑制控制逻辑:

30、同一焦点对象被连续命中时,更新其置信度和最近观察时间,但不重复触发正在进行的讲解;

31、已触发讲解的焦点对象再次满足共识条件时,抑制重复讲解事件并切换至重播询问状态;

32、当用户响应为拒绝时,写入拒绝标志位,在焦点对象未被替换为其他焦点对象前持续保持所述拒绝标志位。

33、优选的,当领域数据库不可用或候选的共识分数不足时,不强行建立焦点对象,退化为由多模态生成模型对当前图像直接描述、提示用户重新对准或输出不确定声明;

34、当有效图像帧不可用时,基于检索增强上下文采用知识型回答;

35、当领域数据库的检索不可用时,基于有效图像帧可确认的事实回答,不能确认的内容明确提示;

36、当新的语音提问、焦点版本或会话标识使当前回答任务失效时,终止或丢弃该回答任务对应于回答文本的流式文本片段、语音合成片段、字幕片段及未播放内容,仅输出与当前会话标识和当前焦点版本一致的回答内容。

37、本发明中另一方面公开了一种穿戴式视觉记忆驱动场景智能问答处理系统,包括:

38、视觉帧获取模块,用于接收可穿戴设备上传的满足预设采集有效条件且携带会话标识、采集时间和门控代次标识的连续有效帧;

39、视觉记忆模块,用于对连续有效帧进行视觉候选检索,将跨帧同一对象的候选合并并计算共识分数,在共识分数满足共识条件时建立焦点对象并维护焦点版本;

40、意图路由模块,用于接收用户的语音提问并输出意图类别及相机必要性参数;

41、上下文选择模块,用于在相机必要性参数为真时选择与当前会话标识和当前门控代次标识一致且与用户问题时间邻近的有效图像帧,并在相机必要性参数为假时复用焦点对象及领域知识;

42、知识检索模块,用于根据焦点对象读取结构化事实和推荐讲稿并构造受约束的检索增强上下文;

43、多模态生成模块,用于将语音提问、选定图像或焦点对象、检索增强上下文及问答历史输入多模态生成模型以生成回答内容;

44、结果校验与输出控制模块,用于在采用视觉识别结果、知识检索结果或生成结果前校验会话标识、门控代次标识和焦点版本,在不一致时拒绝采用对应结果并终止或丢弃流式文本、语音合成、字幕及未播放内容,在图像、知识库或候选共识不可用时执行预设降级处理。

45、优选的,所述系统分别设置焦点记忆模块和问答历史模块,焦点记忆模块记录焦点对象的建立方式、置信度、焦点版本和更新时间,问答历史模块按焦点对象隔离保存问答轮次;所述结果校验与输出控制模块输出回答文本、语音、字幕或状态事件中的至少一种。

46、本发明与现有技术相比的优点在于:本发明通过跨帧多候选合并与共识分数计算,降低单帧反光、遮挡和模糊导致的识别跳变;

47、本发明中统一焦点记忆使用户即使暂时移开视线也能追问刚才的展品,焦点切换滞回避免短时低置信帧误切换,相机必要性门控仅在问题真正依赖画面时调用视觉链路,降低时延、带宽和推理成本;

48、本发明中受约束的领域知识注入提高冷门展品回答深度,同时避免整段复述和无关牵强关联,焦点记忆与问答历史分离,兼顾对象上下文连续性与跨展品隔离。