一种基于云端视觉大模型的智能眼镜实时场景理解与问答系统及方法与流程

摘要: 本发明涉及一种云端视觉大模型的智能眼镜实时场景理解与问答系统及方法,尤其涉及一种基于云端视觉大模型的智能眼镜实时场景理解与问答系统及方法。背景技术:1、随着人工...
一种基于云端视觉大模型的智能眼镜实时场景理解与问答系统及方法与流程

本发明涉及一种云端视觉大模型的智能眼镜实时场景理解与问答系统及方法,尤其涉及一种基于云端视觉大模型的智能眼镜实时场景理解与问答系统及方法。

背景技术:

1、随着人工智能技术的快速发展,云端视觉大模型在图像识别、目标检测与自然语言理解等领域展现出了强大的能力,这为智能穿戴设备实现更高级别的环境感知与人机交互提供了可能,智能眼镜作为一种能够解放双手、提供第一人称视角的终端设备,被视为承载实时场景理解与问答功能的理想平台;然而,现有的智能眼镜系统在试图接入云端视觉大模型时,普遍面临一个核心的技术困境:即为了获得精准的语义理解结果,终端设备往往需要将采集到的全量高清视频流或图像数据完整上传至云端进行处理,这种全量数据传输的模式虽然在理论上保证了输入信息的完整性,但在实际应用中却引发了多方面的严峻挑战。

2、全量数据的持续传输对网络带宽提出了极高的要求,高清视频流的实时上传会迅速占用大量信道资源,尤其是在移动网络环境下,不仅可能导致传输延迟波动,还会因数据量过大而频繁触发网络拥塞,严重影响服务的稳定性与流畅度;与此同时,无线通信模块的高强度工作以及终端设备对原始数据进行编码、压缩等预处理操作,都会显著增加智能眼镜的功耗,考虑到智能眼镜受限于体积与重量,其电池容量极为有限,过高的能耗将直接导致设备续航大幅缩短,严重制约了产品的实用性与用户体验。

3、全量数据传输模式带来了不可忽视的隐私暴露风险,智能眼镜在日常佩戴过程中,会无差别地采集包含人脸、车牌、室内布局、私密对话等敏感信息的周围环境数据,若将这些未经筛选的原始数据全部发送至云端,一旦在传输链路或云服务器端发生数据泄露,将对用户乃至他人的隐私安全造成严重威胁,这种潜在的隐私隐患,已成为阻碍消费者接受此类智能穿戴设备的关键心理障碍之一。

4、全量数据传输与低延迟实时交互之间存在着根本性的技术矛盾,云端视觉大模型虽然具备强大的推理能力,但其处理复杂场景仍需一定的计算时间,当全量数据从终端传输至云端的过程本身就已经占用了可观的网络时延后,整体响应时间会进一步叠加,使得用户难以获得即时、自然的问答反馈,对于需要快速响应的场景——如实时导航提示、物体识别辅助或紧急情况预警——这种累积的时延往往是不可接受的,它破坏了交互的连贯性,降低了系统的实用价值。

5、综上所述,现有技术方案在处理智能眼镜与云端视觉大模型的协同工作时,陷入了高带宽消耗、高功耗负担、隐私安全风险与推理响应时延之间的多重矛盾之中,如何在保证场景理解准确率的前提下,有效降低数据传输量、保护用户隐私并实现低延迟的实时交互,已成为当前智能眼镜系统设计中亟待突破的关键技术瓶颈。

技术实现思路

1、本发明克服了现有技术的不足,提供一种基于云端视觉大模型的智能眼镜实时场景理解与问答系统及方法。

2、为达到上述目的,本发明采用的技术方案为:一种基于云端视觉大模型的智能眼镜实时场景理解与问答方法,包括以下步骤:

3、s1:获取第一视角场景图像序列、用户交互输入以及与第一视角场景图像序列对应的姿态数据;

4、s2:对用户交互输入进行语义解析,确定用户问题对应的证据需求向量,并根据用户交互输入的发生时间、用户指向信息、姿态数据以及第一视角场景图像序列,确定用户问题所指向的目标对象,建立与目标对象对应的目标连续性标识;

5、s3:根据证据需求向量,从第一视角场景图像序列中选取与用户问题相关联的场景视觉数据、目标视觉数据和时空关联数据,生成与目标连续性标识关联的交互证据包;

6、s4:基于云端视觉大模型对交互证据包进行视觉语义推理,得到候选回答结果、候选回答结果对应的证据充分度以及证据缺口结果;

7、当证据充分度未达到预设回答条件时,根据证据缺口结果生成针对目标对象的补充证据采集策略;

8、s5:根据当前姿态数据,相对于建立目标连续性标识时的初始姿态数据的变换关系,确定目标对象在当前场景中的预测区域,并按照补充证据采集策略获取预测区域对应的补充视觉证据;

9、s6:确定补充视觉证据与目标连续性标识之间的目标一致性,在目标一致性达到预设一致性条件时,利用补充视觉证据更新交互证据包,并基于更新后的交互证据包重新进行视觉语义推理;

10、当重新进行视觉语义推理得到的证据充分度达到预设回答条件时,输出对应的回答结果。

11、本发明一个较佳实施例中,在s2中,对用户交互输入进行语义解析,确定用户问题对应的证据需求向量,包括:

12、识别用户问题中的目标指代信息、属性询问信息、空间关系信息和时间关系信息;

13、根据识别结果确定回答用户问题所需的证据类型;

14、根据各证据类型对应的需求程度,生成证据需求向量;

15、其中,证据类型包括目标身份类证据、文字细节类证据、外观属性类证据、空间关系类证据、动作过程类证据和历史时序类证据中的至少两种。

16、本发明一个较佳实施例中,在s2中,根据用户交互输入的发生时间、用户指向信息、姿态数据以及第一视角场景图像序列,确定用户问题所指向的目标对象,建立与目标对象对应的目标连续性标识,包括:

17、根据用户交互输入的发生时间,在第一视角场景图像序列中确定候选时间窗口;

18、根据用户指向信息和姿态数据,在候选时间窗口内确定候选目标区域;

19、提取候选目标区域对应的目标视觉特征、目标空间特征和目标运动特征;

20、基于目标视觉特征、目标空间特征和目标运动特征,对候选目标区域进行目标一致性分析,确定目标对象;

21、将目标对象对应的目标视觉特征、初始空间位置、初始姿态数据和历史运动轨迹中的至少两项,与唯一交互标识进行关联,生成目标连续性标识。

22、本发明一个较佳实施例中,在s3中,根据证据需求向量,从第一视角场景图像序列中选取与用户问题相关联的场景视觉数据、目标视觉数据和时空关联数据,生成与目标连续性标识关联的交互证据包,包括:

23、根据证据需求向量,分别确定全局场景证据、局部目标证据和连续时序证据的证据需求权重;

24、根据候选视觉数据与用户问题之间的语义相关度、候选视觉数据的图像质量、采集时间新鲜度以及目标可见程度,确定候选视觉数据对应的证据评价值;

25、按照证据需求权重和证据评价值,从第一视角场景图像序列中选取至少一项全局场景视觉数据和至少一项目标区域视觉数据,并在用户问题涉及动作过程或历史状态时选取连续时序视觉数据;

26、将选取的视觉数据、姿态数据、对应的采集时间信息、图像质量信息以及目标连续性标识进行关联封装,生成交互证据包。

27、本发明一个较佳实施例中,在s4中,根据证据缺口结果生成针对目标对象的补充证据采集策略,包括:

28、根据证据缺口结果,确定缺失证据类型以及缺失证据类型对应的缺失程度;

29、生成分别对应于提高目标区域分辨率、调整采集曝光参数、延长连续采集时间、扩大场景采集范围、改变目标观察方向以及引导用户调整观察姿态的多个候选补采动作;

30、分别确定各候选补采动作对应的预期不确定性降低量、预期数据传输量、预期采集能耗、预期响应时延以及预期隐私暴露量;

31、根据预期不确定性降低量与预期数据传输量、预期采集能耗、预期响应时延和预期隐私暴露量之间的约束关系,选取目标候选补采动作;

32、根据目标候选补采动作生成补充证据采集策略。

33、本发明一个较佳实施例中,在s5中,根据当前姿态数据,相对于建立目标连续性标识时的初始姿态数据的变换关系,确定目标对象在当前场景中的预测区域,并确定补充视觉证据与目标连续性标识之间的目标一致性,包括:

34、根据当前姿态数据和初始姿态数据,确定从初始场景坐标系到当前场景坐标系的姿态变换关系;

35、基于姿态变换关系,将建立目标连续性标识时的目标区域映射至当前场景,得到预测区域;

36、在预测区域及其邻近区域内确定至少一个待匹配对象;

37、分别确定各待匹配对象与目标连续性标识在视觉特征、空间位置、目标尺度以及运动轨迹方面的匹配程度;

38、根据视觉特征、空间位置、目标尺度以及运动轨迹对应的匹配程度,确定补充视觉证据与目标连续性标识之间的目标一致性。

39、本发明一个较佳实施例中,还包括:

40、在生成交互证据包之前,根据目标连续性标识确定目标保留区域和非目标区域;

41、根据证据需求向量判断非目标区域是否属于回答用户问题所需的场景上下文;

42、对不属于场景上下文的非目标区域执行模糊化、降分辨率处理、特征化处理或删除处理中的至少一种;

43、当连续执行补充证据采集的次数达到预设次数,或者从获取用户交互输入开始的累计处理时长达到预设时长时,终止补充证据采集,并输出当前证据条件下的回答结果以及对应的不确定性提示信息。

44、一种基于云端视觉大模型的智能眼镜实时场景理解与问答系统,包括:智能眼镜交互终端和与智能眼镜交互终端通信连接的云端处理节点;

45、智能眼镜交互终端包括:交互感知模块,用于获取第一视角场景图像序列、用户交互输入以及姿态数据;

46、证据组织模块,用于根据用户交互输入确定用户问题对应的证据需求,并根据用户交互输入、姿态数据和第一视角场景图像序列确定用户问题所指向的目标对象,建立与目标对象对应的目标连续性标识,以及根据证据需求从第一视角场景图像序列中选取与用户问题相关联的视觉数据,生成与目标连续性标识关联的交互证据包;

47、补采处理模块,用于根据云端处理节点返回的补充证据采集策略以及当前姿态数据相对于初始姿态数据的变换关系,确定目标对象在当前场景中的预测区域,获取预测区域对应的补充视觉证据,并在补充视觉证据与目标连续性标识满足目标一致性条件时,利用补充视觉证据更新交互证据包;交互输出模块,用于输出回答结果;

48、云端处理节点包括:

49、视觉推理模块,用于基于云端视觉大模型对交互证据包进行视觉语义推理,生成候选回答结果、候选回答结果对应的证据充分度以及证据缺口结果;

50、补采决策模块,用于在证据充分度未达到预设回答条件时,根据证据缺口结果生成与目标连续性标识关联的补充证据采集策略;

51、其中,视觉推理模块还用于基于更新后的交互证据包重新进行视觉语义推理,并在重新得到的证据充分度达到预设回答条件时,将对应的回答结果发送至智能眼镜交互终端。

52、本发明一个较佳实施例中,证据组织模块用于根据用户问题中的目标指代信息、属性询问信息、空间关系信息和时间关系信息中的至少一种,确定证据需求;

53、交互证据包包括全局场景视觉数据、目标区域视觉数据和连续时序视觉数据中的至少两种,以及与视觉数据对应的采集时间信息和姿态信息。

54、本发明一个较佳实施例中,补采决策模块用于根据证据缺口结果确定至少一个候选补采动作,并根据各候选补采动作对应的预期不确定性降低量和采集代价确定补充证据采集策略,采集代价包括数据传输量、采集能耗、响应时延和隐私暴露量中的至少一种;

55、补采处理模块用于根据姿态数据的变换关系将建立目标连续性标识时的目标区域映射至当前场景,并根据补充视觉证据与目标连续性标识在视觉特征、空间位置和运动轨迹中的至少一项匹配程度,确定补充视觉证据是否满足目标一致性条件。

56、本发明解决了背景技术中存在的缺陷,本发明具备以下有益效果:

57、(1)本发明提供了一种基于云端视觉大模型的智能眼镜实时场景理解与问答系统及方法,通过引入问题驱动的证据组织与闭环补采机制,优化了智能眼镜的场景理解与交互效能,在智能眼镜端设置问题解析模块与证据包生成模块,依据用户问题动态解析出证据需求向量,从而能够从本地缓存中精准选取与问题高度相关的结构化视觉证据并上传,而非盲目地进行连续视频流上传,这种精准的证据筛选与动态上传方式,在确保云端视觉大模型获得必要决策依据的前提下,极大地降低了系统的数据传输带宽需求,有效减少了眼镜端的功耗负担与设备发热,同时因大幅减少了无关环境信息的上传,保护了非目标区域人员与场景的隐私安全,克服了传统方案中全量数据传输所带来的高带宽、高功耗、隐私暴露风险与推理时延之间的技术矛盾,实现了视觉证据完整性与系统高效性之间的平衡。

58、(2)本发明提供了一种基于云端视觉大模型的智能眼镜实时场景理解与问答系统及方法,通过为被询问目标建立包含视觉特征、时空位置及运动轨迹的目标连续性标识,结合高精度的姿态变换映射技术,实现了对目标的持续稳定追踪,当云端视觉大模型依据证据缺口发出补采指令时,系统能够基于初始姿态与当前姿态的变换关系,精准预测出目标在当前视野中的预测区域,并优先在映射区域内进行搜索,配合目标一致性校验流程,确保补采所得的补充证据必然对应于用户最初所指的物理目标,有效解决了现有技术中因头部移动、目标位移或场景中存在多个相似对象而导致的目标错绑或补采对象漂移问题,在确保多轮交互中对同一物理目标进行准确感知的同时,避免了重复采集无关对象造成的无效计算,显著提高了系统在复杂动态场景下的问答准确率与交互可靠性。

59、(3)本发明提供了一种基于云端视觉大模型的智能眼镜实时场景理解与问答系统及方法,通过构建了由云端模型不确定性反向驱动的闭环主动感知机制,云端视觉大模型在处理交互证据包时,不仅输出候选答案,还会依据证据充分度评估结果输出明确的证据缺口向量,并将不确定性转化为机器可执行的补采指令,指导眼镜端根据证据增益与采集代价的比值,动态选择包括提高分辨率、调整视角或提示用户动作等最优补采策略,将模型不确定性转化为具体补采动作的机制,不仅使系统能够精准识别出是细节缺失、视角单一还是时序不足,从而避免了重复采集无法补齐关键证据的盲目性,还通过单位代价下最优补采动作的选择,实现了视觉采集资源的高效动态分配,在确保系统能够高效获取回答问题的关键证据以提升理解准确性的基础上,真正实现了对场景的主动、智能感知与交互。