包括用于基于共享上下文数据生成响应的人工智能助手的可穿戴设备及其系统和使用方法与流程

摘要: 本公开总体上涉及包括人工智能助手的可穿戴设备,包括但不限于使用多模态大型语言模型与人工智能助手进行交互的技术。背景技术:1、用于屏幕文本识别以及使用多模态大型语...
包括用于基于共享上下文数据生成响应的人工智能助手的可穿戴设备及其系统和使用方法与流程

本公开总体上涉及包括人工智能助手的可穿戴设备,包括但不限于使用多模态大型语言模型与人工智能助手进行交互的技术。

背景技术:

1、用于屏幕文本识别以及使用多模态大型语言模型的现有解决方案需要向远程服务器发送较大图像(例如,全分辨率图像)。向远程服务器发送图像可能会增加时延并占用大量计算资源。替代地,向远程服务器发送较小图像(例如,低于全分辨率图像)以进行屏幕文本识别和使用多模态大型语言模型,虽然会降低时延,但会降低准确性。因此,现有解决方案通过低准确率结果和/或增加的等待时间而降低了用户体验。

2、因此,需要解决上述多个挑战中的一个或多个。

技术实现思路

1、根据本公开的第一方面,提供了一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质包括指令,这些指令在被头部可穿戴设备执行时,使得头部可穿戴设备执行:响应于启动人工智能(artificially intelligent,ai)助手的用户输入,采集上下文数据,该上下文数据包括图像数据和音频数据中的一项或多项;基于上下文数据生成用户查询数据,用户查询数据包括上下文数据的一部分以及用户查询;使用接收用户查询数据的ai助手模型,至少基于上下文数据的该部分和用户查询确定用户提示;通过ai助手模型生成对用户提示的响应;以及使得在头部可穿戴设备处呈现对用户提示的响应。

2、在一些实施例中,这些指令在被头部可穿戴设备执行时,还可以使得头部可穿戴设备执行:在上下文数据内检测感兴趣区域,感兴趣区域标识图像数据的一部分,图像数据的该部分包括与用户查询相关联的文本数据或感兴趣对象中的一项或多项;以及对上下文数据内的感兴趣区域进行压缩,以形成上下文数据的该部分,上下文数据的该部分的第二分辨率小于上下文数据的第一分辨率。

3、在一些实施例中,对上下文数据内的感兴趣区域进行压缩可以包括:裁剪感兴趣区域;以及移除图像数据中不包括感兴趣区域的部分。

4、在一些实施例中,生成用户查询数据可以包括:在上下文数据内检测文本、文本位置和用户查询中的一项或多项;以及将文本、文本位置和用户查询中的该一项或多项包括在用户查询数据中。

5、在一些实施例中,文本位置可以包括单词位置、单词顺序、段落位置或段落顺序中的一项或多项。

6、在一些实施例中,用户查询可以从上下文数据的音频数据中检测到。

7、在一些实施例中,生成用户查询数据可以在设备上执行。

8、根据本公开的第二方面,提供了一种头部可穿戴设备,该头部可穿戴设备包括:一个或多个传感器;以及一个或多个处理器,一个或多个处理器被配置为执行指令,这些指令用于使得执行:响应于启动人工智能(ai)助手的用户输入,采集上下文数据,该上下文数据包括图像数据和音频数据中的一项或多项;基于上下文数据生成用户查询数据,该用户查询数据包括上下文数据的一部分以及用户查询;使用接收用户查询数据的ai助手模型,至少基于上下文数据的该部分和用户查询确定用户提示;通过ai助手模型生成对用户提示的响应;以及使得在头部可穿戴设备处呈现对用户提示的响应。

9、在一些实施例中,这些指令在被该一个或多个处理器执行时还可以使得执行:在上下文数据内检测感兴趣区域,感兴趣区域标识图像数据的一部分,图像数据的该部分包括与用户查询相关联的文本数据或感兴趣对象中的一项或多项;以及对上下文数据内的感兴趣区域进行压缩,以形成上下文数据的该部分,该上下文数据的该部分的第二分辨率小于上下文数据的第一分辨率。

10、在一些实施例中,对上下文数据内的感兴趣区域进行压缩可以包括:裁剪感兴趣区域;以及移除图像数据中不包括感兴趣区域的部分。

11、在一些实施例中,生成用户查询数据可以包括:在上下文数据内检测文本、文本位置和用户查询中的一项或多项;以及将文本、文本位置和用户查询中的该一项或多项包括在用户查询数据中。

12、在一些实施例中,文本位置可以包括单词位置、单词顺序、段落位置或段落顺序中的一项或多项。

13、在一些实施例中,用户查询可以从上下文数据的音频数据中检测到。

14、在一些实施例中,生成用户查询数据可以在设备上执行。

15、根据本公开的第三方面,提供了一种方法,该方法包括:响应于启动人工智能(ai)助手的用户输入,采集上下文数据,该上下文数据包括图像数据和音频数据中的一项或多项;基于上下文数据生成用户查询数据,该用户查询数据包括上下文数据的一部分以及用户查询;使用接收用户查询数据的ai助手模型,至少基于上下文数据的该部分和用户查询确定用户提示;通过ai助手模型生成对用户提示的响应;以及使得在头部可穿戴设备处呈现对用户提示的响应。

16、在一些实施例中,该方法还可以包括在上下文数据内检测感兴趣区域,该感兴趣区域标识图像数据的一部分,图像数据的该部分包括与用户查询相关联的文本数据或感兴趣对象中的一项或多项;以及对上下文数据内的感兴趣区域进行压缩,以形成上下文数据的该部分,上下文数据的该部分的第二分辨率小于上下文数据的第一分辨率。

17、在一些实施例中,对上下文数据内的感兴趣区域进行压缩可以包括:裁剪感兴趣区域;以及移除图像数据中不包括感兴趣区域的部分。

18、在一些实施例中,生成用户查询数据可以包括:在上下文数据内检测文本、文本位置和用户查询中的一项或多项;以及将文本、文本位置和用户查询中的该一项或多项包括在用户查询数据中。

19、在一些实施例中,文本位置可以包括单词位置、单词顺序、段落位置或段落顺序中的一项或多项。

20、在一些实施例中,生成用户查询数据可以在设备上执行。

21、本文所述的方法、系统和设备允许在计算资源有限或其它硬件受限的可穿戴设备或其它电子设备处使用人工智能(ai)助手。本文公开的方法、系统和设备可以对在可穿戴设备处执行的一个或多个操作进行分配,以减少时延、功耗和计算资源的使用。在一些实施例中,本文描述的方法、系统和设备可以降低平均端到端时延(例如,降低到小于或等于5秒)(包括照片拍摄、图像传输、设备上场景文本识别执行和服务器端多模态大型语言模型执行)。在一些实施例中,设备上场景文本识别模型可以具有减小的尺寸(例如,总尺寸小于或等于20 mb,峰值内存使用小于或等于200 mb,平均时延小于或等于1秒)。所公开的自我中心(egocentric)场景文本识别模型具有较高的准确率(例如,单词错误率为14.6%(相比之下,非自我中心基线的单词错误率为53%))。

22、本文描述了示例ai助手系统。ai助手系统可以是可穿戴设备的一部分,该可穿戴设备包括成像设备、传声器、一个或多个传感器、扬声器和显示器。该可穿戴设备响应于启动ai助手,采集上下文数据。上下文数据包括图像数据、音频数据和/或传感器数据中的一项或多项。可穿戴设备可以基于上下文数据确定上下文线索,并可以向ai助手提供上下文数据的一部分以及上下文线索的一部分。可穿戴设备可以通过ai助手,基于上下文数据的该部分和上下文线索的该部分来确定用户请求,并可以接收对用户请求的响应。该响应可以是使用机器学习模型生成的。机器学习模型可以是多模态大型语言模型(multimodallarge language model,mm-llm)、轻量级mm-llm和/或其它机器学习模型。该可穿戴设备还使得呈现该响应。

23、本文描述了另一示例ai助手系统。该示例ai助手系统可以包括可穿戴设备和服务器。该可穿戴设备可以包括成像设备、传声器、扬声器、显示器以及一个或多个第一程序,该一个或多个第一程序存储在第一存储器中并被配置为由一个或多个第一处理器执行。该一个或多个第一程序可以包括用于如下项的指令:响应于启动ai助手的用户输入,通过成像设备和/或传声器采集图像数据和/或音频数据。该一个或多个第一程序还可以包括用于如下项的指令:响应于采集到图像数据和/或音频数据,对图像数据进行压缩以生成经压缩的图像数据;基于图像数据至少确定文本和文本位置;以及基于音频数据确定用户查询。经压缩的图像数据的第二分辨率可以低于图像数据的第一分辨率。该一个或多个第一程序还可以包括用于如下项的指令:至少向与可穿戴设备通信耦合的服务器提供经压缩的图像数据、文本、文本位置和用户查询。服务器可以包括一个或多个第二程序,该一个或多个第二程序存储在第二存储器中并被配置为由一个或多个第二处理器执行。该一个或多个第二程序可以包括用于如下项的指令:响应于接收到来自可穿戴设备的经压缩的图像数据、文本、文本位置和用户查询,至少基于文本、文本位置和用户查询生成提示;向机器学习模型提供经压缩的图像数据和提示,该机器学习模型被配置为确定对提示的响应;以及向可穿戴设备提供对提示的响应,以便在可穿戴设备处呈现。

24、使得执行本文所描述的方法和操作的指令可以存储在非暂态计算机可读存储介质上。非暂态计算机可读存储介质可以包括在单个电子设备上或分布在系统(计算系统)的多个电子设备上。可以单独或组合地(例如,系统)执行本文所描述的方法和操作的电子设备的非穷举列表包括扩展现实头戴式设备(headset)(例如,混合现实(mixed-reality,mr)头戴式设备或增强现实(augmented-reality,ar)头戴式设备,作为两个示例)、腕部可穿戴设备、中间处理设备、基于纺织品的智能服饰等。例如,指令可以存储在ar头戴式设备上,或者可以存储在ar头戴式设备和相关联的输入设备(例如,腕部可穿戴设备)的组合上,使得可以在输入设备处执行用于使得对输入操作进行检测的指令,并且可以在ar头戴式设备处执行用于使得响应于这些输入操作而对所显示的用户界面进行改变的指令。本文所描述的设备和系统可以被配置为结合用于提供扩展现实体验的方法和操作来使用。用于提供扩展现实体验的方法和操作可以存储在非暂态计算机可读存储介质上。

25、本文所描述的设备和/或系统可以被配置为包括指令,这些指令使得执行与呈现扩展现实和/或与扩展现实交互相关联的方法和操作。这些方法和操作可以存储在设备或系统的非暂态计算机可读存储介质上。还应注意的是,本文所描述的设备和系统可以是包括多个设备的更大的总体系统的一部分。各电子设备可单独或组合地(例如,系统)包括使得执行与呈现扩展现实和/或与扩展现实交互相关联的方法和操作的指令,这些电子设备的非穷举列表可以包括:扩展现实头戴式设备(例如,混合现实(mr)头戴式设备或增强现实(ar)头戴式设备,作为两个示例)、腕部可穿戴设备、中间处理设备、基于智能纺织品的服饰等。例如,当描述扩展现实(extended reality,xr)头戴式设备时,可以理解,xr头戴式设备可以与一个或多个其它设备(例如,腕部可穿戴设备、服务器、中间处理设备等)通信,这些设备一起可以包括用于执行与呈现扩展现实相关联的和/或与扩展现实交互相关联的方法和操作的指令(即,xr头戴式设备将是包括一个或多个附加设备的系统的一部分)。设想了具有不同相关设备的多种组合,但是为了简短起见,不再赘述。

26、将认识到的是,本文中描述为适合于结合到本公开的一个或多个方面或一个或多个实施例中的任何特征旨在可推广至在本公开的任何方面和实施例以及所有方面和实施例。根据本公开的说明书、权利要求和附图,本领域技术人员可以理解本公开的其它方面。上述总体描述和以下详细描述仅是示例性和说明性的,而不是对权利要求的限制。

27、说明书中所描述的特征和优点不一定是全部包含的,特别地,鉴于附图、说明书和权利要求书,某些附加特征和优点对于本领域普通技术人员而言将是显而易见的。此外,应注意的是,本说明书中所使用的用语主要是出于可读性和指导目的而选择的。

28、已经概述了以上示例方面,现在将呈现对附图的简要描述。