使用注视上下文信息的虚拟助理模型的制作方法
背景技术:
1、增强现实(ar)装置、虚拟现实(vr)装置、扩展现实(xr)装置和其他装置上的虚拟助理(诸如聊天机器人或机器人)提供了作为可以实现与装置的用户相关联的更好的生产力的智能体的潜力。虚拟助理通过处理来自用户的输入文本并利用从大训练数据集学习的知识和模式生成响应来使用模型(例如,大语言模型(llm))。这些模型使得虚拟助理能够理解自然语言,推断上下文,并生成连贯和上下文适当的响应(或动作),从而提高助理的质量和会话能力。
技术实现思路
1、本公开涉及用于在计算装置(例如,xr头戴式耳机、诸如头戴式装置的可穿戴装置)上提供助理应用的系统和方法。在一些实现方式中,装置可以被配置为提供助理应用,该助理应用基于通过文本或话音命令进行的用户输入来执行任务、提供信息或使服务自动化。在一些示例中,为了补充经由话音或文本进行的用户输入,装置可以被配置为识别由装置显示的内容,并且基于用户的注视来选择内容的子集。根据内容的子集和用户输入,助理应用可以被配置为应用确定对用户输入的响应的模型(即,语言模型)。然后可以向用户提供响应。在一些实现方式中,响应可以包括经由装置的显示器提供的视觉响应。在一些实现方式中,可以经由装置上的至少一个扬声器来提供响应。在一些示例中,可以经由对搜索引擎的至少一个搜索来生成响应,该至少一个搜索是根据用户输入和上下文生成的。
2、在一些实现方式中,可以使用附加模型来评估模型,该附加模型将输入和响应与和用户评估相关联的附加输入和响应进行比较。在一些示例中,附加模型可以使用来自附加输入和响应的信息来确定针对输入和响应的所预计的用户评估。在一些实现方式中,评估可以用于选择被选择用于由模型进行处理的所显示的内容的数量或量。在一些实现方式中,评估可以用于更新模型。
3、在一些方面,本文中描述的技术涉及一种(例如,计算机实现的)方法,该方法包括:识别(例如,由诸如可穿戴计算装置的计算系统)来自用户的输入;响应于该输入,(例如,由计算系统)识别与用户相关联的注视位置;(例如,由计算系统)识别显示器上的与注视位置相关联的内容;(例如,由计算系统)基于模型对输入和内容的应用来确定响应;以及(例如,由计算系统)向用户提供响应。
4、在一些方面,本文中描述的技术涉及一种计算系统(例如,诸如头戴式装置的可穿戴装置,例如,xr装置),该计算系统包括:至少一个处理器;可操作地耦合到至少一个处理器的计算机可读存储介质;以及存储在计算机可读存储介质上的程序指令,这些程序指令在由至少一个处理器执行时,指导计算系统执行一种方法,该方法包括:识别来自用户的输入;响应于识别该输入,识别与用户相关联的注视位置;识别显示器上的与注视位置相关联的内容;基于模型对输入和内容的应用来确定响应;以及向用户提供响应。
5、在一些方面,本文中描述的技术涉及一种其上存储有程序指令的计算机可读存储介质,这些程序指令在由至少一个处理器执行时,指导至少一个处理器执行一种方法,该方法包括:识别来自用户的输入;响应于识别该输入,识别与用户相关联的注视位置;识别显示器上的与注视位置相关联的内容;基于模型对输入和内容的应用来确定响应;以及向用户提供响应。在一些方面,本文中描述的技术涉及一种携载所述程序指令的计算机程序。
6、附图和下面的描述概述了一个或多个实现方式的细节。其他特征根据说明书、附图和权利要求将是显而易见的。
1.一种方法,包括:
2.如权利要求1所述的方法,其中,识别所述显示器上的与所述注视位置相关联的所述内容包括:
3.如权利要求1或2所述的方法,进一步包括:
4.如权利要求1至3中任一项所述的方法,其中,所述内容包括内容的第一量,并且所述方法进一步包括:
5.如权利要求4所述的方法,进一步包括:
6.如权利要求1至5中任一项所述的方法,其中,识别所述显示器上的与所述注视位置相关联的所述内容包括识别所述显示器上的与所述注视位置相关联的文本。
7.如权利要求1至6中任一项所述的方法,其中,识别所述显示器上的与所述注视位置相关联的所述内容包括识别所述显示器上的与所述注视位置相关联的至少一个图像。
8.如权利要求1至7中任一项所述的方法,进一步包括:
9.一种计算系统,包括:
10.如权利要求9所述的计算系统,其中,识别所述显示器上的与所述注视位置相关联的所述内容包括:
11.如权利要求9或10所述的计算系统,其中,所述方法进一步包括:
12.如权利要求9至11中任一项所述的计算系统,其中,所述内容包括内容的第一量,并且其中,所述方法进一步包括:
13.如权利要求12所述的计算系统,其中,所述方法进一步包括:
14.如权利要求9至13中任一项所述的计算系统,其中,识别所述显示器上的与所述注视位置相关联的所述内容包括识别所述显示器上的与所述注视位置相关联的文本。
15.如权利要求9至14中任一项所述的计算系统,其中,识别所述显示器上的与所述注视位置相关联的所述内容包括识别所述显示器上的与所述注视位置相关联的至少一个图像。
16.如权利要求9至15中任一项所述的计算系统,其中,所述方法进一步包括:
17.一种其上存储有程序指令的计算机可读存储介质,所述程序指令在由至少一个处理器执行时,指导所述至少一个处理器执行方法,所述方法包括:
18.如权利要求17所述的计算机可读存储介质,其中,识别所述显示器上的与所述注视位置相关联的所述内容包括:
19.如权利要求17或18所述的计算机可读存储介质,其中,所述方法进一步包括:
20.如权利要求17至19中任一项所述的计算机可读存储介质,其中,所述方法进一步包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com