使用预先提交的动作序列控制智能体的制作方法
背景技术:
1、本说明书涉及使用机器学习模型来处理数据。
2、机器学习模型接收输入,并且基于接收到的输入来生成输出,例如,经预测输出。一些机器学习模型是参数模型,并且基于接收到的输入以及基于模型的参数的值来生成输出。
3、一些机器学习模型是深度模型,其采用模型的多个层来针对接收到的输入生成输出。例如,深度神经网络是深度机器学习模型,其包括输出层和一个或多个隐藏层,所述一个或多个隐藏层各自将非线性变换应用于接收到的输入以生成输出。
技术实现思路
1、本说明书描述了被实现为在一个或多个位置的一个或多个计算机上的计算机程序的动作选择系统,该动作选择系统选择要由智能体执行的动作来与环境交互。系统的实现方式可以用于其中计算和联网硬件在控制智能体时引入通常是随机时延的时延的系统中的智能体的实时控制。
2、在整个本说明书中,时间步处的环境的“观察”可以是指表征该时间步处的环境的状态的数据,并且可以包括任何适当类型的数据。下面详细描述观察的示例。
3、根据第一方面,提供了一种由一个或多个计算机执行的方法,该方法包括:通过使用动作选择神经网络选择要由与环境交互的智能体执行的动作来控制该智能体,包括在多个动作选择迭代中的每一个动作选择迭代处:接收表征当前时间步处的环境的当前状态的当前观察;接收标识当前预先提交的动作序列的数据,该当前预先提交的动作序列中的每个动作是从可以由智能体执行的一组可能动作中被选择的,其中该预先提交的动作序列是要由智能体在当前时间步之后的时间步的序列上执行的动作;使用动作选择神经网络根据一组动作选择神经网络参数的值来处理网络输入以生成动作选择输出,该网络输入包括:(i)该当前观察,以及(ii)该当前预先提交的动作序列;基于该动作选择输出来选择下一动作序列,其中该下一动作序列包括预定义数量的动作,该预定义数量的动作定义在智能体已经执行了该当前预先提交的动作序列之后要由智能体执行的下一预先提交的动作序列;以及在智能体已经执行了该当前预先提交的动作序列之后使得智能体执行该下一预先提交的动作序列。
4、在一些实现方式中,在多个动作选择迭代中的一个或多个动作选择迭代处,在智能体已经执行了当前预先提交的动作序列之后使得智能体执行下一预先提交的动作序列包括:确定截至当前时间步,智能体还没有执行当前预先提交的动作序列中的全部动作;并且作为响应,在使得智能体执行下一预先提交的动作序列之前,等待直到智能体已经执行了当前预先提交的动作序列中的全部动作。
5、在一些实现方式中,该方法在联网的计算系统中实现,其中,控制智能体包括实时控制智能体,并且其中实时控制智能体经受由于以下中的一者或多者导致的时延:i)通过计算机网络连接接收用于处理的当前观察,ii)使用动作选择神经网络来处理网络输入,以及iii)通过计算机网络连接将要由智能体执行的动作发送到智能体,该时延通过处理包括当前观察和当前预先提交的动作序列的网络输入以生成用于选择下一动作序列的动作选择输出来被减轻。
6、在一些实现方式中,在多个动作选择迭代中的每一个动作选择迭代处,在智能体已经执行了当前预先提交的动作序列之后使得智能体执行下一预先提交的动作序列包括:将下一预先提交的动作序列添加到要由智能体执行的预先提交的动作的队列。
7、在一些实现方式中,在一个或多个动作选择迭代处,将下一预先提交的动作序列添加到要由智能体执行的预先提交的动作的队列包括:将下一预先提交的动作序列添加到预先提交的动作的队列的、在来自当前预先提交的动作序列的尚未由智能体执行的一个或多个动作之后处。
8、在一些实现方式中,该方法进一步包括迭代地更新预先提交的动作的队列,包括在智能体在其上与环境交互的时间步的序列中的每个时间步处:基于在该时间步处预先提交的动作的队列是否为非空来确定要由智能体在该时间步处执行的动作。
9、在一些实现方式中,在智能体在其上与环境交互的时间步的序列中的一个或多个时间步中的每一个时间步处,基于在该时间步处预先提交的动作的队列是否为非空来确定要由智能体在该时间步处执行的动作包括:确定在该时间步处预先提交的动作的队列为非空;以及响应于确定在该时间步处预先提交的动作的队列为非空:确定智能体应该执行预先提交的动作的队列的头部处的动作;以及移除预先提交的动作的队列的头部处的动作。
10、在一些实现方式中,在智能体在其上与环境交互的时间步的序列中的一个或多个时间步中的每一个时间步处,基于在该时间步处预先提交的动作的队列是否为非空来确定要由智能体在该时间步处执行的动作包括:确定在该时间步处预先提交的动作的队列为空;以及作为响应,确定智能体应该在该时间步处执行默认动作。
11、在一些实现方式中,在多个动作选择迭代中的每一个动作选择迭代处,下一动作序列包括被指定为备份动作并且不被包括在下一预先提交的动作序列中的一个或多个动作;以及在智能体在其上与环境交互的时间步的序列中的一个或多个时间步中的每一个时间步处,基于在该时间步处预先提交的动作的队列是否为非空来确定要由智能体在该时间步处执行的动作包括:确定在该时间步处预先提交的动作的队列为空;以及作为响应,确定智能体应该执行下一动作序列中的在最新近的动作选择迭代处选择的备份动作。
12、在一些实现方式中,由智能体与其进行交互的环境与在每个动作选择迭代处被执行的操作并行演进。
13、在一些实现方式中,完成每个动作选择迭代所需的持续时间在动作选择迭代之间不同。
14、在一些实现方式中,该方法进一步包括,在多个动作选择迭代中的每一个动作选择迭代处:选择应该在其上执行该动作选择迭代的持续时间;以及使得该动作选择迭代在所选择的持续时间上被执行。
15、在一些实现方式中,选择应该在其上执行动作选择迭代的持续时间包括:随机采样应该在其上执行动作选择迭代的持续时间。
16、在一些实现方式中,该方法进一步包括基于执行动作选择迭代所需的预期持续时间来选择要被包括在预先提交的动作序列中的动作的数量。
17、在一些实现方式中,被包括在下一预先提交的动作序列中的动作的预定义的数量在多个动作选择迭代中的每一个动作选择迭代处是相同的。
18、在一些实现方式中,在多个动作选择迭代中的每一个动作选择迭代处被包括在下一预先提交的动作序列中的动作的预定义的数量是取决于时延来被选择的。
19、在一些实现方式中,环境是现实世界环境。
20、在一些实现方式中,智能体是机械智能体。
21、在一些实现方式中,在多个动作选择迭代中的每一个动作选择迭代处,表征当前时间步处的环境的当前状态的当前观察包括由相机在当前时间步处拍摄的环境的图像。
22、根据另一方面,提供了一种系统,其包括:一个或多个计算机;以及通信地耦合到该一个或多个计算机的一个或多个存储装置,其中该一个或多个存储装置存储指令,这些指令当由该一个或多个计算机执行时使该一个或多个计算机执行本文描述的方法的操作。
23、根据另一方面,提供了一个或多个非暂时性计算机存储介质,该计算机存储介质存储指令,这些指令在由一个或多个计算机执行时使该一个或多个计算机执行本文描述的方法的操作。
24、可以实现本说明书中描述的主题的特定实施例,以便实现以下优点中的一个或多个优点。
25、动作选择系统可以通过选择要由智能体执行的动作来控制正在与环境交互的智能体,以使得智能体在环境中完成一个或多个任务。特别地,在一个或多个时间步中的每一个时间步处,动作选择系统可以处理表征该时间步处的环境的当前状态的观察,以便选择要由智能体在该时间步处执行的动作。然而,由动作选择系统执行的操作不是瞬时的,而是在被称为“延迟”的持续时间内被执行。也就是说,延迟指的是动作选择系统处理例如表征环境的当前状态的观察的输入以选择要由智能体执行的一个或多个动作——在实现方式中为多个动作的序列——所需的时间量。在一些情况下,延迟还可以包括选择动作时和由智能体执行该动作时之间的持续时间。
26、在延迟期间,即在动作选择系统执行操作以选择要由智能体执行的一个或多个动作时,环境可以继续演进和改变。因此,当动作选择系统完成选择要由智能体执行的一个或多个动作的过程时,从动作选择系统发起选择要由智能体执行的一个或多个动作的过程时起,环境的状态可能已经改变,在一些情况下显著改变。
27、由动作选择系统执行的操作引起的延迟可能负面地影响智能体在环境中完成任务的能力。特别是,延迟可能导致智能体执行不再反映或响应于环境中的当前条件的“陈旧”动作。
28、在某些常规系统中,环境是所模拟的环境,在由动作选择系统执行的操作引起的延迟期间,可以暂停该所模拟的环境。在延迟期间暂停所模拟的环境可以人为地消除执行陈旧动作的负面影响。然而,现实世界环境不能以与所模拟的环境相同的方式被暂停,而是替代地将在延迟期间继续演进和改变。
29、为了解决这些问题,本说明书中描述的动作选择系统可以在每个动作选择迭代处(即,每次动作选择系统执行操作以选择要由智能体执行的动作时),选择包括预定义的数量的“预先提交的”动作的动作序列。预先提交的动作是将由智能体执行的动作,而不管由动作选择系统的操作在下一动作选择迭代处引起的延迟如何。特别地,如果动作选择系统在智能体已经执行预先提交的动作之前完成了下一动作选择迭代的操作,则动作选择系统在使得智能体执行在下一动作选择迭代处选择的动作之前等待,直到智能体完成执行预先提交的动作。动作选择系统可以利用由在每个动作选择迭代处选择和执行预定义数量的预先提交的动作而引起的可预测性和一致性,来学习可靠地选择使得智能体能够在环境中完成任务的动作。
30、进一步,在每个动作选择迭代处,动作选择系统可以通过以在先前动作选择迭代处选择的预先提交的动作为条件来选择当前动作选择迭代处的预先提交的动作。动作选择系统可以执行以在先前动作选择迭代处选择的预先提交的动作“为条件”,例如通过提供标识在先前动作选择迭代处选择的预先提交的动作的数据作为到动作选择神经网络的附加输入,如将在下面更详细地描述那样。当智能体准备好执行在当前动作选择迭代处选择的动作时,使动作选择神经网络以在先前动作选择迭代处选择的预先提交的动作为条件可以使得动作选择神经网络学习隐式地预测环境的状态。特别地,条件化可以使得动作选择神经网络能够考虑作为在当前动作选择迭代处由动作选择系统导致的延迟期间由智能体执行的动作的结果而发生的环境的状态方面的变化。因此,以在先前动作选择迭代处选择的预先提交的动作为条件可以因此使得动作选择神经网络能够选择更准确地反映环境的未来状态并且允许智能体更有效地完成任务的动作。
31、进一步,在一些情况下,由动作选择系统执行的操作引起的延迟是随机性(即,至少部分随机的)延迟,该延迟在每个动作选择迭代处可以不同。特别地,延迟中的随机性可以是由诸如网络延迟、计算资源的可用性、存储器访问延迟等可变因素导致的。使用未能考虑延迟方面的随机性的常规训练技术来训练动作选择神经网络可能导致动作选择神经网络学习脆弱的动作选择策略,该脆弱的动作选择策略无法在其中动作选择迭代之间的延迟不同的方案中有效地控制智能体。为了解决这个问题,动作选择系统可以在训练期间控制动作选择系统的延迟,以使得延迟在持续时间的分布上不同。以这样的方式训练动作选择神经网络使得动作选择神经网络能够学习考虑延迟方面的可变性,并跨一系列现实世界条件均有效地控制智能体。
32、因此,系统的实现方式特别适于实时智能体控制,例如在联网的计算系统中。在这样的系统中,对智能体的实时控制可能经受时延(即,延迟)的影响,该时延由于以下原因可以是随机性的:通过计算机网络连接接收智能体的环境的当前观察以用于处理方面的时延、使用动作选择神经网络处理网络输入方面的时延、和/或将要由智能体执行的动作通过该计算机网络连接或另一计算机网络连接发送到智能体的时延。在实现方式中,通过处理包括当前观察和当前预先提交的动作序列的网络输入以生成用于选择下一动作序列的动作选择输出来减轻这些时延。在一些实现方式中,已经使用训练数据训练了动作选择系统,其中,在表征时间步处的环境的状态的观察和由智能体在该时间步执行的动作之间存在延迟。在一些实现方式中,已经使用系统的“延迟”的分布来训练动作选择系统。
33、动作选择系统的配置(例如在每个动作选择迭代处选择预定义数量的预先提交的动作中,通过以先前选择的预先提交的动作为条件,和/或通过在延迟的分布上进行训练)使得动作选择神经网络能够学习用于控制智能体的有效动作选择策略,如上所述。特别地,动作选择系统可以使得动作选择神经网络能够在更少的训练迭代上、或者使用更少的训练数据或两者兼而有之的情况下被训练,并且因此可以减少训练期间诸如存储器和计算能力的计算资源的消耗。
34、除了减少训练期间的计算资源的消耗之外,动作选择系统的配置(例如在每个动作选择迭代处选择预定义数量的预先提交的动作中,通过以先前选择的预先提交的动作为条件,和/或通过在延迟的分布上进行训练)使得动作选择系统即使在存在显著和随机可变的延迟的情况下也能够被部署用于有效地控制智能体。特别地,与由于延迟的影响而可能灾难性失败的一些常规系统相反,动作选择系统可以控制智能体响应于环境中的当前条件来执行动作(而不是执行陈旧动作),同时在延迟方面的变化上稳健地进行泛化。
35、在附图和以下描述中阐述了本说明书的主题的一个或多个实施例的细节。根据描述、附图和权利要求,该主题的其他特征、方面和优点将变得显而易见。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com