具身施动者中的认知模式设置的制作方法

本发明的实施方案涉及人工智能领域，并且更具体地(但非排他性地)涉及具身施动者中的认知模式设置。

背景技术

人工智能(AI)的目标是构建与人类具有类似能力的计算机系统。越来越多的证据表明，人类认知架构在不同的时间尺度、变化的人类行为、动作和/或倾向的连通性的模式之间切换。

包容架构以亲密和自下而上的方式将感官信息耦合到“动作选择”(与使用世界象征性心理表征来指导行为的传统AI技术相反)。行为被分解为以“层”的层次结构组织的“子行为”，它们均接收传感器信息，并行工作并生成输出。这些输出可为对致动器的命令，也可为抑制或禁止其他“层”的信号。US20140156577公开了一种使用动作选择控制器的人工智能系统，该动作选择控制器确定系统应该处于哪个状态，根据当前任务目标适当切换。动作选择控制器可控制或限制子系统之间的连通性。

发明目的

本发明的目的是改进具身施动者中的认知模式设置或至少为公众或行业提供有用的选择。

附图说明

图1：两个模块和相关联的调制变量；

图2：与一组掩码变量相关联的互连模块；

图3：图2的模块的五种认知模式表；

图4：图3的模式A的应用；

图5：图3的模式B的应用；

图6：皮层-皮层下环；

图7：认知架构；

图8：用于设置认知模式的用户界面；

图9：三个模块和连接器；

图10：情绪和动作感知/执行的连通性；

图11：工作记忆系统(WM系统)；

图12：WM系统的架构；

图14：实施的WM系统的可视化；

图15：图14的个体缓冲区的可视化的屏幕截图；

图16：图14的个体记忆存储区的可视化的屏幕截图；

图17：图14的情节缓冲区50的可视化的屏幕截图；

图18：图14的情节记忆存储区48的可视化的屏幕截图；

图19：“动作执行模式”中的认知架构连通性；并且

图20：“动作感知模式”中的连通性。

具体实施方式

本文所描述的实施方案涉及一种通过将掩码变量应用于链接计算模块的连接器来改变用于以动画方式显示具身施动者的认知架构的连通性的方法，该具身施动者可为虚拟对象、数字实体和/或机器人。掩码变量可打开或关闭连接器，或者更灵活地，该掩码变量可模块化连接器的强度。一次应用若干掩码变量的操作将认知架构置于不同的行为认知模式中。

在认知架构中执行计算的电路可连续，并行地运行，而没有任何中心控制点。这可通过诸如名称为“神经行为动画系统(System for Neurobehavioural Animation)”的专利US10181213B2中描述的编程环境来促进，该专利通过引用并入本文。多个模块以所需结构布置，并且每个模块具有至少一个变量并且与至少一个连接器相关联。连接器链接整个结构中的模块之间的变量，并且模块一起提供神经行为模型。每个模块均为独立的黑盒，其可执行任何合适的计算，并且代表或模拟神经元网络或通信系统的任何合适的要素(诸如单个神经元)。每个模块的输入和输出均作为模块变量公开，其可用于驱动行为(并且在以图形方式动画化的具身施动者中，驱动具身施动者的动画参数)。连接器可代表神经并且在不同模块之间传送变量。编程环境支持通过一组看似合理的分布式机制控制认知和行为，因为不存在单个控制脚本来执行对模块的指令序列。

如本文所述，可使用模式设置操作来实现顺序过程、协调和/或行为改变。该系统的优点在于，可通过构建多个单独的低级别模块来构建复杂的动画系统，并且它们之间的连接提供自主动画虚拟对象、数字实体或机器人。通过将神经行为模型中的连接器与调制变量和覆写调制变量的掩码变量相关联，可将动画虚拟对象、数字实体或机器人置于不同的活性度或行为模式中。这可通过设置认知模式，通过更高级别的功能或外部控制机制(诸如经由用户界面)来实现对自下而上驱动系统的高效且灵活的顶层控制。

经由皮层-丘脑-基底神经节环改变连通性

图7示出了根据一个实施方案的可使用神经行为模型来实现的认知架构的高级架构。该认知架构示出模拟虚拟对象、数字实体和/或机器人的神经系统的解剖和功能结构。皮层53具有整合有传入模块的活性度的一个或多个模块和/或具有随时间变化的可塑性或变化效应的突触权重模块或关联模块。皮层53的输入来自传入(感官)神经元。感官图可用于处理从任何合适的外部刺激(诸如相机、麦克风、数字输入或任何其他方式)所接收的数据。在视觉输入的情况下，感官图起到从刺激的像素转换为神经元的作用，神经元可被输入到皮层53。皮层53也可连接到运动神经元，控制肌肉/致动器/效应器的激活。脑干区可能包含模式发生器或递归神经网络模块，控制具有肌肉效应器的具身施动者中的肌肉激活。

图6示出了皮层-丘脑-基底神经节环，可对其进行建模以实现认知模式设置，这可能会影响虚拟对象、数字实体和/或机器人的行为和/或动作。皮层53具有与切换板55的反馈连接，类似于丘脑。反馈环将感官知觉整合到皮层53中。正反馈环可能有助于将视觉事件或刺激与动作相关联。皮层53也连接到切换板控制器54，类似于基底神经节。切换板控制器54可直接向皮层53或经由切换板55向皮层53提供反馈。切换板控制器54调制皮层53与切换板55之间的反馈。皮层-皮层下环使用调节模块之间的连接的增益控制变量进行建模，该增益控制变量可被设置为抑制、允许或强制代表皮层部分的模块之间的通信。

调制变量

切换板55包括增益控制值，用于根据处理状态路由和调节信息。例如，如果具身施动者正在重建记忆，则自上而下的连接增益将比自下而上的连接增益更强。调制变量可控制认知架构中信息的增益并实施切换板55在代表皮层53部分的模块之间转发信息的功能。

调制变量在认知架构中创建自主行为。感官输入触发自下而上的通信电路。在几乎没有感官输入的情况下，调制变量可自主地改变以引起认知架构中的自动向下的行为，诸如想像或白日做梦。切换板55开关使用与连接器相关联的调制变量来实现，该连接器控制由连接器连接的模块之间的信息流。根据一些逻辑条件，设置调制变量。换句话说，该系统基于活性度(例如，世界状态和/或具身施动者的内部状态)自动切换调制变量值。

调制变量可为最小值与最大值之间(例如，0与1之间)的连续值，以便在调制变量的最小值处抑制信息传递，在中间调制变量值处以加权方式允许信息传递，以及在调制变量的最大值处强制信息完全流动。因此，调制变量可被认为是“门控”机制。在一些实施方案中，调制变量可充当二进制开关，其中值0抑制信息流过连接器，而值1强制信息流过连接器。

掩码变量

切换板55继而由数字切换板控制器54调节，该数字切换板控制器可抑制或选择不同的处理模式。数字切换板控制器54激活(强制通信)或抑制不同处理环的反馈，用作掩码。例如，如果具身施动者正在观察而不是在行动，则可抑制手臂移动。

切换板控制器54的调节使用掩码变量来实现。调制变量可能会被掩蔽，这意味着调制变量会被掩码变量覆写或影响(这取决于系统所处的认知模式)。掩码变量的范围可在最小值与最大值之间(例如，在-1与1之间)，以便当掩蔽变量与调制变量组合(例如，求和)时，覆写调制变量。

切换板控制器54通过抑制切换板55来强制和控制切换板55的开关，这可强制或防止动作。在某些认知模式中，一组掩码变量被设置为某些值以改变认知架构中的信息流。

主连接器变量

连接器与主连接器变量相关联，这确定连接器的连通性。主连接器变量值被限制在最小值例如0(不传达任何信息，就好像连接器不存在一样)与最大值例如1(传达完整信息)之间。

如果掩码变量值设置为-1，则无论调制变量值如何，主连接器变量值都将为0，并因此关闭连通性。如果掩码变量值设置为1，则无论调制变量值如何，主连接器变量值都将为1，并打开连通性。如果掩码变量值设置为0，则调制变量值确定主连接器变量值的值，并且连通性取决于调制变量值。

在一个实施方案中，掩码变量被配置为通过求和覆写调制变量。例如，如果连接器被配置为将变量/a写入变量/b，则：

Master Connector Variable＝Modulatory Variable MaskVariable＞0.？1.：0.

variables/b＝Master Connector Variable*variables/a

认知模式

本文描述的认知架构支持通过打开或关闭模块之间的连接器或更灵活地通过调节连接器的强度来改变模块之间的连通性的操作。这些操作将认知架构置于不同的连通性认知模式中。

在简单示例中，图9示出了三个模块M1、M2和M3。在第一认知模式(模式1)中，模块M1接收来自M2的输入。这通过打开连接器C1(例如，通过将相关联的掩码变量设置为1)和关闭连接器C2(例如，通过将相关联的掩码变量设置为0)来实现。在第二认知模式(模式2)中，模块M1接收来自M3的输入。这通过将连接器C2设置为开(例如，通过将相关联的掩码变量设置为1)和将连接器C1设置为关(例如，通过将掩码变量设置为0)来实现。在图中，0和1的掩码变量分别由黑色菱形和白色菱形表示。模式1和模式2彼此竞争，因此仅选择一种模式(或在连续公式中，因此倾向于优选一种模式)。这样做是基于单独的证据累加器，这些证据累加器为每种模式收集证据。

认知模式可包括一组预定义掩码变量，每个预定义掩码变量都与连接器相关联。图2示出了六个模块10，该六个模块与九个连接器11连接以创建简单的神经行为模型。任何连接器都可与调制变量相关联。七个掩码变量与连接器中的七个相关联。可通过设置掩模变量值的不同配置(用菱形符号表示)来设置不同的认知模式8。

图3示出了可应用于图3的模块的认知模式表。当未设置认知模式时，所有掩码变量值均为0，这允许信息根据连接器的默认连通性和/或连接器的调制变量值(如果有的话)流过连接器11。

图4示出了图3的模式A应用于由图2的模块10形成的神经行为模型。连接器11中的四个连接器(所示的连接器)被设置为1，这会强制变量信息在由四个连接器连接的模块之间传递。模块B到模块A的连接器被设置为-1，从而防止变量信息从模块B传递到模块A，其功能效果与移除连接器相同。

图5示出了图3的模式B应用于由图2的模块10形成的神经行为模型。连接器11中的四个被设置为-1，从而防止变量信息沿着那些连接传递，从而在功能上移除那些连接器。模块C被有效地从网络中移除，因为没有信息能够传递到模块C或从模块C接收。信息流的路径仍然来自F→G→A→B。

因此，认知模式在认知架构中提供了任意的自由度，并且可充当自下而上/自上而下活性度的掩码。

不同的认知模式可能会通过修改以下各项来影响认知架构的行为：

·由模块接收的输入

·不同模块之间的连通性(在神经行为模型中彼此连接的模块)

·控制循环中的控制流(变量在模块之间流动的路径)

·不同模块之间的连接强度(变量传播到连接的模块的程度)

或者，神经行为模型的任何其他方面。掩码变量可以是上下文相关的、学习的、外部施加的(例如，由人类用户手动设置)，也可根据本征动力学设置。认知模式可以是神经行为模型的执行控制图(例如，类型学上连接的一组神经元或检测器，可表示为神经元阵列)。

可学习认知模式。给定感官上下文和运动动作，可使用基于强化的学习来学习掩码变量值，以增加奖励并减少惩罚。

认知模式可设置在常量模块中，该常量模块可代表基底神经节。可由连接器和/或用户界面/显示器读取或写入常量变量的值。常量模块提供了用于调谐大量参数的有用结构，因为可在单个常量模块中整理与不同模块相关的多个参数。常量模块包含一组命名变量，这些变量在没有外部影响的情况下保持恒定(因此称为“常量”，因为该模块不包含任何时间步进例程)。

例如，单个常量模块可能包含10个链接到其他模块中相关变量的参数值。现在可经由单个常量模块的参数编辑器使用通用界面对这些参数中的任一个参数进行修改，而不是要求用户依次选择每个受影响的模块。

在一些实施方案中，认知模式可直接设置变量，诸如神经化学物质、可塑性变量或其他改变神经行为模型状态的变量。

一次使用多种认知模式

可同时激活多种认知模式。掩码变量的总体影响量是来自所有主动认知模式的掩码变量的总和。根据主连接器变量的最小和最大连通性，总和可限制为最小值和最大值。因此，来自认知模式的强正/负值可能会推翻来自另一种认知模式的对应值。

模式程度

可对认知模式的设置进行加权。将对应于部分加权认知模式的掩码变量的最终值乘以认知模式的权重。

例如，如果“警惕”认知模式定义了掩码变量[-1,0,0.5,0.8]，则警惕程度可设置为使得施动者为：“100％警惕”(在完全警惕模式下)，[-1,0,0.5,0.8]；80％警惕(略微警惕)[-.8,0,0.4,0.64]；或0％警惕(警惕模式关闭)[0,0,0,0]。

进一步控制层

使用本文描述的相同原理，可使用附加掩码变量来添加对认知模式的进一步控制层。例如，可定义掩码变量以设置内部触发的认知模式(即，由神经行为模型内的过程触发的认知模式)，并且可定义附加掩蔽变量以设置外部触发的认知模式，诸如由人类经由用户界面与具身施动者进行交互，或口头命令，或经由其他外部机制。附加掩码变量的范围可大于一级掩码变量的范围，使得附加掩码变量覆写一级掩码变量。例如，给定[0到1]之间的调制变量和[-1到 1]之间的掩码变量，附加掩码变量的范围可在[-2到 2]之间。

触发认知模式

模式设置操作是建立认知模式的任何认知操作。定义认知架构的神经行为模型的任何要素都可被配置为设置认知模式。认知模式可在神经行为模型的任何条件语句中设置，并影响控制循环中的连通性、α增益和控制流。可以任何合适的方式设置/触发认知模式，包括但不限于：

·事件驱动的认知模式设置

·通过用户界面手动设置

·模式设置操作的级联

·基于定时器的认知模式设置

在一个实施方案中，感官输入可自动触发一种或多种认知模式的应用。例如，低级别事件(诸如响亮的声音)设置警惕认知模式。

可提供用户界面以允许用户设置施动者的认知模式。可能存在导致施动者进入特定模式的硬连线命令。例如，短语“进入睡眠”可将施动者置于睡眠模式。

自然语言中的动词可表示模式设置操作以及身体运动动作和注意力/感知运动动作。例如：

·“记住”可表示进入记忆检索模式；

·“使得”可表示将对象的表征与创建这些对象的相关联的运动计划连接起来的模式的激活，以便目标对象的表示可触发创建它的计划。

具身施动者可学习认知计划与对象概念符号(例如，计划名称)之间的链接。例如，具身施动者可学习拥有目标或计划的媒介中的对象概念“心脏”与执行创建三角形的绘图运动序列的顺序运动计划之间的链接。动词“使得”可表示打开此链接的动作(通过设置相关认知模式)，以便执行与当前活动目标对象相关联的计划。

某些过程可实现基于时间的模式设置操作。例如，在施动者查找项目的模式中，可设置时间限制，在该时间限制之后，如果未找到项目，则施动者将自动切换到中立模式。

认知模式类型

注意力模式

注意力模式是认知模式控制，其可控制施动者关注哪些感官输入或其他信息流(诸如其自身的内部状态)。图8示出了用于设置与用于接收感官输入的输入通道相对应的多个掩码变量值的用户界面。例如，在视觉警惕认知模式中，视觉模态始终是合格的。自下而上的视觉输入通道设置为1。通过将自上而下的掩码变量设置为-1，可阻止自上而下的视觉激活。在音频警惕认知模式中，音频始终是合格的。自下而上的音频输入通道设置为1。通过将自上而下的掩码变量设置为-1，可阻止自上而下的音频激活。在触摸警惕认知模式中，触摸始终是合格的。自下而上的音频输入通道设置为1。通过将掩码变量设置为-1，可阻止自上而下的触摸激活。

在动作执行和感知之间切换

两种认知模式“动作执行模式”和“动作感知模式”可部署具有不同连通性的同一组模块。在“动作执行模式”中，施动者执行情节，而在“动作感知模式”中，施动者被动地观看情节。在这两种情况下，具身施动者都会关注正在作用的对象并激活运动程序。

图19示出了“动作执行模式”中的认知架构连通性。在动作执行中，通过计算的动作可供性激活施动者的运动前区皮层中运动程序的分布，并将选定的运动程序传送到初级运动皮层以产生实际的运动。信息从一种编码一系列可能动作的媒介向外流向施动者的运动系统。图20示出了“动作感知模式”中的连通性。在动作感知中，与初级运动皮层没有联系(否则施动者会模仿观察到的动作)。在动作识别期间激活的运动前区表征用于推断观察到的WM施动者的可能计划和目标。信息从施动者的感知系统流入编码一系列可能动作的媒介中。

当具身施动者在世界上操作时，施动者可决定是感知涉及其他人或对象的外部事件，还是自己执行动作。该决策是在“动作感知模式”和“动作执行模式”之间进行选择的。“动作执行模式”和“动作感知模式”持续了完整的情节理解过程。

情绪镜像系统

初级情绪联想记忆1001可学习感知到的情绪和所经历的情绪之间的相关性，如图10所示，并接收对应于任何合适的感知刺激(例如，视觉)1009以及交互感知输入1011的输入。此类联想记忆可使用自组织映射(SOM)或任何其他合适的机制来实现。在相关性训练之后，当一种情绪被经历时，初级情绪联想记忆的激活程度与被感知时相同。因此，感知到的情绪可激活内感受系统中的所经历的情绪(模拟共情)。

次级情绪SOM 1003学习区分施动者自身情绪和他人感知到的情绪。次级情绪联想记忆可实现三种不同的认知模式。在初始“训练模式”中，次级情绪联想记忆的学习方式与初级情绪联想记忆的学习方式完全相同，并获得所经历的情绪和感知到的情绪之间的相关性。在学习所经历的情绪和感知到的情绪之间的相关性之后，次级情绪SOM可自动切换到其他两种模式(可以任何合适的方式触发，例如，超过SOM中训练神经元的数量或比例的阈值)。在“自我关注”模式1007中，活性度仅从内感受状态1011传递到联想记忆中。

在这种模式下，联想记忆仅代表施动者的情感状态。在“外部关注”模式1005中，活性度仅从感知系统1009传递到联想记忆中。在这种模式下，联想记忆仅代表观察到的外部施动者的情感状态。这种联想记忆中的模式对情绪进行编码，而不涉及其“所有者”，就像初级情绪联想记忆一样。当前有效的连接模式表明所代表的情绪是所经历的还是感知到的。

语言模式

认知架构可与语言系统和意义系统(其可使用如本文所述的WM系统来实现)相关联。语言系统和意义系统的连通性可在不同的语言模式下设置，以实现不同的功能。通过打开/关闭不同的连接器，可将两个输入(Input_Meaning、Input_Language)映射到两个输出(Output_Meaning、Output_Language)：在“说话模式”中，通过“打开”从Input_meaning到Output_language的连接器来实现命名/语言生成。在“命令服从模式”中，通过“打开”从Input_language到Output_meaning的连接器来实现语言解释。在“语言学习”模式中，允许对Input_language和Input_meaning进行输入，并增加用于学习语言和意义的记忆结构的可塑性，以促进学习。

情绪模式的认知模式

情绪状态可作为认知模式(情绪模式)在认知架构中实现，从而影响认知架构区域之间的连通性，其中不同区域进行有效互动以产生独特的紧急效应。连续的“情绪模式”由链接到具身施动者的情绪状态的表征的连接上的连续调制变量建模。调制变量可与掩码变量相关联，以自上而下的方式设置情绪模式。

关注情绪状态

将情绪归因于自我或他人并表明情绪是真实的还是想象的机制涉及认知架构连通性的认知模式的激活。当前有效的连接模式表明所代表的情绪是所经历的还是感知到的。功能连通性也可用于代表情绪的内容，以及代表情绪对个体的归因。可能存在与基本情绪相关联的离散认知模式。认知架构可存在于可能的情绪模式的大的连续空间中，其中若干种基本情绪可不同程度地并行激活。这可能反映在广泛的情感行为中，包括动态变化的面部表情的微妙融合，反映出连续空间的本质。

施动者的情绪系统与其他更传统的注意力系统(例如视觉空间注意力系统)一起争夺施动者的注意力。施动者可使用模式设置操作将自己的情绪状态作为自身感兴趣的对象。在“内部情绪模式”中，施动者的注意力系统指向施动者自身的情绪状态。该模式是通过咨询信号来进入的，该信号聚合了施动者正在经历的所有情绪。

在情绪处理模式中，施动者可能会进入较低级别的注意力模式，从可能的情绪中选择特定的情绪来集中注意力。当选择其中一种情绪时，施动者“关注”特定情绪(诸如关注欢乐、悲伤或愤怒)。

计划/排序的认知模式

在名称为“排序和计划系统(SYSTEM FOR SEQUENCING AND PLANNING)”的临时专利申请NZ752901中描述了一种使用“CBLOCK”进行排序和计划的方法，该申请也由本申请人拥有并通过引用并入本文。如本文所述的认知模式可应用于使CBLOCK能够操作不同的模式。在“学习模式”中，CBLOCK被动接收项目序列，并且学习编码该序列内频繁出现的子序列的组块。在学习期间，CBLOCK观察传入的要素序列，同时预测下一个要素。虽然CBLOCK可正确预测下一个要素，但会创建组块的演化表征。当预测错误(“惊讶”)时，组块完成，其表征由另一个网络(称为“tonic SOM”)学习，然后重置，并且过程重新开始。在“生成模式”中，CBLOCK主动生成具有一定随机性的项目序列，并学习导致目标状态或期望结果状态的组块。在生成期间，预测的下一个要素在下一步成为实际要素，因此使用预测分布的熵而不是“不匹配”：CBLOCK在熵较低时继续生成，并在超过阈值时停止。

在“目标驱动模式”(其为生成模式的子类型)中，CBLOCK以主动目标开始，然后选择预期实现此目标的计划，然后选择实施此计划的动作序列。在“无目标”模式下，CBLOCK被动地接收项目序列，并推断产生该序列的可能计划(和目标)，并在每个新项目之后更新。

学习的认知模式

认知模式可控制具身施动者学习的内容和程度。可设置模式，使记忆的学习和/或重建取决于任何任意外部条件。例如，单词和视觉对象表征之间的联想学习可取决于施动者和说话者共同关注所讨论的对象。通过关闭与记忆存储结构的所有连接，学习可能会完全受阻。

在名称为“具身施动者中的记忆(MEMORY IN EMBODIED AGENTS)”的临时专利申请NZ755210中描述了一种使用自组织映射(SOM)作为记忆存储结构的学习方法，该申请也由本申请人拥有并通过引用并入本文。因此，认知架构被配置为关联6种不同类型(模态)的输入：视觉-28x28 RGB中心凹图像音频；触摸-字母AZ的10x10位图(触摸符号)；运动-长度为10的上采样的1-热矢量的10x10位图；NC(神经化学物质)-长度为10的上采样的1-热矢量的10x10位图；位置(中心凹)-x坐标和y坐标的10x10图。每种类型的输入都可由单独的SOM学习。SOM可在不同的认知模式中自上而下或自下而上激活。在“经历模式”中，代表先前记住的事件的SOM最终可能会呈现完全指定的新事件，SOM应对其进行编码。当施动者正在经历此事件时，此相同的SOM在“查询模式”中使用，其中显示到目前为止所经历的事件部分，并要求其预测其余部分，因此这些预测可作为感觉运动过程的自上而下指南。

关联可通过注意力SOM(ASOM)学习，ASOM从低级别SOM获取激活图并学习关联并发激活，例如VAT(视觉/音频/触摸)和VM(视觉/运动)。一阶(单模态)SOM与ASOM之间的连接器可与掩码变量相关联，以控制ASOM中的学习。

所述的ASOM支持输入和输出的任意模式，这允许将ASOM配置为实现不同的认知模式，可通过设置与输入字段对应的ASOMα权重来直接设置。

在不同的认知模式下，可在不同的配置中设置ASOMα权重，以：

·反映不同层的重要性。

·忽略特定任务的模式。

·将注意力/焦点动态地分配到输入的不同部分，包括关闭输入部分以及自上而下预测输入值。ASOMα权重0充当通配符，因为输入的该部分可以是任何事物，并且其将不影响由加权距离函数递送的相似性判断。

用于使用指示性例程进行情节处理的WM系统

认知架构可处理具身施动者所经历的情节，这些情节表示世界上发生的事件。情节表示为以动作(动词)和动作参与者为中心的句子大小的语义单元。不同的对象在情节中扮演不同的“语义角色”或“主题角色”。WM施动者是动作的起因或发起者，而WM受动者是动作的目标或接受者。情节可能涉及具身施动者的行为、感知其他施动者所做的动作、计划或想象事件或回忆过去的事件。

情节的表征可存储在工作记忆系统(WM系统)中并进行处理，该系统使用指示性例程处理情节：准备好的具有规则性的序列，编码为离散指示性操作。指示性操作可包括：感官操作、注意力操作、运动操作、认知操作、模式设置操作。

准备好的包含指示性操作的指示性例程支持从低级别感知和运动处理的连续、实时、并行特征到离散的、符号的、更高级别的认知处理的过渡。因此，WM系统41将低级别对象/情节感知与可用于报告指示性例程和/或情节的记忆、(高级别)行为控制和语言联系起来。将指示性表征和指示性例程与语言符号(诸如单词和句子)相关联，允许施动者描述他们的经历或行为，从而压缩与感知系统和肌肉运动有关的多维神经数据流。

“指示性”表示某事物的意义取决于其使用的上下文的想法。例如，在句子“你在这里住了很久吗？”中，“你”一词专指与之交谈的人，“这里”一词指的是对话参与者所在的地方。如本文所述，“指示性”操作、表征和例程以具身施动者为中心。

指示性模式设置操作

关于图9所示的模块，在模式1中，M1从模块M2接收其输入。在模式2中，M1从模式3接收其输入。M1计算出的表征“指示性参考”当前为M1提供输入的模块。设置当前模式的操作建立此指示性参考，因此可被视为指示性操作。

指示性操作可将外部感觉运动操作与模式设置操作结合起来。例如，单个指示性操作可将施动者的外部注意力指向世界上的某个个体，并将施动者的认知架构置于给定模式。模式设置操作可在指示性例程中自行进行。例如，指示性例程可能首先涉及对世界上某个对象的外部注意力动作的执行，然后是模式设置操作的执行。

作为模式设置操作的指示性操作的示例包括：初始模式、内部模式、外部模式、动作感知模式、动作执行模式、不及物性动作监控模式、传递性动作监控模式。

情节记忆/模式设置操作级联

情节中的对象表征使用位置编码绑定到角色(诸如WM施动者和WM受动者)。情节缓冲区包含若干个字段，每个字段都与不同的语义/主题角色相关联。每个字段本身并不保存对象表征，而是保存指向表示对象或情节的长期记忆存储区的指针。事件表征使用指向代表个体的媒介的指针来代表参与者。施动者和受动者有单独的指针。指针在WM事件表征中同时处于活动状态，但仅在预演事件时顺序地跟随。情节是高级别顺序感觉运动程序，其中一些要素可能具有子序列。准备好的感觉运动序列是可执行的结构，可顺序地发起结构化的感觉运动活性度。准备好的SM操作序列包含代表每个单独操作的子组件。这些子组件在代表计划序列的结构中并行活动，即使它们代表一次一个活动的操作。

在具有多个(可能移动)对象的场景中，施动者首先固着于一个突出对象并将其置于WM施动者角色，然后固着于另一个对象作为WM受动者角色(除非情节是不及物的，在这种情况下会识别不及物的WM动作，并且受动者会有特殊标志“空”)，然后观察WM动作。

对象代表使用位置编码绑定到角色(诸如WM施动者和WM受动者)。情节缓冲区包含若干个字段，每个字段都与不同的语义/主题角色相关联。每个字段本身并不保存对象表征，而是保存指向代表对象或情节的LTM存储区的指针。事件表征使用指向代表个体的媒介的指针来表示参与者，并且施动者和受动者有单独的指针。指针在WM事件表征中同时处于活动状态，但仅在预演事件时顺序地跟随。

图12示出了WM系统41的架构。准备好的与个体相关联的感觉运动序列作为持续活性度模式存储在保存位置、数量和类型/性质的个体缓冲区49中。情节表征参考情节缓冲区50中的个体，该情节缓冲区具有针对每个角色的单独字段：WM情节的WM施动者和WM受动者字段，每个字段都保存指向代表相应个体的记忆媒介的指针。

图11示出了工作记忆系统(WM系统)41，其被配置为处理和存储情节。WM系统41包括WM情节43和WM个体42。WM个体42定义了以情节为特征的个体。WM情节43包括构成该情节的所有要素，包括WM个体和动作。在WM情节43(包括个体WM施动者和WM受动者)的一个简单示例中：WM施动者、WM受动者和WM动作被顺序处理以填充WM情节。

个体记忆存储区47存储WM个体。该个体记忆存储区可用于确定个体是新个体还是重新参与的个体。个体记忆存储区可作为SOM或ASOM实现，其中新个体存储在新招募的神经元的权重中，并且重新参与的个体更新代表重新参与的个体的神经元。语义WM中的表征利用了感知过程的顺序结构。施动者和受动者的概念由这个SM序列中注意力操作的串行顺序定义。图16示出了图14的个体记忆存储区的可视化的屏幕截图。

情节记忆存储区48存储WM情节并学习情节类型的本地表征。该情节记忆存储区可作为SOM或ASOM实现，其在个体和动作的组合上进行训练。情节记忆存储区48可包括用于预测可能的情节构成的机制。图18示出了图14的情节记忆存储区48的可视化的屏幕截图。情节记忆存储区48可作为具有三个输入字段的ASOM实现，该三个输入字段为从相应的WM情节槽获取输入的施动者、受动者和动作。

个体缓冲区49顺序地获得个体的属性。对个体的感知涉及较低级别的感觉运动程序，包括三个操作：

1.空间突出区域的选择

2.分类尺度的选择(确定是对单数刺激还是复数刺激进行分类)。注意力系统可被配置为代表与单个个体和/或单个显著区域相同类型的对象组。

3.对象类别的激活。

从处理场景的感知媒介到个体缓冲区的信息流可由合适的机制(诸如“级联状态机”中描述的级联机制)控制。图15示出了图14的个体缓冲区的可视化的屏幕截图。个体缓冲区由若干个缓冲区组成，用于位置、数字和由数字位图和颜色代表的丰富性质复合体。

情节缓冲区顺序地获得情节的要素。可通过合适的机制(诸如“级联状态机”中描述的级联机制)来控制从情节缓冲区流入的信息流。图17示出了图14的情节缓冲区50的可视化的屏幕截图。情节的感知经历了施动者、受动者和动作处理的顺序阶段，每个阶段的结果都存储在情节缓冲区50的三个缓冲区中的一个缓冲区中。

复发情境媒介(其可为SOM或CBLOCK，如专利NZ752901中所述)跟踪情节序列。“预测的下一个情节”提供了可能的情节分布，其可作为情节记忆存储区48活性度的自上而下偏差，并预测可能的下一个情节及其参与者。

在场景中，许多对象可能正在移动，因此它们的位置也在变化。提供了一种用于跟踪多个对象的机制，使得可在某些细节上同时关注和监视多个对象。可包括多个跟踪器，每个对象一个，并且每个对象都被一个一个地识别和跟踪。

级联状态机

指示性例程可使用任何合适的级联计算机制来实现。在一个实施方案中，使用级联状态机，其中指示性操作表示为级联状态机中的状态。指示性例程可能涉及模式设置操作的顺序级联，其中每个认知模式都会限制下一个认知模式可用的选项。该方案实现了对认知处理的分布式、神经上合理的顺序控制形式。每个模式设置操作都会建立认知模式，在该认知模式中，决定下一个认知模式的机制被激活。允许级联模式的基本机制是允许实现模式的门控操作能够被其他模式门控。这在图13中示出。例如，施动者可首先决定进入认知模式，从记忆中检索显著/相关事件。在检索到一些候选事件后，施动者可进入认知模式，以用于“在记忆中”关注WM个体，突出该个体的事件。在此之后，施动者可决定是使用认知模式来记录WM个体的状态，还是使用由WM个体执行的动作。

说明

所描述的方法和系统可在任何合适的电子计算系统上使用。根据下面描述的实施方案，电子计算系统使用各种模块和引擎来使用本发明的方法。该电子计算系统可包括至少一个处理器、一个或多个存储器装置或用于连接到一个或多个存储器装置的接口、用于连接到外部装置以便使该系统能够从一个或多个用户或外部系统接收指令并对指令进行操作的输入和输出接口、用于各种部件之间的内部和外部通信的数据总线，以及合适的电源。此外，该电子计算系统可包括用于与外部和内部装置通信的一个或多个通信装置(有线或无线)，以及一个或多个输入/输出装置，诸如显示器、定点装置、键盘或打印装置。该处理器被布置为执行作为程序指令存储在存储器装置内的程序的步骤。该程序指令使得能够执行如本文所述的执行本发明的各种方法。该程序指令可使用任何合适的软件编程语言和工具包(诸如，例如基于C的语言和编译器)来开发或实现。此外，该程序指令可以以任何合适的方式存储，使得它们可转移到存储器装置或由处理器读取，诸如，例如存储在计算机可读介质上。计算机可读介质可以是用于有形地存储程序指令的任何合适的介质，诸如，例如固态存储器、磁带、光碟(CD-ROM或CD-R/W)、存储卡、闪存存储器、光盘、磁盘或任何其他合适的计算机可读介质。该电子计算系统被布置为与数据存储系统或装置(例如，外部数据存储系统或装置)通信，以便检索相关数据。应当理解，本文所述的系统包括被布置为执行如本文所述的各种功能和方法的一个或多个元件。本文所述的实施方案旨在向读者提供组成系统的元件的各种模块和/或引擎可以如何互连以使得能够实现功能的示例。此外，本说明书的实施方案以系统相关的细节解释了如何执行本文所述的方法的步骤。提供概念图是为了向读者指示如何由各种不同模块和/或引擎在不同阶段处理各种数据元素。模块或引擎的布置和构造可根据系统和用户需求而相应地调整，使得各种功能可由与本文所述的那些不同的模块或引擎来执行，并且某些模块或引擎可组合成单个模块或引擎。所描述的模块和/或引擎可使用任何合适形式的技术来实现并设置有指令。例如，模块或引擎可使用以任何合适的语言编写的任何合适的软件代码来实现或创建，其中代码随后被编译以产生可在任何合适的计算系统上运行的可执行程序。可替代地或结合可执行程序，模块或引擎可使用硬件、固件和软件的任何合适的混合来实现。例如，模块的部分可使用专用集成电路(ASIC)、片上系统(SoC)、现场可编程门阵列(FPGA)或任何其他合适的自适应或可编程处理装置来实现。本文所述的方法可使用专门被编程为执行所述步骤的通用计算系统来实现。可替代地，本文所述的方法可使用专用电子计算机系统来实现，诸如数据分类和可视化计算机、数据库查询计算机、图形分析计算机、数据分析计算机、制造数据分析计算机、商业智能计算机、人工智能计算机系统等，其中计算机已特别适于对从与特定领域相关联的环境捕获的特定数据执行所述步骤。

技术实现要素：

在一个实施方案中：一种用于以动画方式显示虚拟对象、数字实体或机器人的计算机实现的系统，该系统包括：多个模块，每个模块与至少一个连接器相关联，其中该连接器实现模块之间的信息流，并且模块一起提供用于以动画方式显示虚拟对象、数字实体或机器人的神经行为模型，其中连接器中的两个或更多个连接器与以下项相关联：调制变量，该调制变量被配置为调制连接的模块之间的信息流；和掩码变量，该掩码变量被配置为覆写调制变量。

在另一个实施方案中，提供了：一种用于使用指示性例程在具身施动者中处理情节的计算机实现的方法，该方法包括以下步骤：定义对应于情节的要素的准备好的字段序列；使用状态机定义准备好的指示性操作序列，其中：状态机的每个状态被配置为触发一个或多个指示性操作；并且状态机的至少两个状态被配置为完成情节的字段，其中该组指示性操作包括：至少一个模式设置操作；至少一个注意力操作；和至少一个运动操作。