一种用于训练机器以自动化照明控制动作的控制器及其方法与流程

1.本发明涉及一种用于训练机器以自动化照明控制动作的方法。本发明还涉及一种用于训练机器以自动化照明控制动作的控制器、系统和计算机程序产品。


背景技术：

2.连接的照明指的是一个或多个照明设备的系统，所述一个或多个照明设备不是由(或不仅仅由)传统的有线、电开关或调光器电路控制，而是通过经由有线或更常见的无线连接(例如有线或无线网络)使用数据通信协议来控制。这些连接的照明网络形成了通常所说的物联网(iot)，或者更具体地说是照明互联网(iol)。典型地，照明设备或者甚至照明设备内的各个灯可以各自配备有无线接收器或收发器，用于根据诸如zigbee、wi-fi或蓝牙的无线网络协议从照明控制设备接收照明控制命令。
3.连接的照明系统中的这些照明设备可以被控制来呈现不同的光效果，例如基于用户偏好。机器学习的进步已经使得能够了解用户更喜欢哪种光效果。用户可以提供关于他对不同光效果的偏好的反馈，并且使用机器学习的自学习系统可以学习与不同光效果相关的用户偏好。然后，可以使用经过训练的模型来自动控制照明设备，以呈现用户偏好的光效果。
4.us 2017/285594a1公开了一种设备，其包括处理器、处理器可访问的通信接口、以及处理器可访问的存储器。存储器承载可由处理器执行的指令，以识别与用户相关联的活动。所述指令还可由处理器执行，以使用通信接口向光输出装置传输至少一个命令，从而基于所识别的活动来调节来自光输出装置的光。


技术实现要素：

5.发明人已经认识到，照明系统可以从一种光设置过渡到不同的光设置，并且用户可以提供与该改变相关的反馈。然而，可以有可能的是，用户对从第一光设置到第二光设置的过渡不满意，而不是对第二光设置本身不满意。学习系统可以将这种不愉快解释为对第二光设置的负面反馈，而用户可能实际上喜欢第二光设置，但是对过渡已经发生的方式不满意。
6.因此，本发明的目的是确定用户提供的反馈是否针对从第一光设置到第二光设置的照明过渡，或者该反馈是否针对第二光设置，并且从而改进学习系统。
7.根据第一方面，该目的通过一种用于训练机器以自动化照明控制动作的方法来实现，其中该方法包括以下步骤：基于第一组控制参数来控制一个或多个照明设备以呈现第一光效果；通过在过渡时间段内从第一光效果过渡到第二光效果，基于第二组控制参数来控制一个或多个照明设备呈现第二光效果；在反馈时间段期间接收来自用户的反馈；其中如果在反馈时间段期间的预定时间段内已经接收到反馈，则将反馈与过渡相关联；并且其中如果在反馈时间段期间的预定时间段之后已经接收到反馈，则将反馈与第二光效果相关联；并且其中该方法还包括基于相关联的反馈来训练机器。
8.该方法可以包括分别基于第一和第二组控制参数来控制一个或多个照明设备以呈现第一和第二光效果。例如，光效果可以包括一个或多个照明设备的光源的颜色、色温、强度、光束宽度、光束方向、照明强度和/或其他参数。控制参数——例如输入电流、电压、一个或多个照明设备的取向等一—可能与控制光效果有关。一个或多个照明设备被布置成照亮环境。出现在环境中并且已经看到在过渡之后从第一光效果到第二光效果的变化的用户可以在反馈时间段期间提供他/她的反馈。该方法还包括，如果在预定时间段内已经接收到反馈，则反馈可以与过渡相关联，并且如果在预定时间段之后已经接收到反馈，则反馈可以与第二光效果相关联。该方法由此提供了基于时间的方法来确定由用户提供的反馈是针对从第一光设置到第二光设置的照明过渡，还是针对第二光设置。该关联可以基于已经相对于过渡时间段接收到反馈的时间事例。可以使用这种分配的反馈来训练机器或模型，从而改善机器学习系统的训练。在一个示例中，机器训练可以包括确定第二组控制参数和/或过渡。
9.根据第二方面，该目的通过一种用于训练机器以自动化照明控制动作的方法来实现，其中该方法包括以下步骤：基于第一组控制参数来控制一个或多个照明设备以呈现第一光效果；通过在过渡时间段内从第一光效果过渡到第二光效果，基于第二组控制参数来控制一个或多个照明设备呈现第二光效果；在反馈时间段期间接收来自用户的反馈；为反馈与过渡和第二光效果的关联分配可能性；其中在反馈时间段期间，反馈与过渡相关联的可能性作为时间的函数而降低；并且其中反馈与第二光效果相关联的可能性相应地增加；以及基于相关联的反馈的可能性来训练机器。
10.在一些情况下，反馈可能与过渡和第二光效果都相关。在这种情况下(但不限于这些情况)，该方法可以包括向反馈与过渡和第二光效果的关联分配可能性。可能性可以包括分配给过渡/第二光效果的反馈的概率或权重。可能性可以包括相对权重或相对概率。该可能性可以基于时间的函数，使得反馈与过渡相关联的可能性在反馈时间段期间作为时间的函数而降低；并且其中反馈与第二光效果相关联的可能性相应地增加。可以分别使用过渡和第二光效果的可能性(概率或权重)来训练机器，从而改进机器学习系统的训练。在一个示例中，可以训练单个机器/模型。附加地和/或替代地，可以为过渡和第二光效果训练单独的模型/机器。
11.在一个实施例中，反馈时间段可以与过渡时间段部分重叠，并且其中该方法可以进一步包括：如果在重叠的时间段内已经接收到反馈，则将反馈与过渡相关联。
12.反馈时间段包括其内用户可以提供反馈的时间。换句话说，只有在反馈时间段期间，用户的反馈才可以被接受。在该示例中，反馈时间段可以与过渡时间段部分重叠。反馈时间段可以在过渡时间段期间开始，并且在过渡时间段结束之后结束。例如，用户的反馈可以在过渡时间段期间被接受。如果在重叠的时间段期间(即在过渡时间段期间)已经接收到反馈，则它指示用户喜欢/不喜欢过渡，因为用户还没有看到第二光效果并且已经提供了他/她的反馈。因此，这种反馈有利地与过渡相关联。如果在重叠的时间段之后(例如在过渡时间段之后)已经接收到反馈，则可以指示用户喜欢/不喜欢第二光效果，因为用户已经看到了第二光效果。因此，这种反馈可以有利地与第二光效果相关联。
13.在一个实施例中，反馈时间段可以在过渡时间段之后开始。作为重叠的时间段的替代，反馈时间段可以不重叠，并且可以在过渡已经发生之后开始，并且用户的反馈仅在过
渡已经发生之后才是可接受的。用户在过渡之后提供反馈的时刻可以确定是将反馈与过渡还是第二光效果相关联。用户在过渡之后提供反馈的时刻可以确定反馈与过渡/第二光效果相关联的可能性。
14.在一个实施例中，与过渡相关联的反馈可以与过渡特征相关，其中所述特征可以包括过渡的持续时间、速度和/或颜色。
15.从第一光效果到第二光效果的过渡可以由过渡特征来表征。这些过渡特征可以包括过渡的持续时间、速度和/或颜色。机器/模型可以被布置成基于用户的反馈来学习过渡的这些过渡特征。该特征列表不详尽，并且不排除其他过渡特征。
16.在一个实施例中，该方法可以进一步包括基于先前的反馈来确定第二组控制参数和/或过渡。
17.机器的训练可以是迭代过程，例如第二组控制参数和/或过渡可以基于先前的反馈。例如，如果用户偏好光效果并且已经经由先前的反馈指示了它，则可以基于先前的光效果来确定第二组控制参数。例如，如果用户已经指示用户偏好高亮度水平，则可以确定第二组控制参数，使得亮度水平在高范围内。机器的训练可以基于每个反馈进行迭代。
18.在一个实施例中，该方法可以进一步包括基于预定的选择标准确定第二组控制参数和/或过渡。
19.第二组控制参数和/或过渡的确定可以基于预定的选择标准。预定的选择标准可以与上下文参数相关，该上下文参数可以与环境条件、用户、位置和/或时间相关。上下文参数可以从(远程)存储器获得和/或由一个或多个传感器检测。选择标准的示例包括一天中的时间、日期、一周中的某一天、天气状况、环境光的测量、占用测量、用户的活动和控制输入等。
20.在一个实施例中，该方法可以进一步包括确定用户的身份；以及基于所确定的身份来确定第二组控制参数和/或过渡。
21.在多用户环境中，即当环境中存在多个用户时，识别用户并根据所识别用户的偏好训练机器可能是重要的。在该示例中，第二组控制参数和/或过渡(特征)可以基于所识别的用户。
22.在一个实施例中，反馈可以包括主动反馈或被动反馈。
23.用户的反馈可以包括要求用户主动提供反馈的主动或强迫反馈。替代地，反馈可以是被动的或非强迫的，其不需要用户主动提供反馈，但是反馈是从用户的行为中学习的。
24.在一个实施例中，反馈可以包括主动反馈，并且主动反馈可以包括由用户致动至少一个致动器和/或语音输入。
25.与第二组控制参数和/或过渡相关的主动响应之一可以包括致动至少一个致动器，例如喜欢或不喜欢按钮。例如，如果用户致动喜欢按钮，则认为是正反馈，并且如果用户致动不喜欢按钮，则认为是负反馈。附加地和/或替代地，反馈也可以是语音命令的形式。
26.在一个实施例中，反馈可以包括被动反馈，并且被动反馈可以包括基于用户的凝视和/或姿势的反馈。
27.对于被动反馈，不期望用户“主动”执行动作，反馈可以包括用户的凝视和/或姿势。在另一个示例中，用户在处于环境中时的不作为也可以被认为是正反馈。在一个先进的实施例中，可以记录用户的eeg，并且反馈可以基于这样的测量。
28.在一个实施例中，机器学习算法可以用于训练机器。
29.诸如监督学习和/或强化学习的机器学习算法可以用于训练机器来优化光效果和/或过渡。
30.根据第三方面，该目的通过一种用于训练机器以自动化照明控制动作的控制器来实现；其中控制器包括处理器，该处理器被布置用于执行根据第一和/或第二方面的方法的步骤。
31.根据第四方面，该目的通过一种用于训练机器以自动化照明控制动作的照明系统来实现，该照明系统包括一个或多个被布置用于照亮环境的照明设备；和根据第三方面的控制器。
32.根据第五方面，该目的通过包括指令的计算机程序产品来实现，当该程序由计算机执行时，该指令使得计算机执行第一和/或第二方面的方法的步骤。
33.应当理解，计算机程序产品、控制器和系统可以具有与上述方法相似和/或相同的实施例和优点。
附图说明
34.参考所附附图，通过以下对系统、设备、和方法的实施例的说明性和非限制性的详细描述，将更好地理解所公开的系统、设备、和方法的上述以及附加目的、特征和优点，在附图中：
35.图1示意性和示例性地示出了用于训练机器以自动化照明控制动作的系统的实施例；
36.图2示意性和示例性地示出了用于训练机器以自动化照明控制动作的控制器的实施例；
37.图3示意性和示例性地示出了说明用于训练机器以自动化照明控制动作的一种方法的实施例的流程图；
38.图4示意性和示例性地示出了用于接收和分配反馈的时序图；
39.图5示意性和示例性地示出了说明用于训练机器以自动化照明控制动作的另一种方法的实施例的流程图；以及
40.图6示意性和示例性地示出了用于接收和分配反馈的另一个时序图。
41.所有的图都是示意性的、不一定是按比例的，并且通常仅示出了为了阐明本发明所必需的部分，其中其他部分可以被省略或者仅仅被建议。
具体实施方式
42.图1示意性和示例性地示出了具有用于照亮环境101的(一个或多个)照明设备110a-110d的系统100的实施例。环境101可以是室内或室外环境，例如办公室、工厂、住宅、杂货店或医院、运动场等。系统100示例性地包括四个照明设备110a-110d。照明设备110a-110d可以包含在照明系统中。照明系统可以是连接的照明系统，例如philips hue，其中照明设备110a-110d可以连接到外部网络，例如互联网。照明设备110a-110d是被布置成发射适于照亮环境101的光的设备或结构，其提供或基本上有助于足够用于该目的的规模的照明。照明设备110a-110d包括至少一个光源或灯(未示出)，例如基于led的灯、气体放电灯或
白炽灯等，(可选地)具有相关联的支撑件、外壳或其他这样的壳体。照明设备110a-110d中的每一个可以采取各种形式中的任何一种，例如安装在天花板上的照明设备、安装在墙上的照明设备、洗墙灯或独立式照明设备(并且照明设备不一定都是相同类型的)。在该示例性图中，照明设备110a-110c安装在天花板上，并且照明设备110d是独立式照明设备。系统100可以包含任何数量/类型的照明设备110a-110d。
43.可以基于第一组控制参数来控制照明设备110a-110d。照明设备110a-110d的控制可以包括控制以下中的一个或多个：照明设备110a-110d的一个或多个光源(未示出)的颜色、色温、强度、光束宽度、光束方向、照明强度、其他参数。可以基于第二组控制参数来控制照明设备110a-110d。当分别基于第一和第二组控制参数控制照明设备110a-110d时，可以呈现第一和第二光效果。第二组控制参数可以不同于第一组控制参数，使得第一光效果和第二光效果之间的差异可被用户120感知。在一个简单的示例中，光效果是照明设备110a-110d的亮度水平，例如，第一光效果是30％的亮度水平，并且第二光效果是70％的亮度水平。确定第二光效果(即70％的亮度水平)，使得第一光效果和第二光效果之间的差异可被用户120感知。例如，70％亮度水平的选择是基于环境101中的环境光水平，使得用户120可感知50％的亮度水平差异。在另一个示例中，基于第一组控制参数来控制照明设备110a-110d不提供光输出。
44.对于从第一光效果到第二光效果的改变，在过渡时间段上存在过渡阶段。例如，30％亮度水平的第一光效果通过线性增加亮度水平而缓慢过渡到70％亮度水平的第二光效果。在另一个示例中，过渡可以包括指数变化。在一个极端的示例中，过渡时间段为零，使得30％亮度的第一光效果在下一时刻(瞬时)被改变为70％亮度的第二光效果。
45.在一个示例中，光效果包括光场景，其可以用于增强例如诸如视听媒体的娱乐体验，设置用户120的氛围和/或情绪。例如，对于philips hue连接的照明系统，第一光效果是
‘
魔法森林’光场景，并且第二光效果是进入睡眠光场景。第一和/或第二光效果可以包括静态光场景。第一和/或第二光效果可以包括动态光场景，其中动态光场景包括随时间变化的光效果。对于动态光场景，第一和/或第二光效果可以包括第一光状态和第二光状态。第一光状态可以包括第一(预定义)图案，并且第二光状态可以包括第二(预定义)图案。该图案可以包括光效果的持续时间、动态水平等。第一和第二组光状态可以分别与第二组控制参数的第一和第二子集相关。在这样的示例中，机器的训练包括自动化第二组控制参数的(第一和/或第二)子集。对于动态光效果，过渡可以例如包括改变颜色、动态性、呈现中间场景等。
46.在反馈时间段期间接收来自用户的反馈。反馈可以包括主动反馈或被动反馈。主动反馈可以包括致动至少一个致动器，例如：用户的移动设备136上的喜欢/不喜欢按钮，其指示他/她的偏好；墙壁开关130，其例如控制照明设备110a-110d以将第二光效果改变为(隐含地)指示用户对第二光效果的偏好(不喜欢)的另一光效果；和/或通过用户的语音输入133。该至少一个致动器可以用于控制照明设备110a-110d。
47.反馈可以包括被动反馈，并且其中被动反馈包括基于用户120的凝视和/或姿势的反馈。系统100可以包括感测装置140，例如存在传感器、凝视检测装置，例如通过使用rf感测等。检测凝视和/或姿势的方法在本领域中是公知的，并且因此在此不进一步讨论。
48.可以在反馈时间段期间接收用户120的反馈。反馈时间段可以在过渡已经发生之
后(例如，在过渡时间段之后)开始，或者与过渡时间段部分重叠，使得用户120的反馈在过渡期间是可接受的并且不被丢弃。基于该条件，如果在反馈时间段期间的预定时间段内或预定时间段之后已经接收到反馈，则反馈与过渡或第二光效果相关联。替代地，将可能性分配给反馈与过渡和第二光效果的关联；其中在反馈时间段期间，反馈与过渡相关联的可能性作为时间的函数而降低；并且其中反馈与第二光效果相关联的可能性相应地增加。例如，当反馈时间段与过渡时间段部分重叠时，并且如果反馈已经在重叠的时间段内被接收，则反馈被分配给过渡。
49.可以基于相关联的反馈来训练机器。机器学习算法——诸如监督学习(如svm、决策森林等)——可以用于训练机器。强化学习可以用于训练机器。学习算法可以包括迭代学习，使得第二组控制参数和/或过渡的确定可以基于先前的反馈，其中算法迭代训练机器。训练可以包括不同的阶段，例如反馈阶段，其中在反馈阶段中，从用户120接收反馈。反馈阶段的长度可以包括反馈时间段，该反馈时间段被假设为足够长以捕获训练所需的足够信息。在反馈阶段之后，可以开始训练阶段。可以定义训练阶段，在此训练阶段期间训练机器。在一个示例中，可以针对第二光效果和过渡来训练两个不同的机器。对于迭代学习，可以迭代地使用反馈阶段和训练阶段。在一个示例中，反馈阶段可以是照明设备110a-110b已经例如初始安装、入网初始化并且用户120已经开始使用它们的第一周。反馈阶段的持续时间可以由用户120定义。在一个示例中，训练阶段可以包括学习阶段和微调阶段；其中在学习阶段中，可以基于用户反馈学习第二组控制参数和/或过渡。在微调阶段中，第二组控制参数和/或过渡可以基于另外的用户输入被进一步优化。在一个示例中，用户120的身份例如由成像传感器来确定。第二组控制参数和/或过渡的确定可以基于所确定的身份，例如基于所识别的用户的偏好。在一个示例中，第二组控制参数和/或过渡可以基于预定的选择标准。选择标准可以包括例如一天中的时间、日期、一周中的某一天、天气状况、环境光的测量、占用测量、用户的活动、和控制输入等。
50.图2示意性和示例性地示出了用于训练机器以自动化照明控制动作的控制器210的实施例。控制器210可以包括输入单元214和输出单元215。输入单元214和输出单元215可以包含在收发器(未示出)中，该收发器被布置用于接收(输入单元214)和传输(输出单元215)通信信号。通信信号可以包括控制照明设备110a-110d的控制指令。输入单元214可以被布置用于从开关130和/或从语音命令133接收通信信号。输入单元214可以被布置用于从用户移动设备136接收通信信号。通信信号可以包括控制信号。控制器210可以进一步包括存储器212，其可以被布置用于存储照明设备110a-110d和/或传感器140等的通信id。存储器212还可以被布置用于存储先前的反馈。控制器210可以包括用于训练机器的处理器213。机器的训练可以在控制器210外部执行。控制器210可以用于基于训练过的机器来推断用户的偏好。在一个示例中，推断也可以在控制器210的外部执行，并且控制器210可以被布置用于接收基于经训练的机器的控制命令。
51.控制器210可以在与照明设备110a-110d/传感器140/墙壁开关130分离的单元中实现，例如墙壁面板，台式计算机终端，或者甚至是便携式终端(例如膝上型电脑、平板电脑或智能手机)。替代地，控制器210可以并入与传感器140相同的单元和/或与照明设备110a-110d之一相同的单元中。此外，控制器210可以在环境101中或远离环境(例如，在服务器上)实现；并且控制器210可以在单个单元中实现，或者以分布在多个独立单元中的分布式功能
的形式实现(例如，包括在一个或多个地理位置的多个服务器单元的分布式服务器，或者分布在照明设备110a-110d之间或者在照明设备110a-110d和传感器140之间的分布式控制功能)。此外，控制器210可以以存储在存储器(包括一个或多个存储器设备)上并被布置成在处理器(包括一个或多个处理单元)上执行的软件的形式来实现，或者控制器210可以以专用硬件电路、或者诸如pga或fpga的可配置或可重配置电路、或者这些的任何组合的形式来实现。
52.关于实现上述功能所涉及的各种通信，例如，为了使控制器210能够接收从存在传感器140输出的存在信号并控制照明设备110a-110d的光输出，这些可以通过任何合适的有线和/或无线手段来实现：例如借助于有线网络，诸如以太网、dmx网络或互联网；或者无线网络，例如本地(短程)rf网络，例如wi-fi、zigbee或蓝牙网络；或者这些和/或其他手段的任意组合。
53.图3示意性和示例性地示出了说明用于训练机器以自动化照明控制动作的方法300的实施例的流程图。方法300可以包括基于第一组控制参数来控制310一个或多个照明设备110a-110d以呈现第一光效果。方法300还可以包括通过在过渡时间段内从第一光效果过渡到第二光效果，基于第二组控制参数来控制320一个或多个照明设备110a-110d呈现第二光效果。过渡可以由过渡特征来表征，例如持续时间、速度、颜色等。
54.方法300可以进一步包括在反馈时间段期间接收330来自用户的反馈。反馈可以是主动反馈或被动反馈。在一个示例中，可以接收指示用户存在的信号，并且然后已经呈现了具有从第一光到第二光效果的过渡的第二光效果。反馈时间段可以包括足够的时间供用户观察/感知过渡和第二光效果以及接收足以训练模型的反馈。
55.方法300可以进一步包括以下条件：如果在反馈时间段期间的预定时间段t_t(如图4所示)内已经接收到330反馈(是，条件343)；则反馈与过渡相关联350。现在参考图4，其示意性和示例性地示出了用于接收和分配反馈的时序图。在图4中的x轴上，示出了时间轴t，并且y轴是过渡之后光效果的呈现和变化。在时间段t0-t1期间，基于第一组控制参数来控制310一个或多个照明设备110a-110d以呈现第一光效果。取决于光效果，时间段t0-t1可以是秒、分钟或小时(或者甚至更长)。通过在过渡时间段t1-t2期间从第一光效果过渡到第二光效果，在时间段t2-t3期间控制320一个或多个照明设备110a-110d以基于第二组控制参数呈现第二光效果。时间段t2-t3的持续时间可以取决于第二光效果。过渡时间段t1-t2可以取决于所呈现的过渡。在一个示例中，过渡时间段t1-t2可以是基于用户120的偏好来学习的特性。在一个示例中，过渡时间段t1-t2可以接近零，使得一个或多个照明设备110a-110d被控制320以瞬时过渡到第二光效果。反馈与过渡或第二光效果的关联可以基于预定时间段t_t。因此，反馈是否与过渡或第二光效果相关联的确定可以基于接收到来自用户120的反馈的时间事例(例如，t_t)。
56.现在回头参考图3。如前所述，该方法可以包括：在反馈时间段期间，如果在预定时间段t_t内已经接收到反馈330(是，条件343)，则反馈与过渡相关联350。替代地，如果在反馈时间段期间的预定时间段之后已经接收到反馈330，则反馈与第二光效果相关联360。可以基于例如用户历史数据、第二光效果的呈现的持续时间、过渡的持续时间等来确定预定时间段。预定时间段可以随机选择。
57.方法300可以进一步包括基于相关联的350-360反馈来训练370机器。机器学习算
法可以用于训练机器。例如，可以使用监督学习。监督学习是基于输入-输出数据对学习将输入映射到输出的函数或模型的机器学习任务。它从包括一组训练数据的标记的训练数据集中推断出一个函数。在监督学习中，训练数据集中的每个样本是由输入(例如向量)和期望输出值组成的对。例如，输出相关联的350-360反馈，并且第二组控制参数和/或过渡是输入向量。训练数据集包括输出(反馈)和输入(第二组控制参数/过渡)。监督学习算法，如支持向量机(svm)，决策树(随机森林)等。分析训练数据集并生成推断的函数或模型，该函数或模型可以用于基于新数据集进行预测。在这个示例中，可以训练二进制分类器机器，其可以预测用户120对新的一组控制参数和/或过渡的偏好。可以为第二组控制参数和训练两者训练一个模型；或者可以分别为第二组控制参数中的每一个和过渡训练两个单独的模型。如果该模型预测用户对新的一组控制参数的偏好是肯定的，则可以基于新的一组控制参数来控制照明设备110a-110d以呈现新的光效果。作为监督学习的替代，强化学习可以用于训练机器。也可以考虑其他学习算法——例如基于规则的学习、概率推理、模糊逻辑——以训练本领域中已知的用于自动化照明控制动作的机器。
58.在不同的示例中，如果不能确定反馈是与过渡还是与第二光设置相关，则可以请求用户澄清这一点(例如，经由语音助理、经由移动设备136的显示器等)。
59.图5示意性和示例性地示出了说明用于训练机器以自动化照明控制动作的另一方法500的实施例的流程图。控制310-320和接收330来自用户120的反馈的方法步骤与图3的方法300中提到的相同。方法500还可以包括向反馈与过渡和第二光效果的关联分配540可能性；其中在反馈时间段期间，反馈与过渡相关联540的可能性作为时间的函数而降低；并且其中反馈与第二光效果相关联540的可能性相应地增加。反馈的可能性可以包括概率值，该概率值可以分配540给过渡和第二光效果。例如，由于概率的总和是1，因此取决于在什么时间事例已经接收到反馈，可以向过渡分配540概率0.7并且向第二光效果分配概率0.3。现在参考图6，其示意性和示例性地示出了用于接收和分配反馈的时序图。xy轴以及时间段t0-t1(第一光效果)、t1-t2(过渡时间段)和t2-t3(第二光效果)与图4中所示的相同。可能性的增加/减少由虚线610和620示例性地示出。在该示例性图中，随着时间的推移，用户反馈与过渡相关的可能性线性降低620。类似地，在该示例性图中，用户反馈与第二光效果相关的可能性随着时间的推移而线性增加610。在另一个示例中，过渡/第二光效果的反馈的可能性可以指数地或者用不同的函数增加/减少。在一个示例中，增加和减少可以包括不同的时间函数，例如线性增加和指数减少。在一个时间点，对于过渡和第二光效果两者的可能性可能是相同的(50％-50％)。
60.现在回头参考图5。方法500可以进一步包括基于相关联的反馈的可能性来训练550机器。训练550在训练过程中考虑可能性。前面指出的算法(例如监督学习、强化学习等)的不同之处可以在于每个反馈可能不给出相等的权重，而是基于可能性进行调整。这些可能性值可以分别用于每个过渡和第二光效果的每个模型，或者其在训练550中用作相对可能性。
61.当计算机程序产品在计算设备的处理单元(诸如控制器210)上运行时，方法300-500可以由计算机程序产品的计算机程序代码执行。
62.应当注意，上述实施例说明而不是限制本发明，并且本领域技术人员将能够设计许多替代实施例而不脱离所附权利要求的范围。
63.在权利要求中，置于括号之间的任何附图标记不应被解释为限制权利要求。动词“包括”及其变形的使用不排除权利要求中所陈述的元件或步骤之外的元件或步骤的存在。元件前面的冠词“一”或“一个”不排除多个这样的元件的存在。本发明可以借助于包括若干不同元件的硬件以及借助于适当编程的计算机或处理单元来实施。在列举了若干装置的设备权利要求中，这些装置中的若干可以由同一个硬件项目来体现。在相互不同的从属权利要求中引用某些措施的纯粹事实不指示这些措施的组合不能被有利地使用。
64.本发明的诸方面可以在计算机程序产品中实施，该计算机程序产品可以是存储在计算机可读存储器设备上的、可以由计算机执行的计算机程序指令的集合。本发明的指令可以是任何可解释或可执行的代码机制，包括但不限于脚本、可解释程序、动态链接库(dll)、或java类。指令可以作为完整的可执行程序、部分可执行程序、作为现有程序的修改(例如更新)或作为现有程序的扩展(例如插件)来提供。此外，本发明的部分处理可以分布在多个计算机或处理器或甚至“云”之上。
65.适于存储计算机程序指令的存储介质包括所有形式的非易失性存储器，包括但不限于eprom、eeprom和闪存设备、诸如内部和外部硬盘驱动器的磁盘、可移动盘和cd-rom盘。计算机程序产品可以分布在这样的存储介质上，或者可以通过http、ftp、电子邮件或通过连接到网络(诸如互联网)的服务器来提供下载。