用于无线网络的强化学习的奖励模拟的制作方法

本说明书涉及无线通信。

背景技术：

1、通信系统可以是实现两个或更多个节点或设备（诸如固定或移动通信设备）之间的通信的设施。信号可以在有线或无线载波上承载。

2、蜂窝通信系统的一个示例是由第三代合作伙伴计划（3gpp）标准化的架构。本领域最近的发展通常被称为通用移动电信系统（umts）无线电接入技术的长期演进（lte）。e-utra（演进型umts陆地无线电接入）是3gpp的长期演进（lte）移动网络升级路径的空中接口。在lte中，被称为增强型节点ap（enb）的基站或接入点（ap）在覆盖区域或小区内提供无线接入。在lte中，移动设备或移动站被称为用户设备（ue）。lte已经包括许多改进或发展。lte的各方面也在继续改进。

3、5g新空口（nr）开发是满足5g要求的持续移动宽带演进过程的一部分，类似于3g和4g无线网络的早期演进。此外，除了移动宽带之外，5g还针对新兴用例。5g的目标是提供无线性能的显著改进，其可以包括新水平的数据速率、时延、可靠性和安全性。5gnr还可以扩展以高效连接大规模物联网（iot），并且可以提供新类型的关键任务服务。例如，超可靠低时延通信（urllc）设备可能需要高可靠性和非常低的时延。6g和其他网络也正在开发。

技术实现思路

1、一种方法可以包括：由网络节点从机器学习模型接收预测动作；由网络节点确定预测动作是否满足可靠性准则；如果预测动作满足可靠性准则，则执行预测动作；以及如果预测动作不满足可靠性准则，则：获得针对预测动作的模拟奖励；并基于针对预测动作的模拟奖励，训练或更新机器学习模型。

2、一种装置，包括：至少一个处理器；以及至少一个存储器，该至少一个存储器存储有指令，指令在由该至少一个处理器执行时使该装置至少：由网络节点从机器学习模型接收预测动作；由网络节点确定预测动作是否满足可靠性准则；如果预测动作满足可靠性准则，则执行预测动作；以及如果预测动作不满足可靠性准则，则：获得针对预测动作的模拟奖励；并基于针对预测动作的模拟奖励，训练或更新机器学习模型。

3、一种方法可以包括：由用户设备从网络节点接收配置，以将用户设备配置为测量和报告与预测动作相关的一个或多个测量；由用户设备从网络节点接收请求，该请求用于用户设备执行与预测动作相关的一个或多个测量；由用户设备基于配置执行与预测动作相关的一个或多个测量；以及由用户设备向网络节点传输与预测动作相关的一个或多个测量，以使网络节点能够基于预测动作以及基于一个或多个测量的模拟奖励来训练机器学习模型。

4、一种装置，包括：至少一个处理器；以及至少一个存储器，该至少一个存储器存储有指令，指令在由该至少一个处理器执行时使该装置至少：由用户设备从网络节点接收配置，以将用户设备配置为测量和报告与预测动作相关的一个或多个测量；由用户设备从网络节点接收请求，该请求用于用户设备执行与预测动作相关的一个或多个测量；由用户设备基于配置执行与预测动作相关的一个或多个测量；以及由用户设备向网络节点传输与预测动作相关的一个或多个测量，以使网络节点能够基于预测动作以及基于一个或多个测量的模拟奖励来训练机器学习模型。

5、一种方法可以包括：由用户设备从网络节点接收可靠性准则；由用户设备将一个或多个测量或上下文信息作为输入提供给机器学习模型；由用户设备从机器学习模型接收基于输入的预测动作；由用户设备确定预测动作是否满足可靠性准则；如果预测动作满足可靠性准则，则由用户设备执行预测动作；如果预测动作不满足可靠性准则，则：获得针对预测动作的模拟奖励；并基于针对预测动作的模拟奖励，训练或更新机器学习模型。

6、一种装置，包括：至少一个处理器；以及至少一个存储器，该至少一个存储器存储有指令，指令在由该至少一个处理器执行时使该装置至少：由用户设备从网络节点接收可靠性准则；由用户设备提供一个或多个测量或上下文信息作为机器学习模型的输入；由用户设备从机器学习模型接收基于输入的预测动作；由用户设备确定预测动作是否满足可靠性准则；如果预测动作满足可靠性准则，则由用户设备执行预测动作；如果预测动作不满足可靠性准则，则：获得针对预测动作的模拟奖励；并基于针对预测动作的模拟奖励，训练或更新机器学习模型。

7、一种系统，包括：用户设备和网络节点，该用户设备包括至少一个第一处理器和至少一个第一存储器，该至少一个第一存储器存储有第一指令，该网络节点包括至少一个第二处理器和至少一个第二存储器，该至少一个第二存储器存储有第二指令；当第一指令和第二指令分别由该至少一个第一处理器和该至少一个第二处理器执行时，使该系统：由用户设备从网络节点接收第一可靠性准则；由用户设备从用户设备机器学习模型接收第一预测动作；以及由用户设备基于第一预测动作不满足可靠性准则，获得针对第一预测动作的第一模拟奖励；基于针对第一预测动作的第一模拟奖励，训练或更新用户设备机器学习模型；由网络节点从网络节点机器学习模型接收第二预测动作；由网络节点向用户设备传输请求，该请求用于用户设备执行与第二预测动作相关的一个或多个测量；由网络节点从用户设备接收与第二预测动作相关的一个或多个测量；由网络节点基于第二预测动作不满足第二可靠性准则，获得针对第二预测动作的第二模拟奖励；并且基于针对第二预测动作的第二模拟奖励，训练或更新网络节点机器学习模型。

8、一种方法可以包括：由第一服务网络节点使用服务质量约束，评估由机器学习模型预测的用户设备到第一目标网络节点的切换；在所预测的到第一目标网络节点的切换不满足服务质量约束的情况下：选择用于用户设备的切换的第二目标网络节点；向第一目标网络节点传输对奖励模拟的请求，以模拟到第一目标网络节点的切换的奖励；向用户设备传输配置，该配置用于执行关于第一目标网络节点的、用于奖励模拟的基于波束的测量，其中该配置包括以下指示：在用户设备切换到第二目标网络节点之后，向第二目标网络节点传输关于测量的信息；从第一目标网络节点接收模拟奖励；以及在训练机器学习模型时使用奖励。

9、一种装置，包括：至少一个处理器；以及至少一个存储器，该至少一个存储器存储有指令，指令在由该至少一个处理器执行时使该装置至少：由第一服务网络节点使用服务质量约束，评估由机器学习模型预测的用户设备到第一目标网络节点的切换；在所预测的到第一目标网络节点的切换不满足服务质量约束的情况下：选择用于用户设备的切换的第二目标网络节点；向第一目标网络节点传输对奖励模拟的请求，以模拟到第一目标网络节点的切换的奖励；向用户设备传输配置，该配置用于执行关于第一目标网络节点的、用于奖励模拟的基于波束的测量，其中该配置包括以下指示：在用户设备切换到第二目标网络节点之后，向第二目标网络节点传输关于测量的信息；从第一目标网络节点接收模拟奖励；以及在训练机器学习模型时使用奖励。

10、针对每个示例方法提供或描述了其他示例实施例，包括：用于执行任何示例方法的部件；包括存储在其上的指令的非暂态计算机可读存储介质，该指令在由至少一个处理器执行时被配置为使计算系统执行任何示例方法；以及包括至少一个处理器和至少一个存储器的装置，该至少一个存储器包括计算机程序代码，该至少一个存储器和计算机程序代码被配置为与该至少一个处理器一起使该装置至少执行任何示例方法。

11、在附图和以下描述中阐述了实施例的一个或多个示例的细节。根据说明书和附图以及根据权利要求，其他特征将是显而易见的。