调度方法、调度系统和调度装置与流程

1.本技术涉及通信领域，并且具体地，涉及一种调度方法、调度系统和调度装置。


背景技术：

2.在蜂窝网络中，介质访问控制(media access control，mac)层调度主要解决时频资源的分配、调制与编码策略(modulation and coding scheme，mcs)选择、用户配对、预编码等问题，通过调度来实现系统吞吐和公平性的折中。
3.目前使用深度强化学习的基站(base station，bs)调度器可更好地实现系统吞吐和公平性的折中。在进行深度强化学习的过程中，调度器在接收到上次调度决策的收益反馈之后，要根据该收益反馈确定本次的调度决策，然后将本次的调度决策发送给bs进行下行控制信息(downlink control information，dci)编码之后由bs在约定的时间发送给终端设备，在实际中，可能由于调度器无法及时获取到上次调度决策的收益，导致bs无法在系统约定时间发送本次的调度决策的dci编码，从而造成空口反馈滞后，导致调度器无法在时序上有效地进行深度强化训练。


技术实现要素：

4.本技术提供一种调度方法、调度系统和调度装置，有效解决了调度器无法及时获取上一次调度决策收益时，调度流程与空口时序卡滞冲突的问题。
5.第一方面，提供了一种调度方法，应用于由至少一个调度器组成的调度系统中，调度系统包括第一调度器，方法包括：第一调度器在第i个时间单元获取第一收益反馈，其中，i≥1且i为整数；第一调度器根据第一收益反馈确定第一调度决策，其中，第一收益反馈是终端设备根据第二调度决策确定的，第二调度决策为第一调度器在第一调度决策之前确定的上一次的调度决策；第一调度器在第i n个时间单元发送第一调度决策，其中，n＞1且n为整数。
6.上述技术方案中，调度器在获取到上一次调度决策的收益反馈时，可以在接收到收益反馈之后的n个时间单元发送根据该收益反馈计算的本次的调度决策，从而能够留给调度器充足的时间进行调度决策的计算与编码，有效解决了调度器无法及时获取上一次调度决策收益时，调度流程与空口时序卡滞冲突的问题。
7.结合第一方面，在第一方面的某些实现方式中，调度系统还包括一个或多个第二调度器，方法还包括：第二调度器在第i j个时间单元获取第二收益反馈，其中，1≤j≤n-1且j为整数；第二调度器根据第二收益反馈确定第三调度决策，其中，第二收益反馈是终端设备根据第四调度决策确定的，第四调度决策为第二调度器在第三调度决策之前确定的上一次的调度决策，第一调度器确定的调度决策和第二调度器确定的调度决策分别为第一调度器和第二调度器对同一任务的调度决策；第二调度器在第i j m个时间单元发送第二调度决策，其中，m＞1且m为整数。
8.上述技术方案中，相对于只使用1个调度器的使用场景更宽泛，采用多调度器协作
调度的调度流程方案，第一调度器和第二调度器交替获取上行收益反馈并输出调度策略，有效地提升调度器对空口环境的适应性。
9.结合第一方面，在第一方面的某些实现方式中，第一调度器向第二调度器发送第一信息，第一信息包括第一调度决策或第三收益反馈，第三收益反馈是终端设备根据第一调度决策确定的；第二调度器接收第一信息并根据第一信息调整之后对任务的调度决策。
10.上述技术方案中，调度器间具有信息交互功能，可以调整自身的调度参数，确保不同调度器的调度策略相近、相同，以及调度收益最大化。
11.结合第一方面，在第一方面的某些实现方式中，第二调度器向第一调度器发送第二信息，第二信息包括第二调度决策或第四收益反馈，第四收益反馈是终端设备根据第二调度决策确定的；第一调度器接收第二信息并根据第二信息调整之后对任务的调度决策。
12.上述技术方案中，调度器间具有信息交互功能，可以调整自身的调度参数，确保不同调度器的调度策略相近、相同，以及调度收益最大化。
13.第二方面，提供了一种调度方法，方法包括：终端设备在第i个时间单元发送第一收益反馈，其中，i≥1且i为整数；终端设备在第i n个时间单元接收第一调度器根据第一收益反馈确定的第一调度决策，其中，第一收益反馈是终端设备根据第二调度决策确定的，第二调度决策为第一调度器在第一调度决策之前确定的上一次的调度决策，n＞1且n为整数。
14.上述技术方案中，终端设备在发送收益反馈后，在一段时间之后再接收调度器针对该收益反馈的调度决策，这样可以留给调度器充足的时间进行调度决策的计算与编码，从而有效解决了调度器无法及时获取上一次调度决策收益时，调度流程与空口时序卡滞冲突的问题。
15.结合第二方面，在第二方面的某些实现方式中，终端设备在第i j个时间单元发送第二收益反馈，其中，1≤j≤n-1且j为整数；终端设备在第i j m个时间单元接收第二调度器根据第二收益反馈确定的第三调度决策，其中，m＞1且m为整数，第二收益反馈是终端设备根据第四调度决策确定的，第四调度决策为第二调度器在第三调度决策之前确定的上一次的调度决策，第一调度器确定的调度决策和第二调度器确定的调度决策分别为第一调度器和第二调度器对同一任务的调度决策。
16.上述技术方案中，采用多调度器协作调度的调度流程方案，终端设备交替接收不同调度器的调度决策并根据不同的调度器的调度决策确定收益反馈并发送给对应的调度器，有效地提升调度器对空口环境的适应性。
17.结合第二方面，在第二方面的某些实现方式中，n等于2。
18.结合第二方面，在第二方面的某些实现方式中，n的值是通信系统或通信协议规定的。
19.第三方面，提供了一种调度系统，调度系统包括：第一调度器，用于在第i个时间单元获取第一收益反馈，其中，i≥1且i为整数；第一调度器，还用于根据第一收益反馈确定第一调度决策，其中，第一收益反馈是终端设备根据第二调度决策确定的，第二调度决策为第一调度器在第一调度决策之前确定的上一次的调度决策；第一调度器，还用于在第i n个时间单元发送第一调度决策，其中，n＞1且n为整数。
20.结合第三方面，在第三方面的某些实现方式中，调度系统还包括一个或多个第二调度器，第二调度器，用于在第i j个时间单元获取第二收益反馈，其中，1≤j≤n-1且j为整
数；第二调度器，还用于根据第二收益反馈确定第三调度决策，其中，第二收益反馈是终端设备根据第四调度决策确定的，第四调度决策为第二调度器在第三调度决策之前确定的上一次的调度决策，第一调度器确定的调度决策和第二调度器确定的调度决策分别为第一调度器和第二调度器对同一任务的调度决策；第二调度器，还用于在第i j m个时间单元发送第二调度决策，其中，m＞1且m为整数。
21.结合第三方面，在第三方面的某些实现方式中，第一调度器，还用于向第二调度器发送第一信息，第一信息包括第一调度决策或第三收益反馈，第三收益反馈是终端设备根据第一调度决策确定的；第二调度器，还用于接收第一信息并根据第一信息调整之后对任务的调度决策。
22.结合第三方面，在第三方面的某些实现方式中，第二调度器，还用于向第一调度器发送第二信息，第二信息包括第二调度决策或第四收益反馈，第四收益反馈是终端设备根据第二调度决策确定的；第一调度器，还用于接收第二信息并根据第二信息调整之后对任务的调度决策。
23.关于第三方面的所产生的有益效果，参考第一方面中的描述，这里不再赘述。
24.第四方面，提供一种调度装置，调度装置用于执行上述第一方面提供的调度方法。具体地，调度装置可以包括用于执行第一方面提供的调度方法的模块。
25.第五方面，提供一种调度装置，调度装置用于执行上述第二方面提供的调度方法。具体地，调度装置可以包括用于执行第二方面提供的调度方法的模块。
26.第六方面，提供一种调度设备，包括处理器。该处理器与存储器耦合，可用于执行存储器中的指令，以实现上述第一方面以及第一方面中任一种可能实现方式中的调度方法。可选地，该调度装置还包括存储器。可选地，该调度装置还包括通信接口，处理器与通信接口耦合，通信接口用于输入和/或输出信息。信息包括指令和数据中的至少一项。
27.在一种实现方式中，该调度装置为第一调度器或第二调度器。当该调度装置为第一调度器或第二调度器时，通信接口可以是收发器，或，输入/输出接口。
28.在另一种实现方式中，该调度装置为芯片或芯片系统。当该调度装置为芯片或芯片系统时，通信接口可以是输入/输出接口可以是该芯片或芯片系统上的输入/输出接口、接口电路、输出电路、输入电路、管脚或相关电路等。处理器也可以体现为处理电路或逻辑电路。
29.在另一种实现方式中，该调度装置为配置于第一调度器或第二调度器中的芯片或芯片系统。
30.可选地，收发器可以为收发电路。可选地，输入/输出接口可以为输入/输出电路。
31.第七方面，提供一种调度装置，包括处理器。该处理器与存储器耦合，可用于执行存储器中的指令，以实现上述第二方面以及第二方面中任一种可能实现方式中的调度方法。可选地，该调度装置还包括存储器。可选地，该调度装置还包括通信接口，处理器与通信接口耦合，通信接口用于输入和/或输出信息。信息包括指令和数据中的至少一项。
32.在一种实现方式中，该调度装置为终端设备。当该调度装置为网络设备时，通信接口可以是收发器，或，输入/输出接口。
33.在另一种实现方式中，该调度装置为芯片或芯片系统。当该调度装置为芯片或芯片系统时，通信接口可以是该芯片或芯片系统上的输入/输出接口、接口电路、输出电路、输
入电路、管脚或相关电路等。处理器也可以体现为处理电路或逻辑电路。
34.在另一种实现方式中，该调度装置为配置于终端设备中的芯片或芯片系统。
35.可选地，收发器可以为收发电路。可选地，输入/输出接口可以为输入/输出电路。
36.第八方面，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被调度装置执行时，使得调度装置实现第一方面以及第一方面的任一可能的实现方式中的调度方法。
37.第九方面，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被调度装置执行时，使得通信装置实现第二方面以及第二方面的任一可能的实现方式中的调度方法。
38.第十方面，提供一种包含指令的计算机程序产品，指令被计算机执行时使得调度装置实现第一方面提供的调度方法。
39.第十一方面，提供一种包含指令的计算机程序产品，指令被计算机执行时使得调度装置实现第二方面提供的调度方法。
40.第十二方面，提供了一种调度系统，包括前述的第一调度器和终端设备；或者，包括前述的第一调度器、第二调度器以及终端设备。
附图说明
41.图1是适用于本技术实施例的网络架构的示意图。
42.图2是强化学习的训练过程示意图。
43.图3是bs和ue使用深度强化学习进行调度的处理时序图。
44.图4是本技术实施例提供的调度方法的示意性框图。
45.图5是本技术实施例提供的上行bs调度方法的示意性流程图。
46.图6是本技术实施例提供的下行bs调度方法的示意性流程图。
47.图7是本技术实施例提供的多个bs调度器执行调度方法的示意性流程图。
48.图8为本技术提供的调度装置1000的示意性框图。
49.图9为本技术提供的调度装置2000的示意性框图。
50.图10为本技术提供的通信装置10的示意性结构图。
51.图11为本技术提供的通信装置20的示意性结构图。
具体实施方式
52.下面将结合附图，对本技术中的技术方案进行描述。
53.本技术实施例的技术方案可以应用于各种通信系统，例如：长期演进(long term evolution，lte)系统、lte频分双工(frequency division duplex，fdd)系统、lte时分双工(time division duplex，tdd)、通用移动通信系统(universal mobile telecommunication system，umts)、新无线(new radio，nr)系统等第五代(5th generation，5g)系统，卫星通信系统，以及其它未来演进的通信系统等。
54.图1是适用于本技术实施例的网络架构的示意图。如图1所示，该网络架构可以包括至少一个网络设备110、至少一个终端设备120以及至少一个调度器130。其中，终端设备120可以是移动的或固定的。网络设备110为可以通过无线链路与终端设备120通信的设备，
如基站或基站控制器等。调度器130可以通过与网络设备110和终端设备120的信息交互实现系统吞吐和公平性的折中。应理解，图1只是示例性地给出了一个网络设备、一个终端设备和一个调度器，但这不应对本技术构成任何限定。
55.可选地，网络设备110和调度器130可以是物理上相互独立的设备，或者，网络设备110也可以和调度器130集成在一起，本文不做限定。
56.上述各个通信设备，可以配置多个天线。该多个天线可以包括至少一个用于发送信号的发射天线和至少一个用于接收信号的接收天线。另外，各通信设备还附加地包括发射机链和接收机链，本领域普通技术人员可以理解，它们均可包括与信号发送和接收相关的多个部件(例如处理器、调制器、复用器、解调器、解复用器或天线等)。因此，网络设备与终端设备之间可通过多天线技术通信。
57.本技术实施例中，网络设备可以是任意一种具有无线收发功能的设备。网络设备包括但不限于：演进型节点b(evolved node b，enb)、无线网络控制器(radio network controller，rnc)、节点b(node b，nb)、家庭基站(例如，home evolved node b，或home node b，hnb)、基带单元(baseband unit，bbu)，无线保真(wireless fidelity，wifi)系统中的接入点(access point，ap)、无线中继节点、无线回传节点、传输点(transmission point，tp)或者发送接收点(transmission and reception point，trp)等，还可以为5g(如nr)系统中的gnb或传输点(trp或tp)，或者，5g系统中的基站的一个或一组(包括多个天线面板)天线面板，或者，可以为构成gnb或传输点的网络节点，如基带单元(bbu)，或，分布式单元(distributed unit，du)等。
58.网络设备可以与终端设备通过上行传输或下行传输数据进行通信。在本技术实施例中，终端设备也可以称为用户设备(user equipment，ue)、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置。本技术的实施例中的终端设备可以是手机(mobile phone)、平板电脑(pad)、带无线收发功能的电脑、虚拟现实(virtual reality，vr)终端设备、增强现实(augmented reality，ar)终端设备、工业控制(industrial control)中的无线终端、无人驾驶(self driving)中的无线终端、远程医疗(remote medical)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端、蜂窝电话、无绳电话、会话启动协议(session initiation protocol，sip)电话、无线本地环路(wireless local loop，wll)站、个人数字助理(personal digital assistant，pda)、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、可穿戴设备、5g网络中的终端设备、非公共网络中的终端设备等。
59.其中，可穿戴设备也可以称为穿戴式智能设备，是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称，如眼镜、手套、手表、服饰及鞋等。可穿戴设备即直接穿在身上，或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备，更是通过软件支持以及数据交互、云端交互来实现强大的功能。广义穿戴式智能设备包括功能全、尺寸大、可不依赖智能手机实现完整或者部分的功能，例如：智能手表或智能眼镜等，以及只专注于某一类应用功能，需要和其它设备如智能手机配合使用，如各类进行体征监测的智能手环、智能首饰等。
60.此外，终端设备还可以是物联网(internet of things，iot)系统中的终端设备。iot是未来信息技术发展的重要组成部分，其主要技术特点是将物品通过通信技术与网络连接，从而实现人机互连，物物互连的智能化网络。
61.为便于理解本技术实施例，首先对本技术中涉及到的术语作简单说明。
62.1、强化学习：
63.强化学习是机器学习中的一个领域。参见图2，图2是强化学习的训练过程示意图。如图1所示，强化学习主要包含四个元素：智能体(agent)、环境(environment)、状态(state)、动作(action)与奖励(reward)，其中，智能体的输入为状态，输出为动作。
64.当前技术中，强化学习的训练过程为：通过智能体与环境进行多次交互，获得每次交互的动作、状态、奖励；将这多组(动作，状态，奖励)作为训练数据，对智能体进行一次训练。采用上述过程，对智能体进行下一轮次训练，直至满足收敛条件。其中，获得一次交互的动作、状态、奖励的过程如图1所示，将环境当前状态s(t)输入至智能体，获得智能体输出的动作a(t)，根据环境在动作a(t)作用下的相关性能指标计算本次交互的奖励r(t)，至此，获得本次交互的动作a(t)、动作a(t)与奖励r(t)。记录本次交互的动作a(t)、动作a(t)与奖励r(t)，以备后续用来训练智能体。还记录环境在动作a(t)作用下的下一个状态s(t 1)，以便实现智能体与环境的下一次交互。
65.2、深度强化学习(deep reinforcement learning，drl)：
66.将强化学习和深度学习相结合，就得到了深度强化学习。深度强化学习仍然符合强化学习中主体和环境交互的框架。不同的是，智能体(agent)中使用深度神经网络进行决策。
67.参见图3，图3是bs和ue使用深度强化学习进行调度的处理时序图。目前的基于深度强化学习的bs调度器工作流程一般是：
68.a.调度器获取调度收益反馈。例如：调度器在帧n中获取ue发送的上行数据，并对上行数据进行解调译码，获取调度器最近一次输出的调度决策的收益反馈。
69.收益反馈是指在深度强化学习中，收益反馈可以用来判断调度决策对系统吞吐量和用户的公平性的影响。例如：调度器的调度决策a能够提高系统吞吐量和用户的公平性，那么终端设备对调度决策a的收益反馈就高，同理，如果调度器的调度决策b降低了系统吞吐量和用户的公平性，那么终端设备对调度决策b的收益反馈就低，这样，调度器就可以根据终端设备发送的收益反馈不断更新调度决策，从而确定最优的调度决策。
70.b.调度器输出调度决策，bs编码dci并发送。例如：调度器根据在帧n获取到的收益反馈确定本次的调度决策，bs将本次的调度决策编码生成dci#1，bs在帧n 1中向ue发送dci#1。
71.c.通过上行获取调度决策后的收益反馈。例如：ue在接收到bs发送的dci#1后，对dci#1进行译码，同时根据译码结果向bs发送收益反馈(即上行数据)，对应的，bs调度器在帧n 1中获取ue发送的该收益反馈。
72.d.更新决策再次编码dci并发送。例如bs调度器根据上行数据在帧n 1中再次进行决策编码dci#2，并在帧n 2向ue发送dci#2。
73.上述调度器的调度流程可能会受限于步骤c.通过上行获取决策后的收益。首先，步骤c的耗时长短直接影响bs调度器响应的快慢，如果反馈的时间过长，调度器的动态适应
性就会下降。其次，不同帧结构对步骤c的时效性也有很大影响。例如10ms的系统帧中，bs在帧n 1的子帧0下发dci，如果ue在帧n的子帧9上报调度收益，因为dci编码需要提前进行，所以bs无法在帧n 1的子帧0中包含帧n的子帧9上报的反馈调度收益，造成空口反馈滞后，因此，若按照该时序就无法有效进行深度强化学习的训练。
74.有鉴于此，本技术提出一种调度方法，用于解决空口反馈滞后对深度强化学习调度器的影响。
75.在本技术所有实施例中，在时域上可以包括一个或多个时间单元。例如：在时域上，可以划分为时间长度为10ms的帧(frame)，每个帧被分成10个相同大小长度为1ms的子帧(subframe)，每个子帧可包含一个或多个时隙。作为示例而非限定，本技术实施例中的时间单元以帧为例进行说明。
76.参见图4，图4是本技术实施例提供的调度方法的示意性框图。该方法应用于由至少一个调度器组成的调度系统中。
77.第一调度器的调度流程包括：
78.401、第一调度器在第i个时间单元获取第一收益反馈，i＞1且i为整数。
79.终端设备在第i个时间单元向网络设备发送第一收益反馈，第一调度器在第i个时间单元从网络设备获取第一收益反馈，第一收益反馈是终端设备根据第一调度器最近一次输出的调度决策确定的(即第二调度决策)。
80.应理解，这里的网络设备可以为图1中描述的网络设备，例如：网络设备可以为bs，更具体的，可以为bs基带。
81.402、第一调度器根据第一收益反馈确定第一调度决策。
82.403、第一调度器在第i n个时间单元发送第一调度决策。
83.可选的，n的值可以是通信系统或通信协议规定的。
84.例如：第i个时间单元为帧n，第一调度器可以在帧n之后的第n个帧中发送第一调度决策，其中n＞1且n为整数，比如n的取值可以为n＝2、3或5，即第一调度器在帧n获取到第一收益反馈后，根据第一收益反馈确定第一调度决策，然后在帧(n 2)、帧(n 3)或者帧(n 5)发送第一调度决策。
85.第一调度器将第一调度决策发送给网络设备进行dci编码，网络设备在i n个时间单元中将dci发送给终端设备。
86.可选的，该调度系统中还可以包括一个或多个第二调度器，第二调度器与第一调度器分别对同一任务的进行调度决策输出，第一调度器与第二调度器轮循下发调度决策与获取调度收益反馈。
87.应理解，这里的同一任务是指在同一调度系统中，系统侧决定同一终端设备是否被调度或系统侧给同一终端设备分配时频资源的过程。
88.第二调度器的调度流程包括：
89.(1)第二调度器在第i j个时间单元获取第二收益反馈，1≤j≤n-1且j为整数。例如：当n＝2时，j＝1或者当n＝5时，j＝1、2、3或4。
90.终端设备在第i j个时间单元向网络设备发送第二收益反馈，第二调度器在第i j个时间单元从网络设备获取第二收益反馈，第二收益反馈是终端设备根据第二调度器最近一次输出的调度决策确定的(即第四调度决策)。
91.(2)第二调度器根据第二收益反馈确定第三调度决策。
92.(3)第二调度器在第i j m个时间单元发送第三调度决策，m＞1且m为整数。
93.下面对第一调度器和第二调度器的调度进行举例说明。
94.例如：第i个时间单元为帧n，则第一调度器可以在帧n之后的第n个帧中发送第一调度决策，其中n＞1且n为整数，比如n的取值可以为n＝2、3或5，即第一调度器在帧n获取到第一收益反馈后，根据第一收益反馈确定第一调度决策，然后在帧(n 2)、帧(n 3)或者帧(n 5)发送第一调度决策。
95.第二调度器将第三调度决策发送给网络设备进行dci编码，网络设备在i j m个时间单元中将dci发送给终端设备。
96.可选的，m的值可以是通信系统或通信协议规定的。
97.其中，第二调度器的调度周期m可以等于第一调度器的调度周期n，也可以不等于n。
98.例如：当n＝2时，第一调度器在帧n、帧(n 2)、帧(n 4)、帧(n 6)
……
上下发调度决策与获取调度收益反馈；
99.当m＝n＝2时，j＝1，第二调度器在帧(n 1)、帧(n 3)、帧(n 5)、帧(n 7)
……
上下发调度决策与获取调度收益反馈；
100.当m＝4≠n时，j＝1，第二调度器在帧(n 1)、帧(n 5)、帧(n 9)、帧(n 13)
……
上下发调度决策与获取调度收益反馈。
101.对于m≠n的情况，可能存在两个调度器在同一时间单元上重叠的情况，例如：如果存在第一调度器的时间周期n为3，则第一调度器在帧n、帧(n 3)、帧(n 6)、帧(n 9)
……
上下发调度决策与获取调度收益反馈；存在第二调度器的时间周期m为4，则第一调度器在帧(n 1)、帧(n 5)、帧(n 9)、帧(n 13)
……
上下发调度决策与获取调度收益反馈，这时，两个调度器都会在帧(n 9)上下发调度决策与获取调度收益反馈。
102.对于上述情况，可选的，由网络设备选择只采取其中一个调度器。被选择的调度器正常按预设的调度周期进行，没有被选择的调度器则跳开此次的调度收益反馈获取、调度决策计算以及调度决策下发。未被选择的调度器在此次接收调度收益的时间窗内未收到相应的调度收益，则会在下一个调度时刻重发上一次的调度策略。接收调度收益的时间窗是指从上一次下发调度策略起，到此次决策计算所要求的调度收益最晚到达时间。
103.对于上述情况，可选的，网络设备按照预先规定的方式选择调度器，可以固定选择其中一个，也可以轮询选择，也可以根据其他参数选择(例如分配给负载较低的调度器)。
104.可选的，在调度器的决策过程中，第一调度器、第二调度器还可以进行调度决策的交互。
105.可选的，第一调度器、第二调度器经过预设的时间段进行决策交互。
106.可选的，第一调度器、第二调度器达到预设的调度决策次数进行决策交互。
107.可选的，第一调度器、第二调度器交互信息可以为最近一次的调度决策与该决策对应的收益。例如：第一调度器可以将第一调度决策和第一调度决策的收益反馈发送给第二调度器，或者调度器第二调度器可以将第三调度决策第三调度器的收益反馈发送给第一调度器。
108.可选的，第一调度器、第二调度器根据收到的交互信息修正各自的调度决策，使交
互的调度器之间的调度决策逐渐收敛于同一个方向。
109.可选的，第一调度器、第二调度器在收到的交互信息后，也可以不进行决策调整，各自根据接收到的交互信息与自己的调度决策，比较两个调度器输出的调度决策之间的差异。
110.上述技术方案中，调度器在获取到上一次调度决策的收益反馈时，不必在当前时间单元完成调度决策的计算，网络设备也不用在下一个时间单元就进行dci发送，而是在间隔一个或多个时间单元之后再发送dci，不局限于空口帧结构，留给调度器充足的时间进行调度决策的计算与编码。有效解决了调度器无法及时获取上一次调度决策收益时，调度流程与空口时序卡滞冲突的问题。同时，第一调度器在时域上跨时间单元进行调度决策输出，那么一个或多个第二调度器就可以利用第一调度器没有使用的时间单元对同一任务进行调度决策，从而提高系统时频资源的利用率。
111.参见图5，图5是本技术实施例提供的上行bs调度方法的示意性流程图。图5中包括2个调度器，分别为调度器a和调度器b，应理解，图4只是示例性的给出2个调度器，本技术中的调度器的数量不局限于图4中的2个调度器，可以是3个或多个。
112.当bs使用基于深度强化学习调度器时，系统采用调度器a(即第二调度器的一例)和调度器b(即第一调度器的一例)共同协作调度，各调度器轮循获取调度输入与输出调度决策，调度器a确定的调度决策和调度器b确定的调度决策分别为调度器a和调度器b对同一任务的调度决策，具体的上行调度过程如下：
113.对于调度器b:
114.101、ue在帧n中接收与译码dci#1。
115.应理解，这里的dci#1是bs基带根据调度器b最近一次输出的调度决策(即第二调度决策的一例)编码生成的。
116.102、ue在帧n中对上行数据进行编码与发送。
117.ue根据接收到的dci#1信息对上行数据进行pusch编码并在帧n中向bs基带发送编码后的上行数据。
118.103、bs基带在帧n中接收与译码上行数据。
119.bs基带在帧n中接收上行数据并对上行数据进行译码，从译码后的数据中获取上次上行调度决策的收益反馈r1(即第一收益反馈的一例)并发送给调度器b。
120.需要说明的是，在上行bs调度流程中，终端设备不直接计算收益反馈，只根据接收到的dci信息进行上行数据编码，由bs根据接收到的上行数据计算获取相应的收益反馈。
121.104、调度器b接收bs基带发送的收益反馈r1。
122.105、调度器b根据收益反馈r1计算调度决策b1(即第一调度决策的一例)。
123.106、调度器b向bs基带输出调度决策b1。
124.107、bs基带编码dci#2，并在帧n 2中发送dci#2。
125.bs基带根据从调度器b获取的调度决策b1，将其整合入dci并进行dci编码，生成dci#2，bs基带在帧(n 2)中向ue发送dci#2。
126.应理解，dci编码只要在接收到调度决策b1后就可以开始编码，同时在bs基带发送dci前完成即可。
127.108、ue在帧(n 2)中接收与译码dci#2。
128.应理解，步骤108与步骤101是相同的，表示终端设备与调度器开始进入下一轮学习。
129.109、ue在帧(n 2)中对上行数据进行编码与发送。
130.ue根据接收到的dci#2对上行数据进行pusch编码并在帧(n 2)中向bs基带发送编码后的上行数据。
131.110、bs基带在帧(n 2)中接收与译码上行数据。
132.bs在帧(n 2)中接收上行数据并对上行数据进行译码，从译码后的数据中获取本次上行调度的收益反馈r2并发送给调度器b。
133.111、调度器b接收收益反馈r2。
134.112、调度器b根据收益反馈r2计算调度决策b2。
135.113、调度器b向bs基带输出调度决策b2。步骤113与步骤106操作相同。后续循环操作参见步骤106之后的操作。
136.调取器a的调度流程与调度器b的调度流程是相同的，不同的是两个调度器的在不同的时间单元上进行调度决策。
137.对于调度器a:
138.201、调度器a在帧(n-1)中接收收益反馈r3。
139.202、调度器a根据收益反馈r3计算调度决策a1。
140.203、调度器a向bs基带输出调度决策a1(即第四调度决策的一例)。
141.204、bs基带编码dci#3，并在帧n 3中发送dci#3。
142.bs基带根据从调度器a获取的调度决策a1，将其整合入dci并进行dci编码，生成dci#3，bs基带在帧(n 1)中向ue发送dci#3。
143.应理解，dci编码只要在接收到调度器a的调度决策后就可以开始编码，同时在bs基带发送dci前完成即可。
144.205、ue在帧(n 1)中接收与译码dci#3。
145.206、ue在帧(n 1)中对上行数据进行编码与发送。
146.ue根据接收到的dci#3对上行数据进行pusch编码并在帧(n 1)中向bs基带发送编码后的上行数据。
147.207、bs基带在帧(n 1)中接收与译码上行数据。
148.bs在帧(n 1)中接收上行数据并对上行数据进行译码，从译码后的数据中获取本次上行调度的收益反馈r4(即第二收益反馈的一例)并发送给调度器a。
149.208、调度器a接收收益反馈r4。
150.209、调度器a根据收益反馈r4计算调度决策a2(即第三调度决策的一例)。
151.210、调度器a向bs基带输出调度决策a2。
152.211、bs基带编码dci#4，并在帧(n 3)中发送dci#4。
153.bs基带根据从调度器a获取的调度决策a2，将其整合入dci并进行dci编码，生成dci#4，bs基带在帧(n 3)中向ue发送dci#4。步骤211与步骤204操作相同。后续循环操作参见步骤204之后的操作。
154.可选的，在调度器的决策过程中，调度系统中的多个调度器还可以进行调度决策的交互，交互的周期可由用户或系统定义。
155.可选的，多个调度器经过预设的时间段进行决策交互。
156.可选的，多个调度器达到预设的调度决策次数进行决策交互。
157.可选的，多个调度器交互信息可以为最近一次的调度决策与该决策对应的收益。例如：调度器a可以将调度决策a1和收益反馈r4发送给调度器b，或者调度器b可以将调度决策b1和收益反馈r2发送给调度器a。
158.可选的，调度器a、b根据收到的交互信息修正各自的调度决策，使多个调度器的调度决策逐渐收敛于同一个方向。
159.可选的，调度器a、b在收到的交互信息后，不进行决策调整，各自根据接收到的信息与自己的调度决策，比较两个调度器输出的调度决策之间的差异。
160.上述技术方案中，相对于只使用1个调度器的使用场景更宽泛，调度器a、b交替获取上行收益反馈并输出调度策略到dci，ue接收译码dci并根据调度决策进行上行数据编码。bs接收上行译码后，将调度的收益结果交替反馈到对应的调度器上。bs基带从某一调度器获取调度策略编码dci后，会将后续最近的一次调度收益反馈到同一调度器上；bs基带下一次会从另一个调度器上获取调度策略，再向其反馈后续最近一次调度收益。多个调度器的方案能够有效地提升调度器对空口环境变化的适应性。同时，调度器间具有信息交互功能，可以调整自身的调度参数，确保不同调度器的调度策略相近、相同，以及调度收益最大化。
161.参见图6，图6是本技术实施例提供的下行bs调度方法的示意性流程图。图6中包括2个调度器，分别为调度器a和调度器b，应理解，图6只是示例性的给出2个调度器，本技术中的调度器的数量不局限于图6中的2个调度器，可以是3个或多个。
162.当bs使用基于深度强化学习调度器时，系统采用调度器a和调度器b共同协作调度，各调度器轮循获取调度输入与执行调度决策。具体的下行调度过程如下：
163.对于调度器b:
164.601、ue在帧n中接收与译码dci#1。
165.应理解，这里的dci#1是bs基带根据调度器b最近一次输出的调度决策(即第二调度决策的一例)编码生成的。
166.602、ue在帧n中发送收益反馈r1。
167.ue根据接收到的dci#1信息确定收益反馈r1并进行编码，并在帧n中向bs基带发送编码后的收益反馈r1。
168.需要说明的是，与上行bs调度流程不同的是，在下行bs调度流程中，终端设备直接计算收益反馈并将计算出的收益反馈编码后反馈给bs基带，bs基带只需要对接收到的数据进行译码即可直接获取本次的收益反馈。
169.606、bs基带在帧n中接收收益反馈r1。
170.bs基带在帧n中接收上行数据并对上行数据进行译码，从译码后的数据中获取收益反馈r1(即第一收益反馈的一例)并发送给调度器b。
171.604、调度器b接收bs基带发送的收益反馈r1。
172.603、调度器b根据收益反馈r1计算调度决策b1(即第一调度决策的一例)。
173.606、调度器b向bs基带输出调度决策b1。
174.607、bs基带编码dci#2，并在帧n 2中发送dci#2。
175.bs基带根据从调度器b获取的调度决策b1，将其整合入dci#2并决策下行数据进行pdsch编码，bs基带在帧(n 2)中向ue发送dci#2和编码后的下行数据。
176.应理解，bs基带在接收到调度决策后就可以开始dci编码，同时在bs基带发送dci前完成即可。
177.608、ue在帧(n 2)中接收与译码dci#2。
178.应理解，步骤608与步骤601是相同的，表示终端设备与调度器开始进入下一轮学习。
179.609、ue在帧(n 2)中发送收益反馈r2。
180.ue根据接收到的dci#2对上行数据进行pusch编码并在帧(n 2)中向bs基带发送编码后的上行数据。
181.ue根据接收到的dci#2信息确定收益反馈r2并进行编码，并在帧n中向bs基带发送编码后的收益反馈r2。
182.610、bs基带在帧(n 2)中接收收益反馈r2。
183.bs在帧(n 2)中接收上行数据并对上行数据进行译码，从译码后的数据中获取收益反馈r2并发送给调度器b。
184.611、调度器b接收收益反馈r2。
185.612、调度器b根据收益反馈r2计算调度决策b2。
186.613、调度器b向bs基带输出调度决策b2。步骤613与步骤606操作相同。后续循环操作参见步骤306之后的操作。
187.调取器a的调度流程与调度器b的调度流程是相同的，不同的是两个调度器的在不同的时间单元上进行调度决策。
188.对于调度器a:
189.701、调度器a在帧(n-1)中接收收益反馈r3。
190.702、调度器a根据收益反馈r3计算调度决策a1。
191.703、调度器a向bs基带输出调度决策a1(即第四调度决策的一例)。
192.704、bs基带编码dci#3，并在帧n 3中发送dci#3。
193.bs基带根据从调度器a获取的调度决策a1，将其整合入dci#3并决策下行数据进行pdsch编码，bs基带在帧(n 1)中向ue发送dci#3和下行数据。
194.应理解，调度器a在接收到调度决策后就可以开始dci编码，同时在bs基带发送dci前完成即可。
195.705、ue在帧(n 1)中接收与译码dci#3。
196.706、ue在帧(n 1)中发送收益反馈r4。
197.ue根据接收到的dci#3信息确定收益反馈r4并进行编码，并在帧(n 1)中向bs基带发送编码后的收益反馈r4。
198.707、bs基带在帧(n 1)中接收收益反馈r4。
199.bs在帧(n 1)中接收上行数据并对上行数据进行译码，从译码后的数据中获取收益反馈r4(即第二收益反馈的一例)并发送给调度器a。
200.708、调度器a接收收益反馈r4。
201.709、调度器a根据收益反馈r4计算调度决策a2(即第三调度决策的一例)。
202.710、调度器a向bs基带输出调度决策a2。
203.711、bs基带编码dci#4，并在帧(n 3)中发送dci#4。
204.bs基带根据从调度器a获取的调度决策a2，将其整合入dci#4并决策下行数据进行pdsch编码，bs基带在帧(n 3)中向ue发送dci#4和下行数据。步骤711与步骤704操作相同。后续循环操作参见步骤704之后的操作。
205.在下行调度流程中，调度器a、b也可以进行调度决策的交互和调整，这里不再赘述。
206.上述技术方案中，调度器a、b交替获取下收益反馈，输出调度决策到dci并根据调度决策进行下行数据编码，ue接收译码dci并根据调度决策确定该调度决策的收益反馈。bs接收到该收益反馈后，将调度的收益结果交替反馈到对应的调度器上。bs基带从某一调度器获取调度策略编码dci后，会将后续最近的一次调度收益反馈到同一调度器上；bs基带下一次会从另一个调度器上获取调度策略，再向其反馈后续最近一次调度收益。相对于只使用1个调度器的使用场景更宽泛，不局限于空口帧结构，例如调度在接收到收益反馈后有充足的计算调度决策时间，bs基带在接收到调度决策后也有充足的时间进行编码，解决了空口反馈滞后对深度强化学习调度器的影响。同时，调度器间具有信息交互功能，可以调整自身的调度参数，确保不同调度器的调度策略相近、相同，以及调度收益最大化。
207.参见图7，图7是本技术实施例提供的多个bs调度器执行调度方法的示意性流程图。图7中包括3个调度器，分别为调度器a、调度器b和调度器c。
208.由图7可知，3个调度器的调度顺序为b，a，c，b，a，c，其中调度器b在帧n从bs基带获取收益反馈，bs在帧(n 3)中输出调度器b的调度决策，调度器a在帧(n 1)从bs基带获取收益反馈，bs在帧(n 4)中输出调度器a的调度决策，调度器c在帧(n 2)从bs基带获取收益反馈，bs在帧(n 5)中输出调度器c的调度决策。关于调度器a、调度器b和调度器c具体的调度过程参考图5和图6中的描述，这里不再赘述。
209.同理，当存在q(q＞3且q为整数)个调度器时，调度器a在帧(n 1)从bs基带获取收益反馈，bs在帧(n 1 n)中输出调度器a的调度决策，调度器b在帧n从bs基带获取收益反馈，bs在帧(n n)中输出调度器b的调度决策，调度器c在帧(n 2)从bs基带获取收益反馈，bs在帧(n 2 n)中输出调度器c的调度决策，其中，n≥q且n为整数，剩余的调度器可以根据以上规律在预留的帧中进行收益反馈和决策输出，这里不再赘述。
210.需要说明是，本技术中调度器的交替轮循的顺序不局限顺序输出，只要保证多个调度器之间的调度顺序在时间单元上是有规律可循的即可。例如，对于图5、图6中的调度器a、b的调度顺序也可以是a、b、b、a、b、b、a或a、a、b、b、a、a、b、b等周期性有规律的顺序，对于图7中的调度器a、b、c的调度顺序也可以为a、b、a、c，a、b、a、c或a、b、b、a、c、a、b、b、a、c等周期性有规律的顺序。
211.以上，对本技术提供的提供调度方法进行了详细说明，下面介绍本技术提供的调度装置。
212.参见图8，图8为本技术提供的调度装置1000的示意性框图。如图8，调度装置1000包括发送单元1100、接收单元1200以及处理单元1300。
213.发送单元1100，用于在第i个时间单元发送第一收益反馈，其中，i≥1且i为整数；接收单元，用于在第i n个时间单元接收第一调度器根据第一收益反馈确定的第一调度决
策，其中，
214.处理单元1300，用于根据第二调度决策确定第一收益，第二调度决策为第一调度器在第一调度决策之前确定的上一次的调度决策，n＞1且n为整数。
215.可选地，在一个实施例中，发送单元1100，还用于在第i j个时间单元发送第二收益反馈，其中，1≤j≤n-1且j为整数；
216.接收单元1200，用于在第i j m个时间单元接收第二调度器根据第二收益反馈确定的第三调度决策，其中，m＞1且m为整数，
217.处理单元1300，用于根据第四调度决策确定第二收益反馈，第四调度决策为第二调度器在第三调度决策之前确定的上一次的调度决策，第一调度器确定的调度决策和第二调度器确定的调度决策分别为第一调度器和第二调度器对同一任务的调度决策。
218.可选地，接收单元1100和发送单元1200也可以集成为一个收发单元，同时具备接收和发送的功能，这里不作限定。
219.可选地，在一个实施例中，n等于2。
220.可选地，在一个实施例中，n的值是通信系统或通信协议规定的。
221.在一种实现方式中，调度装置1000可以为方法实施例中的终端设备。在这种实现方式中，发送单元1100可以为发射器，接收单元1200可以为接收器。接收器和发射器也可以集成为一个收发器。处理单元1300可以为处理装置。
222.在另一种实现方式中，调度装置1000可以为安装在终端设备中的芯片或集成电路。在这种实现方式中，发送单元1100和接收单元1200可以为通信接口或者接口电路。例如，发送单元1100为输出接口或输出电路，接收单元1200为输入接口或输入电路，处理单元1300可以为处理装置。
223.其中，处理装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。例如，处理装置可以包括存储器和处理器，其中，存储器用于存储计算机程序，处理器读取并执行存储器中存储的计算机程序，使得调度装置1000执行各方法实施例中由终端设备执行的操作和/或处理。可选地，处理装置可以仅包括处理器，用于存储计算机程序的存储器位于处理装置之外。处理器通过电路/电线与存储器连接，以读取并执行存储器中存储的计算机程序。又例如，处理装置可以芯片或集成电路。
224.参见图9，图9为本技术提供的调度装置2000的示意性框图。如图9，调度装置2000包括发送单元2100、接收单元2200以及处理单元2300。
225.处理单元2300，用于在第i个时间单元获取第一收益反馈，其中，i≥1且i为整数；
226.所述处理单元2300，还用于根据所述第一收益反馈确定第一调度决策，其中，所述第一收益反馈是终端设备根据第二调度决策确定的，所述第二调度决策为所述处理单元在所述第一调度决策之前确定的上一次的调度决策；
227.发送单元2100，用于在所述第i n个时间单元之前发送第一调度决策，其中，n＞1且n为整数。
228.可选地，发送单元2100和接收单元2200也可以集成为一个收发单元，同时具备接收和发送的功能，这里不作限定。
229.在一种实现方式中，调度装置2000可以为方法实施例中的第一调度器或第二调度器。在这种实现方式中，发送单元2100可以为发射器，接收单元2200可以为接收器。接收器
和发射器也可以集成为一个收发器。处理单元2300可以为处理装置。
230.在另一种实现方式中，调度装置2000可以为安装在第一调度器或第二调度器中的芯片或集成电路。在这种实现方式中，发送单元2100和接收单元2200可以为通信接口或者接口电路。例如，发送单元2100为输出接口或输出电路，接收单元2200为输入接口或输入电路，处理单元2300可以为处理装置。
231.其中，处理装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。例如，处理装置可以包括存储器和处理器，其中，存储器用于存储计算机程序，处理器读取并执行存储器中存储的计算机程序，使得调度装置2000执行各方法实施例中由第一调度器和第二调度器执行的操作和/或处理。可选地，处理装置可以仅包括处理器，用于存储计算机程序的存储器位于处理装置之外。处理器通过电路/电线与存储器连接，以读取并执行存储器中存储的计算机程序。又例如，处理装置可以芯片或集成电路。
232.参见图10，图10为本技术提供的通信装置10的示意性结构图。如图10，通信装置10包括：一个或多个处理器11，一个或多个存储器12以及一个或多个通信接口13。处理器11用于控制通信接口13收发信号，存储器12用于存储计算机程序，处理器11用于从存储器12中调用并运行该计算机程序，以使得本技术各方法实施例中由终端设备执行的流程和/或操作被执行。
233.例如，处理器11可以具有图8中所示的处理单元1300的功能，通信接口13可以具有图8中所示的发送单元1100和/或接收单元1200的功能。具体地，处理器11可以用于执行图4图7中由终端设备内部执行的处理或操作，通信接口13用于执行图4-图7中由终端设备执行的发送和/或接收的动作。
234.在一种实现方式中，通信装置10可以为方法实施例中的终端设备。在这种实现方式中，通信接口13可以为收发器。收发器可以包括接收器和发射器。
235.可选地，处理器11可以为基带装置，通信接口13可以为射频装置。
236.在另一种实现中，通信装置10可以为安装在终端设备中的芯片。在这种实现方式中，通信接口13可以为接口电路或者输入/输出接口。
237.参见图11，图11是本技术提供的通信装置20的示意性结构图。如图11，通信装置20包括：一个或多个处理器21，一个或多个存储器22以及一个或多个通信接口23。处理器21用于控制通信接口23收发信号，存储器22用于存储计算机程序，处理器21用于从存储器22中调用并运行该计算机程序，以使得本技术各方法实施例中由第一调度器或第二调度器执行的流程和/或操作被执行。
238.例如，处理器21可以具有图9中所示的处理单元2300的功能，通信接口23可以具有图9中所示的发送单元2100和接收单元2200的功能。具体地，处理器21可以用于执行图4-图7中由第一调度器或第二调度器内部执行的处理或操作，通信接口23用于执行图4-图7中由第一调度器或第二调度器执行的发送和/或接收的动作，不再赘述。
239.可选的，上述各装置实施例中的处理器与存储器可以是物理上相互独立的单元，或者，存储器也可以和处理器集成在一起，本文不做限定。
240.此外，本技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机指令，当计算机指令在计算机上运行时，使得本技术各方法实施例中由终端设备执行的操作和/或流程被执行。
dram,sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram,ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram,esdram)、同步连接动态随机存取存储器(synchlink dram,sldram)和直接内存总线随机存取存储器(direct rambus ram,drram)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
251.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
252.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
253.在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
254.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
255.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
256.本技术中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。其中，a、b以及c均可以为单数或者复数，不作限定。
257.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
258.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。