一种信道接入方法及相关装置与流程

1.本技术涉及通信技术领域，尤其涉及一种信道接入方法及相关装置。


背景技术：

2.在短距离/无线局域网(wireless fidelity，wi-fi)等无线网络中，传输数据的信道是共享的。那么，如果在特定区域内存在多个站点(station，sta)同时向同一接入点(access point，ap)发送报文，就会发生冲突，进而导致数据传输失败。
3.目前，wi-fi系统采用载波侦听多路访问/冲突避免(carrier sense multiple access/collision avoidance，csma/ca)机制避免在共享信道上产生冲突。即具有侦听能力的sta在报文到达时，侦听随机时长内的信道状态，若该随机时长内信道处于空闲状态，则该sta接入信道。
4.上述采用csma/ca机制避免共享信道的冲突方式，可被认为是一种冲突分解类算法，即期望通过完全随机化达到冲突分解的效果。也就是说，该方式中的每个sta不具有预测其他sta是否接入信道的能力，从而导致系统的吞吐量较低、时延较高。


技术实现要素：

5.本技术实施例提供了一种信道接入方法及相关装置，有利于提高系统的吞吐量和降低时延。
6.第一方面，本技术实施例提供一种信道接入方法。该方法中，接入点ap接收n个站点sta分别上报的n个动作信息，n个动作信息用于确定每个sta的第一神经网络的训练结果，进而ap根据该n个动作信息，确定每个sta的第一神经网络的训练结果，并将每个sta的第一神经网络的训练结果发送给对应的sta。
7.可见，每个sta的第一神经网络的训练结果是根据n个sta上报的动作信息确定的，而不是只根据自身sta的动作信息确定的，可提高第一神经网络的预测能力，从而有利于提高sta对是否信道接入的预测能力，进而有利于提高系统的吞吐量和降低时延。
8.一种可选的实施方式中，动作信息是指一段时间的动作，该动作为发送或不发送。该一段时间是指sta上一次成功上报动作信息的时刻距离当前时刻的时间。也就是说，动作是指sta自上一次成功上报动作信息以来，发送或不发送报文的动作。
9.一种可选的实施方式中，ap还可接收n个sta分别上报的载波侦听结果信息或报文传输结果信息。载波侦听结果信息包括载波侦听结果，报文传输结果信息包括报文传输结果。从而，ap根据n个动作信息，确定每个sta的第一神经网络的训练结果，是指ap根据n个动作信息和n个载波侦听结果信息，确定每个sta的第一神经网络的训练结果；或者，是指ap根据n个动作信息和n个报文传输结果信息，确定每个sta的第一神经网络的训练结果。
10.可见，每个sta还可向ap上报载波侦听结果信息或报文传输结果信息。从而ap可直接根据n个动作信息和n个载波侦听结果信息，训练每个sta的第一神经网络，或者根据n个动作信息和n个报文传输结果信息，训练每个sta的第一神经网络，进而有利于降低ap处理
的复杂度。
11.一种可选的实施方式中，训练结果为神经网络参数或梯度，神经网络参数/梯度用于对应的sta更新第一神经网络。
12.一种可选的实施方式中，当ap接收的是n个sta分别上报的动作信息时，动作信息携带于sta上报的第一帧的动作详细信息字段中，动作详细信息字段包括时间指示子字段、数据1子字段至数据t子字段，t为正整数。
13.其中，时间指示子字段用于指示sta上一次成功接收第一响应信息的时刻。第一响应信息是ap成功接收sta发送的动作信息时发送的响应信息，即第一响应信息是该sta上次一成功上报动作信息时接收的响应信息，响应信息可以是确认信息ack。数据1子字段用于指示sta在上一次成功接收第一响应信息后的第一个时隙内的动作，即数据1子字段用于指示sta在上一次成功上报动作信息后的第一个时隙上动作。数据t子字段用于指示sta上一次成功接收第一响应信息后的第t个时隙内的动作，该第t个时隙也为sta当前上报动作信息前的最后一个时隙。
14.可见，针对n个sta，每个sta上报的动作信息携带于第一帧中，且每个sta向ap上报的动作信息包括sta上一次成功上报动作信息的时刻，以及在上一次成功上报动作信息后的第一个时隙至第t个时隙内的动作。
15.另一种可选的实施方式中，当ap接收的是n个sta分别上报的动作信息时，动作信息携带于sta上报的第一帧的动作详细信息字段中。作详细信息字段包括时间指示子字段、动作1子字段和时间1子字段、
……
、动作p子字段和时间p子字段，p为正整数。
16.其中，时间指示子字段用于指示sta上一次成功接收第一响应信息的时刻。第一响应信息是ap成功接收sta发送的动作信息时发送的响应信息。也就是说，时间指示子字段是用于指示sta上一次成功上报动作信息的时刻。
17.动作1子字段用于指示sta在上一次成功接收所述第一响应信息后的第一个动作。动作p子字段用于指示sta在上一次成功接收所述第一响应信息的时刻距离当前时刻内的第p个动作。也就是说，动作1子字段是用于指示sta在上一次成功上报动作信息后的第一个动作，动作p子字段是用于指示sta在上一次成功上报动作信息后，当前时刻前的最后一个动作。
18.时间1子字段用于指示动作1的持续时间或动作1的结束时间。时间p子字段用于指示动作p的持续时间或动作p的结束时间。当时间1子字段用于指示动作1的持续时间，时间p子字段用于指示动作p的持续时间时，动作不同，其持续时间代表的含义不一样。当动作为发送动作时，持续时间代表的是发送的报文的包长。当动作为不发送动作时，持续时间代表的是不发送报文的持续时间。
19.可见，针对n个sta，每个sta上报的动作信息携带于第一帧中，且每个sta向ap上报的动作信息包括sta上一次成功上报动作信息的时刻，sta在上一次成功上报动作信息后的每个动作，以及每个动作的持续时间或结束时间。
20.又一种可选的实施方式中，当ap接收的是n个sta分别上报的动作信息时，动作信息携带于sta上报的第一帧的动作详细信息字段中。动作详细信息字段包括时间1指示子字段和动作1子字段、
……
、时间p指示子字段和动作p子字段，p为正整数。
21.其中，动作1子字段用于指示sta在上一次成功接收第一响应信息后的第一个动
作。动作p子字段用于指示sta在上一次成功接收第一响应信息后的时刻距离当前时刻内的第p个动作。第一响应信息是ap成功接收sta发送的动作信息时发送的响应信息。也就是说，动作1子字段是用于指示sta在上一次成功上报动作信息后的第一个动作，动作p子字段是用于指示sta在上一次成功上报动作信息后，当前时刻前的最后一个动作。时间1指示子字段用于指示动作1的起始时间。时间p指示子字段用于指示动作p的起始时间。
22.可见，针对n个sta，每个sta上报的动作信息携带于第一帧中，且每个sta向ap上报的动作信息包括sta上一次成功上报动作信息后的每个动作，以及每个动作的起始时间。
23.又一种可选的实施方式中，当ap接收的是n个sta分别上报的动作信息时，动作信息携带于sta上报的第一帧的动作详细信息字段中。动作详细信息字段包括时间1指示子字段和持续时间1子字段、
……
、时间k指示子字段和持续时间k子字段，k为正整数。
24.其中，时间1指示子字段用于指示动作1的开始时间/结束时间。动作1是sta在上一次成功接收第一响应信息后，第一次发送报文且未接收到第二响应信息时的发送动作。第一响应信息是ap成功接收sta发送的动作信息时发送的响应信息。第二响应信息是ap成功接收sta发送的报文时发送的响应信息。持续时间1子字段用于指示动作1的持续时间。
25.时间k指示子字段用于指示动作k的开始时间/结束时间。动作k是sta在上一次成功接收第一响应信息后，第k次发送报文且未接收到第二响应信息时的发送动作。持续时间k子字段用于指示动作k的持续时间。
26.可见，针对n个sta，每个sta上报的动作信息携带于第一帧中，且每个sta向ap上报的动作信息包括sta上一次成功上报动作信息后的每次发送报文且未成功时，发送动作的开始时间/结束时间，以及每次发送报文不成功时发生的报文的时长。
27.又一种可选的实施方式中，当ap接收的是n个sta分别上报的动作信息时，动作信息携带于sta上报的第一帧的动作详细信息字段中。动作详细信息字段包括第一时间1指示子字段和第二时间1指示子字段、
……
、第一时间k指示子字段和第二时间k指示子字段，k为正整数。
28.其中，第一时间1指示子字段用于指示动作1的起始时间。第一时间k指示子字段用于指示动作k的起始时间。动作1是sta在上一次成功接收第一响应信息后，第一次发送报文且未接收到第二响应信息时的发送动作。动作k是sta在上一次成功接收所述第一响应信息后，第k次发送报文且未接收到所述第二响应信息时的发送动作。第一响应信息是ap成功接收sta发送的动作信息时发送的响应信息。第二响应信息是ap成功接收sta发送的报文时发送的响应信息。也就是说，动作1是对应的sta在上一次成功上报动作信息后，第一次发送报文不成功的动作，动作k是该sta在上一次成功上报动作信息后，第k次发送报文不成功的动作。
29.第二时间1指示子字段用于指示动作1的结束时间。第二时间k指示子字段用于指示动作k的结束时间。
30.可见，针对n个sta，每个sta上报的动作信息携带于第一帧中，且每个sta向ap上报的动作信息包括sta上一次成功上报动作信息后每次发送报文且未成功时发送动作的开始时间和结束时间。
31.又一种可选的实施方式中，当ap接收到的是n个sta分别上报的动作信息和载波侦听结果信息时，动作信息和载波侦听结果信息携带于sta上报的第一帧的动作详细信息字
段中。动作详细信息字段包括时间指示子字段、数据1子字段至数据t子字段，t为正整数。
32.其中，时间指示子字段用于指示sta上一次成功接收第一响应信息的时刻。第一响应信息是ap成功接收sta发送的动作信息时发送的响应信息。
33.数据1子字段用于指示sta在上一次成功接收第一响应信息后的第一个时隙内的动作和载波侦听结果。数据t子字段用于指示sta上一次成功接收第一响应信息后的第t个时隙内的动作和载波侦听结果。
34.可见，针对n个sta，每个sta上报的动作信息和载波侦听结果信息携带于第一帧中，且每个sta向ap上报的信息包括sta上一次成功上报动作信息的时刻，sta自上一次成功上报动作信息以来每个时隙的动作和载波侦听结果。
35.又一种可选的实施方式中，当ap接收到的是n个sta分别上报的动作信息和报文传输结果信息时，动作信息和报文传输结果信息携带于sta上报的第一帧的动作详细信息字段中。动作详细信息字段包括时间指示子字段、数据1子字段至数据t子字段，t为正整数。
36.其中，时间指示子字段用于指示sta上一次成功接收第一响应信息的时刻。第一响应信息是ap成功接收sta发送的动作信息时发送的响应信息。
37.数据1子字段用于指示sta在上一次成功接收第一响应信息后的第一个时隙内的动作和报文传输结果。数据t子字段用于指示sta上一次成功接收第一响应信息后的第t个时隙内的动作和报文传输结果。
38.可见，针对n个sta，每个sta上报的动作信息和报文传输结果信息携带于第一帧中，且每个sta向ap上报的信息包括sta上一次成功上报动作信息的时刻，sta自上一次成功上报动作信息以来每个时隙的动作和报文传输结果。
39.一种可选的实施方式中，ap根据n个动作信息，确定每个sta的第一神经网络的训练结果，是指：ap将每个sta的状态信息输入到对应sta的第一神经网络，获得第一神经网络的输出值；ap将每个第一神经网络的输出值输入到第二神经网络，获得第二神经网络的输出值，第二神经网络的输出值用于表征预设时间内的期望奖励；ap根据第二神经网络的输出值和奖励函数训练第三神经网络，通过最小化所述第三神经网络的损失函数，确定每个第一神经网络的训练结果，第三神经网络包括每个第一神经网络和第二神经网络。
40.其中，sta的状态信息是根据sta的动作信息获得的，第二神经网络的神经网络参数是根据n个动作信息获得的，奖励函数是根据n个动作信息确定的；或者，
41.sta的状态信息是根据sta的动作信息和载波侦听结果信息获得的，第二神经网络的神经网络参数是根据n个动作信息和n个载波侦听结果信息获得的，奖励函数是根据n个动作信息和n个载波侦听结果信息确定的；或者，
42.sta的状态信息是根据sta的动作信息和报文传输结果信息获得的，第二神经网络的神经网络参数是根据n个动作信息和n个报文传输结果信息获得的，奖励函数是根据n个动作信息和n个报文传输结果信息确定的。
43.可见，ap是先将根据每个sta上报的信息获得的状态信息输入到该sta的第一神经网络中，获得每个第一神经网络的输出值，再将n个第一神经网络的输出值输入到第二神经网络中，获得第二神经网络的输出值，然后根据损失函数训练第三神经网络，最终获得第一神经网络的训练结果。每个sta的第一神经网络的训练结果是根据n个sta上报的信息确定的，而不是只根据自身sta的信息确定的，从而有利于提高每个sta对其他sta信道接入行为
的预测能力。
44.一种可选的实施方式中，ap还可在根据n个动作信息确定第一sta发送报文成功时，将奖励函数的值设置为1。第一sta是n个sta中上一次成功接收第二响应信息的时刻距离当前时刻的时间间隔最长的sta。
45.可见，ap在根据n个sta上报的信息确定距离上一次成功发送报文以来时间间隔最长的sta发送报文成功时，将奖励函数的值设置为1。
46.又一种可选的实施方式中，ap还可在根据n个动作信息确定第二sta发送报文成功时，将奖励函数的值设置为第一时长减1。第二sta是n个sta中，除第一sta外的sta，第一sta是n个sta中上一次成功接收第二响应信息的时刻距离当前时刻的时间间隔最长的sta。第一时长是第二sta上一次成功接收第二响应信息的时刻距离当前时刻的时长。
47.可见，ap在根据n个sta上报的信息确定除距离上一次成功发送报文以来时间间隔最长的sta之外的sta发送报文成功时，将奖励函数的值设置为该sta距离上一次成功发送报文的时间间隔减去1。
48.一种可选的实施方式中，ap还可在根据n个动作信息确定n个sta中的m个sta在同一时隙上发送报文时，将奖励函数的值设置为-1。m为小于或等于n的正整数。可见，ap在根据n个sta上报的信息确定n个sta中的部分sta在同一时隙上发送报文时，将奖励函数设置为-1。
49.一种可选的实施方式中，ap还可在根据n个动作信息确定n个sta在同一时隙上均未发送报文时，将奖励函数的值设置为0。可见，ap在根据n个sta上报的信息确定n个sta在同一时隙上均未发送报文时，将奖励函数的值设置为0。
50.一种可选的实施方式中，n个sta共享神经网络参数。那么，ap将每个sta的第一神经网络的训练结果发送给对应的sta，是指：ap将第一神经网络的训练结果广播给n个sta。可见，当n个sta共享神经网络参数时，ap根据n个sta上报的信息，训练每个第一神经网络获得的训练结果相同，则ap可通过广播方式将训练结果告知给每个sta，从而可减少系统的信令开销。
51.一种可选的实施方式中，n个sta中的s个sta共享神经网络参数，s为小于或等于n的正整数，ap将每个sta的第一神经网络的训练结果发送给对应的sta，是指：ap将s个sta对应的第一神经网络的训练结果组播给s个sta，以及将n-s个第一神经网络的训练结果单播给对应的sta。可见，当n个sta中的部分sta共享神经网络参数时，ap可将共享的神经网络参数对应的训练结果通过组播方式告知该部分的sta，通过单播的方式将未共享神经网络参数对应的训练结果单播给这些sta。该方式中，通过组播告知共享一个神经网络的sta的训练结果，也可减少系统的开销。
52.一种可选的实施方式中，n个sta不共享神经网络参数时，每个第一神经网络的训练结果是单播给对应的sta的。
53.第二方面，本技术还提供了一种信道接入方法。该方面的信道接入方法与第一方面所述的信道接入方法相对应，该方面的信道接入方法是从站点sta侧进行阐述的。该方法中，站点sta向接入点ap上报动作信息，动作信息用于确定第一神经网络的训练结果，第一神经网络为sta的神经网络；sta接收来自ap的第一神经网络的训练结果，第一神经网络的训练结果是基于所述动作信息获得的，第一神经网络的训练结果用于更新第一神经网络，
以确定sta是否接入信道；sta根据第一神经网络的训练结果更新第一神经网络，并在侦听到信道空闲时根据更新后的第一神经网络和当前的状态信息确定是否接入信道。
54.可见，本技术实施例中，sta向ap上报动作信息，并接收ap根据该动作信息训练第一神经网络获得的训练结果，从而sta根据该训练结果更新第一神经网络，并在侦听信道空闲时，根据更新后的第一神经网络和侦听到的动作信息确定是否接入信道。用于更新每个第一神经网络的训练结果是ap根据n个sta上报的动作信息确定的，从而第一神经网络的预测性更好，进而sta根据更新后的第一神经网络自行确定是否接入信道时，确定接入信道或不接入信道的准确率更好，可提高通信系统的吞吐量，降低通信时延。
55.一种可选的实施方式中，sta还可向ap上报载波侦听结果信息或报文传输结果信息，载波侦听结果信息或报文传输结果信息用于确定第一神经网络的训练结果。可见，sta除了向ap上报动作信息外，还可向ap上报载波侦听结果信息或报文传输结果信息，从而有利于ap直接根据n个sta上报的信息训练第一神经网络，进而有利于降低ap处理的复杂度。
56.一种可选的实施方式中，训练结果为神经网络参数或梯度；载波侦听结果信息或报文传输结果信息用于确定第一神经网络的训练结果。
57.一种可选的实施方式中，当sta上报的是动作信息时，动作信息携带于第一帧的动作详细信息字段中。动作详细信息字段包括时间指示子字段、数据1子字段至数据t子字段，t为正整数。
58.其中，时间指示子字段用于指示sta上一次成功接收第一响应信息的时刻。第一响应信息是ap成功接收sta发送的动作信息时发送的响应信息，即第一响应信息是该sta上次一成功上报动作信息时接收的响应信息，响应信息可以是确认信息ack。数据1子字段用于指示sta在上一次成功接收第一响应信息后的第一个时隙内的动作，即数据1子字段用于指示sta在上一次成功上报动作信息后的第一个时隙上动作。数据t子字段用于指示sta上一次成功接收第一响应信息后的第t个时隙内的动作，该第t个时隙也为sta当前上报动作信息前的最后一个时隙。
59.可见，sta上报的动作信息携带于第一帧中，且sta向ap上报的动作信息包括sta上一次成功上报动作信息的时刻，以及在上一次成功上报动作信息后的第一个时隙至第t个时隙内的动作。
60.另一种可选的实施方式中，当sta上报的是动作信息时，动作信息携带于sta上报的第一帧的动作详细信息字段中。作详细信息字段包括时间指示子字段、动作1子字段和时间1子字段、
……
、动作p子字段和时间p子字段，p为正整数。
61.其中，时间指示子字段用于指示sta上一次成功接收第一响应信息的时刻。第一响应信息是ap成功接收sta发送的动作信息时发送的响应信息。也就是说，时间指示子字段是用于指示sta上一次成功上报动作信息的时刻。
62.动作1子字段用于指示sta在上一次成功接收所述第一响应信息后的第一个动作。动作p子字段用于指示sta在上一次成功接收所述第一响应信息的时刻距离当前时刻内的第p个动作。也就是说，动作1子字段是用于指示sta在上一次成功上报动作信息后的第一个动作，动作p子字段是用于指示sta在上一次成功上报动作信息后，距离当前时刻前的最后一个动作。
63.时间1子字段用于指示动作1的持续时间或动作1的结束时间。时间p子字段用于指
示动作p的持续时间或动作p的结束时间。当时间1子字段用于指示动作1的持续时间，时间p子字段用于指示动作p的持续时间时，动作不同，其持续时间代表的含义不一样。当动作为发送动作时，持续时间代表的是发送的报文的包长。当动作为不发送动作时，持续时间代表的是不发送报文的持续时间。
64.可见，sta上报的动作信息携带于第一帧中，且sta向ap上报的动作信息包括sta上一次成功上报动作信息的时刻，sta在上一次成功上报动作信息后的每个动作，以及每个动作的持续时间或结束时间。
65.又一种可选的实施方式中，当sta上报的是动作信息时，动作信息携带于sta上报的第一帧的动作详细信息字段中。动作详细信息字段包括时间1指示子字段和动作1子字段、
……
、时间p指示子字段和动作p子字段，p为正整数。
66.动作1子字段用于指示sta在上一次成功接收第一响应信息后的第一个动作。动作p子字段用于指示sta在上一次成功接收第一响应信息后的时刻距离当前时刻内的第p个动作。第一响应信息是ap成功接收sta发送的动作信息时发送的响应信息。也就是说，动作1子字段是用于指示sta在上一次成功上报动作信息后的第一个动作，动作p子字段是用于指示sta在上一次成功上报动作信息后，当前时刻前的最后一个动作。时间1指示子字段用于指示动作1的起始时间。时间p指示子字段用于指示动作p的起始时间。
67.可见，sta上报的动作信息携带于第一帧中，且sta向ap上报的动作信息包括sta上一次成功上报动作信息后的每个动作，以及每个动作的起始时间。
68.又一种可选的实施方式中，当sta上报的是动作信息时，动作信息携带于sta上报的第一帧的动作详细信息字段中。动作详细信息字段包括时间1指示子字段和持续时间1子字段、
……
、时间k指示子字段和持续时间k子字段，k为正整数。
69.其中，时间1指示子字段用于指示动作1的开始时间/结束时间。动作1是sta在上一次成功接收第一响应信息后，第一次发送报文且未接收到第二响应信息时的发送动作。第一响应信息是ap成功接收sta发送的动作信息时发送的响应信息。第二响应信息是ap成功接收sta发送的报文时发送的响应信息。持续时间1子字段用于指示动作1的持续时间。
70.时间k指示子字段用于指示动作k的开始时间/结束时间。动作k是sta在上一次成功接收第一响应信息后，第k次发送报文且未接收到第二响应信息时的发送动作。持续时间k子字段用于指示动作k的持续时间。
71.可见，sta上报的动作信息携带于第一帧中，且sta向ap上报的动作信息包括sta上一次成功上报动作信息后的每次发送报文且未成功时，发送动作的开始时间/结束时间，以及每次发送报文不成功时报文的时长。
72.又一种可选的实施方式中，当sta上报的是动作信息时，动作信息携带于sta上报的第一帧的动作详细信息字段中。动作详细信息字段包括第一时间1指示子字段和第二时间1指示子字段、
……
、第一时间k指示子字段和第二时间k指示子字段，k为正整数。
73.其中，第一时间1指示子字段用于指示动作1的起始时间。第一时间k指示子字段用于指示动作k的起始时间。动作1是sta在上一次成功接收第一响应信息后，第一次发送报文且未接收到第二响应信息时的发送动作。动作k是sta在上一次成功接收所述第一响应信息后，第k次发送报文且未接收到所述第二响应信息时的发送动作。第一响应信息是ap成功接收sta发送的动作信息时发送的响应信息。第二响应信息是ap成功接收sta发送的报文时发
送的响应信息。也就是说，动作1是对应的sta在上一次成功上报动作信息后，第一次发送报文不成功的动作，动作k是该sta在上一次成功上报动作信息后，第k次发送报文不成功的动作。
74.第二时间1指示子字段用于指示动作1的结束时间。第二时间k指示子字段用于指示动作k的结束时间。
75.可见，sta上报的动作信息携带于第一帧中，且sta向ap上报的动作信息包括sta上一次成功上报动作信息后每次发送报文且未成功时发送动作的开始时间和结束时间。
76.又一种可选的实施方式中，当sta上报的是动作信息和载波侦听结果信息时，动作信息和载波侦听结果信息携带于sta上报的第一帧的动作详细信息字段中。动作详细信息字段包括时间指示子字段、数据1子字段至数据t子字段，t为正整数。
77.其中，时间指示子字段用于指示sta上一次成功接收第一响应信息的时刻。第一响应信息是ap成功接收sta发送的动作信息时发送的响应信息。
78.数据1子字段用于指示sta在上一次成功接收第一响应信息后的第一个时隙内的动作和载波侦听结果。数据t子字段用于指示sta上一次成功接收第一响应信息后的第t个时隙内的动作和载波侦听结果。
79.可见，sta上报的动作信息和载波侦听结果信息携带于第一帧中，且sta向ap上报的信息包括sta上一次成功上报动作信息的时刻，sta自上一次成功上报动作信息以来每个时隙的动作和载波侦听结果。
80.又一种可选的实施方式中，当sta上报的是动作信息和报文传输结果信息时，动作信息和报文传输结果信息携带于sta上报的第一帧的动作详细信息字段中。动作详细信息字段包括时间指示子字段、数据1子字段至数据t子字段，t为正整数。
81.其中，时间指示子字段用于指示sta上一次成功接收第一响应信息的时刻。第一响应信息是ap成功接收sta发送的动作信息时发送的响应信息。
82.数据1子字段用于指示sta在上一次成功接收第一响应信息后的第一个时隙内的动作和报文传输结果。数据t子字段用于指示sta上一次成功接收第一响应信息后的第t个时隙内的动作和报文传输结果。
83.可见，sta上报的动作信息和报文传输结果信息携带于第一帧中，且sta向ap上报的信息包括sta上一次成功上报动作信息的时刻，sta自上一次成功上报动作信息以来每个时隙的动作和报文传输结果。
84.一种可选的实施方式中，sta根据第一神经网络的训练结果更新第一神经网络，并在侦听到信道空闲时根据更新后的第一神经网络和该sta当前的状态信息确定是否接入信道，是指：sta将该sta当前的状态信息息输入到更新后的第一神经网络，输出第一值和第二值，第一值用于表征接入信道获得的预期奖励，第二值用于表征不接入信道获得的预期奖励；然后，sta在第一值大于第二值时，确定接入信道；sta在第一值小于第二值时，确定不接入信道。
85.可见，sta在侦听到信道空闲时，将侦听到的动作信息输入到更新后的第一神经网络，获得接入信道的期望奖励和不接入信道的期望奖励，并在接入信道的期望奖励大于不接入信道的期望奖励时，确定接入信道。
86.第三方面，本技术还提供一种通信装置。该通信装置具有实现上述第一方面所述
的ap的部分或全部功能，或者具有实现上述第二方面所述的sta的部分或全部功能。比如，该通信装置的功能可具备本技术中第一方面所述的ap的部分或全部实施例中的功能，也可以具备单独实施本技术中的任一个实施例的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的单元或模块。
87.在一种可能的设计中，该通信装置的结构中可包括处理单元和通信单元，所述处理单元被配置为支持通信装置执行上述方法中相应的功能。所述通信单元用于支持通信装置与其他通信装置之间的通信。所述通信装置还可以包括存储单元，所述存储单元用于与处理单元和收发单元耦合，其保存通信装置必要的程序指令和数据。
88.一种实施方式中，所述通信装置包括：
89.通信单元，用于接收n个站点sta上报的动作信息，n个动作信息用于确定每个sta的第一神经网络的训练结果，n为正整数；
90.处理单元，用于根据n个动作信息，确定每个sta的第一神经网络的训练结果；
91.通信单元，还用于将每个sta的第一神经网络的训练结果发送给对应的sta。
92.另外，该方面中，通信装置其他可选的实施方式可参见上述第一方面的相关内容，此处不再详述。
93.另一种实施方式中，所述通信装置包括：
94.通信单元，用于向接入点ap上报动作信息，动作信息用于确定处理单元的第一神经网络的训练结果；
95.通信单元，还用于接收来自ap的第一神经网络的训练结果，第一神经网络的训练结果用于更新第一神经网络，以确定处理单元是否接入信道；
96.处理单元，用于根据第一神经网络的训练结果更新第一神经网络，并在侦听到信道空闲时根据更新后的第一神经网络和处理单元当前的状态信息确定是否接入信道。
97.另外，该方面中，通信装置其他可选的实施方式可参见上述第二方面的相关内容，此处不再详述。
98.作为示例，收发单元可以为收发器或通信接口，存储单元可以为存储器，处理单元可以为处理器。
99.一种实施方式中，所述通信装置包括：
100.收发器，用于接收n个站点sta上报的动作信息，n个动作信息用于确定每个sta的第一神经网络的训练结果，n为正整数；
101.处理器，用于根据n个动作信息，确定每个sta的第一神经网络的训练结果；
102.收发器，还用于将每个sta的第一神经网络的训练结果发送给对应的sta。
103.另外，该方面中，上行通信装置其他可选的实施方式可参见上述第一方面的相关内容，此处不再详述。
104.另一种实施方式中，所述通信装置包括：
105.收发器，用于向接入点ap上报动作信息，动作信息用于确定处理器的第一神经网络的训练结果；
106.收发器，还用于接收来自ap的第一神经网络的训练结果，第一神经网络的训练结果用于更新第一神经网络，以确定处理器是否接入信道；
107.处理器，用于根据第一神经网络的训练结果更新第一神经网络，并在侦听到信道空闲时根据更新后的第一神经网络和处理器当前的状态信息确定是否接入信道。
108.另外，该方面中，通信装置其他可选的实施方式可参见上述第二方面的相关内容，此处不再详述。
109.另一种实施方式中，该通信装置为芯片或芯片系统。所述处理单元也可以体现为处理电路或逻辑电路；所述收发单元可以是该芯片或芯片系统上的输入/输出接口、接口电路、输出电路、输入电路、管脚或相关电路等。
110.在实现过程中，处理器可用于进行，例如但不限于，基带相关处理，收发器可用于进行，例如但不限于，射频收发。上述器件可以分别设置在彼此独立的芯片上，也可以至少部分的或者全部的设置在同一块芯片上。例如，处理器可以进一步划分为模拟基带处理器和数字基带处理器。其中，模拟基带处理器可以与收发器集成在同一块芯片上，数字基带处理器可以设置在独立的芯片上。随着集成电路技术的不断发展，可以在同一块芯片上集成的器件越来越多。例如，数字基带处理器可以与多种应用处理器(例如但不限于图形处理器，多媒体处理器等)集成在同一块芯片之上。这样的芯片可以称为系统芯片(system on a chip,soc)。将各个器件独立设置在不同的芯片上，还是整合设置在一个或者多个芯片上，往往取决于产品设计的需要。本技术实施例对上述器件的实现形式不做限定。
111.第四方面，本技术还提供一种处理器，用于执行上述各种方法。在执行这些方法的过程中，上述方法中有关发送上述信息和接收上述信息的过程，可以理解为由处理器输出上述信息的过程，以及处理器接收输入的上述信息的过程。在输出上述信息时，处理器将该上述信息输出给收发器，以便由收发器进行发射。该上述信息在由处理器输出之后，还可能需要进行其他的处理，然后才到达收发器。类似的，处理器接收输入的上述信息时，收发器接收该上述信息，并将其输入处理器。更进一步的，在收发器收到该上述信息之后，该上述信息可能需要进行其他的处理，然后才输入处理器。
112.基于上述原理，举例来说，前述方法中提及的上报动作信息可以理解为处理器输出动作信息。
113.对于处理器所涉及的发射、发送和接收等操作，如果没有特殊说明，或者，如果未与其在相关描述中的实际作用或者内在逻辑相抵触，则均可以更加一般性的理解为处理器输出和接收、输入等操作，而不是直接由射频电路和天线所进行的发射、发送和接收操作。
114.在实现过程中，上述处理器可以是专门用于执行这些方法的处理器，也可以是执行存储器中的计算机指令来执行这些方法的处理器，例如通用处理器。上述存储器可以为非瞬时性(non-transitory)存储器，例如只读存储器(read only memory，rom)，其可以与处理器集成在同一块芯片上，也可以分别设置在不同的芯片上，本技术实施例对存储器的类型以及存储器与处理器的设置方式不做限定。
115.第五方面，本技术还提供了一种通信系统，该系统包括上述方面的至少一个ap以及至少两个sta。在另一种可能的设计中，该系统还可以包括本技术提供的方案中与ap、sta进行交互的其他设备。
116.第六方面，本技术提供了一种计算机可读存储介质，用于储存指令，当所述指令被通信装置执行时，实现上述第一方面、第二方面任一项所述的方法。
117.第七方面，本技术还提供了一种包括指令的计算机程序产品，当其在通信装置上
运行时，使得通信装置执行上述第一方面、第二方面任一项所述的方法。
118.第八方面，本技术提供了一种芯片系统，该芯片系统包括处理器和接口，所述接口用于获取程序或指令，所述处理器用于调用所述程序或指令以实现或者支持ap实现第一方面所涉及的功能，或者用于调用所述程序或指令以实现或者支持sta备实现第二方面所涉及的功能。例如，确定或处理上述方法中所涉及的数据和信息中的至少一种。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存终端必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。
119.第九方面，本技术提供一种通信装置，包括处理器，用于执行存储器中存储的计算机程序或可执行指令，当计算机程序或可执行指令被执行时，使得该装置执行如第一方面及第一方面各个可能的实现中的方法。
120.在一种可能的实现中，处理器和存储器集成在一起；
121.在另一种可能的实现中，上述存储器位于该通信装置之外。
122.第十方面，本技术提供一种通信装置，包括处理器，用于执行存储器中存储的计算机程序或可执行指令，当计算机程序或可执行指令被执行时，使得该装置执行如第二方面及第二方面各个可能的实现中的方法。
123.在一种可能的实现中，处理器和存储器集成在一起；
124.在另一种可能的实现中，上述存储器位于该通信装置之外。
附图说明
125.图1是本技术实施例提供的一种通信系统的结构示意图；
126.图2是本技术实施例提供的一种采用csma/ca机制避免信道冲突的示意图；
127.图3是本技术实施例提供的一种信道接入方法的交互示意图；
128.图4是本技术实施例提供的一种帧结构示意图；
129.图5是本技术实施例提供的另一种帧结构示意图；
130.图6(a)是本技术实施例提供的一种训练数据单元格式示意图；
131.图6(b)是本技术实施例提供的另一种训练数据单元格式示意图；
132.图6(c)是本技术实施例提供的又一种训练数据单元格式示意图；
133.图6(d)是本技术实施例提供的又一种训练数据单元格式示意图；
134.图6(e)是本技术实施例提供的又一种训练数据单元格式示意图；
135.图7是本技术实施例提供的一种神经网络的结构示意图；
136.图8是本技术实施例提供的一种侦听信道的示意图；
137.图9是本技术实施例提供的一种神经网络训练的结构意图；
138.图10是本技术实施例提供的一种神经网络的结构意图；
139.图11是本技术实施例提供的一种信道接入方法的实现框图；
140.图12是本技术实施例提供的一种系统的吞吐量对比示意图；
141.图13是本技术实施例提供的一种系统的平均时延对比示意图；
142.图14是本技术实施例提供的一种系统的时延抖动对比示意图；
143.图15是本技术实施例提供的又一种帧结构示意图；
144.图16是本技术实施例提供的一种通信装置的结构示意图；
145.图17是本技术实施例提供的另一种通信装置的结构示意图。
具体实施方式
146.下面结合本技术实施例中的附图对本技术实施例中的技术方案进行清楚、完整的描述。
147.首先，为了更好的理解本技术实施例公开的信道接入方法，对本技术实施例适用的通信系统进行描述。
148.一.通信系统。
149.请参见图1，图1为本技术实施例提供的一种通信系统的结构示意图。该通信系统可包括但不限于一个接入点(access point，ap)、两个站点(station，sta)。图1所示的设备数量和形态用于举例，并不构成对本技术实施例的限定，实际应用中可以包括两个或两个以上的ap，两个以上的sta。图1所示的通信系统以ap 101，sta 1021和sta 1022，且该ap101能够为sta 1021、sta 1022提供无线服务为例进行阐述。其中，图1中的ap101以基站为例，sta1021和sta1022以手机为例。
150.本技术实施例中，上述通信系统可以为无线局域网(wireless local area network，wlan)或蜂窝网，或其他支持多条链路并行进行传输的无线通信系统。本技术实施例主要以部署ieee 802.11的网络为例进行说明，而本技术涉及的各个方面可以扩展到采用各种标准或协议的其它网络，例如，bluetooth(蓝牙)，高性能无线lan(high performance radio lan，hiperlan)(一种与ieee 802.11标准类似的无线标准，主要在欧洲使用)以及广域网(wan)、个人区域网(personal area network，pan)或其它现在已知或以后发展起来的网络。因此，无论使用的覆盖范围和无线接入协议如何，本技术提供的各种方面可以适用于任何合适的无线网络。
151.本技术实施例中，sta具有无线收发功能，可以支持802.11系列协议，与ap或其他sta进行通信。例如，sta可以是允许用户与ap通信进而与wlan通信的任何用户通信设备，如包括但不限于，平板电脑、桌面型、膝上型、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，umpc)、手持计算机、上网本、个人数字助理(personal digital assistant，pda)、手机等可以联网的用户设备，或物联网中的物联网节点，或车联网中的车载通信装置等。可选的，sta还可以为上述这些终端中的芯片和处理系统。
152.本技术实施例中，ap是为sta提供服务的装置，可以支持802.11系列协议。例如，ap可以为通信服务器、路由器、交换机、网桥等通信实体，或，ap可以包括各种形式的宏基站，微基站，中继站等，当然ap还可以为这些各种形式的设备中的芯片和处理系统，从而实现本技术实施例的方法和功能。
153.为了便于理解本技术公开的实施例，作以下两点说明。
154.(1)本技术公开的实施例中场景以无线通信网络中无线局域网(wireless fidelity，wi-fi)网络的场景为例进行说明，应当指出的是，本技术公开的实施例中的方案还可以应用于其他无线通信网络中，相应的名称也可以用其他无线通信网络中的对应功能的名称进行替代。
155.(2)本技术公开的实施例将围绕包括多个设备、组件、模块等的系统来呈现本技术的各个方面、实施例或特征。应当理解和明白的是，各个系统可以包括另外的设备、组件、模
块等，并且/或者可以并不包括结合附图讨论的所有设备、组件、模块等。此外，还可以使用这些方案的组合。
156.二.本技术所要解决的技术问题。
157.目前，通信系统采用载波侦听多路访问/冲突避免(carrier sense multiple access/collision avoidance，csma/ca)机制避免在共享信道上产生冲突。即如图2所示，具有侦听能力的sta 1(即csma/ca node)在报文(packet)到达时，采用随机退避机制进行信道接入，即侦听随机时长(ts)内的信道状态。若该随机时长内信道处于空闲状态，则该sta接入信道，即发送报文y(即packet y)。但只有在同样具有侦听能力的sta 2侦听信道，并且sta 2侦听信道的时间t不等于ts时，sta 1才不会与sta 2发生冲突，即sta 1才能成功发送报文。也就是说，若sta 2的侦听时间t等于sta 1的侦听时间，那么sta 1和sta 2均认为在侦听时间内，信道空闲，均确定接入信道，即sta 1和sta2在相同时间上发送报文，sta 1发送报文x，sta 2发送报文y，会造成sta 1和sta 2在共享信道上的冲突，从而sta 1和sta 2均不能成功发送报文。
158.该csma/ca机制可被认为是一种冲突分解类算法，即期望通过完全随机化达到冲突分解的效果。也就是说，该方式中的每个sta不具有预测其他sta是否接入信道的能力，从而导致系统的吞吐量较低、时延较高。同时，随着网络中sta数量的增加，网络中碰撞增多，导致sta的平均退避时间增大，进而也会导致传输时延较大、时延抖动较大。另外，研究证明csma/ca的理论容量上界只有约85％，也就是在最好的情况下各sta之间仍然存在15％的冲突。而且，sta的配置参数也会对实际性能产生较大的影响，研究表明一般情况下系统的容量只有70％-80％。也就是说，通信系统采用csma/ca机制解决各sta之间的冲突时，存在吞吐量较低的问题。
159.人工智能(artificial intelligence，ai)技术被广泛应用于无线通信领域以提高通信性能和用户体验。其中，强化学习(reinforcement learning，rl)是一种适合信道接入问题的ai技术，它通过智能体(网络节点)在环境(无线网络)中采取动作(传输或不传输)的探索过程进行学习，以找到最优策略来最大化期望奖励(吞吐量)。rl的在线学习和无模型优化的特点使其相比传统基于模型的优化方法具有更好的泛化能力。
160.本技术实施例将rl技术与信道接入结合，ap采用强化学习方法根据n个sta上报的动作信息训练每个sta的神经网络，以获得每个sta对应神经网络的训练结果，从而可使得每个sta根据该训练结果确定是否接入信道，进而有利于提高sta预测是否接入信道的能力。
161.三.信道接入方法100(每个sta向ap上报动作信息)。
162.本技术实施例提供一种信道接入方法100。图3是该信道接入方法100的交互示意图。该信道接入方法100从ap与sta之间交互的角度进行阐述。该信道接入方法100包括但不限于以下步骤：
163.s101.n个站点sta向接入点ap分别上报动作信息，n个动作信息用于确定每个sta的第一神经网络的训练结果，n为正整数。
164.其中，ap对应有m个sta，m为大于n的正整数。n个sta是m个sta中成功向ap上报动作信息的sta。例如，通信系统中的ap#1对应有10个sta，10个sta中的8个sta成功向ap上报了动作信息，也即ap#1接收到了10个sta中的8个sta上报的动作信息，那么n等于8。
165.针对n个sta，每个sta向ap上报一个动作信息，所以n个sta上报的为n个动作信息。该动作信息是指一段时间的动作，该动作为发送或不发送。其中，一段时间包括多个时隙。该多个时隙是sta在上一次成功上报动作信息的时刻距离当前时刻内的多个时隙。例如，sta 1上一次成功上报动作信息是在t0时刻成功上报的，当前时刻为t1时刻，那么多个时隙是指t0-t1之间的多个时隙。也就是说，每个sta上报的动作信息均包括多个时隙上的动作。每个sta上报的动作信息可用a
ti
表示，t和i均为正整数，a
ti
代表sta i在第t个时隙上的动作信息，也即sta i在第t个时隙上是否发送了报文。
166.另外，上述动作信息携带于sta上报的第一帧中。可理解的，每个sta采用自身的第一帧携带动作信息，然后向ap上报该第一帧。第一帧包括类型(category)字段和动作详细(action details)信息字段，类型字段用于指示第一帧的类型，动作详细信息字段用于指示sta上报的动作信息。
167.一种可选的实施方式中，上述第一帧为sta新增加的一个管理帧。例如，sta新增一个管理帧为帧1，该帧1用于携带动作信息。帧1的帧结构如图4所示，帧1包括类型(category)字段和动作详细信息(action details)字段，该category字段用于指示帧1的类型，该action details字段用于指示动作信息，且动作信息携带于训练数据单元(training data element)子字段中。
168.另一种可选的实施方式中，上述第一帧为协议中已有的管理帧中的一种帧。比如，第一帧为服务质量动作(quality of service action，qos action)帧，其帧结构如图5所示。此时category字段指示的第一帧的类型为qos action帧，action details字段中的qos action子字段紧跟在category字段后。sta采用qos action字段中未被使用的值来指示上报动作信息，即指示action details字段中的training data element子字段的内容。例如，qos action字段包括两个比特(bite)，其两个bite代表的00、01、11值已被使用，但10值未被使用，那么sta采用该10值来指示上报的动作信息，即采用该10值指示training data element的内容。
169.上述用于指示动作信息的training data element的单元格式可参见图6(a)。如图6(a)所示，training data element包括单元身份标识子字段(element identification，element id)、长度(length)子字段、单元身份标识扩展(element id extension)子字段以及训练数据(training data)子字段。当目前的element id子字段中的数值全被使用时，element id子字段和element id extension子字段联合指示training data的id。length子字段用于表示training data的长度。training data代表的是sta上报的动作信息。
170.当每个sta的第一帧中training data的单元格式不相同时，sta上报的动作信息的内容也不相同。以下结合training data的单元格式，阐述动作详细信息字段的几种可选实施方式，也即阐述动作信息的可选实施方式。
171.1.动作详细信息字段包括时间指示子字段、数据1子字段至数据子t字段，t为正整数。
172.training data的单元格式可参见上述图6(a)所示，training data包括时间，数据1至数据t。那么，动作详细信息字段包括时间指示子字段、数据1子字段至数据t子字段。
173.其中，时间指示子字段用于指示sta上一次成功接收第一响应信息的时刻，时间指
示子字段可以由时间戳、序列号等方式实现。第一响应信息是ap成功接收sta发送的动作信息时发送的响应信息，比如第一响应信息是确认信息(acknowledge，ack)。也就是说，sta接收到第一响应信息，表明sta成功上报了动作信息。因此，时间指示子字段是用于指示sta上一次成功上报动作信息的时间。
174.数据1子字段用于指示sta在上一次成功接收第一响应信息后的第一个时隙内的动作，即数据1子字段用于指示sta自上一次成功上报动作信息以来，在第一个时隙内的动作。数据t子字段用于指示sta在上一次成功接收第一响应信息后的第t个时隙内的动作，即数据t子字段用于指示sta自上一次成功上报动作信息以来，在第t个时隙内的动作。
175.也就是说，每个sta向ap上报动作信息时，上报的是sta上一次成功上报动作信息的时间，以及自上一次成功上报动作信息以来在每个时隙上的动作，从而使得ap获得每个sta自上一次成功上报动作信息以来，在每个slot上侦听的动作。
176.2.动作详细信息字段包括时间指示子字段、动作1子字段至动作p子字段、
……
、持续时间1子字段至持续时间p子字段，p为正整数。
177.training data的单元格式可参见上述图6(b)所示，与图6(a)不同的是，training data包括起始时间、动作1和时间1、
……
、动作p和时间p。那么，动作详细信息字段包括字段包括时间指示子字段、动作1子字段和时间p子字段、
……
、动作p子字段至时间p子字段。
178.其中，时间指示子字段用于指示sta上一次成功接收第一响应信息的接收时刻，第一响应信息是ap成功接收sta发送的动作信息时发送的响应信息。那么，时间指示子字段用于指示sta上一次成功上报动作信息的时刻。
179.动作1子字段用于指示sta上一次成功接收第一响应信息的后的第一个动作，即动作1子字段用于指示sta在上一次成功上报动作信息后的第一个动作。时间1子字段用于指示动作1的持续时间或动作1的结束时间。动作p子字段用于指示sta在上一次成功接收第一响应信息的时刻距离当前时刻内的第p个动作，即动作p子字段用于指示sta在上一次成功上报动作信息后距离当前时刻内的第p个动作。时间p子字段用于指示动作p的持续时间或动作p的结束时间。
180.可理解的，动作1为sta在上一次成功上报动作信息后的第一个动作。当时间1子字段用于指示动作1的持续时间，时间p子字段用于指示动作p的持续时间时，动作1不发生变化时，持续时间1不断累加；当动作1发生改变时，新增动作2，并记录动作2的持续时间2，直至记录到当前时刻前的最后一个动作(即动作p)时，sta向ap上报所记录的动作信息，即向ap上报上一次成功上报动作信息的时刻、动作1和动作1的持续时间、动作2和动作2的持续时间，直至动作p和动作p的持续时间。
181.例如，sta 1在上一次成功上报动作信息后的第1个slot内不发送报文，则记录动作1为不发送。sta 1在第1个slot到第3个slot内均不发送报文，则持续时间1累加为3个slot。sta 1第4个时隙上不发送报文的动作变为发送报文，则sta 1增加动作2，动作2为发送，若发送报文的动作持续到当前时刻(第9个slot)，则sta 1记录动作2的持续时间2为6个slot。因此sta 1向ap上报的动作信息包括sta 1上一次成功上报动作信息的时间，动作1为不发送，且不发送的持续时间为3个slot，动作2为发送，且发送的持续时间为6个slot。
182.也就是说，每个sta上报的是自身上一次成功上报动作信息的时间、sta在上一次成功上报动作信息的时刻距离当前时刻内所发生的多个动作，以及每个动作所持续的时间
或每个动作的结束时间。该实施方式有利于ap获知每个sta自上一次成功上报动作信息以来，在每个时隙上的动作行为。
183.3.动作信息字段包括时间1指示子字段和动作1子字段、
……
、时间p指示子字段和动作p子字段，p为正整数。
184.training data的单元格式可参见上述图6(c)所示，与图6(a)、图6(b)不同的是training data包括时间1和动作1、时间2和动作2、
……
、时间p和动作p。那么，动作详细信息字段包括时间1指示子字段和动作1子字段、
……
、时间p指示子字段和动作p子字段。
185.其中，时间1指示子字段用于指示动作1的起始时间。动作1子字段用于指示sta在上一次成功接收第一响应信息后的第一个动作，第一响应信息是ap成功接收sta发送的动作信息时发送的响应信息，那么动作1子字段用于指示sta在上一次成功上报动作信息后的第一动作。时间p指示子字段用于指示动作p的起始时间。动作p子字段用于指示sta在上一次成功接收第一响应信息的时刻距离当前时刻内的第p个动作，即动作p子字段用于指示sta在上一次成功发送动作信息的时刻距离当前时刻内的第p个动作。
186.可理解的，动作1为sta在上一次成功上报动作信息后的第一个动作，时间1标记动作1的起始时间。若动作1发生改变，则sta记录动作2和动作2的起始时间(时间2)，直至记录到上一次成功上报动作信息的时刻距离当前时刻内多个动作中的最后一个动作和该动作的起始时间(动作p和时间p)时，sta向ap上报所记录的动作信息。
187.也就是说，每个sta向ap上报的是自身自上一次成功上报动作信息以来，所发生的每个动作和每个动作的起始时间，从而有利于ap根据每个sta上报的动作和每个动作的起始时间，获得每个sta在多个时隙上的发送或不发送报文的行为信息。
188.4.动作信息字段包括时间1指示子字段和持续时间1子字段、
……
、时间k指示子字段和持续时间k子字段，k为正整数。
189.training data的单元格式可参见上述图6(d)所示，与图6(a)-图6(c)不同的是training data包括时间1和持续时间1、时间2和持续时间2、
……
、时间k和持续时间k。那么，动作详细信息字段包括时间1指示子字段和持续时间1子字段、
……
、时间k指示子字段和持续时间k子字段。
190.其中，时间1指示子字段用于指示动作1的开始时间/结束时间。动作1是sta在上一次成功接收第一响应信息后，第一次发送报文且未接收到第二响应信息时的发送动作。第一响应信息是ap成功接收sta发送的动作信息时发送的响应信息，第二响应信息是ap成功接收sta发送的报文时发送的响应信息。那么，动作1是sta在上次一成功上报动作信息后，第一次发送报文且未发送成功时的动作。持续时间1子字段用于指示动作1的持续时间，即持续时间1子字段指示的是动作1发送的报文的包长。
191.时间k指示子字段用于指示动作k的开始时间/结束时间。动作k是sta在上一次成功接收第一响应信息后，第k次发送报文且未接收到第二响应信息的发送动作。那么，动作k是sta在上一次成功上报动作信息后，第k次发送报文且未成功发送时的动作。持续时间k子字段用于指示动作k的持续时间，即持续时间k子字段指示的是动作k发送的报文的包长。
192.这是由于ap只有在多个sta同时发送报文，信道发生冲突时，无法获知哪些sta尝试接入信道。因此，每个sta只需在发送报文不成功时，向ap上报该动作信息，即每个sta上报的是每个发送报文不成功时的发送动作，以及该动作的开始时间/结束时间、每次发送的
报文的包长，以使得ap获知在信道发生冲突时，哪些sta在尝试接入信道。
193.5.动作信息字段包括第一时间1指示子字段和第二时间1指示子字段、
……
、第一时间k指示子字段和第二时间k指示子字段，k为正整数。
194.training data的单元格式可参见上述图6(e)所示，与图6(a)-图6(d)不同的是training data包括第一时间1和第二时间1、
……
、第一时间k和第二时间k。那么，动作详细信息字段包括第一时间1指示子字段和第二时间1指示子字段、
……
、第一时间k指示子字段和第二时间k指示子字段。
195.其中，第一时间1子字段用于指示动作1的起始时间。动作1是sta在上一次成功接收第一响应信息后，第一次发送报文且未接收到第二响应信息时的发送动作。第一响应信息是ap成功接收sta发送的动作信息时发送的响应信息，第二响应信息是ap成功接收sta发送的报文时发送的响应信息。那么，动作1是sta在上次一成功上报动作信息后，第一次发送报文且未发送成功时的动作。第二时间1指示子字段用于指示动作1的结束时间。
196.第一时间k子字段用于指示动作k的起始时间。动作k是sta在上一次成功接收第一响应信息后，第k次发送报文且未接收到第二响应信息的发送动作。那么，动作k是该sta在上一次成功上报动作信息后，第k次发送报文且未成功发送时的动作。第二时间k用于指示动作p的结束时间。
197.可见，动作1至动作k均是sta在上一次成功上报动作信息后，发送报文不成功时的动作。该情况下，每个sta向ap上报的是在上一次成功上报动作信息后，每一次发送报文不成功时的开始时间和结束时间，从而有利于ap根据每一次发送报文不成功时的开始时间和结束时间，确定每次发送报文不成功是在哪个时隙上发送的，以及发送的报文的包长，以进一步获得每个sta在每个时隙上的行为信息。
198.可见，上述5种training data字段的不同格式单元，代表了每个sta上报的动作信息中的不同内容，从而sta向ap上报的动作信息更加灵活。
199.可理解的，每个sta向ap上报动作信息的时间是ap预定义的。例如，ap预定义每个sta按照预设周期，向ap上报动作信息，那么每个sta每间隔该预设周期就向ap上报动作信息。另外，ap给每个sta预定义的上报时间可以是不相同的。例如，ap给sta 1预定义每间隔预设时间1，向ap上报动作信息，而给sta 2预定义每间隔预设时间2，向ap上报动作信息。
200.可选的，每个sta向ap上报动作信息的时间是ap通过信令告知给每个sta的。例如，ap通过下行控制信息(downlink control information，dci)向每个sta告知上报动作信息的时间。再例如，ap通过dci#1向sta 1告知sta 1上报动作信息的时间#1，通过dci#2向sta 2告知上报动作信息的时间#2。
201.s102.ap接收n个sta分别上报的动作信息。
202.s103.ap根据n个动作信息，确定每个sta的第一神经网络的训练结果。
203.可理解的，ap根据n个动作信息，训练每个sta的第一神经网络，获得每个sta的第一神经网络的训练结果。例如，5个sta一共上报了5个动作信息，5个sta分别对应第一神经网络#1-第一神经网络#5，ap根据该5个动作信息训练sta 1的第一神经网络#1，获得第一神经网络#1的训练结果，根据该5个动作信息训练sta 2的第一神经网络#2，获得第一神经网络#2的训练结果，直至获得sta 5的第一神经网络#5的训练结果。
204.可理解的，第一神经网络的训练结果为第一神经网络的神经网络参数或梯度。该
神经网络参数为第一神经网络中神经元的权重和偏置。例如，第一神经网络的结构如图7所示，包含一个输入层，一个输出层，及多个中间层，且每层包括多个节点，该节点称为神经元。其中，相邻两层的神经元间两两相连。
205.对于相邻两层的神经元而言，下一层的神经元的输出h为所有与之相连的上一层神经元x的加权和并经过激活函数。用矩阵可以表示为：
206.h＝f(wx b)
ꢀꢀꢀꢀꢀꢀ
(1)
207.其中w为权重矩阵，b为偏置向量，f为激活函数。则n层神经网络的输出y可以递归表达为：
208.y＝fn(w
nfn-1
(...) bn)
ꢀꢀꢀꢀꢀꢀꢀ
(2)
209.也就是说，可将第一神经网络理解为一个从输入x到输出y的映射关系。神经网络的训练过程是指从已有数据得到该映射关系的过程，即得到w和b的过程。第一神经网络的训练结果可以是神经网络参数w和b。
210.另外，ap可采用梯度下降法对神经网络进行训练，因此，神经网络的训练结果也可以是梯度。梯度是神经网络的损失函数对该神经网络参数的偏导，即神经网络的损失函数对上述w和b的偏导。
211.神经网络参数/梯度均是用于对应sta更新对应的第一神经网络，即哪个sta的神经网络参数/梯度就是用于更新哪个sta的第一神经网络。例如，神经网络参数#1是sta 1的神经网络参数，那么神经网络参数#1是用于sta 1更新sta 1的第一神经网络。
212.一种可选的实施方式中，ap根据n个动作信息，确定每个sta的第一神经网络的训练结果，是指：ap将每个sta的状态信息输入到对应sta的第一神经网络，获得第一神经网络的输出值；ap将每个第一神经网络的输出值输入到第二神经网络，获得第二神经网络的输出值，第二神经网络的输出值用于表征预设时间内的期望奖励；ap根据第二神经网络的输出值和奖励函数训练第三神经网络，通过最小化第三神经网络的损失函数，确定每个第一神经网络的训练结果，第三神经网络包括每个第一神经网络和第二神经网络。
213.其中，sta的状态信息是根据sta的动作信息获得的，第二神经网络的神经网络参数是根据n个动作信息获得的，奖励函数是根据n个动作信息确定的。
214.可理解的，ap获得每个sta上报的动作信息后，根据每个的动作信息确定载波侦听结果信息或报文传输结果信息，再根据n个动作信息和n个载波侦听结果信息确定状态信息，或者根据n个动作信息和n个报文传输结果信息确定状态信息。载波侦听结果信息或报文传输结果信息包括
215.上述时，表示不发送；当时表示发送。代表载波侦听结果或报文传输结果。在时，代表载波侦听结果，即表示sta i在第t个时隙上的载波侦听结果，表示信道空闲，表示信道忙碌。在时，代表报文传输结果信息，即表示sta i在第t个时隙上的发送报文的结果，表示报文发送成功，表示报文发送失败。也就是说，可根据的值，代表不同的含义，在时，代表载波侦听结果，在时，代表报文传输结果。
216.表示和的持续时间。表示sta i上一个第二响应信息的接收时刻距离第t
个时隙的时长。表示sta j在上一个第二响应信息的接收时刻距离第t个时隙的时长，sta j为除sta i外的其他任一sta。
217.如图8所示，表示sta i上一个第二响应信息的接收时刻距离第t个时隙的时长，即表示的是当前时刻距离sta i在上一次成功发送报文的时长。表示sta j在上一个第二响应信息的接收时刻距离第t个时隙的时长，sta j为除sta i外的其他任一sta，即表示的是除sta i外的任一sta在当前时刻距离上一次成功发送报文的时长。该和可以是sta i通过侦听信道上的响应得到的。sta i在侦听到本sta发送报文成功的响应时，在未侦听到本sta发送报文成功的响应时，即当前时刻距离sta i在上一次成功发送报文的时长继续叠加。sta i侦听到信道对其他sta的响应时，在未侦听到信道对其他sta的响应时，即除sta i外的任一sta在当前时刻距离上一次成功发送报文的时长继续叠加。
218.可见，ap是先将根据每个sta上报的信息获得的状态信息输入到该sta的第一神经网络中，获得每个第一神经网络的输出值，再将n个第一神经网络的输出值输入到第二神经网络中，获得第二神经网络的输出值，然后根据损失函数训练第三神经网络，最终获得第一神经网络的训练结果。每个sta的第一神经网络的训练结果是根据n个sta上报的信息确定的，而不是只根据自身sta的信息确定的，从而有利于提高每个sta对其他sta信道接入行为的预测能力。
219.以下以ap采用目标q神经网络训练每个第一神经网络为例阐述ap的训练过程。
220.目标q网络的训练示意图如图9所示。图9中包括目标q网络(target q network)和预测q网络(prediction q network)。目标q网络和预测q网络的结构如图10所示。图10所示的神经网络包括代理网络1(agent network 1)至代理网络n(agent network n)，以及混合网络(mixing network)。agent network 1至agent network n是sta 1至sta n的第一神经网络，即每个agent network对应一个sta。mixing network为上述的第二神经网络。
221.每个agent network的输入为对应sta过去一段时间的状态信息，即network的输入为对应sta过去一段时间的状态信息，即表示sta i在当前时刻t前的连续t个时刻的状态信息，每个sta的状态信息是根据该sta上报的动作信息获得的。sta上报的动作信息为ap根据该sta的获得和从而sta根据和获得自身sta的状态信息，即首先，ap将每个sta的状态信息输入到对应的agent network，获得该agent network的输出值，agent network的输出值为每个agent network包括门控循环单元(gated recurrent unit，gru)，全连接神经网络(fully connected neural network，fc)和模块π。每个sta的状态信息经过gru和fc后，模块π再根据ε-greedy算法进行动作选择，进而确定表示sta i在预设时间内的期望奖励。然后，ap将每个agengt network的输出值作为mixing network的输入，获得第二神经网络的输出值，第二神经网络的输出值为q
tot
(τ
t
,a
t
,s
t
)。mixing network用于将n个agent network的输出值进行汇总处理。ap获得的第二神经网络的输出值表示整个网络在预设时间内的期望奖励。此
外，第二神经网络的神经网络参数是根据n个动作信息获得的，即第二神经网络的神经网络参数是由n个动作信息决定的。图10中的gru 32表示该gru的隐状态具有32个神经元，fc 32表示该fc具有32个神经元，同理fc 2表示该fc具有2个神经元。
222.ap根据mixing network的输出值和奖励函数计算第三神经网络的损失函数，并通过最小化该损失函数训练第三神经网络，即训练每个agent network和mixing network，进而确定每个agent network的神经网络参数。第三神经网络的损失函数为：
[0223][0224]
其中，r(t)表示奖励函数，γ示折扣因子(discount factor)，通常γ＝0.9，e
t
表示经验(experience)，e表示经验池，|e|表示经验池中经验e
t
的数量，e(t)＝(s
t
,τ
t
,a
t
,r
t
,s
t 1
,τ
t 1
)，q
tot
(τ
t 1
,a
t 1
,s
′
；θ-)表示图8中目标q网络的输出，θ-为目标q网络的神经网络参数，q
tot
(τ
t
,a
t
,s；θ)表示图8中预测q网络的输出，θ为预测q网络的神经网络参数。mixing network的神经网络参数由s(t)决定。
[0225]
ap训练第三神经网络的过程可参见上述图9所示的示意图。即ap利用小批量梯度下降的方法更新q网络的神经网络参数。可理解的，ap每次将θ-的值固定，然后利用损失函数和mixing network的输出值训练预测神经网络的神经网络参数θ，每训练完c次，将神经网络参数θ作为目标神经网络的固定参数θ-，再迭代训练预测q网络的神经网络参数，通过最小化第三神经网络的损失函数，确定每个agent network的训练数据，通常c＝100。
[0226]
关于上述第三神经网络的奖励函数的计算有以下几种可选的实施方式：
[0227]
1.将第三神经网络的奖励函数设置为1。
[0228]
可理解的，ap在根据动作信息确定第一sta发送报文成功时，将第三神经网络的奖励函数设置为1。第一sta是上述n个sta中，上一次成功接收第二响应信息的时刻距离当前时刻的时间间隔最长的sta，即第一sta是距离上一次成功发送报文时长最长的sta。
[0229]
也就是说，当ap根据n个动作信息确定距离上一次成功发送报文时长最长的sta在多个时隙中发送报文成功，则将奖励函数的值设置为1。即r
t
＝1，表示sta i上一个第二响应信息的接收时刻距离第t个时隙的时长，arg max表示取各数值中数值最大的值对应的i。
[0230]
2.将奖励函数的值设置为第一时长减1。
[0231]
可理解，ap在根据n个动作信息确定第二sta发送报文成功时，将奖励函数的值设置为第一时长减1，即第二sta是n个sta中，除第一sta外的sta，第一sta是n个sta中上一次成功接收第二响应信息的时刻距离当前时刻的时间间隔最长的sta。第一时长是第二sta上一次成功接收第二响应信息的时刻距离当前时刻的时长。也就是说，当ap根据n个动作信息确定除上一次成功发送报文的时长最长的sta外的sta在多个时隙中的某个时隙上发送报文成功时，将奖励函数的值设置为第一时长减1。
[0232]
3.将奖励函数的值设置为-1。
[0233]
可理解的，ap在根据n个动作信息确定n个sta中的m个sta在同一时隙上发送报文时，将奖励函数的值设置为-1，即r
t
＝-1。m为小于或等于n的正整数。也就是说，ap根据n个
动作信息确定n个sta中的部分sta在统一时隙上发送报文时，表明该部分sta在该时隙上发送报文发生了信道冲突，该部分sta均不能成功发送报文，即将奖励函数的值累减，即将奖励函数的值减1。
[0234]
4.将奖励函数的值设置为0。
[0235]
可理解的，ap在根据n个动作信息确定n个sta在一个时隙上均未发送报文时，将奖励函数的值设置为0，即r
t
＝0。也就是说，ap在根据n个动作信息确定所有的sta均未在一个时隙上发送报文时，对于未来的期望奖励没有，因此将奖励函数的值设置为1。
[0236]
另外，除上述4中情况外，ap也可将奖励函数的值设置为0。
[0237]
本技术实施例中，若每个sta上报动作信息的时间不相同，或者n个sta中的部分sta上报动作信息的时间不相同，那么ap在当前时刻训练神经网络时，可能某些sta并未上报动作信息，只有部分sta上报了最新的动作信息。该情况下，ap在训练每个sta的神经网络时，使用当前时刻上报的动作信息，以及当前时刻未上报动作信息的sta的上一次上报的动作信息联合训练每个sta的第一神经网络，从而也可实现对每个sta的第一神经网络的集中训练。另外，该方式可使得在当前时刻其动作信息未发生变化的sta不需上报动作信息，从而可减少通信系统的信令开销。
[0238]
与目前的sta根据自身观测的发送行为、发包时长训练本sta的神经网络相比，本技术实施例中，ap是根据n个sta的n个动作信息训练每个sta的第一神经网络的，即训练每个sta的第一神经网络时，参考了n个sta的动作信息，从而可使得ap对每个第一神经网络的训练更优，能获得更好的训练结果，使得第一神经网络的预测能力更好。
[0239]
s104.ap将每个sta的第一神经网络的训练结果发送给对应的sta。
[0240]
s105.针对每个sta，sta接收来自ap的第一神经网络的训练结果。
[0241]
s106.针对每个sta，sta根据第一神经网络的训练结果，更新第一神经网络，并在侦听到信道空闲时根据更新后的第一神经网络和该sta当前的状态信息确定是否接入信道。
[0242]
其中，该sta当前的状态信息包括自身过去一段时间的动作、载波侦听结果，以及报文传输结果。
[0243]
一种可选的实施方式中，如上所述，第一神经网络的训练结果为第一神经网络的神经网络参数。那么sta根据第一神经网络的训练结果，更新第一神经网络，是指sta将第一神经网络之前的神经网络参数，更新为接收到的神经网络参数，获得更新后的第一神经网络。
[0244]
另一种可选的实施方式中，如上所述，第一神经网络的训练结果为第一神经网络的梯度。那么sta根据第一神经网络的训练结果，更新第一神经网络，是指sta将梯度进行计算处理，获得第一神经网络的神经网络参数，再将第一神经网络原来的神经网络参数替换为该神经网络参数，从而获得更新后的神经网络参数。sta对梯度进行计算处理的过程为θ
′
＝θ γg，θ
′
为更新后第一神经网络的神经网络参数，θ更新前第一神经网络的神经网络参数。γ为第一神经网络的学习效率，g为梯度。
[0245]
一种可选的实施方式中，sta根据第一神经网络的训练结果更新所述第一神经网络，并在侦听到信道空闲时根据更新后的第一神经网络和侦听的动作信息确定是否接入信道，包括：sta将动作信息输入到更新后的第一神经网络输出第一值和第二值，第一值用于
表征接入信道获得的预期奖励，第二值用于表征不接入信道获得的预期奖励；sta在第一值大于第二值时，确定接入信道；sta在第一值小于第二值时，确定不接入信道，即sta在侦听到信道信道空闲时，根据更新后的第一神经网络输出的第一值和第二值的大小，确定是否接入信道。
[0246]
以sta的第一神经网络为q神经网络中的一部分为例，阐述sta在侦听到信道空闲时，根据第一神经网络的训练结果和当前时刻侦听到的动作信息确定是否接入信道的实施方式。此时，sta的第一神经网络的结构如图10所示。sta将当前时刻自身侦听信道获得的动作信息作为agent network的输入，获得和即上述的第一值和第二值。当大于时，表明该sta接入信道获得的期望奖励更大一些，那么该sta确定接入信道；当小于时，表明该sta不接入信道获得的期望奖励更大一下，那么该sta确定不接入信道。
[0247]
本技术实施例中，sta可在侦听到信道空闲时，根据ap训练的第一神经网络的训练结果，以及自身当前时刻侦听到的动作信息，自行决定是否接入信道。第一神经网络的训练结果又是ap根据每个sta的动作信息对第一神经网络训练获得的，第一神经网络的预测性较高，因此该方式有利于sta在决定接入信道时，能成功发送报文的概率较大，即存在信道冲突的可能性较小，进而可提高系统的吞吐量，降低通信系统的时延。
[0248]
本技术实施例的实现框图可参见图11。图11的实现框图中包括ap的中心训练部分和sta的分布执行部分。ap的中心训练部分和sta的分布执行部分均包括每个sta对应的第一神经网络，第一神经网络的神经网络参数为θi。
[0249]
ap的中心训练是指：ap根据n个sta上报的n个动作信息获得的n个状态信息训练每个第一神经网络，获得每个第一神经网络的训练结果，即每个第一神经网络的训练结果均是根据n个动作信息获得，可提高第一神经网络的预测性。每个动作信息是每个sta对历史环境进行观测得到的。
[0250]
每个sta的分布执行是指：每个sta获得ap下发的第一神经网络的训练结果后，该sta使用训练结果更新自身的第一神经网络，再在侦听到信道空闲时，根据侦听的动作信息和更新后的第一神经网络，自行决定是否接入信道。sta根据更新后的第一神经网络确定是否接入信道的方式，可使得sta决定是否接入信道的预判性更高，进而可提高系统的吞吐量和降低系统的通信时延。
[0251]
可理解的，本技术实施例适用于所有中心训练分布执行的多智能体强化学习算法。比如，aho-corasick自动机算法、近端策略优化(proximal policy optimization，ppo)算法、多智能体深度确定性策略梯度(multi-agent deep deterministic policy gradient，maddpg)算法等。
[0252]
本技术实施例中，n个sta向ap上报动作信息，ap根据n个sta上报的n个动作信息，确定每个sta的第一神经网络的训练结果，并将每个sta的第一神经网络的训练结果发送给对应的sta，从而每个sta可根据第一神经网络的训练结果更新第一神经网络，并在侦听到信道空闲时根据更新后的第一神经网络和侦听动作信息确定是否接入信道。ap是根据n个动作信息训练每个sta的第一神经网络的，可使得第一神经网络的预测性更好，从而有利于提高每个sta对其他sta信道接入行为的预测能力，即每个sta发送报文时，其信道冲突的概率更小，进而有利于提高系统的吞吐量和降低通信时延。
[0253]
另外，本技术实施例与目前的研究中，sta自行根据网络中所有的sta的历史动作信息训练自身的神经网络的实施方式相比，每个sta是根据ap下发的第一神经网络的训练结果和自身侦听到的历史动作信息，独立决策是否进行信道的接入，不依赖除本sta外其他sta的动作信息，因此对于每个sta而言，其实际操作性较好。
[0254]
目前的研究中，每个sta还可分别自行训练自身的神经网络，并向ap上报训练获得的神经网络参数，然后ap将所有sta的神经网络参数进行处理后，获得新的神经网络参数，并将新的神经网络参数广播给每个sta，再由sta根据新的神经网络参数确定是否接入信道。本技术实施例与该研究相比，每个sta的神经网络是由ap集中训练的，网络中的每个sta无需自行训练自身的神经网络，即无需网络中的每个sta具有独立训练神经网络的能力，也可降低每个sta与ap的交互，可减少系统的信令开销与计算能力。
[0255]
图12为本技术实施例下的系统吞吐量与采用csma/ca技术解决信道冲突时的系统的吞吐量对比图。本技术实施例下的系统吞吐量明显高于采用csma/ca技术解决信道冲突时的吞吐量。图13为本技术实施例下系统的平均时延与采用csma/ca技术解决信道冲突时系统的平均时延对比图。本技术实施例下的平均时延明显低于采用csma/ca技术解决信道冲突时的平均时延。图14为本技术实施例下系统的时延抖动与采用csma/ca技术解决信道冲突时系统的时延抖动对比图。本技术实施例下的时延抖动明显低于采用csma/ca技术解决信道冲突时的时延抖动。
[0256]
四.每个sta上报动作信息和载波侦听结果信息，或者每个sta上报动作信息和报文传输结果信息。
[0257]
可理解的，每个sta除了上报动作信息外，还可上报载波侦听结果信息或报文传输结果信息，其实施方式如下：
[0258]
1.每个sta上报动作信息和载波侦听结果信息。
[0259]
也就是说，每个sta除了上报上述的动作信息外，还会上报载波侦听结果信息。载波侦听结果信息包括sta自上一次成功上报动作信息后，距离当前时刻内的多个时隙内每个时隙的载波侦听结果。那么，ap接收n个sta分别上报的动作信息和载波侦听结果信息。
[0260]
此时，n个动作信息和n个载波侦听结果信息携带于sta上报的第一帧的动作详细信息字段中，第一帧的帧结构如上述图5所示，不再赘述。动作详细信息字段包括时间指示子字段、数据1子字段至数据t子字段，t为正整数。时间指示子字段用于指示sta上一次成功接收第一响应信息时刻。第一响应信息是ap成功接收sta发送的动作信息时发送的响应信息。那么时间指示子字段用于指示sta上一次成功上报动作信息的时刻。
[0261]
数据1子字段用于指示sta在上一次成功接收第一响应信息后的第一个时隙内的动作和载波侦听结果。数据t子字段用于指示sta上一次成功接收第一响应信息后的第t个时隙内的动作和载波侦听结果。可理解的，数据1子字段用于指示sta自上一次成功上报动作信息以来，在第一个时隙内的动作和载波侦听结果。数据t子字段用于指示sta自上一次成功上报动作信息以来，在第t个时隙内的动作和载波侦听结果。
[0262]
那么，上述s103中，ap根据n个动作信息，确定每个sta的第一神经网络的训练结果，可指：ap根据n个动作信息和n个载波侦听结果信息，确定每个sta的第一神经网络的训练结果。可理解的，ap无需根据动作信息确定载波侦听结果信息，可直接使用接收到的动作信息和载波侦听结果信息确定sta的第一神经网络的训练结果，从而可减少ap处理的复杂
度。
[0263]
可选的，上述s103中，ap根据n个动作信息，确定每个sta的第一神经网络的训练结果，还可指：ap根据n个动作信息，以及根据n个动作信息确定的n个载波侦听结果信息，确定每个sta的第一神经网络的训练结果。也就是说，该实施方式下，即使sta上报了载波侦听结果信息，ap仍可采用根据动作信息确定的载波侦听结果信息确定第一神经网络的训练结果。
[0264]
2.每个sta上报动作信息和报文传输结果信息。
[0265]
也就是说，每个sta除了上报上述的动作信息外，还会上报报文传输结果信息。报文传输结果信息包括sta自上一次成功上报动作信息后，距离当前时刻内的多个时隙内sta发送报文时的报文传输结果。那么，ap接收n个sta分别上报的动作信息和载波侦听结果信息。
[0266]
此时，n个动作信息和n个报文传输结果信息携带于sta上报的第一帧的动作详细信息字段中，第一帧的帧结构如上述图5所示，不再赘述。动作详细信息字段包括时间指示子字段、数据1子字段至数据t子字段，t为正整数。时间指示子字段用于指示sta上一次成功接收第一响应信息时刻。第一响应信息是ap成功接收sta发送的动作信息时发送的响应信息。那么时间指示子字段用于指示sta上一次成功上报动作信息的时刻。
[0267]
数据1子字段用于指示sta在上一次成功接收第一响应信息后的第一个时隙内的动作和报文传输结果。数据t子字段用于指示sta上一次成功接收第一响应信息后的第t个时隙内的动作和报文传输结果。可理解的，数据1子字段用于指示sta自上一次成功上报动作信息以来，在第一个时隙内的动作和报文传输结果。数据t子字段用于指示sta自上一次成功上报动作信息以来，在第t个时隙内的动作和报文传输结果。
[0268]
那么，上述s103中，ap根据n个动作信息，确定每个sta的第一神经网络的训练结果，可指：ap根据n个动作信息和n个报文传输结果信息，确定每个sta的第一神经网络的训练结果。可理解的，ap无需根据动作信息确定报文传输结果信息，可直接使用接收到的动作信息和报文传输信息确定sta的第一神经网络的训练结果，从而可减少ap处理的复杂度。
[0269]
可选的，上述s103中，ap根据n个动作信息，确定每个sta的第一神经网络的训练结果，还可指：ap根据n个动作信息，以及根据n个动作信息确定的n个报文传输结果信息，确定每个sta的第一神经网络的训练结果。也就是说，该实施方式下，即使sta上报了报文传输结果信息，ap仍可采用根据动作信息确定的报文传输结果信息确定第一神经网络的训练结果。
[0270]
可理解的，当每个sta上报动作信息和载波侦听结果信息时，或者上报动作信息和报文传输结果信息时，ap对n个sta上报的n个动作信息和n个载波侦听结果信息，或者对n个动作信息和n个报文传输结果信息的处理方式和上述信道接入方法100中的处理方式相同，不再赘述。例如，当每个sta上报动作信息和载波侦听结果信息时，上述s103中，sta的状态信息是根据sta的动作信息和载波侦听结果信获得的，第二神经网络的神经网络参数是根据n个动作信息和n个载波侦听结果信息获得的，奖励函数是根据n个动作信息和n个载波侦听结果信息确定的。
[0271]
五.ap向每个sta下发第一神经网络的训练结果的实施方式。
[0272]
当n个sta对应的第一神经网络的神经网络参数相同或不相同时，ap向每个sta下
发第一神经网络的训练结果的实施方式可不相同。以下阐述几种ap向n个sta下发第一神经网络的可选实施方式：
[0273]
1.n个sta共享神经网络参数。
[0274]
可理解的，当n个sta共享神经网络参数时，ap将每个sta的第一神经网络的训练结果发送给对应的sta，是指：ap将第一神经网络的训练结果广播给n个sta。
[0275]
也就是说，每个sta的第一神经网络的神经网络参数相同时，ap根据n个sta上报的动作信息确定的每个第一神经网络的训练结果也是相同的，即ap根据n个sta上报的动作信息确定了一个第一神经网络的训练结果。从而，ap可将确定的第一神经网络的训练结果通过组播的方式下发给n个sta，可减少系统的开销。
[0276]
2.n个sta中的s个sta共享神经网络参数。
[0277]
可理解的，n个sta中的s个sta共享一个神经网络参数，s为小于或等于n的正整数。那么，ap将每个sta的第一神经网络的训练结果发送给对应的sta，是指：ap将s个sta对应的第一神经网络的训练结果组播给s个sta，以及将n-s个第一神经网络的训练结果单播给对应的sta。
[0278]
也就是说，当n个sta中的部分sta共享神经网络参数，另外部分sta不共享神经网络参数时，ap将共享神经网络参数的sta的第一神经网络的训练结果通过组播下发给该部分的sta，将不共享神经网络参数的sta的第一神经网络的训练结果单播给对应的sta。该方式也可减少系统的开销。
[0279]
3.n个sta不共享神经网络参数。
[0280]
可理解的，n个sta对应的n个第一神经网络的神经网络参数均不相同时，ap根据n个sta上报的信息确定的每个第一神经网络的训练结果也不相同，因此每个第一神经网络的训练结果是单播给对应的sta的。
[0281]
一种可选的实施方式中，每个sta可向ap上报用于指示自身和其他sta是否共享神经网络参数的信息，这样ap可通过sta上报的指示信息确定n个sta中的部分sta或全部sta是否共享神经网络参数的情况，进而确定向每个sta下发第一神经网络的训练结果的实施方式。
[0282]
一种可选的实施方式中，每个sta上报动作信息之前，或者，ap将每个第一神经网络的训练结果发送给对应的sta之前，ap将每个sta对应的第一神经网络的结构下发给每个sta，使得每个sta获得自身第一神经网络的结构。
[0283]
另一种可选的实施方式中，每个sta的第一神经网络是ap预定义的，即每个sta预先知道自身第一神经网络的结构和第一神经网络的神经网络参数，无需ap通过信令下发告知每个sta，从而可节省ap的信令开销。
[0284]
又一种可选的实施方式中，每个sta上报动作信息之前，或者，ap将每个第一神经网络的训练结果发送给对应的sta之前，ap将多个第一神经网络的结构下发给每个sta，sta在确定使用某一个第一神经网络的结构时，将确定的第一神经网络的结构上报给ap，以使得ap获得每个sta具体使用的第一神经网络的结构。该方式中，每个sta可自行灵活的在ap下发的多个第一神经网络的结构中选择自身使用的第一神经网络的结构。
[0285]
本技术实施例中，每个sta可向ap请求更新自身第一神经网络的训练结果，那么ap可在接收到来自sta的请求信息时，将该sta的第一神经网络的训练结果发送给该sta。
[0286]
针对n个sta的第一神经网络的训练结果，每个第一神经网络的训练结果携带于第二帧中，第二帧的帧结构可参见图15所示。第二帧包括element id子字段、length子字段、element id extension子字段以及训练结果(neural network parameters or gradients，即神经网络参数或梯度)。该第二帧可以是已有的管理帧，也可以是新增的管理帧，具体实现方式可参见上述第一帧的实施方式，不再赘述。
[0287]
六.通信装置。
[0288]
为了实现上述本技术实施例提供的方法中的各功能，ap或sta可以包括硬件结构和/或软件模块，以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行，取决于技术方案的特定应用和设计约束条件。
[0289]
如图16所示，本技术实施例提供了一种通信装置1600。该通信装置1600可以是ap的部件(例如，集成电路，芯片等等)，也可以是sta的部件(例如，集成电路，芯片等等)。该通信装置1600也可以是其他通信单元，用于实现本技术方法实施例中的方法。该通信装置1600可以包括：通信单元1601和处理单元1602。可选的，还可以包括存储单元1603。
[0290]
在一种可能的设计中，如图16中的一个或者多个单元可能由一个或者多个处理器来实现，或者由一个或者多个处理器和存储器来实现；或者由一个或多个处理器和收发器实现；或者由一个或者多个处理器、存储器和收发器实现，本技术实施例对此不作限定。所述处理器、存储器、收发器可以单独设置，也可以集成。
[0291]
所述通信装置1600具备实现本技术实施例描述的ap的功能，可选的，通信装置1600具备实现本技术实施例描述的sta的功能。比如，所述通信装置1600包括ap执行本技术实施例描述的ap涉及步骤所对应的模块或单元或手段(means)，所述功能或单元或手段(means)可以通过软件实现，或者通过硬件实现，也可以通过硬件执行相应的软件实现，还可以通过软件和硬件结合的方式实现。详细可进一步参考前述对应方法实施例中的相应描述。
[0292]
在一种可能的设计中，一种通信装置1600可包括：
[0293]
通信单元1601，用于接收n个站点sta分别上报的动作信息，n个所述动作信息用于确定每个sta的第一神经网络的训练结果，所述n为正整数；
[0294]
处理单元1602，用于根据n个所述动作信息，确定每个sta的第一神经网络的训练结果；
[0295]
通信单元1601，还用于将所述每个sta的第一神经网络的训练结果发送给对应的sta。
[0296]
一种可选的实施方式中，所述动作信息是指一段时间的动作，所述动作为发送或不发送。
[0297]
一种可选的实现方式中，处理单元1602，还用于：通过通信单元1601接收所述n个sta分别上报的载波侦听结果信息或报文传输结果信息；处理单元1602根据n个所述动作信息，确定每个sta的第一神经网络的训练结果，具体用于：根据n个所述动作信息和n个所述载波侦听结果信息，确定每个sta的第一神经网络的训练结果；或者，根据n个所述动作信息和n个所述报文传输结果信息，确定每个sta的第一神经网络的训练结果。
[0298]
一种可选的实现方式中，所述训练结果为神经网络参数或梯度，所述神经网络参
数/梯度用于对应的sta更新对应的第一神经网络。
[0299]
一种可选的实现方式中，所述动作信息携带于sta上报的第一帧的动作详细信息字段中；所述动作详细信息字段包括时间指示子字段、数据1子字段至数据t子字段，所述t为正整数；
[0300]
所述时间指示子字段用于指示sta上一次成功接收第一响应信息的时刻，所述第一响应信息是所述ap成功接收sta发送的动作信息时发送的响应信息；所述数据1子字段用于指示sta在上一次成功接收所述第一响应信息后的第一个时隙内的动作；所述数据t子字段用于指示sta上一次成功接收所述第一响应信息后的第t个时隙内的动作。
[0301]
另一种可选的实现方式中，所述动作信息携带于sta上报的第一帧的动作详细信息字段中；所述作详细信息字段包括时间指示子字段、动作1子字段和时间1子字段、
……
、动作p子字段和时间p子字段，所述p为正整数；
[0302]
所述时间指示子字段用于指示sta上一次成功接收第一响应信息的时刻，所述第一响应信息是所述ap成功接收sta发送的动作信息时发送的响应信息；所述动作1子字段用于指示sta在上一次成功接收所述第一响应信息后的第一个动作，所述时间1子字段用于指示所述动作1的持续时间或所述动作1的结束时间；所述动作p子字段用于指示sta在上一次成功接收所述第一响应信息的时刻距离当前时刻内的第p个动作,所述时间p子字段用于指示所述动作p的持续时间或所述动作p的结束时间。
[0303]
又一种可选的实现方式中，所述动作信息携带于sta上报的第一帧的动作详细信息字段中；所述动作详细信息字段包括时间1指示子字段和动作1子字段、
……
、时间p指示子字段和动作p子字段，所述p为正整数；
[0304]
所述时间1指示子字段用于指示动作1的起始时间，所述动作1子字段用于指示sta在上一次成功接收第一响应信息后的第一个动作，所述第一响应信息是所述ap成功接收sta发送的动作信息时发送的响应信息；所述时间p指示子字段用于指示动作p的起始时间，所述动作p子字段用于指示sta在上一次成功接收所述第一响应信息后的时刻距离当前时刻内的第p个动作。
[0305]
又一种可选的实现方式中，所述动作信息携带于sta上报的第一帧的动作详细信息字段中；所述动作详细信息字段包括时间1指示子字段和持续时间1子字段、
……
、时间k指示子字段和持续时间k子字段，所述k为正整数；
[0306]
所述时间1指示子字段用于指示动作1的开始时间/结束时间，所述动作1是sta在上一次成功接收第一响应信息后，第一次发送报文且未接收到第二响应信息时的发送动作，所述第一响应信息是所述ap成功接收sta发送的动作信息时发送的响应信息，所述第二响应信息是所述ap成功接收sta发送的报文时发送的响应信息，所述持续时间1子字段用于指示所述动作1的持续时间；
[0307]
所述时间k指示子字段用于指示动作k的开始时间/结束时间，所述动作k是sta在上一次成功接收所述第一响应信息后，第k次发送报文且未接收到所述第二响应信息时的发送动作，所述持续时间k子字段用于指示所述动作k的持续时间。
[0308]
又一种可选的实现方式中，所述动作信息携带于sta上报的第一帧的动作详细信息字段中；所述动作详细信息字段包括第一时间1指示子字段和第二时间1指示子字段、
……
、第一时间k指示子字段和第二时间k指示子字段，所述k为正整数；
[0309]
所述第一时间1指示子字段用于指示动作1的起始时间，所述动作1是sta在上一次成功接收第一响应信息后，第一次发送报文且未接收到第二响应信息时的发送动作，所述第一响应信息是所述ap成功接收sta发送的动作信息时发送的响应信息，所述第二响应信息是所述ap成功接收sta发送的报文时发送的响应信息，所述第二时间1指示子字段用于指示所述动作1的结束时间；
[0310]
所述第一时间k指示子字段用于指示动作k的起始时间，所述动作k是sta在上一次成功接收所述第一响应信息后，第k次发送报文且未接收到所述第二响应信息时的发送动作，所述第二时间k指示子字段用于指示所述动作k的结束时间。
[0311]
又一种可选的实现方式中，所述动作信息和所述载波侦听结果信息携带于sta上报的第一帧的动作详细信息字段中；所述动作详细信息字段包括时间指示子字段、数据1子字段至数据t子字段，所述t为正整数；
[0312]
所述时间指示子字段用于指示sta上一次成功接收第一响应信息的时刻，所述第一响应信息是所述ap成功接收sta发送的动作信息时发送的响应信息；
[0313]
所述数据1子字段用于指示sta在上一次成功接收所述第一响应信息后的第一个时隙内的动作和载波侦听结果；所述数据t子字段用于指示sta上一次成功接收所述第一响应信息后的第t个时隙内的动作和载波侦听结果。
[0314]
又一种可选的实现方式中，所述动作信息和所述报文传输结果携带于sta上报的第一帧的动作详细信息字段中；所述动作详细信息字段包括时间指示子字段、数据1子字段至数据t子字段，所述t为正整数；
[0315]
所述时间指示子字段用于指示sta上一次成功接收第一响应信息的时刻，所述第一响应信息是所述ap成功接收sta发送的动作信息时发送的响应信息；
[0316]
所述数据1子字段用于指示sta在上一次成功接收所述第一响应信息后的第一个时隙内的动作和报文传输结果；所述数据t子字段用于指示sta上一次成功接收所述第一响应信息后的第t个时隙内的动作和报文传输结果。
[0317]
一种可选的实施方式中，处理单元1602根据所述n个动作信息，确定每个sta的第一神经网络的训练结果，具体用于：将每个sta的状态信息输入到对应sta的第一神经网络，获得所述第一神经网络的输出值；每个第一神经网络的输出值输入到第二神经网络，获得所述第二神经网络的输出值；所述第二神经网络的输出值用于表征预设时间内的期望奖励；根据所述第二神经网络的输出值和奖励函数训练第三神经网络，通过最小化所述第三神经网络的损失函数，确定所述每个第一神经网络的训练结果；所述第三神经网络包括所述每个第一神经网络和所述第二神经网络；
[0318]
其中，所述sta的状态信息是根据sta的动作信息获得的，所述第二神经网络的神经网络参数是根据所述n个动作信息获得的，所述奖励函数是根据所述n个动作信息确定的；或者，
[0319]
所述sta的状态信息是根据sta的动作信息和载波侦听结果信息获得的，所述第二神经网络的神经网络参数是根据n个所述动作信息和n个所述载波侦听结果信息获得的，所述奖励函数是根据n个所述动作信息和n个所述载波侦听结果信息确定的；或者，
[0320]
所述sta的状态信息是根据sta的动作信息和报文传输结果信息获得的，所述第二神经网络的神经网络参数是根据n个所述动作信息和n个所述报文传输结果信息获得的，所
述奖励函数是根据n个所述动作信息和n个所述报文传输结果信息确定的。
[0321]
一种可选的实现方式中，处理单元1602还用于：在根据所述n个动作信息确定第一sta发送报文成功时，将所述奖励函数的值设置为1，所述第一sta是所述n个sta中上一次成功接收第二响应信息的时刻距离当前时刻的时间间隔最长的sta。
[0322]
另一种可选的实现方式中，处理单元1602还用于：在根据所述n个动作信息确定第二sta发送报文成功时，将所述奖励函数的值设置为第一时长减1；所述第二sta是所述n个sta中，除第一sta外的sta；所述第一sta是所述n个sta中上一次成功接收第二响应信息的时刻距离当前时刻的时间间隔最长的sta；所述第一时长是所述第二sta上一次成功接收所述第二响应信息的时刻距离当前时刻的时长。
[0323]
又一种可选的实现方式中，处理单元1602还用于：在根据所述n个动作信息确定所述n个sta中的m个sta在同一时隙上发送报文时，将所述奖励函数的值设置为-1；所述m为小于或等于所述n的正整数。
[0324]
又一种可选的实现方式中，处理单元1602还用于：根据所述n个动作信息确定所述n个sta在同一时隙上均未发送报文时，将所述奖励函数的值设置为0。
[0325]
一种可选的实现方式中，所述n个sta共享神经网络参数，所述通信单元1601将所述每个sta的第一神经网络的训练结果发送给对应的sta，具体用于：将所述第一神经网络的训练结果广播给所述n个sta。
[0326]
另一种可选的实现方式中，所述n个sta中的s个sta共享神经网络参数，所述s为小于或等于所述n的正整数，所述通信单元1601将所述每个sta的第一神经网络的训练结果发送给对应的sta，具体用于：将s个sta对应的第一神经网络的训练结果组播给所述s个sta，以及将n-s个第一神经网络的训练结果单播给对应的sta。
[0327]
一种可选的实现方式中，所述n个sta不共享神经网络参数时，所述每个第一神经网络的训练结果是单播给对应的sta的。
[0328]
本技术实施例和上述所示方法实施例基于同一构思，其带来的技术效果也相同，具体原理请参照上述所示实施例的描述，不再赘述。
[0329]
在另一种可能的设计中，一种通信装置1600可包括：
[0330]
通信单元1601，用于向接入点ap上报动作信息，所述动作信息用于确定处理单元的第一神经网络的训练结果；
[0331]
通信单元1601，还用于接收来自所述ap的第一神经网络的训练结果，所述第一神经网络的训练结果用于更新所述第一神经网络，以确定所述处理单元是否接入信道；
[0332]
处理单元1602，用于根据所述第一神经网络的训练结果更新所述第一神经网络，并在侦听到信道空闲时根据更新后的第一神经网络和所述处理单元当前的状态信息确定是否接入信道。
[0333]
一种可选的实现方式中，所述动作信息是指一段时间的动作，所述动作为发送或不发送。
[0334]
一种可选的实现方式中，通信单元1601，还用于向所述ap上报载波侦听结果信息或报文传输结果信息，所述载波侦听结果信息或所述报文传输结果信息用于确定所述处理单元的第一神经网络的训练结果。
[0335]
一种可选的实现方式中，所述训练结果为神经网络参数或梯度，所述神经网络参
数/梯度用于所述处理单元1602更新所述第一神经网络。
[0336]
一种可选的实现方式中，所述动作信息携带于所述处理单元1602上报的第一帧的动作详细信息字段中；所述动作详细信息字段包括时间指示子字段、数据1子字段至数据t子字段，所述t为正整数；
[0337]
所述时间指示子字段用于指示所述处理单元1602上一次成功接收第一响应信息的时刻，所述第一响应信息是所述成功接收所述处理单元1602发送的动作信息时发送的响应信息；所述数据1子字段用于指示所述处理单元1602在上一次成功接收所述第一响应信息后的第一个时隙内的动作；所述数据t子字段用于指示所述处理单元1602上一次成功接收所述第一响应信息后的第t个时隙内的动作。
[0338]
另一种可选的实施方式中，所述动作信息携带于所述处理单元1602上报的第一帧的动作详细信息字段中；所述作详细信息字段包括时间指示子字段、动作1子字段和时间1子字段、
……
、动作p子字段和时间p子字段，所述p为正整数；
[0339]
所述时间指示子字段用于指示所述处理单元1602上一次成功接收第一响应信息的时刻，所述第一响应信息是所述ap成功接收所述处理单元1602发送的动作信息时发送的响应信息；所述动作1子字段用于指示所述处理单元1602在上一次成功接收所述第一响应信息后的第一个动作，所述时间1子字段用于指示所述动作1的持续时间或所述动作1的结束时间；所述动作p子字段用于指示所述处理单元1602在上一次成功接收所述第一响应信息的时刻距离当前时刻内的第p个动作,所述时间p子字段用于指示所述动作p的持续时间或所述动作p的结束时间。
[0340]
又一种可选的实现方式中，所述动作信息携带于所述处理单元1602上报的第一帧的动作详细信息字段中；
[0341]
所述动作详细信息字段包括时间1指示子字段和动作1子字段、
……
、时间p指示子字段和动作p子字段，所述p为正整数；
[0342]
所述时间1指示子字段用于指示动作1的起始时间，所述动作1子字段用于指示所述处理单元1602在上一次成功接收第一响应信息后的第一个动作，所述第一响应信息是所述ap成功接收所述sta发送的动作信息时发送的响应信息；
[0343]
所述时间p指示子字段用于指示动作p的起始时间，所述动作p子字段用于指示所述处理单元1602在上一次成功接收所述第一响应信息后的时刻距离当前时刻内的第p个动作。
[0344]
又一种可选的实施方式中，所述动作信息携带于所述处理单元1602上报的第一帧的动作详细信息字段中；
[0345]
所述动作详细信息字段包括时间1指示子字段和持续时间1子字段、
……
、时间k指示子字段和持续时间k子字段，所述k为正整数；
[0346]
所述时间1指示子字段用于指示动作1的开始时间/结束时间，所述动作1是所述sta在上一次成功接收第一响应信息后，第一次发送报文且未接收到第二响应信息时的发送动作，所述第一响应信息是所述ap成功接收所述处理单元1602发送的动作信息时发送的响应信息，所述第二响应信息是所述ap成功接收所述处理单元1602发送的报文时发送的响应信息，所述持续时间1子字段用于指示所述动作1的持续时间；
[0347]
所述时间k指示子字段用于指示动作k的开始时间/结束时间，所述动作k是所述处
理单元1602在上一次成功接收所述第一响应信息后，第k次发送报文且未接收到所述第二响应信息时的发送动作，所述持续时间k子字段用于指示所述动作k的持续时间。
[0348]
又一种可选的实施方式中，所述动作信息携带于所述处理单元1602上报的第一帧的动作详细信息字段中；
[0349]
所述动作详细信息字段包括第一时间1指示子字段和第二时间1指示子字段、
……
、第一时间k指示子字段和第二时间k指示子字段，所述k为正整数；
[0350]
所述第一时间1指示子字段用于指示动作1的起始时间，所述动作1是所述处理单元1602在上一次成功接收第一响应信息后，第一次发送报文且未接收到第二响应信息时的发送动作，所述第一响应信息是所述ap成功接收所述处理单元1602发送的动作信息时发送的响应信息，所述第二响应信息是所述ap成功接收所述处理单元1602发送的报文时发送的响应信息，所述第二时间1指示子字段用于指示所述动作1的结束时间；
[0351]
所述第一时间k指示子字段用于指示动作k的起始时间，所述动作k是所述处理单元1602在上一次成功接收所述第一响应信息后，第k次发送报文且未接收到所述第二响应信息时的发送动作，所述第二时间k指示子字段用于指示所述动作k的结束时间。
[0352]
又一种可选的实施方式中，所述动作信息和所述载波侦听结果信息携带于所述处理单元1602上报的第一帧的动作详细信息字段中；所述动作详细信息字段包括时间指示子字段、数据1子字段至数据t子字段，所述t为正整数；
[0353]
所述时间指示子字段用于指示所述处理单元1602上一次成功接收第一响应信息的时刻，所述第一响应信息是所述ap成功接收所述处理单元1602发送的动作信息时发送的响应信息；
[0354]
所述数据1子字段用于指示所述处理单元1602在上一次成功接收所述第一响应信息后的第一个时隙内的动作和载波侦听结果；
[0355]
所述数据t子字段用于指示所述处理单元1602上一次成功接收所述第一响应信息后的第t个时隙内的动作和载波侦听结果。
[0356]
又一种可选的实施方式中，所述动作信息和所述报文传输结果携带于所述处理单元1602上报的第一帧的动作详细信息字段中；所述动作详细信息字段包括时间指示子字段、数据1子字段至数据t子字段，所述t为正整数；
[0357]
所述时间指示子字段用于指示处理单元1602上一次成功接收第一响应信息的时刻，所述第一响应信息是所述ap成功接收所述处理单元1602发送的动作信息时发送的响应信息；
[0358]
所述数据1子字段用于指示所述处理单元1602在上一次成功接收所述第一响应信息后的第一个时隙内的动作和报文传输结果；
[0359]
所述数据t子字段用于指示所述处理单元1602上一次成功接收所述第一响应信息后的第t个时隙内的动作和报文传输结果。
[0360]
一种可选的实施方式中，所述处理单元1602根据所述第一神经网络的训练结果更新所述第一神经网络，并在侦听到信道空闲时根据更新后的第一神经网络和所述处理单元当前的状态信息确定是否接入信道，具体用于：将所述处理单元当前的状态信息输入到更新后的第一神经网络，输出第一值和第二值；所述第一值用于表征接入信道获得的预期奖励，所述第二值用于表征不接入信道获得的预期奖励；在所述第一值大于所述第二值时，确
定接入信道；在所述第一值小于所述第二值时，确定不接入信道。
[0361]
本技术实施例和上述所示方法实施例基于同一构思，其带来的技术效果也相同，具体原理请参照上述所示实施例的描述，不再赘述。
[0362]
本技术实施例还提供一种通信装置1700，图17为通信装置1700的结构示意图。所述通信装置1700可以是ap或sta，也可以是支持ap实现上述方法的芯片、芯片系统、或处理器等，还可以是支持sta实现上述方法的芯片、芯片系统、或处理器等。该装置可用于实现上述方法实施例中描述的方法，具体可以参见上述方法实施例中的说明。
[0363]
所述通信装置1700可以包括一个或多个处理器1701。所述处理器1701可以是通用处理器或者专用处理器等。例如可以是基带处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或中央处理器(central processing unit，cpu)。基带处理器可以用于对通信协议以及通信数据进行处理，中央处理器可以用于对通信装置(如，基站、基带芯片，终端、终端芯片，du或cu等)进行控制，执行软件程序，处理软件程序的数据。
[0364]
可选的，所述通信装置1700中可以包括一个或多个存储器1702，其上可以存有指令1704，所述指令可在所述处理器1701上被运行，使得所述通信装置1700执行上述方法实施例中描述的方法。可选的，所述存储器1702中还可以存储有数据。所述处理器1701和存储器1702可以单独设置，也可以集成在一起。
[0365]
存储器1702可包括但不限于硬盘(hard disk drive，hdd)或固态硬盘(solid-state drive，ssd)等非易失性存储器，随机存储记忆体(random access memory，ram)、可擦除可编程只读存储器(erasable programmable rom，eprom)、只读存储器(read-only memory，rom)或便携式只读存储器(compact disc read-only memory，cd-rom)等等。
[0366]
可选的，所述通信装置1700还可以包括收发器1705、天线1706。所述收发器1705可以称为收发单元、收发机、或收发电路等，用于实现收发功能。收发器1705可以包括接收器和发送器，接收器可以称为接收机或接收电路等，用于实现接收功能；发送器可以称为发送机或发送电路等，用于实现发送功能。
[0367]
所述通信装置1700为ap：收发器1705用于执行上述信道接入方法100中的s102、s104，处理器1701用于执行信道接入方法100中的s103。
[0368]
所述通信装置1700为sta：处理器1701用于执行信道接入方法100中的s106。收发器1705用于执行信道接入方法100中的s101、s105。
[0369]
另一种可能的设计中，处理器1701中可以包括用于实现接收和发送功能的收发器。例如该收发器可以是收发电路，或者是接口，或者是接口电路。用于实现接收和发送功能的收发电路、接口或接口电路可以是分开的，也可以集成在一起。上述收发电路、接口或接口电路可以用于代码/数据的读写，或者，上述收发电路、接口或接口电路可以用于信号的传输或传递。
[0370]
又一种可能的设计中，可选的，处理器1701可以存有指令1703，指令1703在处理器1701上运行，可使得所述通信装置1700执行上述方法实施例中描述的方法。指令1703可能固化在处理器1701中，该种情况下，处理器1701可能由硬件实现。
[0371]
又一种可能的设计中，通信装置1700可以包括电路，所述电路可以实现前述方法实施例中发送或接收或者通信的功能。本技术实施例中描述的处理器和收发器可实现在集
成电路(integrated circuit，ic)、模拟ic、射频集成电路rfic、混合信号ic、专用集成电路(application specific integrated circuit，asic)、印刷电路板(printed circuit board，pcb)、电子设备等上。该处理器和收发器也可以用各种ic工艺技术来制造，例如互补金属氧化物半导体(complementary metal oxide semiconductor，cmos)、n型金属氧化物半导体(nmetal-oxide-semiconductor，nmos)、p型金属氧化物半导体(positive channel metal oxide semiconductor，pmos)、双极结型晶体管(bipolar junction transistor，bjt)、双极cmos(bicmos)、硅锗(sige)、砷化镓(gaas)等。
[0372]
本技术实施例和上述信道接入方法100所示方法实施例基于同一构思，其带来的技术效果也相同，具体原理请参照上述信道接入方法100所示实施例的描述，不再赘述。
[0373]
本技术还提供了一种计算机可读存储介质，用于储存计算机软件指令，当所述指令被通信装置执行时，实现上述任一方法实施例的功能。
[0374]
本技术还提供了一种计算机程序产品，用于储存计算机软件指令，当所述指令被通信装置执行时，实现上述任一方法实施例的功能。
[0375]
本技术还提供了一种计算机程序，当其在计算机上运行时，实现上述任一方法实施例的功能。
[0376]
上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本技术实施例所述的交互或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，高密度数字视频光盘(digital video disc，dvd))、或者半导体介质(例如，固态硬盘(solid state drive，ssd))等。
[0377]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。