一种面向多回路无线网络化控制系统的端边协同接入控制与资源分配方法

本发明涉及接入控制与无线资源分配的，尤其涉及一种面向多回路无线网络化控制系统的端边协同接入控制与资源分配方法。

背景技术：

1、随着工业互联网、智能制造和无线控制技术的发展，越来越多的工业设备通过无线网络接入控制系统，实现状态感知、控制指令传输和协同作业。无线网络化控制系统能够减少线缆部署成本，提高系统灵活性，适用于移动机器人、自动导引车、机械臂和生产线设备等工业场景。在多回路无线网络化控制系统中，多个控制回路通过共享无线资源与边缘服务器进行通信，边缘服务器可根据上传的状态信息生成边缘辅助控制输入，以提升控制性能和系统协同能力。

2、然而，工业无线网络中的子载波、带宽和发射功率等无线资源通常是有限的。当多个控制回路同时请求边缘辅助控制时，容易产生接入竞争和资源冲突。若控制回路未能及时获得有效边缘服务，可能导致状态上传失败、控制输入延迟或控制误差增大，进而引发控制性能下降甚至超过误差阈值。因此，如何在有限无线资源条件下，根据各控制回路的控制状态、无线链路状态和资源占用情况进行接入控制与无线资源分配，是多回路无线网络化控制系统中的关键问题。

3、现有接入控制与资源分配方法主要包括集中式调度方法和端侧分布式方法。集中式调度方法通常需要边缘服务器持续收集所有控制回路的全局状态信息，并在每个时隙进行统一优化，容易带来较大的通信开销和计算复杂度，且在控制回路数量变化时可扩展性不足。端侧分布式方法虽然可减少全局信息收集，但难以利用全局资源竞争信息完成接入授权和无线资源协调。

4、近年来，深度强化学习方法受到广泛关注，其通过与环境交互学习自适应策略的能力，被用于解决无线接入控制和资源分配问题。但是，现有方法多基于固定时隙的马尔可夫决策过程进行建模，决策智能体通常需要在每个时隙重复更新请求决策，容易造成不必要的高频请求交互和策略波动。同时，现有方法多采用固定维度状态输入，难以适应边缘侧请求集合数量动态变化的场景，也难以充分刻画多个控制回路之间的资源竞争关系。因此，亟需一种面向多回路无线网络化控制系统的端边协同接入控制与资源分配方法，以在有限无线资源和时变工业信道条件下兼顾控制性能、通信能耗和决策开销。

技术实现思路

1、本发明旨在解决多回路无线网络化控制系统在有限无线资源和时变工业无线信道条件下，难以兼顾闭环控制性能、通信能耗和端边交互开销的问题。为此，本发明提出一种面向多回路无线网络化控制系统的端边协同接入控制与资源分配方法，通过端侧请求-持续时隙数联合决策减少重复决策与请求，通过边缘侧动态令牌化决策实现对动态请求集合的接入授权和无线资源联合分配。

2、为了达到上述目的，本发明的技术方案是这样实现的：一种面向多回路无线网络化控制系统的端边协同接入控制与资源分配方法，其步骤如下：

3、s1：构建多回路无线网络化控制系统的端边协同控制-通信架构；

4、s2：将端边协同控制-通信架构中的端边协同接入控制与资源分配问题建模为分层半马尔可夫决策模型；

5、s3：设计端侧共享决策网络与边缘侧令牌化决策网络，并基于分层半马尔可夫决策模型进行端边协同强化学习训练；训练完成的端侧共享决策网络根据无线控制回路的端侧局部状态确定是否发起边缘辅助控制请求及相应的动作持续时隙数，训练完成的边缘侧令牌化决策网络根据动态请求集合执行接入授权，并生成满足无线资源约束的带宽和发射功率分配结果。

6、优选地，所述端边协同控制-通信架构包括个无线控制回路和一个边缘服务器，无线控制回路集合记为；将运行时间划分为个等长时隙，时隙索引；在每个时隙内，各无线控制回路根据自身局部控制状态和无线通信状态判断是否请求边缘辅助控制，从而确定是否产生边缘辅助控制请求；边缘服务器根据接收到的边缘辅助控制请求、当前无线资源状态以及正在服务的控制回路状态，执行接入授权选择、带宽分配和发射功率分配。

7、优选地，所述分层半马尔可夫决策模型包括端侧半马尔可夫决策模型和边缘侧半马尔可夫决策模型，端侧半马尔可夫决策模型用于描述各无线控制回路如何根据端侧局部状态判断是否请求边缘辅助控制，以及边缘辅助控制请求决策需要保持的时隙数；

8、所述边缘侧半马尔可夫决策模型用于描述边缘服务器如何根据动态到达的边缘辅助控制请求和当前无线资源状态进行集中式资源协调；边缘侧半马尔可夫决策模型根据当前参与资源竞争的无线控制回路集合进行授权选择和资源分配；

9、端侧半马尔可夫决策模型和边缘侧半马尔可夫决策模型之间的交互耦合机制：

10、当无线控制回路到达端侧决策时刻时，根据当前的端侧局部状态确定端侧决策动作；当端侧决策动作表示发起边缘辅助控制请求时，将相应无线控制回路加入新到达请求集合；边缘服务器在接收到新的边缘辅助控制请求时，根据新到达请求、在服控制回路和可用无线资源构造边缘侧动态决策状态，并执行新增接入授权和无线资源分配；新增接入授权结果和无线资源分配结果决定状态上传能否在规定时延内完成，并进一步决定是否形成有效边缘控制；有效边缘控制结果改变被控对象所采用的控制输入，使被控对象的状态和控制误差发生变化；传感器重新采集状态后，更新端侧局部状态和边缘侧动态决策状态。

11、优选地，所述端侧决策动作通过改变边缘辅助控制请求集合影响边缘侧新增接入授权选择和无线资源分配；边缘侧新增接入授权选择和无线资源分配通过改变状态上传结果、有效边缘控制结果以及被控对象状态，进一步影响后续端侧局部状态和端侧决策动作；

12、第个无线控制回路在端侧决策时刻产生的端侧半马尔可夫转移样本为：

13、；

14、其中，表示第个无线控制回路在第个端侧决策时刻的端侧局部状态，表示下一端侧决策时刻的端侧局部状态，为端侧决策动作，表示端侧决策动作持续时隙数；为第个无线控制回路的第个端侧决策时刻的区间回报；

15、第个边缘侧决策时刻产生的边缘侧半马尔可夫转移样本为：

16、；

17、其中，表示第个边缘侧决策时刻的边缘侧动态决策状态，表示第个边缘侧决策时刻的边缘侧动态决策状态；为第个边缘侧决策时刻边缘执行的动作；为第个边缘侧决策时刻的边缘侧区间回报；为相邻两个边缘侧决策时刻之间的时隙数量。

18、优选地，所述端侧半马尔可夫决策模型的端侧局部状态包括局部信道状态信息、等待时长、安全裕度和安全裕度变化趋势；第个无线控制回路的端侧局部状态表示为：

19、；

20、其中，表示第个无线控制回路在时隙获得的局部信道状态信息，为第个无线控制回路在时隙的等待时长，为第个无线控制回路在时隙的安全裕度，为安全裕度变化趋势；

21、第个无线控制回路根据端侧局部状态输出的端侧决策动作为请求-持续时隙数联合动作：；其中，表示第个无线控制回路在第个端侧决策时刻是否发起边缘辅助控制请求的指示变量，表示与指示变量对应的端侧决策动作持续时隙数，为最大持续时长；

22、第个无线控制回路的第个端侧决策时刻的区间回报为：

23、；

24、其中，表示端侧在一个决策时刻执行一次决策所产生的决策开销；为折扣因子；第个无线控制回路在时隙的端侧即时回报

25、；

26、其中，表示第个无线控制回路在时隙的跟踪误差相对于阈值的安全裕度，为发起一次边缘辅助控制请求所消耗的能量，为第个无线控制回路在时隙的边缘辅助控制请求变量；表示第个无线控制回路在时隙发起边缘辅助控制是否得到有效边缘控制，为第个无线控制回路在时隙的有效边缘控制指示变量，表示跟踪误差超过阈值的指示函数，、、、均为正的权重系数；

27、所述边缘侧动态决策状态由第个边缘侧决策时刻当前参与授权判断和资源保持的无线控制回路集合中各无线控制回路的状态以及当前可用无线资源状态构成，为；其中，表示第个无线控制回路的状态，为第个无线控制回路在边缘侧决策时刻是否有活跃的边缘辅助控制请求变量，表示第个无线控制回路当前的服务状态，表示第个无线控制回路在边缘侧决策时刻的剩余服务时隙数；表示边缘侧决策时刻可用于新增接入授权的剩余子载波数量；

28、第个边缘侧决策时刻边缘执行的动作；其中，和分别表示在第个边缘侧决策时刻分配给第个无线控制回路的带宽和发射功率；为边缘服务器在第个边缘侧决策时刻从当前新到达的边缘辅助控制请求组成新到达请求集合中选择的新增接入授权集合；

29、第个边缘侧决策时刻的边缘侧区间回报为：；其中，1表示第个边缘侧决策时刻内的时隙偏移索引；边缘侧即时回报；其中，表示第个无线控制回路在时隙的发射功率，表示最大允许发射功率；为个无线控制回路的上行时延，表示第个无线控制回路在时隙的调度变量；表示边缘服务失败惩罚，、、均为正的权重系数。

30、优选地，所述端侧共享决策网络部署于各无线控制回路，各无线控制回路的端侧共享决策网络使用相同的网络结构和网络参数，并根据各自的端侧局部状态独立生成端侧决策动作；边缘侧令牌化决策网络部署于边缘服务器，用于处理规模动态变化的资源协调集合，并输出接入授权与无线资源分配结果；端侧共享决策网络和边缘侧令牌化决策网络通过边缘辅助控制请求、接入授权结果、状态上传结果和有效边缘控制指示变量进行交互；

31、所述边缘侧令牌化决策网络根据当前参与资源协调的无线控制回路构造边缘侧动态令牌集合；

32、基于端侧和边缘侧的半马尔可夫转移样本训练端侧共享决策网络和边缘侧令牌化决策网络。

33、优选地，所述端侧共享决策网络以端侧局部状态为输入，端侧候选动作由指示变量与组合构成，共包含2个候选端侧决策动作，端侧共享决策网络输出与各候选端侧决策动作一一对应的动作价值，并选择动作价值最大的候选端侧决策动作；

34、在第个边缘侧决策时刻，根据参与授权判断和资源保持的无线控制回路构造边缘侧动态令牌集合：对于任一，构造与第个无线控制回路对应的边缘侧令牌：

35、；

36、其中，表示第个无线控制回路在边缘侧决策时刻对应的端侧局部状态， 表示第个无线控制回路的边缘控制请求指示变量，表示第个无线控制回路是否处于边缘服务状态，表示第个无线控制回路的剩余服务时隙数，表示边缘服务器在边缘侧决策时刻的剩余可用子载波数量；

37、边缘侧动态令牌集合表示为：；

38、所述端侧共享决策网络和边缘侧令牌化决策网络分别根据端侧半马尔可夫转移样本和边缘侧半马尔可夫转移样本进行参数更新，端侧决策动作通过改变边缘辅助控制请求集合影响边缘侧决策状态，边缘侧接入授权和无线资源分配结果通过改变通信结果及被控对象状态影响后续端侧决策，在共同的交互过程中实现端边协同训练；

39、在训练阶段，维护端侧共享决策网络参数、边缘侧令牌化决策网络参数、端侧经验缓存和边缘侧轨迹缓存；在训练交互过程中，各无线控制回路根据自身的端侧局部状态生成端侧决策动作，边缘服务器根据边缘侧动态令牌集合生成接入授权结果、带宽分配结果和发射功率分配结果；根据端侧决策动作和边缘侧决策动作推进被控对象状态及无线通信状态，并分别计算端侧区间回报和边缘侧区间回报；当端侧决策动作执行结束时，生成对应的端侧半马尔可夫转移样本，并将端侧半马尔可夫转移样本存储至端侧经验缓存；当到达下一边缘侧决策时刻时，生成对应的边缘侧半马尔可夫转移样本，并将边缘侧半马尔可夫转移样本存储至边缘侧轨迹缓存。

40、优选地，所述端侧共享决策网络采用基于竞争结构的双重深度q网络，包括评估q网络和目标q网络；评估q网络用于根据当前端侧局部状态输出各候选端侧决策动作的当前动作价值，目标q网络用于在训练阶段计算目标动作价值；竞争结构将动作价值函数分解为状态价值和动作优势，各候选端侧决策动作的当前动作价值为：

41、；

42、其中，表示端侧候选决策动作联合集合包含的动作数量，表示动作联合集合进行遍历时所使用的动作索引；表示评估q网络的可训练参数；表示评估q网络对状态动作对的动作价值估计；

43、所述边缘侧令牌化决策网络采用演员-评论家结构，包括演员网络和评论家网络；所述演员网络包括嵌入模块、编码模块、授权选择模块和资源分配模块，用于生成接入授权结果和无线资源分配结果；所述评论家网络用于在训练阶段根据边缘侧动态令牌集合估计边缘侧动态决策状态的状态价值；演员网络的嵌入模块对边缘侧令牌中的连续特征进行归一化处理，再通过至少一个全连接层将边缘侧令牌映射至统一维度的初始隐藏特征；编码模块包括至少一个transformer编码块，每个transformer编码块包括多头注意力子层和前馈神经网络子层，多头注意力子层和前馈神经网络子层子层均采用层归一化和残差连接；通过多头注意力子层的多头自注意力计算，使每个无线控制回路的隐藏特征自适应融合当前资源协调的无线控制回路集合中其他无线控制回路的请求状态、控制状态和资源占用状态，从而获得表征回路间资源竞争关系的关系增强特征；授权选择模块仅对新到达请求集合中的无线控制回路执行新增授权判断，并根据关系增强特征输出授权优先级分数，根据新到达请求数量和剩余可用子载波数量确定新增授权数量，根据授权优先级分数以及新增接入授权数量，得到新增接入授权集合；将新增接入授权集合与正在服务的无线控制回路集合合并，得到当前参与无线资源分配的无线控制回路集合；资源分配模块根据当前参与无线资源分配的无线控制回路集合中各无线控制回路的关系增强特征，输出带宽分配随机变量和发射功率分配随机变量对应的分配参数，并经归一化和资源约束映射得到实际带宽和发射功率分配结果。

44、优选地，在训练阶段，采用双重q学习计算目标动作价值，从端侧经验缓存中采样端侧半马尔可夫转移样本，根据目标动作价值更新评估q网络 ，目标q网络由评估q网络参数进行同步：由评估q网络选择下一端侧局部状态对应的最优候选端侧决策动作：；由目标q网络计算半马尔可夫目标动作价值：；其中，为目标q网络的网络参数；

45、所述transformer编码块编码后的关系增强特征集合为：

46、；

47、其中，表示嵌入模块和编码模块共同构成的编码函数，表示第个边缘侧决策时刻的边缘侧动态令牌集合，表示第个无线控制回路融合其他参与资源协调回路信息后的关系增强特征；

48、授权优先级分数：；

49、新增授权数量为：；

50、新增接入授权集合为：；

51、其中，表示根据关系增强特征输出授权优先级分数的映射函数；表示按照授权优先级分数由高到低从新到达请求集合中选取前个无线控制回路的操作。

52、对于边缘侧令牌化决策网络，根据边缘侧半马尔可夫转移样本计算边缘侧时序差分残差：

53、；

54、其中，表示评论家网络输出的状态价值，表示评论家网络的参数，为折扣项；根据边缘侧时序差分残差计算边缘侧优势估计，并基于边缘侧优势估计更新边缘侧令牌化决策网络。

55、优选地，边缘服务器根据新到达请求集合和正在服务的无线控制回路集合构造当前参与授权判断和资源保持的无线控制回路集合：；

56、边缘服务器在第个边缘侧决策时刻，从当前新到达的边缘辅助控制请求所对应的无线控制回路集合中选择新增接入授权集合，并对新获得接入授权以及正在接受边缘辅助控制的无线控制回路进行带宽分配和发射功率分配。

57、新增接入授权集合满足：；其中，表示新增接入授权集合中无线控制回路的数量；

58、所述端侧共享决策网络的至少一个全连接层采用噪声线性层，噪声线性层的权重和偏置分别表示为：和；其中，、、和均为可学习参数，和为随机噪声；训练过程中按照预设频率重新采样随机噪声，使端侧共享决策网络在不同端侧局部状态下产生不同的动作价值扰动，进而实现与状态相关的动作探索；在确定性执行阶段使用可学习参数输出动作价值；

59、重复执行端边交互采样和网络更新过程，直至达到预设最大训练回合数，训练完成后，将端侧共享决策网络中的评估q网络参数副本部署至各无线控制回路，将边缘侧令牌化决策网络的演员网络参数部署至边缘服务器；

60、运行阶段，各无线控制回路根据自身的端侧局部状态确定是否发起边缘辅助控制请求及相应的动作持续时隙数；边缘服务器根据新到达请求集合和正在服务的无线控制回路集合构造边缘侧动态令牌集合，执行确定性top-k接入授权，并生成满足系统带宽和最大发射功率约束的资源分配结果。

61、与现有技术相比，本发明的有益效果在于：

62、1. 本发明将端边协同接入控制与资源分配问题建模为分层半马尔可夫决策模型，使端侧请求决策和边缘侧资源协调决策能够在不同决策时刻下进行，从而更符合多回路无线网络化控制系统中控制状态连续演化、接入请求异步到达和边缘资源动态占用的实际特性；

63、2. 本发明在端侧设计请求-持续时隙数联合动作，使无线控制回路不仅判断是否请求边缘辅助控制，还同时确定请求决策的保持时间，能够减少不必要的重复请求和高频端边交互，降低决策开销和通信开销；

64、3. 本发明在边缘侧构造动态令牌集合，并通过令牌化策略网络提取各无线控制回路之间的资源竞争特征，使边缘服务器只处理当前参与资源竞争和资源保持的无线控制回路，从而提高边缘侧策略对不同系统规模和动态请求数量的适应能力；

65、4. 本发明基于资源竞争特征执行top-k授权选择，并对新授权控制回路和在服控制回路进行无线资源联合分配，能够在有限子载波、系统总带宽和发射功率约束下协调多个无线控制回路的边缘辅助控制需求，提高有限无线资源条件下的服务可靠性和资源利用效率。