一种海洋低频电磁通信波形参数自适应决策方法及系统

本发明涉及一种海洋低频电磁通信波形参数自适应决策方法及系统，属于海洋低频电磁通信和智能波形决策。

背景技术：

1、海洋低频电磁通信具有传播环境复杂、信道条件随场景变化明显等特点。工作频率、传播距离、收发深度、水深和噪声底会影响路径损耗、接收信噪比及误码性能。不同任务又可能分别偏重高速传输、高可靠、低功耗或均衡鲁棒，因此需要根据当前环境自适应配置波形参数。现在海洋低频电磁通信波形参数决策存在以下两点不足。

2、一、现有参数决策不足：固定参数方案难以适应不同海洋场景和通信模式；一次性联合选择全部参数可能造成较大的配置跳变。采用增量式调参时，候选动作还受到调制、编码、扩频和功率档位边界约束，若不区分有效动作和无效动作，决策器可能输出无法改变实际参数状态的控制指令。

3、二、现有强化学习不足：普通dqn通常在全部离散动作上执行探索和最大值选择，难以直接体现波形参数的可执行边界；其使用同一价值估计完成动作选择和评价，还可能产生q值过估计。连续交互样本之间的相关性及目标值快速变化也会影响训练稳定性。

技术实现思路

1、本发明为解决现有海洋低频电磁通信中收环境因素、信道衰减、多径分量随场景变化以及采用固定通信参数影响，难以在不同任务模式下同时兼顾通信速率、可靠性和功耗的的问题，进而提出一种海洋低频电磁通信波形参数自适应决策方法及系统。

2、本发明为解决上述问题采取的技术方案是：本发明提出的一种海洋低频电磁通信波形参数自适应决策方法，包括：

3、步骤1：根据海洋低频电磁通信的务配置接口获取信道与任务信息；

4、步骤2：根据信道与任务信息，计算海洋低频电磁传播的信道特征和链路性能指标；

5、步骤3：根据信道与任务信息、信道特征和链路性能指标，以及当前波形参数和决策进度，构建决策状态向量；

6、步骤4：根据当前波形参数对应的参数索引状态，以及各参数允许范围，生成动作掩码，动作掩码用于标识保持动作以及各波形参数分别升一档或降一档的增量动作的有效性；

7、步骤5：构建决策模型并进行训练，将决策状态向量和动作掩码输入训练后的决策模型，在有效动作范围内选择波形参数调整动作；

8、步骤6：根据波形参数调整动作，对相应波形参数调整一档并生成波形参数配置指令；

9、步骤7：获取执行波形参数配置指令后的通信性能反馈，根据通信性能反馈更新当前波形参数和决策状态向量，并重复信道特征和链路性能指标的计算、决策状态向量的构建、动作掩码的生成、波形参数调整动作的选择以及波形参数配置指令的生成，直至满足预设终止条件。

10、进一步的，步骤1信道与任务信息包括海洋低频电磁通信场景的工作频率、传播距离、发射深度、接收深度、水深和噪声底、当前调制方式、编码率、扩频因子和发射功率以及当前通信模式对应的速率、可靠性和功耗目标权重。

11、进一步的，步骤2具体包括：

12、根据海洋低频电磁传播模型计算直达波、海面反射波、海底反射波及侧向波，得到目标位置附近的路径损耗、局部路径损耗均值、标准差、距离方向斜率和典型传播分量；

13、根据信道特征和当前波形参数，计算接收功率、信噪比、所需信噪比、信噪比裕量、误码率、速率指标、可靠性指标、功耗指标及综合通信效用。

14、进一步的，步骤3中决策状态向量包括通信模式目标权重、海洋通信场景参数、局部信道特征、当前链路性能、当前波形参数档位和决策进度，其中，决策状态向量的维度根据获取的信道与任务信息进行设置并进行状态归一化。

15、进一步的，步骤4中动作掩码的生成，包括：

16、将当前波形参数表示为参数索引状态，，其中，分别为调制方式索引、编码率索引、扩频因子索引和发射功率索引；

17、对保持动作以及各波形参数分别降一档或升一档的增量动作进行计算，若动作施加后的参数索引状态与当前参数索引状态不同且各参数索引位于允许范围内，则该动作的掩码值置为有效；若动作施加后的参数索引状态与当前参数索引状态相同，则该动作的掩码值置为无效；

18、根据各动作的掩码值，得到与候选动作数量相同的动作掩码向量。

19、进一步的，步骤5中决策模型包括评估网络和目标网络，评估网络和目标网络结构相同，均包括公共特征提取单元、状态价值分支和动作优势分支；

20、决策模型的训练包括：

21、将当前状态、执行动作、奖励、下一状态、终止标志以及步骤4生成的下一状态动作掩码组成训练样本，写入循环经验回放池；

22、从循环经验回放池中采样批量训练样本，由评估网络在下一状态动作掩码限定的有效动作范围内选择最优动作，由目标网络评价最优动作的价值，构造时序差分目标；

23、根据评估网络对执行动作输出的q值与时序差分目标计算损失，更新评估网络；

24、对目标网络进行软更新或硬更新中的其中一种，完成决策模型的训练。

25、进一步的，步骤5具体包括：

26、将决策状态向量输入已训练的动作优势分支，输出与候选动作对应的q值；

27、在探索阶段，仅从掩码值为有效的动作中随机选择波形参数调整动作；

28、在利用阶段，将掩码值为无效的动作对应的q值替换为预设极小值，并从掩码值为有效的动作中选择q值最大的动作作为波形参数调整动作。

29、进一步的，步骤6中获取执行波形参数配置指令后的通信性能反馈，包括：

30、获取调整后的信噪比、误码率、速率和功耗；

31、根据调整后的信噪比、误码率、速率和功耗，计算综合通信效用及其相对前一步的变化量；

32、根据参数切换、信噪比违规、误码率违规、单次升功率和连续升功率情况形成奖励。

33、此外，本发明还提出了一种海洋低频电磁通信波形参数自适应决策系统，包括：

34、海洋信道信息获取模块，用于获取信道与任务信息；

35、信道及性能特征计算模块，用于根据信道与任务信息计算信道特征和链路性能指标；

36、决策状态构建模块，用于根据信道与任务信息、信道特征、链路性能指标、当前波形参数和决策进度构建决策状态向量；

37、动作掩码生成模块，用于根据当前波形参数对应的参数索引状态和各参数允许档位范围生成动作掩码；

38、波形参数决策模块，用于根据决策状态向量和动作掩码在有效动作范围内选择波形参数调整动作；

39、波形参数配置执行模块，用于根据波形参数调整动作对相应波形参数调整一档并生成波形参数配置指令；

40、通信性能反馈模块，用于获取执行波形参数配置指令后的通信性能反馈，并将通信性能反馈传输至信道及性能特征计算模块和决策状态构建模块，以驱动循环决策。

41、本发明的有益效果是：

42、1）、本发明通过将海洋信道信息、通信性能与当前波形参数共同构建为决策状态，使决策模型的输入能够与海洋低频电磁传播状态及通信任务目标建立对应关系，从而实现了面向海洋通信场景的参数自适应决策，解决了固定参数方案难以适应不同海洋场景和通信模式的问题。

43、2）、本发明采用增量式波形参数决策方式，每一步仅对调制方式、编码率、扩频因子或发射功率中的一个参数进行一档调整，显著降低了单次参数切换幅度，避免了现有技术中一次性联合选择全部参数所造成的较大配置跳变问题。

44、3）、本发明通过动态动作掩码机制，根据当前参数档位和各参数的允许范围逐项试算动作结果，将超出允许范围的升降档动作标记为无效，确保决策仅在有效动作集合内进行，从而避免了无效控制指令的输出和不必要的参数切换，提高了参数配置的可执行性。

45、4）、本发明在掩码化训练过程中，将下一状态动作掩码写入经验回放样本，并在构造时序差分目标时由评估网络在下一状态的有效动作范围内选择动作、再由目标网络评价该动作，使训练阶段与实际决策阶段采用一致的动作可执行约束，有效缓解了动作价值过估计、训练目标漂移和收敛稳定性不足的问题。

46、5）、本发明通过综合考虑速率、可靠性和功耗，并引入参数切换、信噪比违规、误码率违规、单次升功率及连续升功率等多项反馈，使输出参数与当前通信模式及工程约束相匹配，在满足参数可执行性和通信约束的条件下实现了调制方式、编码率、扩频因子和发射功率的自适应配置，提升了不同通信模式下的综合通信效用和决策稳定性。

47、6）、本发明采用dueling结构分别表征状态价值和动作优势，结合double dqn缓解动作价值过估计，在相同环境条件下相较于普通dqn方法，全局平均最终综合通信效用提升约10.2%，全局平均参数切换距离降低约9.0%，表明本方案在通信性能和参数切换平滑性方面均具有显著优势。

48、7）、本发明的训练阶段在海洋信道仿真环境或历史通信数据中更新网络参数并保存模型，部署阶段仅需加载训练后的模型，根据实时测量、信道估计或任务配置数据进行前向推理以输出波形参数配置指令，无需在通信设备运行时执行经验回放和反向传播，降低了对通信设备计算资源的实时要求，便于在实际海洋通信系统中部署应用。

49、8）、本发明的状态向量维度可根据可获取特征进行灵活设置，不以固定维数限制保护范围，同时动作掩码规则还可扩展至设备不支持的参数组合或明确禁止的配置条件，具有良好的场景适应性和扩展性。