通信信息确定方法、装置、设备及可读存储介质与流程
本申请属于通信,具体涉及一种通信信息确定方法、装置、设备及可读存储介质。
背景技术:
1、随着智慧家庭物联网与wi-fi技术不断普及,家庭网络普遍同时存在两类通信链路:一是终端接入无线路由器的传统终端至路由器(wi-fi to infrastructure,w2i)链路,二是设备之间基于wi-fi direct实现直连通信的终端间对等通信(wi-fi to wi-fi,w2w)链路。由于两类链路共用无线频谱资源,极易引发同频、邻频干扰,造成网络吞吐量降低、传输时延抖动明显等问题。
2、针对上述干扰问题,相关技术搭建了“主节点选择—资源分配—任务调度”一体化调度框架,具体是先结合设备硬件参数、感知通信能力、设备互操作性等指标开展分层加权评估,选出主节点;再由主节点从系统层面统筹协调不同协议的通信资源与业务任务,并结合深度强化学习算法完成时频资源的自适应分配,以此提升网络服务质量与资源整体利用率。但该方案存在明显缺陷:面对邻居wi-fi信号强弱波动、高清视频、在线游戏等高时延敏感业务突发上线等动态变化的网络场景时,调度策略响应滞后,易引发网络运行波动,从而导致无线资源分配效率较低。
技术实现思路
1、本申请实施例提供一种通信信息确定方法、装置、设备及可读存储介质,解决相关技术无线资源分配效率较低的问题。
2、第一方面,提供一种通信信息确定方法,所述方法包括:
3、构建与第一网络环境中第一终端至终端w2w链路对应的第一智能体;
4、获取所述第一智能体的第一实时通信数据、第一历史通信数据和第一动作轨迹序列,所述第一动作轨迹序列由所述第一智能体在多个历史时间步中每个历史时间步对应的第一通信数据和第一执行动作组成,所述第一执行动作用于表征所述第一智能体选择第一通信子带和第一发射功率;
5、将所述第一历史通信数据输入目标模型进行干扰功率值预测,得到所述第一智能体的第一预测干扰功率值;
6、将所述第一实时观测数据、所述第一预测干扰功率值和所述第一动作轨迹序列输入所述目标模型,得到所述第一智能体的多个第一执行动作一一对应的多个第一q值,所述第一q值用于表征所述第一智能体执行所对应的第一执行动作的预期回报;
7、基于所述多个第一q值确定第一目标执行动作,所述第一目标执行动作为所述多个第一q值中最大第一q值对应的第一执行动作,所述第一目标执行动作用于指示所述第一w2w链路选择所述第一目标执行动作对应的第一通信子带和第一发射功率。
8、第二方面,本申请实施例提供一种通信信息确定装置,所述装置包括:
9、第一构建模块,用于构建与第一网络环境中第一终端至终端w2w链路对应的第一智能体;
10、第一获取模块,用于获取所述第一智能体的第一实时通信数据、第一历史通信数据和第一动作轨迹序列,所述第一动作轨迹序列由所述第一智能体在多个历史时间步中每个历史时间步对应的第一通信数据和第一执行动作组成,所述第一执行动作用于表征所述第一智能体选择第一通信子带和第一发射功率;
11、第一预测模块,用于将所述第一历史通信数据输入目标模型进行干扰功率值预测,得到所述第一智能体的第一预测干扰功率值;
12、第一处理模块,用于将所述第一实时观测数据、所述第一预测干扰功率值和所述第一动作轨迹序列输入所述目标模型,得到所述第一智能体的多个第一执行动作一一对应的多个第一q值,所述第一q值用于表征所述第一智能体执行所对应的第一执行动作的预期回报;
13、第一确定模块,用于基于所述多个第一q值确定第一目标执行动作,所述第一目标执行动作为所述多个第一q值中最大第一q值对应的第一执行动作,所述第一目标执行动作用于指示所述第一w2w链路选择所述第一目标执行动作对应的第一通信子带和第一发射功率。
14、第三方面,本申请实施例提供一种电子设备,包括处理器,所述处理器用于:
15、构建与第一网络环境中第一终端至终端w2w链路对应的第一智能体;
16、获取所述第一智能体的第一实时通信数据、第一历史通信数据和第一动作轨迹序列,所述第一动作轨迹序列由所述第一智能体在多个历史时间步中每个历史时间步对应的第一通信数据和第一执行动作组成,所述第一执行动作用于表征所述第一智能体选择第一通信子带和第一发射功率;
17、将所述第一历史通信数据输入目标模型进行干扰功率值预测,得到所述第一智能体的第一预测干扰功率值;
18、将所述第一实时观测数据、所述第一预测干扰功率值和所述第一动作轨迹序列输入所述目标模型,得到所述第一智能体的多个第一执行动作一一对应的多个第一q值,所述第一q值用于表征所述第一智能体执行所对应的第一执行动作的预期回报;
19、基于所述多个第一q值确定第一目标执行动作,所述第一目标执行动作为所述多个第一q值中最大第一q值对应的第一执行动作,所述第一目标执行动作用于指示所述第一w2w链路选择所述第一目标执行动作对应的第一通信子带和第一发射功率。
20、第四方面,本申请实施例提供一种电子设备,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的通信信息确定方法的步骤。
21、第五方面,本申请实施例提供一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的通信信息确定方法的步骤。
22、第六方面,本申请实施例提供一种计算机程序产品,包括计算机指令,该计算机指令被处理器执行时实现如上所述的通信信息确定方法的步骤。
23、本申请的通信信息确定方法,包括构建与第一网络环境中第一终端至终端w2w链路对应的第一智能体;获取所述第一智能体的第一实时通信数据、第一历史通信数据和第一动作轨迹序列,所述第一动作轨迹序列由所述第一智能体在多个历史时间步中每个历史时间步对应的第一通信数据和第一执行动作组成,所述第一执行动作用于表征所述第一智能体选择第一通信子带和第一发射功率;将所述第一历史通信数据输入目标模型进行干扰功率值预测,得到所述第一智能体的第一预测干扰功率值;基于所述多个第一q值确定第一目标执行动作,所述第一目标执行动作为所述多个第一q值中最大第一q值对应的第一执行动作,所述第一目标执行动作用于指示所述第一w2w链路选择所述第一目标执行动作对应的第一通信子带和第一发射功率。该方法通过目标模型基于历史通信数据的时序特性预测未来的干扰功率值,然后再通过预测干扰功率值确定的第一目标执行动作指示第一w2w链路选择第一通信子带和第一发射功率,这样可以提前感知信道动态波动,使得w2w链路提前调整信道和发射功率,规避集中调度带来的延迟与网络震荡,动态适配wi-fi干扰波动场景,进而提升无线资源分配效率。
1.一种通信信息确定方法,其特征在于,所述方法包括:
2.根据权利要求1所述的通信信息确定方法,其特征在于,所述目标模型包括门控循环单元gru模块和长短期记忆网络lstm模块;
3.根据权利要求2所述的通信信息确定方法,其特征在于,所述目标模型还包括残差q网络rqn模块;
4.根据权利要求1所述的通信信息确定方法,其特征在于,所述将所述第一历史通信数据输入目标模型进行干扰功率值预测,得到所述第一智能体的第一预测干扰功率值之前,所述方法还包括:
5.根据权利要求4所述的通信信息确定方法,其特征在于,所述利用所述每个时间步对应的训练样本组,计算所述每个时间步对应的全局联合q值和目标q值,包括:
6.根据权利要求4所述的通信信息确定方法,其特征在于,所述初始模型包括初始gru模块和初始lstm模块;
7.根据权利要求6所述的通信信息确定方法,其特征在于,所述初始模型还包括初始rqn模块;
8.一种通信信息确定装置,其特征在于,所述装置包括:
9.一种电子设备,其特征在于,所述电子设备包括处理器,所述处理器用于:
10.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的通信信息确定方法的步骤。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的通信信息确定方法的步骤。
12.一种计算机程序产品,其特征在于,包括计算机指令,所述计算机指令被处理器执行时实现如权利要求1至7中任一项所述的通信信息确定方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com