数字孪生驱动多模态场景预测与资源预调度方法

本发明涉及通信感知计算融合，尤其涉及一种数字孪生驱动多模态场景预测与资源预调度方法。

背景技术：

1、随着5g-a和6g技术的发展，基站逐步由单一通信接入节点演进为集通信传输、环境感知和边缘计算于一体的通感算一体化节点。在低空经济、车联网、智慧园区、工业巡检和城市治理等动态场景中，基站需要同时感知目标位置和运动状态，维持可靠通信链路，并为人工智能模型推理、目标识别和任务调度提供边缘算力支持。

2、现有通感一体化方案通常利用射频回波、信道状态信息、视觉图像或点云数据执行目标检测、角度估计、波束预测或感知辅助通信，其主要关注当前时刻或短时间窗口内的感知结果与资源配置。现有边缘计算资源调度方案则多基于当前队列长度、任务负载和链路状态进行卸载或算力分配。这类方法能够在一定程度上改善通信质量和任务时延，但其调度过程往往是被动响应式的，即在波束失配、感知盲区、链路劣化或算力拥塞已经发生或即将发生时才进行调整。

3、在低空无人机、车辆高速移动或工业场景遮挡频繁变化的情况下，仅依赖当前观测状态进行资源配置容易造成以下技术问题：第一，目标被建筑物、车辆或设备遮挡时，基站难以提前判断潜在散射体和感知盲区，导致感知扫描区域选择滞后；第二，信道状态和波束质量具有强时变性，若不能提前预测未来链路变化，可能出现波束切换不及时和通信吞吐下降；第三，通感算任务共享边缘计算资源，若仅在队列拥塞后调整算力，关键任务可能错过截止时间；第四，现有数字孪生网络多用于离线仿真、网络规划或宏观态势显示，尚未充分形成面向基站运行时资源动作的生成式预测和反事实推演闭环。

4、因此，需要研发出一种数字孪生驱动多模态场景预测与资源预调度方法来解决以上问题。

技术实现思路

1、本发明的目的就在于为了解决上述问题设计了一种数字孪生驱动多模态场景预测与资源预调度方法。

2、本发明通过以下技术方案来实现上述目的：

3、数字孪生驱动多模态场景预测与资源预调度方法，方法由通感算一体化基站、基站侧边缘服务器或通感算一体化基站与基站侧边缘服务器的协同控制节点执行，方法包括如下步骤：

4、s1、采集目标服务区域内由通信收发模块、感知采集模块和边缘计算模块产生的多模态通感算状态数据，并按照统一时间戳形成当前孪生状态张量；

5、s2、依据当前孪生状态张量更新通感算数字孪生体，通感算数字孪生体包括物理空间状态、无线信道状态、感知可信度状态和计算资源状态；

6、s3、根据通感算数字孪生体的预测状态与实测状态之间的状态偏差、感知不确定性、通信链路风险和计算资源拥塞程度判断是否满足生成式预测触发条件；在满足生成式预测触发条件时，调用生成式场景补全模型生成未来多个通感算周期的未来孪生状态张量；

7、s4、根据未来孪生状态张量生成资源动作候选集合，并在通感算数字孪生体中对资源动作候选集合执行多步反事实资源推演，得到各资源动作候选对应的通信收益、感知收益、计算收益和风险评分；

8、s5、基于通信收益、感知收益、计算收益和风险评分选择资源预调度策略，并将资源预调度策略转换为波束控制命令、感知采样控制命令和边缘计算调度命令；

9、s6、将波束控制命令、感知采样控制命令和边缘计算调度命令分别下发至通信发射模块、感知采集模块和边缘计算模块；接收实际执行反馈并基于实际执行反馈更新通感算数字孪生体、生成式场景补全模型和风险阈值。

10、优选地，步骤s1中，多模态通感算状态数据包括视觉图像、视频帧、激光点云、毫米波雷达回波、射频感知回波、信道状态信息、参考信号接收功率、信噪比、定位坐标、运动轨迹、任务类型、任务截止时间、边缘服务器队列长度、处理器或图形处理器余量、模型推理深度、功耗预算和历史资源执行结果中的至少两种。

11、优选地，步骤s1中，当前孪生状态张量包括物理空间张量、信道状态张量、感知可信度张量和计算资源向量；物理空间张量用于表示目标位置、速度、遮挡关系和区域拓扑；信道状态张量用于表示路径损耗、散射体分布、波束质量和信道变化趋势；感知可信度张量用于表示感知盲区、模态质量、目标识别置信度和不确定性；计算资源向量用于表示边缘任务队列、处理器余量、功耗预算和任务优先级。

12、进一步地，步骤s3中，生成式预测触发条件包括以下至少一种：状态偏差大于偏差阈值，目标速度或轨迹变化大于运动阈值，感知可信度低于可信阈值，未来信道状态预测误差大于误差阈值，边缘计算队列长度大于拥塞阈值，任务截止时间小于可用推演时间，或历史资源动作导致的通感任务失败概率大于风险阈值。

13、具体地，步骤s3中，生成式场景补全模型为条件扩散模型、生成式transformer模型、时空图生成网络或其组合，生成式场景补全模型以当前孪生状态张量、历史孪生状态序列、遮挡掩码、任务约束和资源约束为条件输入，生成包含遮挡目标分布、潜在散射体分布、未来信道状态、感知盲区分布和计算资源负载趋势的未来孪生状态张量，并输出与未来孪生状态张量对应的不确定性评分。

14、优选地，步骤s4中，资源动作候选集合包括通信波束索引、预编码参数、发射功率、时频资源块、感知扫描角域、感知采样周期、点云或射频回波处理精度、边缘计算频率、模型推理深度、批处理大小、任务卸载比例和任务降级等级中的至少一种；资源动作候选集合由通信最低吞吐量、感知任务截止时间、边缘计算资源上限和功耗预算共同约束。

15、具体地，步骤s4中，多步反事实资源推演包括：在通感算数字孪生体中复制多个未来状态分支；对每个未来状态分支施加不同资源动作候选；在连续多个通感算周期内计算每个资源动作候选的通信吞吐量、波束失配概率、感知完成率、感知盲区面积、计算排队时延、能耗、任务成功率和尾部风险；根据评价函数j(a)=w1t(a)+w2s(a)+w3c(a)-w4d(a)-w5e(a)-w6r(a)确定目标资源动作，其中t(a)表示通信收益，s(a)表示感知收益，c(a)表示计算收益，d(a)表示时延，e(a)表示能耗，r(a)表示风险，w1至w6为权重参数。

16、优选地，步骤s6中，实际执行反馈包括真实目标轨迹、实际通信吞吐量、实际波束质量、实际感知结果、实际计算时延、模型推理结果、能耗和任务完成状态；通感算一体化基站根据实际执行反馈与未来孪生状态张量之间的差异校准物理空间状态、无线信道状态、感知可信度状态和计算资源状态，并基于差异更新生成式场景补全模型的条件输入权重、资源预调度策略的评价函数权重和下一通感算周期的风险阈值。

17、本发明的有益效果在于：

18、第一，通过构建包含物理空间、无线信道、感知可信度和计算资源的多层通感算数字孪生体，使基站能够统一表达通信、感知和计算运行状态；

19、第二，通过生成式场景补全模型预测遮挡目标、潜在散射体、未来信道状态和感知盲区，使资源调度从当前状态响应转变为未来状态预判；

20、第三，通过反事实资源推演在真实执行前比较多个资源动作后果，减少被动式调整导致的波束失配、感知盲区扩大和边缘算力拥塞；

21、第四，通过将预调度结果转化为波束控制、感知采样和边缘计算调度命令，使数字孪生预测结果能够直接作用于基站物理通信、感知和计算过程；

22、第五，通过执行反馈持续校准孪生体和风险阈值，提升低空高速移动、动态遮挡和长尾时延场景下通感算任务的鲁棒性。