一种星载协同的图像语义传算一体方法及系统

本发明涉及卫星通信、边缘计算与图像处理，具体涉及一种星载协同的图像语义传算一体方法及系统。

背景技术：

1、随着低轨（leo）对地观测卫星网络的发展，高分辨率星载图像传感器产生的海量观测数据给星间链路（isl）和极度受限的星地链路（sgl）带来了极大的带宽压力，由于卫星过境时间（contact window）短暂，传统的“全量获取、直接下传、地面处理”模式存在极高的传输时延，无法满足灾害监测、船只追踪等时间敏感型任务的需求。

2、例如，中国发明专利申请号cn200810226721.9公开了一种低比特率星载图像压缩处理系统及方法。该系统包括控制模块、小波变换模块、ccsds扫描编码模块和码流拼接模块，该系统及方法将图像数据分成若干32×32(或者64×64、128×128)的小块图像，然后送入小波变换模块、扫描编码模块和码流拼接模块得到压缩码流。小波变换模块和扫描编码模块、码流拼接模块之间是图像块与图像块之间的流水，扫描编码模块是各比特平面间进行流水。该发明的图像压缩处理系统及方法压缩效果介于jpeg2000和ezw之间，在低比特率压缩时效果与jpeg2000相当；采用解码的重同步机制防止空间数据传输中的误码扩散，功耗低；大量采用的并行运算和流水结构提高了芯片的处理速度，满足星载图像高倍压缩的需求。

3、再例如，中国发明专利申请号cn201910976760.9公开了一种基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法，采取引入空洞卷积构建轻量级感受野金字塔的方法，根据感受野金字塔提取的多尺度特征构建多尺度特征融合检测模块，在限制网络规模的情况下，提高对光学遥感图像舰船目标特性的适应能力。

4、又例如，中国发明专利申请号cn202210658290.3公开了一种面向智能任务的语义通信方法，属于人工智能与通信融合技术领域；具体包括：首先发送端的设备采集图像数据，经神经网络提取特征图，利用语义概念对应神经元激活值对特征图求梯度后取平均，得到特征图相对于语义概念的重要性权重，将语义概念和特征图排序关系起来；利用得到的语义关系，对特征图进行裁剪压缩，进而保留重要性权重高的特征图，将压缩后的特征图经无线信道进行传输，接收端对接收到的信号进行解调，恢复特征图数据，并输入后续神经网络，完成智能任务，返回结果给发送端设备。

5、现有技术中仍然是围绕图像像素级压缩效率、保真度、吞吐率和硬件实现复杂度进行优化，以重建图像质量或全图压缩性能为中心，缺乏面向灾害监测、船只识别等下游任务的语义重要性区分机制，容易将有限下传带宽消耗在任务无关背景或低价值像素细节上；处理链路主要依赖单颗卫星的本地处理器、存储器和功耗预算，面对连续高分辨率成像、多任务并发推理或复杂深度模型时，仍易受到单节点算力瓶颈、能耗约束和模型泛化能力不足的限制；现有技术已经从传统比特级可靠传输转向语义级有效传输，但多数方案仍侧重端到端语义编码/解码或网络层语义内容分发，尚未充分解决“感知星—计算星—地面站”多节点星载网络中的任务拆分、算力协同、星间链路带宽调度和高压缩率下关键语义特征鲁棒恢复问题。

6、综上所述，当前星载图像传输领域亟需一种全新的架构，既能打破单节点的算力瓶颈，又能克服传统压缩和现有传算一体方案的鲁棒性缺陷，实现受限带宽下高精度、低时延的语义数据下传，为解决现有技术存在的上述问题，本发明提供一种星载协同的图像语义传算一体方法及系统。

技术实现思路

1、为解决现有技术存在的上述技术问题，本发明提供星载协同的图像语义传算一体方法及系统。

2、本发明采用以下技术方案：

3、本发明提供一种星载协同的图像语义传算一体方法，包括：

4、步骤1，获取待传输的原始图像，利用感知卫星对原始图像进行基于内容的自适应压缩，生成压缩图像表示以及相应的元数据；

5、步骤2，感知卫星通过星间链路将压缩图像表示和元数据发送至边缘计算卫星；

6、步骤3，边缘计算卫星接收压缩图像表示和元数据后，根据元数据对压缩图像表示进行压缩感知特征恢复，重建出面向任务的特征表示；

7、步骤4，边缘计算卫星将重建出面向任务的特征表示输入至语义推断模型，提取生成与特定任务相关的语义信息；

8、步骤5，边缘计算卫星将语义信息作为有效载荷，通过星地链路下传至地面站。

9、进一步的，步骤1中，所述利用感知卫星对原始图像进行基于内容的自适应压缩，生成压缩图像表示以及相应的元数据，包括：

10、将原始图像划分为多个非重叠的图像块；

11、针对每一个图像块，基于结构相似度评估该图像块在不同下采样因子下的冗余度；

12、将冗余度与预设的冗余度阈值进行比较，为每个图像块自适应选取满足冗余度阈值的最大下采样因子；

13、基于所选取的最大下采样因子，对对应的图像块进行压缩处理，得到压缩图像表示；

14、将各图像块对应的下采样因子作为压缩比率信息记录，并结合图像的色彩校准线索，生成所述元数据。

15、进一步的，步骤1中，所述冗余度通过下式（1）表示：

16、  （1），

17、其中，为图像块在下采样因子下的冗余度，为下采样函数，为将压缩特征恢复至原分辨率尺寸的上采样插值函数，为结构相似度计算函数。

18、进一步的，步骤3中，所述边缘计算卫星接收压缩图像表示和元数据后，根据元数据对压缩图像表示进行压缩感知特征恢复，重建出面向任务的特征表示，包括：

19、利用混合专家网络架构对压缩图像表示进行特征恢复，混合专家网络架构包括路由器和多个并行的专家子网络；

20、提取压缩图像表示在不同空间区域的局部像素特征；

21、解析元数据，获取与各空间区域对应的全局压缩比率信息；

22、将局部像素特征与全局压缩比率信息进行联合嵌入，生成路由引导信号；

23、利用路由引导信号控制路由器，为不同空间区域的特征动态分配不同权重的专家子网络进行特征增强与修复，重建得到面向任务的特征表示。

24、进一步的，步骤3中，所述路由引导信号以及所述专家子网络权重通过下式（2）表示：

25、   （2），

26、其中，为路由器输出的门控权重向量，为提取的局部像素特征向量，为从元数据中解析得到的全局压缩比率信息特征向量，表示特征拼接操作，为路由器的可学习权重矩阵，为对应的偏置向量，表示归一化指数函数，门控权重向量用于决定激活 top-k 的专家子网络参与特征增强与修复。

27、本发明还提供一种星载协同的图像语义传算一体系统，包括：

28、自适应压缩模块，部署于感知卫星，用于获取待传输的原始图像，对原始图像进行基于内容的自适应压缩，生成压缩图像表示以及相应的元数据，并通过星间链路发送至边缘计算卫星；

29、特征恢复模块，部署于边缘计算卫星，用于接收压缩图像表示和元数据后，根据元数据对压缩图像表示进行压缩感知特征恢复，重建出面向任务的特征表示；

30、语义提取模块，部署于边缘计算卫星，配置有预训练的深度学习语义推断模型，用于将重建出的面向任务的特征表示输入至所述模型中进行连续推理，提取生成与特定任务相关的结构化语义信息；

31、星地下传模块，部署于边缘计算卫星，用于将生成的语义信息封装为轻量级的数据包，将其作为有效载荷，替代原始像素矩阵通过星地链路下传至地面站节点进行最终的任务应用。

32、进一步的，所述自适应压缩模块包括：

33、图像划分单元，用于将原始图像划分为多个非重叠的网络化图像块；

34、冗余度评估单元，配置有结构相似度算法，用于针对每一个图像块，计算该图像块在不同下采样因子k下的冗余度，通过下式计算图像块在下采样因子下的冗余度：，

35、其中，为图像块在下采样因子下的冗余度；为下采样函数；为将压缩特征恢复至原分辨率尺寸的上采样插值函数；为结构相似度计算函数；

36、因子选取单元，用于将冗余度计算结果与预设的冗余度阈值进行比较，为每个图像块自适应选取满足冗余度阈值的最大下采样因子；

37、压缩处理单元，用于基于所选取的最大下采样因子，调用图像重采样算法对对应的图像块进行压缩处理，得到体积缩减的所述压缩图像表示；

38、元数据生成单元，用于将各图像块对应的下采样因子作为压缩比率信息记录，并结合图像的色彩校准线索，将二者打包生成结构化的元数据。

39、进一步的，所述特征恢复模块包括混合专家网络架构，混合专家网络架构具体包括：

40、局部特征提取单元，用于提取压缩图像表示在不同空间区域的局部像素特征向量；

41、元数据解析单元，用于解析收到的元数据，获取与各空间区域对应的全局压缩比率信息特征向量；

42、联合嵌入单元，用于将局部像素特征向量与全局压缩比率信息特征向量进行联合嵌入，执行特征拼接操作，生成路由引导信号；

43、路由器，受路由引导信号控制，通过内部网络计算并输出门控权重向量 ，通过下式计算门控权重向量：

44、，

45、其中，与分别为路由器中可学习的权重矩阵和偏置向量，为归一化指数函数；

46、多个并行的专家子网络，用于根据门控权重向量，筛选出得分排名top-k的专家子网络，被激活的专家子网络分别对输入特征进行非线性映射，并利用各自对应的门控权重对输出结果进行加权求和，从而对因高压缩率导致的特征退化（如块效应、边缘模糊）进行针对性的特征增强与修复，重建得到包含丰富高频语义细节、且在张量维度上直接适配下游网络推断需求的面向任务的特征表示。

47、进一步的，所述语义提取模块中部署的语义推断模型为基于深度学习的目标检测网络，用于从面向任务的特征表示中提取目标边界框坐标、类别标签及置信度作为语义信息。

48、进一步的，所述星地下传模块将语义信息封装为结构化数据包或二进制短帧，通过星地链路下传至地面站，语义信息的数据量相对于原始图像的数据量具有超过98%的降维率。

49、与现有技术相比，本发明的优越效果在于：

50、1.本发明所述一种星载协同的图像语义传算一体方法及系统，通过解耦计算任务，即：将计算量极小、参数轻量化的冗余度评估与自适应下采样压缩任务部署在受限于功耗与算力的感知卫星端；而将需要大算力支撑的混合专家特征恢复与深度网络语义推断任务，卸载并部署至计算资源丰富的边缘计算卫星端；通过这种非对称的算力解耦设计，在感知卫星与边缘计算卫星之间进行了高效的传算一体协同，该架构不仅打破了单颗感知卫星独立执行复杂语义提取的算力瓶颈，更摒弃了传统的全幅图像下传模式，仅在星地链路中传输最终的结构化语义信息，如目标边界框、类别标签，在复杂任务场景下实现了极高的数据降维率，有效解决了有限卫星过境窗口期的数据传输瓶颈；

51、2.本发明所述一种星载协同的图像语义传算一体方法及系统，创造性地引入了基于元数据（metadata）引导的混合专家（moe）特征恢复架构，在面临高压缩率导致的图像退化时，能够根据元数据提供的先验信息自适应地修复关键特征，避免了由于全局统一压缩而导致的显著特征遮蔽或丢失现象，大幅提升了下游目标检测任务的准确性与鲁棒性，同时，部署在感知卫星侧的轻量级冗余判断模型参数量极小，打破了感知节点的算力瓶颈。

52、3. 本发明所述一种星载协同的图像语义传算一体系统，通过将地下传模块将语义信息封装为结构化数据包或二进制短帧，通过星地链路下传至地面站，语义信息的数据量相对于原始图像的数据量具有协助的降维率。