一种基于实时气象云图的光学卫星智能任务规划方法与流程

1.本发明属于卫星遥感的技术领域，具体涉及一种基于实时气象云图的光学卫星智能任务规划方法。


背景技术：

2.光学成像卫星是通过星载光学相机对地物目标和低层大气进行观测以获取图像数据的一类卫星平台。常见的光学成像卫星有美国kh-12卫星、法国pl
é
iades卫星、我国高分二号卫星等。光学图像具有空间分辨率高、符合人眼视觉习惯、便于判读等优势，在军事侦察、地质勘探、环境监测等领域得到广泛应用。光学相机是被动成像，对云层的穿透能力弱，因此云层遮挡成为限制光学成像卫星对地观测和数据应用的重要因素。根据国际卫星云气候计划的统计，全球平均云层覆盖率达到约65％，诸多光学成像卫星受到影响，例如，法国spot卫星的观测任务大约有80％因云层遮挡而失败，我国约60％的光学卫星图像因云层遮挡而无法生产有效的图像产品。当地物目标被云层遮挡时，不仅因信息缺失难以得到高质量的卫星图像，而且相应的观测时间窗口、星上存储和电量、星地数传等资源被占用或消耗，带来卫星观测效率低的问题。因此，如何有效规避云层遮挡的影响，获取高质量图像数据，提高卫星观测效率是光学成像卫星应用实践中亟需解决的关键问题。
3.目前，国内外机构和学者针对光学成像卫星应用中的云层遮挡问题提出了不同的解决方案，并开展了很多研究。这些方案和关键技术可总结为三类：一是在光学成像卫星地面任务规划阶段参考气象信息，该方法通常参考气象部门提供了天气信息，在现实应用中简单可行，但是没有考虑云层状态的实时变化；二是在卫星成像阶段，通过星载云层探测器获取云层信息，动态调整成像方案，该方法的局限性在于需要卫星装载云层探测器才能获取云层信息，在实际应用中缺乏通用性。三是在地面数据处理阶段，采用云检测、薄云场景的增强、厚云场景的修复等方法恢复图像信息，该方法能够在一定程度上提高含云图像的利用率，但其本质上属于完成任务规划、对地观测和数据回传之后的数据处理，如果图像的含云量高，则难以生产有效的图像产品。另外，被云层遮挡的区域通常作为新的观测需求重新提交，受卫星测控资源、数据回传速率等因素的限制，从需求提交到产品生成的周期短则一天、长则数周，数据的时效性大大降低。
4.高轨静止气象卫星“悬停”于距地面36000km的太空中，最快可以每十分钟获取“全圆盘”(约占地球表面积1/3)的多波段遥感影像。近十几年来，气象卫星遥感影像的空间分辨率已提高至1km量级，从若干全色和热红外波段发展到覆盖可见、近红外、中红外、远红外光谱段，具有14～16个波段(以中国风云4号、日本葵花8卫星为例)的高信息含量数据，其云掩膜产品具有超高时间分辨率、较高空间分辨率和云识别精度。
5.当高轨静止气象卫星遥感数据精度、深度学习云检测方法、专用快速智能芯片、卫星通信技术和卫星智能任务规划技术发展到比较成熟的今天，集成构建一套利用高轨静止气象卫星(以下简称高轨卫星)现有观测数据，通过在轨实时处理得到气象云图，支援低轨光学成像卫星(以下简称低轨卫星)智能任务规划的系统具备了可行性。


技术实现要素：

6.有鉴于此，本发明提供了一种基于实时气象云图的光学卫星智能任务规划方法，能够通过高轨卫星强大的实时云图监测能力，结合在轨实时处理技术、任务规划技术、星间通信技术，根据实时气象云图信息动态调整低轨卫星的成像方案，提高卫星成像效率。
7.实现本发明的技术方案如下：
8.一种基于实时气象云图的光学卫星智能任务规划方法，包括以下步骤：
9.步骤一、利用高轨卫星上的多光谱遥感成像仪以设定频率获取对地观测遥感影像；
10.步骤二、在u-net的基础上，设计在轨实时云检测网络模型，实现多光谱遥感影像快速云检测，从而得到云掩膜产品；
11.步骤三、在高轨卫星上通过设定的通信信道，将云掩膜产品分发给低轨智能决策卫星；
12.步骤四、在低轨智能决策卫星上，根据云掩膜产品，利用自主规划算法动态调整低轨普通成员卫星的成像任务规划方案；
13.步骤五、低轨智能决策卫星将调整后的成像任务规划方案转换为载荷指令形式发送至低轨普通成员卫星，低轨普通成员卫星执行方案并获取遥感影像。
14.进一步地，步骤一中，多光谱遥感成像仪每隔10-15分钟对地观测遥感影像。
15.进一步地，所述在轨实时云检测网络模型具体为：在u-net的基础上，编码模块采用轻量化卷积神经网络mobilenet-v2，解码模块中的上采样采用双线性插值方法，同时，采用跳跃连接结构，将编码模块中的size/8层经过am模块的处理与解码模块的size/8层进行特征融合，将编码模块中的size/16层经过am模块的处理与解码模块的size/16层进行特征融合。
16.进一步地，步骤三中，通信方式为：使用高轨卫星现有的广播系统发出，通信覆盖范围与原有遥感数据有效接收范围相同。
17.进一步地，步骤三中，通信方式为：采用搭载天基互联网通讯终端的方法进行通信。
18.进一步地，步骤四中的自主规划算法具体为：
19.步骤41、根据目标中心经纬度，在fullmask_grid_4000数据查询表中找到对应的像素点，然后，根据目标的大小，以像素点为中心，计算云掩膜产品对应的像素区域；
20.步骤42、计算像素区域上的云量及云像素占整个像素区域的比例，判断云像素所占比例是否大于所设定阈值，若大于，则取消任务，并把任务加入待规划任务集合，否则，则任务不变；
21.步骤43、根据待规划任务集合中每个任务的紧迫程度ρi，对任务进行排序：
[0022][0023]
式中：pi表示观测任务i的优先级，twi表示观测任务i的可见时间窗口数量，所述可见时间窗口是指当前规划之后的可用时间窗口，ρi值越大，其任务的紧迫程度越高，应当优先选择，并且选择每个观测任务时间在前的观察窗口进行观测；
[0024]
步骤44、确定待规划任务观测窗口在低轨普通成员卫星当前任务序列中的位置，
判断待规划任务与前后相邻任务之间是否满足约束条件，若满足，则将该任务插入当前任务序列中，若不满足，则无法完成；最终生成低轨普通成员卫星的成像任务规划方案。
[0025]
进一步地，步骤44中，如果待规划任务的观测窗口位于首位任务之前或末尾任务之后，则只需判断待规划任务与首或尾任务的约束满足关系。
[0026]
有益效果：
[0027]
1、本发明通过高轨卫星提供的云图引导低轨卫星任务规划，减少云层遮挡的影响，有效提高光学卫星观测效率。
[0028]
2、本发明基于深度学习方法构建的在轨实时云检测网络模型，通过跳跃连接结构融合深层与浅层特征，并引入注意力模块和特征融合模块，能够有效提高模型精度。
[0029]
3、本发明通过设计目标经纬度与云掩膜像素区域的匹配、云量判断和待调整任务筛选、任务及观测窗口的选择、局部邻域搜索等，能够提高自主规划的求解效率。
附图说明
[0030]
图1为本发明高低轨卫星协同运行流程图。
[0031]
图2为本发明基于实时气象云图的光学卫星智能任务规划系统示意图。
[0032]
图3为本发明的rc-net网络结构示意图。
[0033]
图4为本发明ffm模块结构示意图。
[0034]
图5为本发明am模块结构示意图。
[0035]
图6为本发明星上自主规划算法流程图。
[0036]
图7为本发明实施例每个自主规划周期内的任务调整情况示意图。
具体实施方式
[0037]
下面结合附图并举实施例，对本发明进行详细描述。
[0038]
本发明提供了一种基于实时气象云图的光学卫星智能任务规划方法，如图1和图2所示，本发明方法的基本内容包括：一是高轨卫星获取多光谱“全圆盘”遥感影像，在星上搭载专用快速处理芯片，利用在轨实时云检测算法，实时生成云掩膜的云图产品；二是高轨卫星通过星间链路与低轨卫星交互，其中低轨卫星分为智能决策卫星和普通成员卫星，高轨卫星将云图产品发送给低轨智能决策卫星；三是低轨智能决策卫星根据云图判断目标区域上空的云层覆盖情况，根据云图信息动态调整普通成员卫星的成像任务，将调整后的成像方案以载荷指令形式发送发给普通成员卫星，进而减少云层遮挡的影响，提高卫星成像效率。
[0039]
本发明具体包括以下步骤：
[0040]
步骤一：高轨卫星遥感数据获取。多光谱遥感成像仪是当前高轨气象卫星已经配备的遥感器，以约10-15分钟的时间间隔，高频次获取对地观测遥感影像。
[0041]
步骤二：高轨卫星快速云检测处理。通过专用快速处理芯片，利用云检测算法实现多光谱遥感影像快速云检测，在高轨卫星上直接得到云掩膜产品。
[0042]
在典型编码解码网络u-net的基础上，设计在轨实时云检测网络模型(real-time cloud-detection net，rc-net)，rc-net的编码模块采用轻量化卷积神经网络mobilenet-v2，解码模块中的上采样采用双线性插值(bilinear interpolation)方法，同时，采用跳跃
连接结构skipnet融合深层与浅层特征，保留不同感受野下的图像特征，使得输出中融入浅层的细节特征，并引入注意力模块(attention module，am)和特征融合模块(feature fusion module，ffm)，为不同位置像素赋予不同的注意力，使模型自适应地为同一场景中的不同对象选择合适的分割尺度，以提高模型精度。rc-net模型结构如图3所示。
[0043]
①
轻量化模型
[0044]
编码模块采用轻量化模型mobilenet-v2，其核心包括三个操作：深度可分离卷积(depthwise separable convolutions，dsc)、线性瓶颈(linear bottlenecks)和颠倒残差(inverted residuals)。深度可分离卷积由深度卷积和逐点卷积组成，首先在空间维度对输入的特征图逐个采用卷积进行运算，然后在通道维度由1
×
1卷积将特征映射到输出层，能够大幅减少参数量和计算量；线性瓶颈能够防止非线性化变换对低维子空间的破坏；颠倒残差能够加快收敛、防止退化。
[0045]
②
特征融合
[0046]
在轻量化模型中，特征图的信息均来自感受野区域的图像，深层卷积的感受野区域大，输出包含的整体信息多，易于分割大面积物体，浅层卷积的感受野小，输出体现局部性，捕捉细节能力更强。本发明设计了特征融合模块，将网络的深层与浅层特征进行融合，保留不同感受野下的图像特征，使得输出中融入浅层的细节特征，以提高模型精度。特征融合模块结构如图4所示。
[0047]
③
注意力机制
[0048]
注意力机制可以利用高级语义信息来指导前馈网络。本发明在跳跃连接结构skipnet中引入注意力机制，如图5所示，对轻量化模型的1/8和1/16输出特征图的不同通道进行处理，其中，3
×
3卷积层可以考虑周围像素对该位置像素的影响，1
×
1卷积层可以实现跨通道的交互和信息整合，得到与尺度特征对应的可解释的权重图，为不同位置像素赋予不同的注意力，使模型自适应地为同一场景中的不同对象选择合适的分割尺度。
[0049]
rc-net模型的优化函数采用adam函数；损失函数采用二值交叉熵函数：
[0050][0051]
式中，y表示当前模型预测云区分割掩膜，表示真实云区分割掩膜，w、h分别表示图像的宽和高。
[0052]
步骤三：云掩膜产品分发。高轨卫星使用指定的通信信道，将云掩膜产品分发给低轨智能决策卫星。通信方式有两种：一是使用高轨卫星现有的广播系统发出，通信覆盖范围与原有遥感数据有效接收范围相同；二是采用搭载天基互联网通讯终端的方法，该方法具备全球通信覆盖能力。
[0053]
步骤四：自主任务规划。低轨智能决策卫星具有全局知识，包括低轨普通成员卫星的轨道数据、卫星运行状态、任务规划方案等，具备自主任务规划能力，根据云图产品，低轨智能决策卫星动态调整低轨普通成员卫星的成像任务规划方案。
[0054]
如图6所示，自主规划算法具体为：
[0055]
1)目标经纬度与云掩膜像素区域的匹配
[0056]
每个地面目标都有经纬度，为判断该目标上空的云层覆盖情况，需将该目标的经
纬度与云掩膜图像中的像素进行匹配，进而得到以像素为单位的精确云层覆盖信息。fy-4a卫星的经纬度数据以单独的raw格式文件给出，由于云掩膜图像的分辨率是4km，相应的使用fullmask_grid_4000.raw数据，该数据的像素值范围为2748*2748。目标经纬度与云掩膜像素区域的匹配过程包括：首先，根据目标中心经纬度，在fullmask_grid_4000数据查询表中找到对应的像素点，然后，根据目标的大小，以像素点为中心，计算云掩膜产品对应的像素区域，例如，目标的地面实际大小为60km
×
60km，在云掩膜图像上为15
×
15像素区域。
[0057]
2)云量判断和待规划任务的筛选
[0058]
计算像素区域上的云量，云像素占整个像素区域的比例，判断是否大于所设定阈值，若大于，则取消任务，并把任务加入待规划任务集合，否则，则任务不变。
[0059]
国际卫星云气候计划根据遥感图像的云层覆盖情况给出了云量等级：云量在35％以下，定为低云量；云量在35％-65％，定为中云量；云量在65％以上，定为高云量。参考该云量等级，首先，我们将云量阈值设置为65％，每次获取云掩膜图像后，判断该规划周期内所有观测目标上空的云量，如果云量大于65％，则取消当前规划周期内该任务的观测计划，并将该任务加入待规划任务集合。
[0060]
3)任务及观测窗口的选择
[0061]
待规划任务集合中由多个新任务时，需根据一定的规则选择任务及观测窗口。这里根据任务需求度对新任务进行选择，任务需求度表示任务安排的紧迫程度，采用下式计算：根据公式计算每个任务的紧迫程度，对任务进行排序，
[0062][0063]
式中：pi表示观测任务i的优先级，twi表示任务i的可见时间窗口数量，此时的可见时间窗口是指当前规划之后的可用时间窗口。具有较高优先级和较少观测窗口的任务，其任务安排的紧迫程度越高，ρj值越大，应当优先选择。
[0064]
对于观测窗口的选择，考虑到一个任务往往有多个观测窗口，这里根据观测窗口的时间先后进行选择，即具有较早开始时间的观测窗口，应当优先选择。
[0065]
4)局部邻域搜索
[0066]
鉴于当前解的邻域中往往包含更好的邻域解，因此可以对当前解集进行局部邻域搜索。插入邻域是指将满足约束条件的待规划任务插入到当前任务序列中，基本步骤如下：
[0067]
步骤1：计算待规划任务观测窗口在卫星当前任务序列中的位置；
[0068]
步骤2：判断待规划任务与前后相邻任务之间是否满足约束条件，若满足，则将该任务插入当前任务序列中。此外，如果该任务的观测窗口位于首位任务之前或末尾任务之后，则只需判断与首尾任务的约束满足关系；若不满足，则无法完成；
[0069]
步骤3：更新规划收益和占用的存储和电量。
[0070]
综合上述设计，星上自主规划算法的流程如图所示。
[0071]
步骤五：载荷指令发送接收和执行。低轨智能决策卫星将调整后的成像任务规划方案转换为载荷指令形式发送至低轨普通成员卫星，通信方式与步骤三相同。低轨普通成员卫星执行方案并获取遥感影像。
[0072]
实例分析
[0073]
(1)场景构建和参数设置
[0074]
为验证所提高低轨协同方案和星上自主规划算法的有效性，在卫星资源方面，我们根据fy-4a和gf-1/2卫星的实际轨道和载荷数据，构建了符合实际应用的场景，其中gf-1包括gf-1-01/02/03/04，共4颗星，定为普通成员卫星，gf-2为1颗星，定为智能决策卫星，由此构建1颗geo卫星和5颗leo卫星的场景，场景的仿真时间为[1mar 2021 00:00:00,2mar 2021 00:00:00]。
[0075]
表1 fy-4a卫星的主要参数
[0076][0077]
表2 gf-1/2卫星的主要参数
[0078][0079][0080]
在观测任务方面，将点目标用作观测任务，随机分布在[50
°
e，150
°
e]和[50
°
s，50
°
n]范围的地球表面上，点目标的数量为600。需要说明的是，点目标的分布区域在fy-4a卫星的覆盖范围内。每个目标的优先级都在[1,10]之间随机产生，成像时长在[5,15]之间随机产生。
[0081]
数据处理和算法实现是通过matlab 2017b在windows 10os下进行，配置为intel core i7 cpu@2.0ghz和16gb ram。
[0082]
(2)结果分析
[0083]
针对云层遮挡问题，本发明提出一种利用高轨静止气象卫星提供的云图信息引导低轨光学成像卫星任务规划的解决方案。在该方案中，与传统任务管控模式相同的是，由地面任务管控中心制定24小时的规划方案并上注至高轨和低轨卫星，因此，高低轨协同是在有初始方案的基础上进行的，在卫星执行观测方案的过程中，高轨气象卫星根据获取的云层信息，低轨卫星根据实时云图信息进行自主任务规划，在所建立的场景中，我们将云量阈
值设置为65％，并提取0时到9时(utc时间)的云掩膜数，该时间段下气象卫星全圆盘覆盖的时间为当地时间8时至17时，符合光学成像的时间要求。该时间段下获取并处理云掩膜数据共15次，即共有15个规划周期，在这15个规划周期内，通过星上自主规划调整的任务数量、成功调整至无云窗口的任务数量和未能调整至无云窗口的任务数量如表所示。
[0084]
表3.星上自主规划对初始方案的调整
[0085][0086]
从表中可以看出，如果不采用高低轨协同方案，低轨按照初始方案进行成像，将会有70.46％的图像数据含有大约65％的云层覆盖。此外，每个自主规划周期内的任务调整情况如图7所示。
[0087]
通过高低轨协同和星上自主规划，有30.15％(98/325)的任务成功调整至无云窗口，提高了数据获取的有效性，有40.31％(131/325)的任务因未能调整至无云窗口而取消观测，有效减少了冗余数据的回传量。上述实例验证了所提高低轨协同方案的有效性，能够为解决光学成像卫星的云层遮挡问题提供一种新的解决方案。
[0088]
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。