一种基于深度学习的云图内插预测方法及系统与流程

1.本发明涉及云图内插预测领域，特别是涉及一种基于深度学习的云图内插 预测方法及系统。


背景技术：

2.随着有关遥感图像研究的逐渐探索，遥感图像在气象、地质以及资源调查 等领域中都有着广泛的应用，尤其是在气象方面，遥感卫星云图对于对流云团 识别、追踪以及云团行动轨迹预测等研究来说都是必不可少的。由于全天候气 象遥感卫星的探测以及卫星云图分辨率的不断提高，卫星云图的质量已经可以 满足气象研究的需求。
3.然而，现有的卫星云图中经常会出现相邻时次云图时间间隔过长或每个云 图间时间不等的情况，从而使得这些云图无法保持时间连续性，进而使得卫星 云图合成的视频具有强烈顿挫感，不仅不利于观察和研究，还会对流云轨迹预 测和云图外推等研究有很大影响。因此，如何使卫星云图间的时间间隔更短、 更均匀，提升相邻时次云图间的时间连续性，这是气象预报中一个亟待解决的 问题。


技术实现要素：

4.本发明的目的是提供一种基于深度学习的云图内插预测方法及系统，在起 始时次云图和结束时次云图的基础上，准确地预测出中间云图并将其插入到起 始时次云图和结束时次云图之间，使卫星云图间的时间间隔更短、更均匀，提 升相邻时次云图间的时间连续性，降低甚至消除卫星云图合成视频后的顿挫感。
5.为实现上述目的，本发明提供了如下方案：
6.一方面，本发明提供了一种基于深度学习的云图内插预测方法，包括：
7.获取起始时次云图和结束时次云图；
8.采用光流法，根据所述起始时次云图和所述结束时次云图生成双向光流；
9.根据所述双向光流，对中间光流进行预测，得到双向近似中间光流；
10.根据所述双向近似中间光流、所述起始时次云图和所述结束时次云图进行 后向光流翘曲计算，分别得到由预测时次到起始时次的近似中间光流和起始时 次云图推算得到的预测时次预估云图以及由预测时次到结束时次的近似中间 光流和结束时次云图推算得到的预测时次预估云图；
11.将所述由预测时次到起始时次的近似中间光流和起始时次云图推算得到 的预测时次预估云图、所述由预测时次到结束时次的近似中间光流和结束时次 云图推算得到的预测时次预估云图、所述起始时次云图、所述结束时次云图以 及所述双向近似中间光流输入至基于深度学习的superslomo模型中，输出预 测像素阻塞映射和预测中间光流误差；
12.根据所述预测中间光流误差和所述双向近似中间光流进行中间光流误差 校正，得到校正后的中间时次光流；
13.根据所述校正后的中间时次光流、所述起始时次云图和所述结束时次云图 进行
后向光流翘曲计算，分别得到预测时次到起始时次的校正云图以及预测时 次到结束时次的校正云图；
14.根据所述预测时次到起始时次的校正云图、所述预测时次到结束时次的校 正云图和所述预测像素阻塞映射进行云图预测，生成最终预测的中间云图。
15.可选的，根据所述起始时次云图和所述结束时次云图生成双向光流，具体 包括：
16.根据所述起始时次云图和所述结束时次云图，采用光流法分别生成由起始 时次到所述结束时次云图的光流数组以及由结束时次到所述起始时次云图的 光流数组，两种所述光流数组构成所述双向光流。
17.可选的，所述根据所述双向光流，对中间光流进行预测，得到双向近似中 间光流，具体包括：
18.将所述双向光流代入到光流预测公式中，对中间光流进行预测计算，分别 得到预测时次到结束时次的近似中间光流和预测时次到起始时次的近似中间 光流；两种所述近似中间光流构成所述双向近似中间光流；
19.其中，所述预测时次到结束时次的近似中间光流的光流预测公式为：
[0020][0021]
所述预测时次到起始时次的近似中间光流的光流预测公式为：
[0022][0023]
其中，表示预测时次到结束时次的近似中间光流；t表示中间时次， 且t∈(0，1)；表示预测时次到起始时次的近似中间光流，f0→1表示起 始时次云图到结束时次云图的光流，f1→0表示结束时次云图到起始时次云图的 光流。
[0024]
可选的，所述根据所述双向近似中间光流、所述起始时次云图和所述结束 时次云图进行后向光流翘曲计算，分别得到由预测时次到起始时次的近似中间 光流和起始时次云图推算得到的预测时次预估云图以及由预测时次到结束时 次的近似中间光流和结束时次云图推算得到的预测时次预估云图，具体包括：
[0025]
将所述双向近似中间光流、所述起始时次云图和所述结束时次云图代入到 后向光流翘曲公式中，计算得到所述由预测时次到起始时次的近似中间光流和 起始时次云图推算得到的预测时次预估云图和所述由预测时次到结束时次的 近似中间光流和结束时次云图推算得到的预测时次预估云图，表示为：
[0026][0027]
其中，表示生成的近似中间时次云图；α0表示控制预估云图的贡献参数， 且α0∈[0，1]；*表示矩阵对应元素相乘；g(
·
)表示光流翘曲，表示 由预测时次到起始时次的近似中间光流和起始时次云图推算得到的预测时次 预估云图，表示由预测时次到结束时次的近似中间光流和结束时次 云图推算得到的预测时次预估云图；i0表示起始时次云图，i1表示结束时次云 图；表示预测时次到结束时次的近似中间光
流；表示预测时次到起始 时次的近似中间光流。
[0028]
可选的，所述将所述由预测时次到起始时次的近似中间光流和起始时次云 图推算得到的预测时次预估云图、所述由预测时次到结束时次的近似中间光流 和结束时次云图推算得到的预测时次预估云图、所述起始时次云图、所述结束 时次云图以及所述双向近似中间光流输入至基于深度学习的superslomo模型 中，输出预测像素阻塞映射和预测中间光流误差，具体包括：
[0029]
以所述由预测时次到起始时次的近似中间光流和起始时次云图推算得到 的预测时次预估云图、所述由预测时次到结束时次的近似中间光流和结束时次 云图推算得到的预测时次预估云图、所述起始时次云图、所述结束时次云图以 及所述双向近似中间光流为所述superslomo模型的输入，所述superslomo模 型在光流法插值的基础上利用u-net全卷积神经网络实现预测光流的训练，并 输出所述预测像素阻塞映射和所述预测中间光流误差。
[0030]
可选的，所述u-net全卷积神经网络包括一个编码器和一个解码器，其中， 所述编码器为6层网络结构，每一层网络结构包括两个卷积层和一个平均池化 层；每个卷积层包括一个leakyrelu激活函数；所述解码器为五层网络结构， 每一层网络结构包括两个卷积层和一个双线上采样层，每个卷积层也包括一个 leakyrelu激活函数；
[0031]
所述解码器的每一层输入是由上一层输出和所述编码器中与其同层的输 出混合后组成的，实现跳跃链接，通过所述跳跃链接的方式以保留所述编码器 的特征。
[0032]
可选的，所述根据所述预测中间光流误差和所述双向近似中间光流进行中 间光流误差校正，得到校正后的中间时次光流，具体包括：
[0033]
将所述预测中间光流误差和所述双向近似中间光流代入至校正公式中计 算得到所述校正后的中间时次光流，表示为：
[0034][0035][0036]
其中，f’t
→0表示预测时次到起始时次的校正后的中间时次光流，f’t
→1表 示预测时次到结束时次的校正后的中间时次光流；表示预测时次到结束时 次的近似中间光流，表示预测时次到起始时次的近似中间光流；δf
t
→0表 示预测时次到起始时次的预测中间光流误差，δf
t
→1表示预测时次到结束时次 的预测中间光流误差。
[0037]
可选的，所述根据所述校正后的中间时次光流、所述起始时次云图和所述 结束时次云图进行后向光流翘曲计算，分别得到预测时次到起始时次的校正云 图以及预测时次到结束时次的校正云图，具体包括：
[0038]
将所述校正后的中间时次光流、所述起始时次云图和所述结束时次云图代 入到后向光流翘曲公式中，计算得到所述预测时次到起始时次的校正云图和所 述预测时次到结束时次的校正云图，表示为：
[0039]
i’t
＝α0*g(i0,f’t
→0) (1-α0)*g(i1,f’t
→1)；
[0040]
其中，i’t
表示误差校正后生成的近似中间时次云图；α0表示控制预估云图 的贡献参数，且α0∈[0，1]；*表示矩阵对应元素相乘；g(
·
)表示光流翘曲， g(i0,f’t
→0)表示预测
时次到起始时次的校正云图，g(i1,f’t
→1)表示预测时次到 结束时次的校正云图；i0表示起始时次云图，i1表示结束时次云图；f’t
→0表示 预测时次到起始时次的校正后的中间时次光流，f’t
→1表示预测时次到结束时 次的校正后的中间时次光流。
[0041]
可选的，所述根据所述预测时次到起始时次的校正云图、所述预测时次到 结束时次的校正云图和所述预测像素阻塞映射进行云图预测，生成最终预测的 中间云图，具体包括：
[0042]
将所述预测像素阻塞映射加入到所述后向光流翘曲公式中得到云图预测 公式，并将所述预测时次到起始时次的校正云图、所述预测时次到结束时次的 校正云图代入到所述云图预测公式中，生成所述最终预测的中间云图；所述云 图预测公式表示为：
[0043]
i”t
＝(1-t)v
t
←0*g(i0,f’t
→0) tv
t
←1*g(i1,f’t
→1)；
[0044]
其中，i”t
表示预测生成的中间云图；t表示中间时次；v
t
←0和v
t
←1分别表 示预测像素阻塞映射；*表示矩阵对应元素相乘；g(i0,f’t
→0)表示预测时次到 起始时次的校正云图，g(i1,f’t
→1)表示预测时次到结束时次的校正云图；
[0045]
对所述云图预测公式归一化处理，表示为：
[0046][0047]
其中，i
t
表示最终预测的中间云图，(1-t)v
t
←0 tv
t
←1表示标准化因子。
[0048]
另一方面，本发明还提供了一种基于深度学习的云图内插预测系统，包括：
[0049]
起始时次云图和结束时次云图获取模块，用于获取起始时次云图和结束时 次云图；
[0050]
双向光流生成模块，用于采用光流法，根据所述起始时次云图和所述结束 时次云图生成双向光流；
[0051]
中间光流预测模块，用于根据所述双向光流，对中间光流进行预测，得到 双向近似中间光流；
[0052]
预估云图获取模块，用于根据所述双向近似中间光流、所述起始时次云图 和所述结束时次云图进行后向光流翘曲计算，分别得到由预测时次到起始时次 的近似中间光流和起始时次云图推算得到的预测时次预估云图以及由预测时 次到结束时次的近似中间光流和结束时次云图推算得到的预测时次预估云图；
[0053]
像素阻塞映射和中间光流误差输出模块，用于将所述由预测时次到起始时 次的近似中间光流和起始时次云图推算得到的预测时次预估云图、所述由预测 时次到结束时次的近似中间光流和结束时次云图推算得到的预测时次预估云 图、所述起始时次云图、所述结束时次云图以及所述双向近似中间光流输入至 基于深度学习的superslomo模型中，输出预测像素阻塞映射和预测中间光流 误差；
[0054]
中间光流误差校正模块，用于根据所述预测中间光流误差和所述双向近似 中间光流进行中间光流误差校正，得到校正后的中间时次光流；
[0055]
校正云图获取模块，用于根据所述校正后的中间时次光流、所述起始时次 云图和所述结束时次云图进行后向光流翘曲计算，分别得到预测时次到起始时 次的校正云图以及预测时次到结束时次的校正云图；
[0056]
中间云图预测和生成模块，用于根据所述预测时次到起始时次的校正云图、 所述
预测时次到结束时次的校正云图和所述预测像素阻塞映射进行云图预测， 生成最终预测的中间云图。
[0057]
根据本发明提供的具体实施例，本发明公开了以下技术效果：
[0058]
本发明提供了一种基于深度学习的云图内插预测方法，首先获取起始时次 云图和结束时次云图，然后经过生成双向光流、预测中间光流、后向光流翘曲 的过程，并采用基于深度学习的superslomo模型预测像素阻塞映射和中间光 流误差，并根据预测的中间光流误差进行中间光流误差校正，通过superslomo 模型预测像素阻塞映射和中间光流误差，并对中间光流进行误差校正，能够有 效提高所预测的中间云图的清晰度。最后根据再次后向光流翘曲后得到的校正 云图以及预测像素阻塞映射进行云图预测，最终生成预测的准确的、清晰的中 间云图。本发明基于起始时次云图和结束时次云图，能够准确地预测出清晰的 中间云图，并使其内插到起始时次云图和结束时次云图之间，从而能够缩小云 图间的时间间隔，使卫星云图间的时间间隔更短、更均匀，进而保证了相邻时 次云图间的时间连续性，降低甚至消除卫星云图合成视频后的顿挫感，使得卫 星云图视频的整体连续性更强，更加流畅，清晰度更高。
附图说明
[0059]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是 本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的 前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸 等比例缩放绘制，重点在于示出本发明的主旨。
[0060]
图1为本发明实施例1提供的基于深度学习的云图内插预测方法的流程图；
[0061]
图2为本发明实施例1提供的superslomo网络流程图；
[0062]
图3为本发明实施例1提供的光流可视化示意图；
[0063]
图4为本发明实施例1提供的近似中间光流合成示意图；
[0064]
图5为本发明实施例1提供的光流翘曲示意图；
[0065]
图6为本发明实施例1提供的superslomo网络的结构示意图；
[0066]
图7为本发明实施例1提供的u-net全卷积神经网络的结构示意图；
[0067]
图8为本发明实施例1提供的fy4a-agri云图0.65μm通道数据实验结 果对比图；
[0068]
图9为本发明实施例1提供的fy4a-agri云图10.4μm红外通道数据实 验结果对比图；
[0069]
图10为本发明实施例1提供的h8-ahi卫星云图11.2μm红外通道数据实 验结果对比图；
[0070]
图11为本发明实施例1提供的h8-ahi云图geocolor通道数据实验结果 对比图；
[0071]
图12为本发明实施例2提供基于深度学习的云图内插预测系统的结构框 图。
具体实施方式
[0072]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有做出创造 性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0073]
如本发明和权利要求书中所示，除非上下文明确提示例外情形，“一”、
ꢀ“
一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说 来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步 骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元 素。
[0074]
虽然本发明对根据本发明的实施例的系统中的某些模块做出了各种引用， 然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所 述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。
[0075]
本发明中使用了流程图用来说明根据本发明的实施例的系统所执行的操 作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根 据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到 这些过程中，或从这些过程移除某一步或数步操作。
[0076]
卫星云图对于气象业务预报来说是必不可少的研究资料。而对于卫星云图 来说，经常会出现相邻时次云图时间间隔不等或无法使用的云图等情况，使得 这些云图经常无法保持时间连续性，这无疑给气象预报，尤其是灾害性天气预 报等任务带来了不小的困难。
[0077]
为了解决这一问题，本发明提供了一种基于深度学习的云图内插预测方法 及系统，在起始时次云图和结束时次云图的基础上，准确地预测出中间云图并 将其插入到起始时次云图和结束时次云图之间，使卫星云图间的时间间隔更短、 更均匀，提升相邻时次云图间的时间连续性，降低甚至消除卫星云图合成视频 后的顿挫感。本发明采用基于深度学习的superslomo模型对fy-4a静止卫星 agri和h8卫星ahi中的云图进行云图内插。superslomo网络是一种光流法 结合u-net网络的深度学习网络。在实验验证阶段，使用的是agris的10.4μm 红外通道和0.65μm可见光通道的云图和h8-ahi的11.2μm红外通道以及彩色 合成图的云图。通过与其他的视频内插模型作对比，本发明采用的superslomo 模型生成的内插云图相比于其他几种模型效果更好，云图更加清晰，峰值信噪 比和结构相似性指数等评价指标也更优于其他几种模型。
[0078]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和 具体实施方式对本发明作进一步详细的说明。
[0079]
实施例1
[0080]
如图1所示，本实施例提出了一种基于深度学习的云图内插预测方法，该 方法包括以下步骤：
[0081]
步骤s1、获取起始时次云图和结束时次云图。
[0082]
本实施例中，采用的卫星资料是fy-4a卫星多通道扫描成像辐射计 (fy-4a-advanced geosynchronous radiation imager，fy-4a-agri)和 himawari-8成像仪(himawari-8-advanced himawari imager，h8-ahi)的卫星 云图数据。
[0083]
其中，fy-4a-agri可以获取多个通道的卫星观测资料，能够有效提高国 家和地区的天气预报以及灾害预警水平。与fy-2系列卫星携带的红外和可见 光自旋扫描辐射计(vissr)相比，fy-4a-agri的通道数由5个增加至14 个，从可见光波段(0.47μm)覆盖至长波
红外波段(13.5μm)，包括可见光、 短波红外、中波红外和长波红外等波段，星上辐射定标精度为0.5k，灵敏度 为0.2k。可见光及近红外通道的空间分辨率最高可达0.5km，中波红外通道最 高可达2km，长波红外通道最高可达4km。agri的观测模式分为常规模式、 增强模式和应急模式三种。其中，常规观测模式包括：(1)逐小时一次的全 圆盘观测，观测时间为整点至整点过15min，其中00时至21时每隔三小时加 密观测两次，每日共40次全圆盘观测；(2)其余时间为每5min一次的中国 区域观测，范围约为10
°‑
55
°
n，70
°‑
140
°
e。本实施例在最后的实验验证阶段， 使用的是fy-4a卫星多通道扫描成像辐射计中的10.4μm红外通道和0.65μm 可见光通道。
[0084]
h8-ahi卫星数据来源于日本宇宙航空研究开发机构地球观测研究中心。 该卫星数据已经经过辐射定标和地理定位等预处理。空间分辨率为5km，时间 分辨率为10min，覆盖范围为60
°
n-60
°
s，80
°
e-160
°
w。himawari-8是新一代 静止气象卫星，搭载的辐射成像仪ahi具有16个通道。本实施例在最后的实 验验证阶段，使用的是himawari-8卫星辐射成像仪11.2μm红外通道和地质彩 色(geocolor)合成图片。
[0085]
本实施例中，首先获取fy-4a-agri和h8-ahi的卫星云图中的起始时次 云图和结束时次云图。应说明的是，fy-4a-agri和h8-ahi的卫星云图仅仅 是一种优选方案，本发明不对卫星云图的具体来源进行限定，因此，卫星云图 的具体来源并不是固定的、唯一的，还可以采用其它型号的成像扫描仪器以及 相应的云图资料，可根据实际情况自行设定。
[0086]
步骤s2、采用光流法，根据所述起始时次云图和所述结束时次云图生成 双向光流。具体包括：
[0087]
根据所述起始时次云图和所述结束时次云图，采用光流法分别生成由起始 时次到所述结束时次云图的光流数组以及由结束时次到所述起始时次云图的 光流数组，两种所述光流数组构成所述双向光流。
[0088]
如图2所示，在获得起始时次云图i0和结束时次云图i1后，本发明首先 进行的是利用光流法生成双向光流的步骤。光流(optical flow)是空间运动 物体在观察成像平面上的像素运动的瞬时速度向量，是利用图像序列中像素在 时间域上的变化以及相邻时次图片(帧)之间的相关性，以寻找上一帧跟当前 帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。 一般而言，光流是由于场景中前景目标本身的移动、相机的运动，或者两者的 共同运动所产生的。
[0089]
数字化的光流是一个三维的数组，这个数组的维度为[height,width,2]。 其中，第一维“height”和第二维“width”分别表示每一帧的高和宽，第三维
ꢀ“
2”则表示当前帧到后一帧中每个像素的瞬时速度向量。瞬时速度向量由水 平方向的x向量和垂直方向的y向量组成，数字的大小表示向量的长度，符号 表示方向。光流的可视化图片如图3所示。
[0090]
步骤s3、根据所述双向光流，对中间光流进行预测，得到双向近似中间 光流。
[0091]
在已知起始时次云图i0和结束时次云图i1的情况下，可以得到这两个云 图的光流f0→1和f1→0。但是要想得到在i0和i1之间的云图，则需要中间时次t 到起始时次或结束时次的光流f
t
→0和f
t
→1，也就是光流预测。其中，t∈(0， 1)，且t为归一化后的中间时次。本实施例还考虑到rgb图像合成的时间一 致性的问题，在进行光流预测时通过结合双向矢量光流来得到近似的中间光流， 具体情况如图4所示。
[0092]
图4中每列对应某个时次，每个点代表一个像素，本实施例需要得到从中 心的时
次t＝t的空心像素点到t＝0或t＝1的实心像素点的向量。采用的方法 就是利用图4中的实线箭头向量乘以归一化的时间参数t或1-t得到近似的向 量，表示为：
[0093]ft
→1(p)＝(1-t)f0→1(p)；
[0094]ft
→0(p)＝tf1→0(p)；
[0095]
其中，p表示像素点；t表示中间时次，且t∈(0，1)；f0→1和f1→0分别 表示起始时次云图i0和结束时次云图i1的光流；f
t
→1(p)表示像素点p从时次 t＝t到t＝1的移动向量，f
t
→0(p)表示像素点p从时次t＝t到t＝0的移动向量， 这里的移动向量表示的就是光流。考虑到时间一致性的问题，需要将双向输入 光流合成为新的光流作为近似中间光流，即本实施例步骤s3光流预测得到双 向近似中间光流的过程。
[0096]
步骤s3具体包括：
[0097]
将所述双向光流代入到光流预测公式中，对中间光流进行预测计算，分别 得到预测时次到结束时次的近似中间光流和预测时次到起始时次的近似中间 光流；两种所述近似中间光流构成所述双向近似中间光流；
[0098]
根据上述的移动向量的计算公式转换为光流预测公式。其中，所述预测时 次到结束时次的近似中间光流的光流预测公式为：
[0099][0100]
所述预测时次到起始时次的近似中间光流的光流预测公式为：
[0101][0102]
其中，表示预测时次到结束时次的近似中间光流；t表示中间时次， 且t∈(0，1)；表示预测时次到起始时次的近似中间光流，f0→1表示起 始时次云图到结束时次云图的光流，f1→0表示结束时次云图到起始时次云图的 光流。
[0103]
还需说明的是，本发明所述的预测时次可以有多个，预测时次的个数表示 在起始时次云图和结束时次云图之间预测的中间云图的个数，具体个数会按照 起始时次云图和结束时次云图的时间段大小除以云图内插后要达到的最小时 间间隔，最小时间间隔为根据实际需求人为进行外部输入、预先设定的最小时 间间隔值，最小时间间隔值越小，则插入的中间云图的数量也就越多，最终合 成的卫星云图视频的时间连续性也就越佳。预测时次的具体个数由程序自动运 算得到。
[0104]
步骤s4、根据所述双向近似中间光流、所述起始时次云图和所述结束时 次云图进行后向光流翘曲计算，分别得到由预测时次到起始时次的近似中间光 流和起始时次云图推算得到的预测时次预估云图以及由预测时次到结束时次 的近似中间光流和结束时次云图推算得到的预测时次预估云图。
[0105]
在通过步骤s3得到近似中间光流后，需要利用t＝0或t＝1的原始图像帧 以及近似中间光流通过某种转换函数得到t＝t的中间时次帧，而这种转换函数 就是光流翘曲。翘曲是通过双线性插值实现，双线性插值指的是根据图像中相 邻的四个像素点计算出以这四个点为顶点的正方形内任意一点的像素值。目前 的翘曲函数包括前向翘曲(forwardwarping)和后向翘曲(backwardwarping)， 即前向和后向的移动图像中的像素，具体如图5所示。
[0106]
如图5所示，图5a表示的是前向翘曲，即由原始图片通过正向中间光流 或转换为翘曲后的图像；图5b表示的是后向翘曲，即由原始图片和 逆向中间光流或通过双线性插值逆向推出翘曲后的图像。由于前向翘 曲会出现一些空洞(图a中深色方块)，即原始图片的像素经过翘曲后没有 像素映射到该位置，而后向翘曲则不存在这个空洞问题。因此，本发明在翘曲 函数中选用的是后向翘曲，利用后向翘曲在上面合成近似中间光流时只合成了和这两个逆向中间光流，即预测时次到结束时次的近似中间光流以及 预测时次到起始时次的近似中间光流，其中，预测时次是本发明需要预测出来 的起始时次和结束时次之间的中间时次。
[0107]
通过合成光流和初始时次t＝0的起始时次云图i0翘曲生成的中间云 图i
t
与和i0生成的中间云图是相同的，但是实际情况中像素移动并不一定 保持线性，使得这两种情况生成的云图会有一些差距。因此，为了生成的中间 时次的云图即中间云图更加贴合实际，需要将这两种过程生成的中间云图i
t
按比例混合，从而得到步骤s4使用的后向光流翘曲公式。
[0108]
步骤s4具体包括：
[0109]
将所述双向近似中间光流、所述起始时次云图和所述结束时次云图代入到 后向光流翘曲公式中，计算得到所述由预测时次到起始时次的近似中间光流和 起始时次云图推算得到的预测时次预估云图和所述由预测时次到结束时次的 近似中间光流和结束时次云图推算得到的预测时次预估云图；其中，双向近似 中间光流包括预测时次到起始时次的中间光流和预测时次到结束时次的中间 光流，这两个中间光流为分别向起始时次和结束时次形成双向的近似的中间光 流。光流翘曲的推算过程表示为：
[0110][0111]
其中，表示生成的近似中间时次云图；α0表示控制预估云图的贡献参数， 且α0∈[0，1]；*表示矩阵对应元素相乘；g(
·
)表示光流翘曲；表示 由预测时次到起始时次的近似中间光流和起始时次云图推算得到的预测时次 预估云图，即由起始时次云图和预测时次到起始时次预估光流推算得到的预测 时次预估云图，表示由预测时次到结束时次的近似中间光流和结束 时次云图推算得到的预测时次预估云图，即由结束时次云图和预测时次到结束 时次预估光流推算得到的预测时次预估云图；i0表示起始时次云图，i1表示结 束时次云图；表示预测时次到结束时次的近似中间光流；表示预测时 次到起始时次的近似中间光流。
[0112]
需要说明的是，由于步骤s5中基于深度学习的superslomo模型会得到预 测中间光流误差并对预测光流进行修正，因此，只需要将两个光流翘曲的结果 即和作为superslomo模型的输入，不需要后向光流翘曲 公式的输出结果
[0113]
步骤s5、将所述由预测时次到起始时次的近似中间光流和起始时次云图 推算得
到的预测时次预估云图、所述由预测时次到结束时次的近似中间光流和 结束时次云图推算得到的预测时次预估云图、所述起始时次云图、所述结束时 次云图以及所述双向近似中间光流输入至基于深度学习的superslomo模型中， 输出预测像素阻塞映射和预测中间光流误差。
[0114]
一般情况下，卫星云图中云的运动是非线性的，例如云的边界和云的旋转 等情况，并不是规则的线性运动。而单纯的光流法更适合于线性运动的内插， 并不适合进行云图内插。因此，本发明采用基于深度学习的superslomo网络 模型进行云图内插。这里的云图内插就是本发明最终的目标，即预测起始时次 云图和结束时次云图两张云图之间的中间时次的云图，也可以理解为视频内插， 预测中间帧。通过云图内插可以缩短云图之间的时间间隔，例如，通过云图内 插的方式插入多张中间云图，可将时间间隔为十分钟的两张云图内插为一分钟 时间间隔的云图。因此，云图内插具体指的是预测两张云图之间的中间时次的 云图，所插入的就是这两个时次之间的中间时次云图，使云图之间保持时间连 续性。
[0115]
superslomo网络是在光流法插值的基础上，利用深度神经网络对预测光 流进行训练，本发明所使用的神经网络是u-net全卷积神经网络。如图6所示， superslomo网络包括流计算部分和任意时次流插值部分，在流计算部分的输 入为两张待插值的输入图片，即起始时次云图i0和结束时次云图i1，得到中间 帧的近似中间光流和在任意时次流插值部分中，通过起始时次云图 i0和结束时次云图i1以及基于近似中间光流的后向光流翘曲得到的预测时次预 估云图和输出为预测像素阻塞映射v
t
←0和v
t
←1以及预测 中间光流误差δf
t
→0和δf
t
→1以及起始时次云图i0、结束时次云图i1，最终通过 中间光流误差计算得到最终中间光流，再将得到的数据带入到步骤s8中的归 一化后的云图预测公式中得到最终预测的内插中间云图。
[0116]
本发明中的superslomo网络的作用包括：(1)通过superslomo模型训 练的过程输出更加详细、具体的预测像素阻塞映射，预测像素阻塞映射为可见 性映射，从而提升在在卫星云图的云边界和非线性运动部分的内插效果；(2) 通过superslomo模型输出预测中间光流误差，对双向近似中间光流进行中间 光流误差校正，从而能够有效提高所预测的中间云图的清晰度。
[0117]
u-net全卷积神经网络的结构如图7所示，所述u-net全卷积神经网络包 括一个编码器和一个解码器。编码器为图7左侧部分，解码器为图7右侧部分。 其中，所述编码器为6层网络结构，每一层网络结构包括两个卷积层 (conv leakyrelu)和一个平均池化层(averagingpooling)，平均池化层可以使 输入数据的形状变小，目的是将有效特征提取出来，即编码器的工作；每个卷 积层包括一个leakyrelu激活函数。所述解码器为五层网络结构，每一层网 络结构包括两个卷积层(conv leakyrelu)和一个双线上采样层 (bilinearupsampling)，双线性上采样层可以让输入数据的形状变大，目的是将 输入数据的形状恢复为最开始输入的状态，即解码器的工作；每个卷积层也包 括一个leakyrelu激活函数。图7中各层网络结构下的32到512的数字表示 卷积层中的卷积核，卷积核越大则输出的矩阵形状越小。并且，所述解码器的 每一层输入都是由上一层输出和所述编码器中与其同层的输出混合后组成的， 这就是跳跃链接(skip connection)，通过所述跳跃链接的
方式以保留所述编 码器的部分特征。
[0118]
步骤s5具体包括：
[0119]
以所述由预测时次到起始时次的近似中间光流和起始时次云图推算得到 的预测时次预估云图、所述由预测时次到结束时次的近似中间光流和结束时次 云图推算得到的预测时次预估云图、所述起始时次云图、所述结束时次云图以 及所述双向近似中间光流为所述superslomo模型的输入，所述superslomo模 型在光流法插值的基础上利用u-net全卷积神经网络实现预测光流的训练，并 输出所述预测像素阻塞映射和所述预测中间光流误差。
[0120]
步骤s6、根据所述预测中间光流误差和所述双向近似中间光流进行中间 光流误差校正，得到校正后的中间时次光流。具体包括：
[0121]
将所述预测中间光流误差和所述双向近似中间光流代入至校正公式中计 算得到所述校正后的中间时次光流，表示为：
[0122][0123][0124]
其中，f’t
→0表示预测时次到起始时次的校正后的中间时次光流，f’t
→1表 示预测时次到结束时次的校正后的中间时次光流；表示预测时次到结束时 次的近似中间光流，表示预测时次到起始时次的近似中间光流；δf
t
→0表 示预测时次到起始时次的预测中间光流误差，δf
t
→1表示预测时次到结束时次 的预测中间光流误差。
[0125]
本发明通过superslomo模型输出预测中间光流误差，然后利用预测中间 光流误差对双向近似中间光流进行中间光流误差校正，得到校正后的中间时次 光流，从而实现了对中间光流的误差校正，提升了中间光流的准确性，进而能 够有效提高最终预测出的中间云图的清晰度。
[0126]
步骤s7、根据所述校正后的中间时次光流、所述起始时次云图和所述结 束时次云图进行后向光流翘曲计算，分别得到预测时次到起始时次的校正云图 以及预测时次到结束时次的校正云图。具体包括：
[0127]
将所述校正后的中间时次光流、所述起始时次云图和所述结束时次云图代 入到后向光流翘曲公式中，计算得到所述预测时次到起始时次的校正云图和所 述预测时次到结束时次的校正云图，表示为：
[0128]
i’t
＝α0*g(i0,f’t
→0) (1-α0)*g(i1,f’t
→1)；
[0129]
其中，i’t
表示误差校正后生成的近似中间时次云图；α0表示控制预估云图 的贡献参数，且α0∈[0，1]；*表示矩阵对应元素相乘；g(
·
)表示光流翘曲， g(i0,f’t
→0)表示预测时次到起始时次的校正云图，g(i1,f’t
→1)表示预测时次到 结束时次的校正云图；i0表示起始时次云图，i1表示结束时次云图；f’t
→0表示 预测时次到起始时次的校正后的中间时次光流，f’t
→1表示预测时次到结束时 次的校正后的中间时次光流。
[0130]
步骤s8、根据所述预测时次到起始时次的校正云图、所述预测时次到结 束时次的校正云图和所述预测像素阻塞映射进行云图预测，生成最终预测的中 间云图。
[0131]
由于视频插值具有以下重要特性：如果一个像素点p在t＝t处可见，那么 它最有
可能至少在其中一个输入图像i0或i1中可见。也就是说，中间帧的像 素不会从无到有自动生成，必然来自于两张输入图像中的某个像素。但是会有 像素在初始帧i0中却不在结束帧i1中。例如，有一片云在t＝0这个时次的云 图中，但是在t＝1时这一片云却消散了，那在进行它们的中间时次内插时需 要有一个参数使得这片云对应的像素点逐渐消失，这种情况就是像素阻塞 (pixel occlusion)，这个参数就是阻塞参数(occlusion param)，也就是本 发明所说的利用superslomo模型预测出的像素阻塞映射，即预测像素阻塞映 射。将这种像素阻塞情况合并到后向光流翘曲公式中，即可得到步骤s8使用 的云图预测公式。本发明采用深度学习的superslomo模型预测像素阻塞映射， 通过像素阻塞映射对云图中每个像素的数值进行再次修正，从而减少了图片失 真的情况的发生，在云边界以及台风眼等位置的预测仍具有有很好的效果。
[0132]
步骤s8具体包括：
[0133]
将所述预测像素阻塞映射加入到所述后向光流翘曲公式中得到云图预测 公式，并将所述预测时次到起始时次的校正云图、所述预测时次到结束时次的 校正云图代入到所述云图预测公式中，生成所述最终预测的中间云图；所述云 图预测公式表示为：
[0134]
i”t
＝(1-t)v
t
←0*g(i0,f’t
→0) tv
t
←1*g(i1,f’t
→1)；
[0135]
其中，i”t
表示预测生成的中间云图；v
t
←0和v
t
←1分别表示预测像素阻塞映 射；*表示矩阵对应元素相乘；g(i0,f’t
→0)表示预测时次到起始时次的校正云 图，g(i1,f’t
→1)表示预测时次到结束时次的校正云图。所述云图预测公式实际 上就是在所述后向光流翘曲公式的基础上加上预测像素阻塞映射得到的。
[0136]vt
←0和v
t
←1为可见性映射，以v
t
←0为例，v
t
←0(p)∈[0,1]，v
t
←0(p)是每个 像素点的阻塞参数，当v
t
←0(p)的值为1时，表示与原像素相同，即预测的中 间云图对应的像素值为起始时次云图或结束时次云图对应的像素值乘以1；当 v
t
←0(p)的值为0时，则表示预测的中间云图对应的像素值为起始时次云图或 结束时次云图对应的像素值乘以0，即该像素完全遮挡。此时，t可以为0或1， t∈[0,1]是准备内插的中间时次，为按照起始时次与结束时次得到的归一化时 次，表示的是待内插的时次在整个时间段所在位置的比例，所内插时次越靠近 i0，则由i0生成的待内插的中间图片i
t
贡献越大，反之则对i1生成的i
t
贡献更 大，因此，t的作用等同于后向光流翘曲公式中的贡献参数α0。
[0137]
除此之外，还需要对生成的近似内插中间帧做归一化处理，即对所述云图 预测公式归一化处理，表示为：
[0138][0139]
其中，i
t
表示最终预测的中间云图，(1-t)v
t
←0 tv
t
←1表示标准化因子， i”t
表示预测生成的中间云图，该中间云图未经归一化处理，因此不是最终的 预测中间云图的结果。
[0140]
本发明中superslomo模型在处理帧插值时，将需要预测的中间时次t归 一化为0到1的小数，即t∈[0,1]，从而可以使得该superslomo模型以输出可 见性的预测像素阻塞映射的方式，达到能够预测在起始时次到结束时次这一时 间段中的任意时间点、任意个数的中间时次云图的目的，生成足够多的中间时 次云图后，从而使卫星云图间的时间间隔更短、更均匀，进而保证了相邻时次 云图间的时间连续性，降低甚至消除卫星云图合成视频后的顿挫感，使得卫星 云图视频的整体连续性更强，更加流畅。同时，利用输出的预测中间
光流误差 对中间光流进行误差校正，使最终生成的中间云图的清晰度更高。因此，本发 明通过superslomo模型用于云图内插，不仅能够实现内插多帧图像，还保证 了内插帧的质量，保证内插云图的清晰度，尤其是在云边界、晨昏线以及台风 眼部分都能具有较高的清晰度。
[0141]
为了测试本发明superslomo模型性能的好坏，下面采用模型评估方法对 其进行定量评价：
[0142]
为了验证本发明采用的superslomo模型在卫星云图上的性能，本实施例 结合了基础阶段法(phase-based)、分割卷积法(sepconv)两种模型，分别 对fy4a-agri的0.65μm可见光通道、10.4μm红外通道数据；h8-ahi仪器 11.2μm红外通道数据以及geocolor数据共4种数据进行实验。同时，采用峰 值信噪比(peak signal-to-noise ratio，psnr)、结构相似性指数(structuralsimilarity index，ssim)以及内插误差(interpolation error，ie)三种误差评 估方法对模型性能进行评价。
[0143]
其中，峰值信噪比经常用于图像压缩和重建等领域的测量方法，表示信号 最大可能功率和破坏性噪声功率的比值，对峰值信噪比的定义为：
[0144][0145][0146]
其中，mse表示均方误差，i和k分别表示两个m
×
n的图像，maxi表示图 像点颜色的最大数值，本实施例取值为255；i∈[0,m)和j∈[0,n)分别表示m
×ꢀ
n的图像中每个像素的横坐标和纵坐标。ssim是一种衡量两幅图像相似度的 指标，而如果两幅图像是压缩前和压缩后的图像，那么ssim就可以用来评估 压缩后的图像质量，ssim公式如下：
[0147][0148]
其中，u
x
和uy分别表示图像x和y的均值，和分别表示图像x和y的方 差，σ
xy
表示图像x和y的协方差，c1和c2为常数，为了避免分母为0的情况。 内插误差ie被定义为真实图像与插值图像之间的均方根(rms)差值，可以直 接计算真实图像和预测的插值图像之间的差距。
[0149]
为了形象的说明这三种评价指标对相似图片评价的大致数值范围，本实施 例提供基础阶段法(phase-based)、分割卷积法(sepconv)和本发明的 superslomo模型三个方法模型在标准视频内插数据集slowflow上的结果如下 表所示：
[0150]
表1 slowflow数据集的结果
[0151]
方法psnrssimie基础阶段法31.050.8588.21分割卷积法32.690.8936.79本发明34.190.9246.14
[0152]
psnr表示信噪比，表示的是正常信号和噪音(和真实值相差过大的像素) 占比的多少，该数值越大，说明信号的占比越大，一般psnr的值在30以上 基本可以说明预测图片效果较好。ssim表示的是预测内插图片和实际图片间 结构相似性，ssim∈[0,1]，当ssim值
约接近于1时，说明两张图片越相似。 ie则表示内插预测图片的像素值和实际像素值的均方根插值，ie数值越小表 示误差越小。另外由于云图中很多像素都很接近，所以表1中得到的ie值要 比正常图片的ie值要低。
[0153]
本实施例在实验时，对fy4a-agri的0.65μm可见光通道、10.4μm红外 通道数据，h8-ahi仪器的11.2μm通道数据和geocolor数据进行试验。这4 种数据分别选取20个时次的云图作为云图内插模型输入的起始时次图片，以 这些图片的相邻时次云图作为内插输出的真实值对比，用真实值的下一个时次 作为模型输入的结束时次图片。最终用模型预测的内插图片和真实值相比较并 取平均值得到一下实验结果：
[0154]
其中，fy4a-agri的0.65μm通道数据是agri的全圆盘可见光数据，并 截取全圆盘图片中的一处台风进行实验。选取时次为2020年9月6日0点0 分到2020年9月6日7点15分，实验统计结果如下：
[0155]
表2 fy4a-agri卫星云图0.65μm通道数据实验结果
[0156]
方法psnrssimie基础阶段法15.120.5123.07分割卷积法25.940.620.60本发明26.700.640.34
[0157]
如表2所示，agri的0.65μm通道数据实验中本发明的superslomo模型 的psnr、ssim和ie三项指标都优于其他两种方法模型。图8中示出了2020 年9月6日0点15分的云图内插实验结果对比图，图中显示出了该时次的真 实云图与基础阶段法、分割卷积法和本发明三种模型的内插结果。根据对比可 知基础阶段法的图片颜色失真，大多数像素点比真实像素点要更亮，所以其ie 值也会大很多；而分割卷积法输出的云图中台风风眼有点模糊；本发明的 superslomo模型的输出相比于分割卷积法，台风眼更加清晰一些。
[0158]
另外，fy4a-agri的10.4μm通道数据是agri的半圆盘红外通过数据。 本实施例选取的时次为2021年1月14日10点00分到2021年1月14日8 点40分，实验统计结果如表3所示：
[0159]
表3 fy4a-agri卫星云图10.4μm红外通道数据实验结果
[0160]
方法psnrssimie基础阶段法20.830.876.57分割卷积法33.030.950.80本发明36.660.961.79
[0161]
如表3所示，本发明的superslomo模型对agri红外通道的数据仍然有 比较好的效果，表3中superslomo模型的信噪比和结构相似性都优于其他两 个模型，只有内插误差相比于sepconv略有不足。图9中示出了云图时次为 2021年1月14日10点10分的实验结果对比图，其中，基础阶段法输出结果 仍有失真现象，而本发明的superslomo模型与分割卷积法的图片相似。
[0162]
而h8-ahi卫星云图11.2μm通道数据是h8-ahi中国区红外通道数据， 经纬度范围为60
°
n-60
°
s，80
°
e-160
°
w，时间范围为2020年9月20日1点10 分到2020年9月21日19点50分，实验结果如表4所示：
[0163]
表4 h8-ahi卫星云图11.2μm红外通道数据实验结果
[0164]
方法psnrssimie基础阶段法33.290.941.59分割卷积法33.970.940.69本发明36.750.960.11
[0165]
如图10所示，本发明的superslomo模型在h8-ahi卫星云图11.2μm通 道数据实验中具有很好的效果，相对于其他方法云图的清晰度更佳。
[0166]
h8-ahi卫星云图geocolor数据是h8-ahi的中国区地理彩色云图，相比 于之前的单通道灰度图，晨昏线上的预测将是很大的考验。经纬度范围与h8 红外通道中国区数据相同。数据时间范围为2020年9月20日0点20分到2020 年9月21日2点50分，实验结果如表5所示：
[0167]
表5 h8-ahi卫星云图geocolor数据实验结果
[0168]
方法psnrssimie基础阶段法30.010.920.15分割卷积法30.490.910.72本发明27.680.941.32
[0169]
如图11所示，基础阶段法模拟的晨昏线接近一条直线，与真实图片相差 最远。而本发明的superslomo模型晨昏线最为清晰，也与真实图片最为接近。 表5中的psnr值相对于slowflow数据集中的标准值较低，这是因为模型对 晨昏线附近的预测存在难度，会造成附近有一部分的扭曲，增加噪音像素。
[0170]
通过本实施例对不同类型的卫星云图的实验，可以证明本发明采用的 superslomo模型更适合于卫星云图的视频内插任务。相比于其他方法的模型， 本发明采用的superslomo模型的内插效果没有图片失真等问题，分界线模糊 问题也较少，对于台风眼等不易预测的部分也较为清晰。在数值方面， superslomo模型对未剪切的单通道数据的预测中psnr、ssim、ie三项指标 都很好，且基本高于普通数据集的指标，因此，本发明采用的基于深度学习的 superslomo模型能够很好的适用于未剪切的单通道卫星云图。
[0171]
实施例2
[0172]
如图12所示，本实施例提供了一种基于深度学习的云图内插预测系统， 该系统包括：
[0173]
起始时次云图和结束时次云图获取模块m1，用于获取起始时次云图和结 束时次云图；
[0174]
双向光流生成模块m2，用于采用光流法，根据所述起始时次云图和所述 结束时次云图生成双向光流；
[0175]
中间光流预测模块m3，用于根据所述双向光流，对中间光流进行预测， 得到双向近似中间光流；
[0176]
预估云图获取模块m4，用于根据所述双向近似中间光流、所述起始时次 云图和所述结束时次云图进行后向光流翘曲计算，分别得到由预测时次到起始 时次的近似中间光流和起始时次云图推算得到的预测时次预估云图以及由预 测时次到结束时次的近似中间光流和结束时次云图推算得到的预测时次预估 云图；
[0177]
像素阻塞映射和中间光流误差输出模块m5，用于将所述由预测时次到起 始时次
的近似中间光流和起始时次云图推算得到的预测时次预估云图、所述由 预测时次到结束时次的近似中间光流和结束时次云图推算得到的预测时次预 估云图、所述起始时次云图、所述结束时次云图以及所述双向近似中间光流输 入至基于深度学习的superslomo模型中，输出预测像素阻塞映射和预测中间 光流误差；
[0178]
中间光流误差校正模块m6，用于根据所述预测中间光流误差和所述双向 近似中间光流进行中间光流误差校正，得到校正后的中间时次光流；
[0179]
校正云图获取模块m7，用于根据所述校正后的中间时次光流、所述起始 时次云图和所述结束时次云图进行后向光流翘曲计算，分别得到预测时次到起 始时次的校正云图以及预测时次到结束时次的校正云图；
[0180]
中间云图预测和生成模块m8，用于根据所述预测时次到起始时次的校正 云图、所述预测时次到结束时次的校正云图和所述预测像素阻塞映射进行云图 预测，生成最终预测的中间云图。
[0181]
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发 明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字 典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义 相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地 这样定义。
[0182]
上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明 的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新 颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修 改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发 明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例 以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要 求书及其等效物限定。