一种红外高光谱探测数据压缩方法、装置及电子设备与流程

本申请属于气象卫星遥感数据处理，尤其涉及一种红外高光谱探测数据压缩方法、装置及电子设备。

背景技术：

1、红外高光谱大气探测仪通过数千个光谱通道获取地球大气辐射数据，随着通道数目的激增，原始数据量呈指数级增长，对星上存储及数传下行链路构成巨大压力。目前，主流压缩方案主要采用基于主成分分析（pca）的全局投影机制，即利用历史统计训练得到的全局均值和全局特征向量基对观测数据进行降维。然而，该现有技术存在显著缺陷：首先，全局基仅能表征大数据集的高频统计规律，对于台风、强对流等极端天气或特殊地表条件引起的非典型光谱特征，全局基难以充分表达，导致此类特殊观测数据重构精度严重受损；其次，传统方法采用统一的全局基处理所有数据，缺乏针对单个观测文件特异性的自适应补偿机制，致使文件间的个体差异信息丢失；此外，现有方案通常直接舍弃全局重构后的残差，未利用残差中蕴含的结构化光谱信息，造成可恢复数据的有效浪费，从而难以在保证高压缩比的同时实现高精度重构。

2、公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

技术实现思路

1、为解决现有存在的技术问题，本发明实施例提供一种红外高光谱探测数据压缩方法及装置。

2、第一方面，本申请实施例提供了一种红外高光谱探测数据压缩方法，包括：对红外高光谱探测数据进行噪声归一化预处理；对噪声归一化预处理后的所述红外高光谱探测数据进行全局主成分分析，得到全局主成分得分，并对所述全局主成分得分进行量化；根据量化后的全局主成分得分进行全局重构，得到全局重构数据，并计算原始辐射率数据与所述全局重构数据的残差，得到全局重构残差；对所述全局重构残差进行逐文件的局部主成分分析，得到局部主成分得分、局部特征向量和局部均值；将所述量化后的全局主成分得分、所述局部主成分得分、所述局部特征向量、所述局部均值以及量化参数封装后进行gzip编码压缩，得到压缩数据文件。

3、可选地，对红外高光谱探测数据进行噪声归一化预处理，包括：利用预训练的全局噪声归一化系数向量对各光谱通道进行噪声归一化处理；其中，每个通道的辐射率值r除以其对应的噪声标准差nc，得到噪声归一化后的辐射率值。

4、可选地，对噪声归一化预处理后的所述红外高光谱探测数据进行全局主成分分析，得到全局主成分得分，并对所述全局主成分得分进行量化，包括：将噪声归一化后的观测数据各光谱向量减去全局均值光谱，得到中心化数据；将所述中心化数据投影到预先训练的全局特征向量基上，得到全局主成分得分；根据预设的量化台阶宽度和偏移量对所述全局主成分得分进行线性量化，得到量化后的全局主成分得分，得到量化参数。

5、可选地，全局特征向量基通过以下方式预先训练获得：利用大规模历史观测数据集，对各光谱波段的数据经噪声归一化预处理后进行中心化处理；通过奇异值分解获得特征向量矩阵，按所述奇异值从大到小选取保留部分特征向量构成所述全局特征向量基。

6、可选地，对所述全局重构残差进行逐文件的局部主成分分析，得到局部主成分得分、局部特征向量和局部均值，包括：针对每个观测数据文件，构建残差数据矩阵；计算所述残差数据矩阵的局部均值；对所述残差数据矩阵进行特征分解，得到局部特征向量；提取少量局部主成分，得到所述局部主成分得分、所述局部特征向量和所述局部均值。

7、可选地，局部主成分数量为5个。

8、可选地，将所述量化后的全局主成分得分、所述局部主成分得分、所述局部特征向量、所述局部均值以及量化参数封装后进行gzip编码压缩，得到压缩数据文件，包括：将所述量化后的全局主成分得分、所述局部主成分得分、所述局部特征向量、所述局部均值、所述量化参数以及数据文件标识和观测几何信息按预定格式封装；采用gzip无损编码方法对封装后的数据进行压缩。

9、第二方面，本申请实施例提供了一种红外高光谱探测数据压缩装置，包括：预处理模块，用于对红外高光谱探测数据进行噪声归一化预处理；全局pca模块，用于对噪声归一化预处理后的所述红外高光谱探测数据进行全局主成分分析，得到全局主成分得分，并对所述全局主成分得分进行量化；残差计算模块，用于根据量化后的全局主成分得分进行全局重构，得到全局重构数据，并计算原始辐射率数据与所述全局重构数据的残差，得到全局重构残差；局部pca模块，用于对所述全局重构残差进行逐文件的局部主成分分析，得到局部主成分得分、局部特征向量和局部均值；封装压缩模块，用于将所述量化后的全局主成分得分、所述局部主成分得分、所述局部特征向量、所述局部均值以及量化参数封装后进行gzip编码压缩，得到压缩数据文件。

10、第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器执行所述存储器中存储的计算机程序，所述计算机程序被所述处理器执行时实现上述第一方面所述的红外高光谱探测数据压缩方法。

11、第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的红外高光谱探测数据压缩方法。

12、第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面中任一项所述的红外高光谱探测数据压缩方法。

13、可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

14、本申请实施例与现有技术相比存在的有益效果是：本发明实施例提供的红外高光谱探测数据压缩方法、系统、设备及介质，通过采用“全局主成分分析 + 局部主成分分析”的双级残差补偿机制，有效解决了现有技术中全局基难以表征非典型光谱特征及文件间个体差异信息丢失的问题。首先，利用预训练的全局特征向量基对大规模数据集进行降维，能够高效去除数据间的高度相关性，实现基础层面的压缩；其次，针对全局重构后残留的误差，本发明创新性地引入逐文件的局部主成分分析，专门提取并压缩每个观测文件特有的残差信息，从而显著提升了针对台风、强对流等极端天气或特殊地表条件等异常数据的重构精度，避免了传统方法因舍弃残差而造成的信息浪费。此外，该方法在压缩前对数据进行噪声归一化处理，消除了不同光谱通道噪声标准差差异带来的影响，使得主成分分析更加稳健；在封装环节，将量化参数、局部统计量以及观测几何信息等元数据与核心压缩数据一并采用 gzip 无损编码，既保证了数据的完整性，又进一步提升了压缩效率。综合而言，本发明能够在保证极高重构精度的前提下，显著降低红外高光谱探测数据的存储与传输带宽需求，特别适用于星上资源受限场景下的大流量遥感数据传输，极大地扩展了高光谱探测数据的应用价值。

1.一种红外高光谱探测数据压缩方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述对红外高光谱探测数据进行噪声归一化预处理，包括：

3.根据权利要求1所述的方法，其特征在于，所述对噪声归一化预处理后的所述红外高光谱探测数据进行全局主成分分析，得到全局主成分得分，并对所述全局主成分得分进行量化，包括：

4.根据权利要求3所述的方法，其特征在于，所述全局特征向量基通过以下方式预先训练获得：

5.根据权利要求1所述的方法，其特征在于，所述对所述全局重构残差进行逐文件的局部主成分分析，得到局部主成分得分、局部特征向量和局部均值，包括：

6.根据权利要求5所述的方法，其特征在于，所述局部主成分数量为5个。

7.根据权利要求1所述的方法，其特征在于，所述将所述量化后的全局主成分得分、所述局部主成分得分、所述局部特征向量、所述局部均值以及量化参数封装后进行gzip编码压缩，得到压缩数据文件，包括：

8.一种红外高光谱探测数据压缩系统，其特征在于，包括：

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。

10.一种计算机程序产品，其特征在于，当计算机程序产品在电子设备上运行时，使得电子设备执行如权利要求1至7任一项所述的方法。