一种流体流动数据压缩与重构方法及系统

摘要: 本发明涉及数据处理,具体涉及一种流体流动数据压缩与重构方法及系统。背景技术:1、随着计算流体力学(cfd)、实验流体力学、高分辨率海洋环流模拟、气动外形仿真、湍...
一种流体流动数据压缩与重构方法及系统

本发明涉及数据处理,具体涉及一种流体流动数据压缩与重构方法及系统。

背景技术:

1、随着计算流体力学(cfd)、实验流体力学、高分辨率海洋环流模拟、气动外形仿真、湍流数值模拟以及多物理场耦合计算的发展,流体流动数据的规模快速增长。该类数据通常以连续时间步的二维或三维物理场形式存在,每一帧包含速度、涡量、密度、压力、温度、能量或其他物理通道,且多数采用浮点数格式存储。大规模流体仿真往往会产生长时间序列、高空间分辨率、多物理变量的数据,导致存储、传输、归档、远程协同分析和后处理面临较高成本。

2、与自然图像或普通视频不同,流体流动数据具有明显的科学数据属性。一方面,流体场在空间上具有强相关性和多尺度结构,例如大尺度相干结构、局部涡结构、高频剪切细节和边界层细节;另一方面,流体场在时间上并非随机变化,而是受到连续介质力学和偏微分方程支配,前后时间步之间具有显著的演化连续性。因此,流体数据压缩不仅要求获得较低码率和较高重构精度,还要求尽量保持梯度、频谱、能量谱、涡量、质量守恒、速度分布等对科学分析有意义的物理统计特征。

3、传统压缩方法如jpeg、jpeg2000、h.264/h.265等主要面向自然图像或普通视频。jpeg通常依赖离散余弦变换、量化和熵编码;jpeg2000通常依赖小波变换和嵌入式编码;传统视频压缩框架通常包含运动估计、运动补偿、残差编码和熵编码等步骤。这些方法能够压缩视觉数据,但其运动模型和失真指标主要围绕人眼视觉质量设计,难以充分适应浮点型科学流场数据。

4、近年来,深度学习压缩方法通过自编码器、超先验熵模型、上下文模型、transformer-cnn混合结构、向量量化等模块显著提升了图像和视频的率失真性能。针对流体数据的神经压缩方法也开始出现,例如基于自编码器的流体压缩、基于向量量化自编码器的流体压缩、基于swin transformer或注意力机制的流体数据压缩等。这些方法在某些场景下提升了压缩效率,但多数仍然以单帧图像压缩或静态空间特征压缩为主,未充分利用流体序列的时间冗余和物理演化规律。

5、因此,在面向连续时间步流体流动数据的压缩任务中,需要一种能够同时利用视频压缩中的预测-残差思想、神经网络的非线性表示能力、神经算子的物理演化建模能力以及物理一致性约束的压缩方法,以在高压缩比下兼顾压缩效率、重构精度、时序稳定性和科学保真度。

技术实现思路

1、为了解决上述问题,本发明提出了一种流体流动数据压缩与重构方法及系统,通过构建物理演化预测模块将流体时序数据的压缩对象由原始帧转化为预测残差以减少待编码信息量,并通过多帧融合模块利用历史重构帧对当前帧进行修正以抑制误差累积,同时引入包含空间梯度一致性和频谱一致性的联合损失函数进行训练,实现了在降低码率的同时保持重构流场的物理保真度和稳定性。

2、一方面,一种流体流动数据压缩与重构方法,包括:

3、s1,获取连续时间步的流体流动数据序列,所述流体流动数据序列包括首帧以及若干后续帧;

4、s2,采用帧内压缩方法对首帧直接编码,得到重构帧并写入解码帧缓存;

5、s3,对于每一后续帧,从解码帧缓存中获取前一帧的重构帧,将其输入物理演化预测模块,生成当前帧的预测流体场;

6、s4,计算当前帧和当前帧的预测流体场之间的差值,得到时间残差,通过残差压缩模块对时间残差进行编码、量化和熵编码,生成压缩码流;

7、s5,通过残差解码模块对压缩码流进行熵解码和残差解码,获得重构残差,将重构残差和当前帧的预测流体场相加,获得中间重构流体场;

8、s6,从解码帧缓存中获取预设数量的重构帧作为历史重构帧,将中间重构流体场和历史重构帧输入多帧融合模块进行融合修正,输出当前帧的重构帧;

9、s7,将当前帧的重构帧存入解码帧缓存,用于后续帧的物理演化预测和多帧融合。

10、进一步的,所述物理演化预测模块为傅里叶神经算子,包括提升层、傅里叶层和投影层;

11、所述提升层用于对输入的重构帧进行特征提取后映射为高维特征;

12、所述傅里叶层用于用于接收提升层输出的高维特征,将提升层输出的高维特征变换至频域进行可学习的全局谱混合,再通过逆傅里叶变换恢复至空间域,并经过点式线性变换和非线性激活后输出处理后的高维特征;

13、所述投影层用于将傅里叶层处理后的高维特征映射回目标物理通道维度的预测流体场。

14、进一步的,所述残差压缩模块包括残差主编码器、超先验编码器、量化器、熵模型和算术编码器;

15、所述残差主编码器用于将时间残差映射为潜变量;

16、所述超先验编码器用于将潜变量映射为超潜变量;

17、所述量化器用于对潜变量和超潜变量进行量化,获得量化后的潜变量和超潜变量;

18、所述熵模型用于根据量化后的超潜变量估计量化后的潜变量的概率分布;

19、所述算术编码器用于根据概率分布对量化后的潜变量进行算术编码,生成压缩码流。

20、进一步的,s5中,所述残差解码模块包括算术解码器、超先验解码器和残差主解码器;

21、所述算术解码器用于对压缩码流进行算术解码,获得量化后的潜变量和量化后的超潜变量;

22、所述超先验解码器用于根据量化后的所述潜变量和所述超潜变量的解码结果,生成量化后的潜变量对应的概率分布参数;

23、所述残差主解码器用于根据量化后的潜变量对应的概率分布参数恢复重构残差。

24、进一步的,所述多帧融合模块包括拼接单元、特征提取单元和输出单元;

25、所述拼接单元用于将中间重构流体场与预设个数的历史重构帧沿时间维度或通道维度进行拼接,获得拼接后的特征;

26、所述特征提取单元用于对拼接后的特征进行卷积、残差连接和频域变换处理,获得融合特征;

27、所述输出单元用于将融合特征映射为当前帧的重构帧。

28、进一步的,训练步骤中:采用包括率失真项和物理属性保持项的联合损失函数对物理演化预测模块、所述残差压缩模块和所述多帧融合模块进行训练;

29、所述联合损失函数包括码率项、重构失真项、空间梯度一致性损失项和频谱一致性损失项;所述空间梯度一致性损失用于约束重构帧与原始帧的空间梯度差异,所述频谱一致性损失用于约束重构帧与原始帧的频域频谱差异。

30、进一步的,所述联合损失函数的计算公式如下:

31、;

32、;

33、;

34、其中,表示空间梯度损失项;表示流体场的物理通道数;和分别表示流体场空间网格的高度和宽度;表示第个时间步的原始流体场中第个物理通道的数据;表示第个时间步的最终重构流体场中第个物理通道的数据;表示第个时间步的中间重构流体场中第个物理通道的数据;表示频谱损失项; 表示空间梯度算子; 表示快速傅里叶变换;c表示物理通道索引。

35、另一方面,一种流体流动数据压缩与重构系统,包括:

36、流体数据获取模块,用于获取连续时间步的流体流动数据序列,所述流体流动数据序列包括首帧以及若干后续帧;

37、首帧编码模块,用于采用帧内压缩方法对首帧直接编码,得到重构帧并写入解码帧缓存;

38、当前帧流体场生成模块,用于对于后续各帧中的每一帧,从解码帧缓存中获取上一帧的重构帧,将上一帧的重构帧输入物理演化预测模块,生成当前帧的预测流体场;

39、压缩模块,用于计算当前帧和当前帧的预测流体场之间的差值,得到时间残差,通过残差压缩模块对时间残差进行编码、量化和熵编码,生成压缩码流;

40、重构模块,用于通过残差解码模块对压缩码流进行熵解码和残差解码,获得重构残差,将重构残差和当前帧的预测流体场相加,获得中间重构流体场;

41、融合模块,用于从解码帧缓存中获取预设数量的重构帧作为历史重构帧,将中间重构流体场和历史重构帧输入多帧融合模块进行融合修正,输出当前帧的重构帧;

42、缓存模块,用于将当前帧的重构帧存入解码帧缓存,用于后续帧的物理演化预测和多帧融合。

43、本发明采用如上技术方案,并具有有益效果:

44、(1)本发明通过物理演化预测模块利用上一帧的重构帧预测当前帧流体场,使压缩对象由原始流体帧转化为预测残差,由于流体运动具有连续性和强时序相关性,预测残差的幅值和信息熵显著低于原始帧,从而大幅减少待编码数据量,有效降低流体仿真场景中海量时序数据的存储和传输成本;

45、(2)本发明采用傅里叶神经算子作为物理演化预测模块,通过频域全局谱混合建模流体场的远距离空间依赖和多尺度演化特征,同时在训练阶段引入空间梯度一致性损失和频谱一致性损失,使重构结果不仅在像素级误差上接近原始数据,还能保持梯度、频谱等物理统计特征的一致性;

46、(3)本发明通过多帧融合模块将当前帧的中间重构结果与多个历史重构帧进行融合修正,并利用解码帧缓存实现编解码端同步,有效抑制了长时间序列压缩中的误差累积,使重构误差不会随时间步增长而持续放大,在长序列压缩任务中仍能保持稳定的重构质量。