基于神经记忆库与残差元学习的图像压缩方法及系统与流程
本发明涉及数字信号处理与深度学习交叉技术,尤其是针对极低比特率环境下的图像压缩与重建技术。
背景技术:
1、在卫星遥感数据回传、极端受限环境通信以及海量视觉数据归档等应用场景中,通信设备的物理链路带宽通常极度受限且波动剧烈。在极低比特率区间内,如何在极限压缩状态下维持图像特征的高保真度以及关键语义结构的完整性,是保障远端视觉感知、目标识别以及后续机器智能分析任务可靠性的技术基础。
2、现有的端到端图像压缩方案主要依赖于变分自编码器或基础的矢量量化模型。变分自编码器主要通过优化信息熵与均方误差来实现动态比特分配,但在极限带宽约束下,该模型往往倾向于直接丢弃高频信号以换取极低的传输码率,导致重建结果出现大面积的平滑效应和边缘模糊。部分方案引入了生成对抗网络以提升视觉观感,但由于缺乏对原始空间特征细节的确定性约束补偿,容易在复杂纹理区域产生与原始数据不符的语义伪影或纹理畸变。而常规的矢量量化技术主要将连续特征强制映射为静态的离散字典索引,这种固化的全局字典难以覆盖多变的光照状态与局部几何特征,在压缩率极高时会产生明显的特征离散块效应。
3、总之,现有方法在极限带宽场景下面临着压缩效率与局部细节保真度难以兼顾的技术问题。当处理呈现非标准分布的复杂图像实例时,现有架构的特征表达往往出现信息坍塌,且静态固化的网络模型对各类特异性纹理细节表现出较差的适应性和灵活性。因此,有必要研究一种能够提升极低带宽下图像特征重建鲁棒性及场景泛化能力的方法。
技术实现思路
1、本发明的目的在于提供一种基于神经记忆库与残差元学习的图像压缩方法及系统,以期解决现有技术的上述问题。
2、为解决上述技术问题,本发明采用如下技术方案:
3、一种基于神经记忆库与残差元学习的图像压缩方法,包括:
4、获取原始图像,利用特征编码网络对所述原始图像进行特征提取,得到潜在特征;
5、将所述潜在特征输入预先构建的层次化神经记忆库进行检索匹配,得到检索特征及对应的索引序列;
6、基于所述潜在特征与所述检索特征之间的残差,利用预先训练的元学习网络进行映射处理,得到解码参数调制信号;
7、对所述索引序列进行无损熵编码,并对所述解码参数调制信号进行量化与熵编码处理,生成压缩比特流;
8、对所述压缩比特流进行解码解析,恢复所述检索特征与所述解码参数调制信号;
9、利用所述解码参数调制信号对自适应解码器进行参数调制,基于经过参数调制的自适应解码器对所述检索特征进行特征重构,得到重建图像。
10、优选的,所述预先构建的层次化神经记忆库包括粗粒度语义层与细粒度纹理层;
11、将所述潜在特征输入预先构建的层次化神经记忆库进行检索匹配,得到检索特征及对应的索引序列,包括:
12、将所述潜在特征在所述粗粒度语义层中进行第一阶段检索匹配,采用硬量化最近邻准则,得到初始检索特征与初始匹配索引;
13、基于所述初始检索特征与所述潜在特征之间的匹配质量计算空间位置的检索置信度;
14、基于所述检索置信度与预设的置信度阈值进行判断:
15、若所述检索置信度小于所述置信度阈值,则在所述细粒度纹理层中进行细粒度纹理精化检索,得到二次检索特征及对应的精化匹配索引,并将所述初始检索特征与所述二次检索特征进行加权融合,得到最终的检索特征;
16、基于所述初始匹配索引、是否精化的层级标识以及触发精化时的所述精化匹配索引和量化置信度字段,生成所述索引序列;
17、编码端和解码端使用该量化置信度的同一反量化值进行加权融合。
18、优选的,在细粒度纹理层中进行细粒度纹理精化检索,得到二次检索特征,并将所述初始检索特征与所述二次检索特征进行加权融合,得到最终的所述检索特征,包括:
19、计算所述潜在特征与所述初始检索特征之间的局部残差特征;
20、利用预设步长与所述局部残差特征对所述潜在特征进行补偿修正,得到残差修正特征;
21、将所述残差修正特征作为查询特征,在所述细粒度纹理层中进行第二阶段检索匹配,得到所述二次检索特征;
22、以所述检索置信度经量化与反量化所得的重建值作为权重因子,对所述初始检索特征与所述二次检索特征进行加权融合,得到最终的所述检索特征。
23、优选的,基于所述潜在特征与所述检索特征之间的残差,利用预先训练的元学习网络进行映射处理,得到解码参数调制信号,包括:
24、利用所述元学习网络中的全局映射路径对所述残差进行特征维度压缩与非线性映射,得到全局调制参数;
25、利用所述元学习网络中的空间注意力路径对所述残差进行逐位置的空间特征提取,得到初始空间调制图;
26、将所述全局调制参数与所述初始空间调制图组合构成所述解码参数调制信号。
27、优选的,对所述索引序列进行无损熵编码并对所述解码参数调制信号进行量化与熵编码处理时,其中针对所述初始空间调制图的处理包括:
28、将所述初始空间调制图按照空间位置维度与调制通道维度展开为二维矩阵,并分解为第一低秩因子矩阵与第二低秩因子矩阵;
29、其中所述第一低秩因子矩阵的各行分别对应所述初始空间调制图的各个空间位置,所述第二低秩因子矩阵的各行分别对应所述初始空间调制图的各个调制通道;
30、仅对所述第一低秩因子矩阵进行所述量化与熵编码处理,并将其作为辅助码流信息写入所述压缩比特流;
31、在解码阶段,利用预置的线性映射网络对解码重建后的所述全局调制参数进行映射处理,生成所述第二低秩因子矩阵;
32、所述第二低秩因子矩阵在编解码过程中不进行传输;
33、解码端将恢复的所述第一低秩因子矩阵右乘重构出的所述第二低秩因子矩阵的转置,得到重建的空间预激活矩阵,并经非线性映射恢复空间调制图。
34、优选的,在仅对所述第一低秩因子矩阵进行所述量化与熵编码处理之前,还包括稀疏化控制步骤:
35、计算所述残差在各个空间位置的局部范数;
36、获取基于总比特预算与已分配比特量确定的系统剩余比特预算,并基于所述系统剩余比特预算在所述局部范数的统计分布中确定自适应激活阈值;
37、将所述局部范数低于所述自适应激活阈值的空间位置确定为非激活区域,为每个空间位置生成1比特的二进制掩码标志,所述非激活区域对应的二进制掩码标志置为0,激活区域置为1;
38、在所述第一低秩因子矩阵中,仅保留所述激活区域对应空间位置的行向量并按空间扫描顺序依次进行传输,所述非激活区域对应空间位置的行向量不进行传输;
39、并将所述二进制掩码标志按空间扫描顺序打包为掩码位图,写入所述压缩比特流的头信息。
40、优选的,在对所述索引序列进行无损熵编码并对所述解码参数调制信号进行量化与熵编码处理、生成压缩比特流之前,还包括比特分配决策步骤:
41、提取各空间位置的所述检索置信度,并统计计算得到全局置信度均值与全局置信度方差;
42、基于所述全局置信度均值与所述全局置信度方差,计算辅助码流比特预算占比,所述辅助码流为所述压缩比特流中用于承载所述解码参数调制信号的部分;其中,在所述全局置信度均值降低且所述全局置信度方差增大时,调高所述辅助码流比特预算占比;
43、依据所述辅助码流比特预算占比,分配所述解码参数调制信号与所述索引序列在编码时的可用码率资源,并基于分配的所述可用码率资源控制解码参数调制信号的量化步长与稀疏化程度,以及索引序列的共享编码策略;根据包含头信息的实际编码长度复核比特预算。
44、优选的,利用所述解码参数调制信号对自适应解码器进行参数调制,基于经过参数调制的自适应解码器对所述检索特征进行特征重构,得到重建图像,包括:
45、解析所述解码参数调制信号,获取对应的全局调制参数与恢复的空间调制图;
46、执行全局权重调制:利用所述全局调制参数对所述自适应解码器中的内部网络权重进行逐通道的乘性缩放,并对相应通道的偏置参数进行加性偏移更新,得到第一层调制后解码网络;
47、执行空间特征调制:将所述检索特征输入所述第一层调制后解码网络中进行处理得到中间特征图,并利用所述恢复的空间调制图对所述中间特征图进行逐空间位置的特征缩放调制,得到调制后特征图;
48、对所述调制后特征图进行非线性上采样处理与纹理融合,生成最终的所述重建图像。
49、优选的,基于所述全局置信度均值与所述全局置信度方差,计算辅助码流比特预算占比,包括:
50、将预配置的基础分配比例与动态调节量相加,得到所述辅助码流比特预算占比;其中,所述动态调节量与所述全局置信度均值呈负相关,且与所述全局置信度方差呈正相关;
51、所述方法还包括:将所述辅助码流比特预算占比及主、辅助码流各自独立终止后的实际长度封装为头信息,并写入所述压缩比特流的起始位置,以供解码端按照实际长度字段分段读取。
52、优选的,所述方法还包括:
53、响应于主码流预计编码长度超过其可用比特预算的触发条件,将针对所述索引序列的编码策略切换为空间稀疏化共享编码模式;
54、在所述空间稀疏化共享编码模式下,计算所述潜在特征中空间相邻的局部区域之间的特征相似度,将所述特征相似度大于预设相似度阈值的相邻局部区域确定为语义相似区域,并对所述语义相似区域统一分配共享的检索记录,将区域划分信息及所述共享的检索记录写入码流;基于共享后可由解码端恢复的检索特征重新计算残差和解码参数调制信号。
55、优选的,所述预置的线性映射网络通过离线训练获得,训练过程中以编码端对所述初始空间调制图执行低秩分解所得到的所述第二低秩因子矩阵作为监督目标,以所述线性映射网络由所述全局调制参数预测得到的第二低秩因子矩阵与所述监督目标之间的重构误差作为约束进行参数优化,以降低空间调制图的近似重构误差;
56、监督目标采用固定的因子排序、符号及尺度规范,避免低秩因子表示不唯一造成监督冲突;
57、并且,在编码阶段,编码端按照与解码端相同的方式,利用所述线性映射网络由经过量化与反量化重建后的所述全局调制参数计算出预测的第二低秩因子矩阵,再以该预测的第二低秩因子矩阵作为已知量,通过基于moore-penrose伪逆的最小二乘求解得到所述第一低秩因子矩阵,从而使编码端与解码端采用同一个第二低秩因子矩阵;
58、训练及编码端质量评估均使用经过同一稀疏化、量化及解码重建流程得到的调制信号。
59、根据本技术的一个方面,还提供一种基于神经记忆库与残差元学习的图像压缩系统,包括:
60、特征提取模块,用于获取原始图像,利用特征编码网络对所述原始图像进行特征提取,得到潜在特征;
61、检索匹配模块,用于将所述潜在特征输入预先构建的层次化神经记忆库进行检索匹配,得到检索特征及对应的索引序列;
62、残差映射模块,用于基于所述潜在特征与所述检索特征之间的残差,利用预先训练的元学习网络进行映射处理,得到解码参数调制信号;
63、压缩编码模块,用于对所述索引序列进行无损熵编码,并对所述解码参数调制信号进行量化与熵编码处理,生成压缩比特流;
64、解码重构模块,用于对所述压缩比特流进行解码解析,恢复所述检索特征与所述解码参数调制信号,并利用所述解码参数调制信号对自适应解码器进行参数调制,基于经过参数调制的自适应解码器对所述检索特征进行特征重构,得到重建图像。
65、有益效果:
66、为了解决极限带宽下单一量化导致的细节丢失问题,引入了置信度引导的两阶段迭代检索机制。通过利用初始匹配残差对查询向量进行定向补偿,能够自适应地从神经记忆库中召回高保真度的纹理先验,减少了复杂边缘区域的平滑效应与语义错位。
67、针对高维残差传输带来的码率膨胀问题,采用双轨残差映射与低秩分解策略。该策略将庞大的残差场降维转化为低维度的调制指令,并在解码端利用预置的线性映射网络重构所述第二低秩因子矩阵,恢复空间调制图,在控制物理传输带宽增长的前提下,降低了对空间高频细节进行补偿所需的辅助码率。同时,为了应对非标准分布图像的信息坍塌,方案结合了全局置信度驱动的双流资源分配机制。当图像脱离字典先验分布时,能够动态削减主码流索引的开销,将信道资源倾斜至残差映射通道,增强了极端工况下的重建鲁棒性。
68、此外,通过在接收端执行全局网络权重更新与空间特征逐点缩放的双层调制,使解码器执行自适应色调校准与风格适配,还原了特异性的光影与几何细节,还克服了传统网络的静态固化缺陷。结合场景驱动的特定对象记忆库动态挂载机制,本技术剔除了跨领域的视觉冗余,以降低特定场景下的图像存储开销;具体节省比例须在统一测试集、完整码流计数及相同质量评价条件下测定。
69、进一步地,通过基于残差局部范数与系统剩余比特预算的稀疏化激活掩码控制,本发明仅对匹配误差显著的纹理复杂区域传输低秩因子矩阵的对应行向量,而将平坦区域的调制值在解码端直接置为恒等基准值,在基本不损害重建质量的前提下进一步压缩了辅助码流开销;同时,通过在离线联合训练中引入带松弛阈值的原型向量多样性惩罚项,抑制了记忆库码字的同质化与特征空间坍塌,在原型向量总数大于特征空间维度时仍能维持特征字典的表征多样性,提升了记忆库对非标准分布图像的覆盖能力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com