一种可变码率图像压缩方法及系统

技术特征：
1.一种可变码率图像压缩方法，其特征在于，输入图像或特征至构建的训练好的包含有变分自编码器的压缩模型中；压缩模型对输入的图像或特征进行压缩优化后输出压缩后的图像或特征。2.根据权利要求1所述的一种可变码率图像压缩方法，其特征在于，变分自编码器的构建包括通过独热编码将码率控制参数λ转换为二进制向量，再通过全连接层根据编码结果自适应地生成多组专家投票权重；生成与专家权重数量相同的多组卷积核参数，并通过根据专家权重加权求和的生成动态卷积核；将生成的动态参数卷积核替代普通卷积核构建变分自编码器；采用梯度下降方法对变分自编码器中进行训练，使用可变码率训练策略优化变分自编码器。3.根据权利要求1所述的一种可变码率图像压缩方法，其特征在于，压缩模型构建步骤如下，对码率控制参数进行编码，定义编码码率控制参数的取值区间λ，取λ＝{256,512,1024,2048,4096,6048}，码率控制参数λ∈λ；使用全连接网络预测专家权重，采用神经网络中的全连接层与线性整流激活函数结合作为权重生成工具，通过拉格朗日乘子λ作为码率控制参数生成了一组自适应调节的专家权重用于下一步的数据变分方向引导；生成多组可学习卷积核参数，采用卷积神经网络对输入特征进行级联式的连续变分，对多组卷积核进行同步的参数更新，将通过步骤2.2生成的权重进行动态分配卷积核；根据模拟专家权重对卷积核进行加权求和，动态参数化卷积的卷积次数是多卷积操作线性组合的使用动态卷积重构压缩模型；将动态参数卷积替换掉图像压缩框架中的所有普通卷积，卷积操作均为以码率调节参数为条件的动态卷积，在进行训练引导下即可进行相应的条件变分编解码；构建可变码率的率失真损失函数。4.根据权利要求1所述的一种可变码率图像压缩方法，其特征在于，训练时，将梯度下降方法应用于损失函数中，并使用可变码率训练策略进行整体模型的优化，具体时间通过主编码器从输入图像x中获取到潜在表达y，再通过超先验编码器从潜在表达y中获取到超潜在表达z；；随机选取拉格朗日乘子λ进行动态参数卷积核的生成以及损失函数的构建，使得模型对码率调节参数始终敏感，进而构建可变码率推理的端到端优化图像压缩模型。5.根据权利要求1所述的变码率图像压缩框架构建方法，其特征在于，所述的对码率控制参数进行编码的具体过程为：对码率控制参数进行编码以消除数值距离先验；首先定义编码码率控制参数的取值区间λ；码率控制参数λ∈λ，编码结果可表示为λ
′
＝encode
λ
(λ)
其中λ
′
表示编码结果，encode
λ
(λ)表示在λ集合内的编码操作；在可变码率模型构建环节，编码可以保证不同码率种类的前提下，以编码后的形式重新组织码率控制参数，避免码率控制参数的数值大小对最终的模型训练产生错误的训练结果。6.根据权利要求1所述的一种可变码率图像压缩方法，其特征在于，对模拟专家权重预测的具体过程为：选用神经网络层与线激活函数结合作为权重生成工具；在专家权重生成过程中，必须先确定码率控制参数列表的长度lambda_num以及专家权重数量expert_num，权重生成过程可表示为：其中，w
expert
为动态生成的专家权重组合，指使用神经网路将输入大小为lambda_num的特征转换为输出大小为middle_channel的特征，act(x)即为激活函数，softmax{x}为归一化指数函数，用于将模块输出标准化使权重求和结果为1；至此，模型已通过拉格朗日乘子λ作为码率控制参数生成了一组自适应调节的专家权重用于下一步的数据变分方向引导。7.根据权利要求1所述的一种可变码率图像压缩方法，其特征在于，所述的生成可学习卷积核参数与对应卷积核加权求和的具体过程为：采用卷积神经网络对输入特征进行级联式的连续变分；根据模拟专家权重对卷积核进行加权求和；考虑到多卷积操作线性组合高计算复杂度，经优化使用具有同等效果的动态参数化卷积完成，即(α1·
w1
…
α
n
·
w
n
)*x＝α1·
(w1*x)
…
α
n
*(w
n
*x),其中α
i
为专家权重，w
i
为卷积核参数，*代表卷积操作；由公式可以看出，这两种操作在结果上是完全一致的，但是从整体运算度而言，动态参数化卷积的卷积次数是多卷积操作线性组合的将动态参数化卷积的公式定义为：将动态参数化卷积的公式定义为：由于使用了softmax函数进行了权重的归一化，故引入约束项：总权重项求和结果为1。8.根据权利要求1所述的一种可变码率图像压缩方法，其特征在于，构建可变码率的率失真损失函数基于以下公式其中，λ为拉格朗日乘子，p
x
为自然图像的未知分布，表示舍入到最接近的整数(量化)，y＝f(x)为编码器，为量化的潜在表达，为离散熵模型，为解码器，表示重构图像；损失函数中的前一分式，即码率项对应潜在表达的边缘分布与学习到的熵模型估计结果之间的交叉熵，最小化交叉熵使两个分布尽可能相同；损失函数中的后一分式畸变项对应于原图与重建结果近似形式的似然。
9.根据权利要求1所述的一种可变码率图像压缩方法，其特征在于，所述可变码率模型端到端训练的具体过程为：将梯度下降方法应用于损失函数，可变码率训练的总体损失函数可以表示为以下函数：数：loss
total
＝r
φ,θ
(λ) λ
·
d
φ,θ
(λ)，训练时，随机选取拉格朗日乘子λ进行动态参数卷积核的生成以及损失函数的构建，使得模型对码率调节参数始终敏感，进而构建可变码率推理的端到端优化图像压缩模型。10.一种可变码率图像压缩系统，其特征在于，包括：第一模块：输入图像或特征至构建的训练好的包含有变分自编码器的压缩模型中；第二模块：压缩模型对输入的图像或特征进行压缩优化后输出压缩后的图像或特征。

技术总结
本发明针对端到端优化的图像压缩领域，公开了一种可变码率图像压缩方法及系统。首先通过独热编码将码率控制参数λ转换为二进制向量，再通过全连接层根据编码结果自适应地生成多组专家投票权重。与此同时，模型将对应生成与专家权重数量相同的多组卷积核参数，并通过根据专家权重加权求和的方式实现最终动态卷积核的高效生成。最终以上述生成的动态参数卷积核构建变分自编码器。本方法提出的可变码率模型可以有效地根据码率调节参数改变压缩过程中的数据分布变化方向，并且动态参数调节的设计可以有效降低整体变码率压缩框架的运算量，实现在端到端优化的压缩框架中以单个压缩模型控制多种压缩码率。模型控制多种压缩码率。模型控制多种压缩码率。


技术研发人员：陈震中 王怀睿
受保护的技术使用者：武汉大学
技术研发日：2022.08.31
技术公布日：2022/12/5