基于内容自适应的卷积隐式神经图像表征方法及系统

本发明属于图像处理，涉及基于内容自适应的卷积隐式神经图像表征方法及系统。

背景技术：

1、隐式神经表征技术将图像等离散信号编码为神经网络的权重参数，以网络参数作为信号的连续函数表示。现有隐式神经表征方法主要分为两类：一类以多层感知器为核心架构，对于给定坐标输出对应像素值，但该方法在解码时需逐点独立计算，忽略了像素间的空间关联性，且受频谱偏差影响难以有效学习高频分量；另一类基于卷积神经网络的方法以均匀噪声为输入，通过级联卷积并行处理局部像素并考虑邻域相关性，在表征能力和训练效率方面较多层感知器mlp方法有所提升。

2、然而，现有基于卷积的隐式神经表征方法仍存在以下不足：其一，网络架构在训练前固定预设，无法针对不同图像内容进行动态自适应调整，限制了网络对不同目标信号的表征能力；其二，现有方法通常采用无方向约束的卷积核结构，而图像内容在不同方向上的纹理和边缘信息分布存在差异，固定卷积核难以充分建模具有方向特异性的复杂结构；其三，网络中所有通道共享同一种非线性变换，但不同通道提取的语义特征差异显著，单一激活函数限制了多语义通道的独立表达能力。

技术实现思路

1、为解决背景技术中存在的问题，本发明提出了基于内容自适应的卷积隐式神经图像表征方法及系统。

2、本发明的第一方面提供了一种自适应的卷积隐式神经图像表征方法，包括：

3、获取目标图像；

4、对所述目标图像进行频域分析，获得所述目标图像在各方向上的频域能量分布；

5、根据所述频域能量分布，确定卷积隐式神经表征网络中各个方向卷积核的分配数量；

6、基于全局正交基和可训练参数构建各所述方向卷积核，将所述方向卷积核部署至所述卷积隐式神经表征网络进行训练；

7、以单个卷积核为单位，根据各卷积核的中间输出特征图，通过可退火的概率选择机制从候选激活函数集合中为各所述卷积核选取目标激活函数；

8、将各所述目标激活函数部署至所述卷积隐式神经表征网络继续进行训练，得到经训练的目标卷积隐式神经表征网络；

9、输出所述目标卷积隐式神经表征网络的网络参数。

10、本发明的第二方面，提供了一种自适应的卷积隐式神经图像表征系统，包括：

11、图像获取模块，用于获取目标图像；

12、频域分析模块，用于对所述目标图像进行频域分析，获得所述目标图像在各方向上的频域能量分布；

13、卷积核分配模块，用于根据所述频域能量分布，确定卷积隐式神经表征网络中多个方向卷积核的分配数量；

14、卷积核构建模块，用于基于全局正交基和可训练参数构建各所述方向卷积核，并将所述方向卷积核部署至所述卷积隐式神经表征网络；

15、激活函数选取模块，用于以单个卷积核为单位，根据各卷积核的中间输出特征图，通过可退火的概率选择机制从候选激活函数集合中为各所述卷积核选取目标激活函数；

16、网络训练模块，用于将各所述目标激活函数部署至所述卷积隐式神经表征网络进行训练，得到经训练的目标卷积隐式神经表征网络；

17、参数输出模块，用于输出所述目标卷积隐式神经表征网络的网络参数。

18、与现有技术相比，本发明具有以下有益效果：

19、本发明公开了基于内容自适应的卷积隐式神经图像表征方法及系统，通过频域能量引导确定方向卷积核分配数量并基于全局正交基构建方向卷积核，使卷积隐式神经表征网络能够根据目标图像在各方向上的频域能量分布配置不同数量的方向卷积核，提升了网络针对不同图像内容进行结构自适应调整的能力和方向特征提取能力，改善了图像表征质量；以单个卷积核为粒度从候选激活函数集合中为各卷积核选取目标激活函数，使不同通道能够采用各自适配的非线性变换，突破了所有通道共享单一激活函数的表达瓶颈，增强了网络对不同语义特征的独立建模能力；采用逐层生长训练策略并在训练完成后移除辅助预测模块，在保证激活函数选择稳定性的同时不增加最终网络的参数量，使网络在保持紧凑规模的前提下提升了图像表征、超分辨率重建和图像修复任务中的峰值信噪比和结构相似性指标。

1.一种自适应的卷积隐式神经图像表征方法，其特征在于，包括：

2.根据权利要求1所述的自适应的卷积隐式神经图像表征方法，其特征在于，所述频域分析，包括：

3.根据权利要求1所述的自适应的卷积隐式神经图像表征方法，其特征在于，各个方向卷积核的分配数量，包括：

4.根据权利要求1所述的自适应的卷积隐式神经图像表征方法，其特征在于，所述全局正交基通过以下方式构造：

5.根据权利要求4所述的自适应的卷积隐式神经图像表征方法，其特征在于，所述基于全局正交基和可训练参数构建各所述方向卷积核，包括：

6.根据权利要求1所述的自适应的卷积隐式神经图像表征方法，其特征在于，所述候选激活函数集合包括以下至少一种：高斯型激活函数、正弦型激活函数、gabor型激活函数、高斯误差线性单元和辛格型激活函数。

7.根据权利要求1所述的自适应的卷积隐式神经图像表征方法，其特征在于，所述以单个卷积核为单位选取目标激活函数的步骤包括：

8.根据权利要求7所述的自适应的卷积隐式神经图像表征方法，其特征在于，所述将各所述目标激活函数部署至所述卷积隐式神经表征网络继续进行训练的步骤之前，还包括：

9.一种自适应的卷积隐式神经图像表征系统，其特征在于，包括：

10.根据权利要求9所述的自适应的卷积隐式神经图像表征系统，其特征在于，所述网络训练模块，还用于：