融合语义感知注意力与Converse-2D算子的瓷器图像高光去除方法
本技术涉及图像处理,更具体地说,涉及一种融合语义感知注意力与converse-2d算子的瓷器图像高光去除方法。
背景技术:
1、随着文物数字化保护技术的快速发展,三维扫描、微距成像等设备已成为瓷器文物信息采集的核心工具。然而,瓷器表面光滑的釉质具备极强的镜面反射特性,在非受控光照环境下极易产生大面积饱和高光耀斑,掩盖纹饰、刻痕、胎釉质感等关键信息。在二维图像域,耀斑会导致底层漫反射纹理截断与色彩畸变;在三维空间域,会干扰结构光条纹相位解码造成点云孔洞;在面向海量残片的自动分拣与目标检测等下游视觉任务中,高光区域突变的边缘梯度极易被卷积神经网络误判为固有纹饰或物理边界,引入大量伪特征噪声,导致分类、断代及算法重拼的泛化误差急剧上升。因此,高光抑制已成为直接决定后续三维重建与机器视觉算法可靠性的底层预处理瓶颈。
2、在图像处理领域,高光去除旨在去除因镜面反射导致的过曝像素并还原细节。传统方法围绕双色反射模型与颜色空间分析展开,如将表面反射分解为漫反射与镜面反射,并通过色调-亮度-饱和度三维凸包、非线性扩散方程、双边滤波、稀疏低秩分解等手段进行处理。尽管后续研究引入了非色度分割、偏微分方程及张量投票等策略,但这些方法均建立在“双色反射结合单张输入”假设之上。面对瓷器釉面高光与纹饰颜色高度耦合的场景,色度-亮度联合空间中的非正交性导致物理模型失效,传统方法在复杂光照下往往同时削弱纹理,导致图像模糊,无法有效分离高光与纹饰。
3、深度学习方法将高光去除转向数据驱动路线,如编码器-解码器框架、多视角外观分解、生成对抗网络及基于自注意力机制的transformer架构等。然而,将现有深度学习方法直接应用于瓷器文物图像时,面临着由瓷器材质物理特性与成像光学特性耦合导致的特异性技术障碍。
4、其一是频域分布特异性,釉面高光的高频各向异性缺失,其边缘在频域中以无方向性的高频噪声形式向水平、垂直、对角线等方向均匀泄漏能量,而纹饰呈现显著的方向选择性高频响应;现有各向同性局部感受野的网络无法显式区分两者,导致“纹理误删”或“高光残留”。其二是边缘梯度特异性,高光边缘呈现低幅值、宽过渡带的缓变梯度,而纹饰边界为锐利梯度,现有基于梯度惩罚的方法易将两者混淆,产生边缘伪影。其三是纹饰-高光颜色耦合特异性,瓷器釉面高光受多次散射影响呈现与纹饰底色同色温偏移的色调,导致色度-亮度联合空间高度非正交,基于色度阈值或颜色空间旋转的物理模型失效。其四是瓷器文物真实高光样本稀缺,合成数据难以还原复杂光照与材质反射特性,模型易过拟合且跨材质泛化难度大。
5、综上所述,现有传统方法与深度学习方法均无法满足瓷器文物数字化采集的高精度、高鲁棒性高光去除需求,亟需一种能够在频域方向选择性、边缘梯度特异性、色度-亮度耦合性三个维度上同时实现高光与纹饰精准区分的专用高光去除方法。
技术实现思路
1、本技术提供一种融合语义感知注意力与converse-2d算子的瓷器图像高光去除方法,通过小波引导修复网络wgnet解决纹饰与高光频率响应难以区分以及传统转置卷积易产生棋盘伪影的问题。
2、本技术提供的技术方案如下:
3、一种融合语义感知注意力与converse-2d算子的瓷器图像高光去除方法,包括:
4、获取成对的含高光图像与无高光真实图像作为训练数据,并构建三尺度编码器—解码器结构的小波引导修复网络wgnet;
5、将待处理高光图像映射为浅层视觉特征;在编码端的浅层局部混合双注意力模块中执行离散小波变换,将所述浅层视觉特征分解为低频子带ll以及三个方向的高频子带lh、hl和hh;分别采用参数相互独立的3×3卷积和gelu激活处理四个子带,经逆离散小波变换得到重建特征,并将所述重建特征与变换前的浅层视觉特征沿通道维拼接后通过1×1卷积,得到小波增强特征;利用所述小波增强特征构造查询query和键key,并利用所述浅层视觉特征构造值value,以执行局部像素注意力与通道注意力计算;
6、编码端通过pixelunshuffle与卷积完成逐级下采样,并在深层编码阶段利用通道上下文注意力建模语义通道之间的依赖关系;所述瓶颈层并行聚合全局像素空间信息与通道上下文信息,生成全局高维特征;
7、所述解码端通过跳跃连接将当前解码特征与编码端对应尺度的浅层视觉特征沿通道维拼接,经过1×1卷积融合和注意力模块细化后,采用converse-2d算子逐级恢复空间分辨率;经输出卷积预测残差图像,并将所述残差图像与待处理高光图像相加,得到无高光图像。
8、其中一种可能的实现方式中,基于所述训练数据训练wgnet,包括:
9、采用均方误差损失与结构相似性损失的加权和迭代优化wgnet参数;其中,总损失表示为:
10、
11、式中,表示均方误差损失,用于约束像素级重建精度;表示结构相似性损失,用于约束图像结构与纹理保真度。
12、其中一种可能的实现方式中,对于待处理高光图像,在输入所述小波引导修复网络wgnet之前,所述方法还包括:
13、对所述待处理高光图像进行预处理,包括统一尺寸并完成像素归一化,得到尺寸一致的待处理高光图像。
14、其中一种可能的实现方式中,所述小波引导修复网络wgnet还用于通过3×3卷积将待处理高光图像映射至高维特征空间,得到所述浅层视觉特征。
15、其中一种可能的实现方式中,所述浅层局部混合双注意力模块采用像素注意力分支与通道注意力分支并行结构;
16、像素注意力分支采用普通窗口与移位窗口建模局部像素依赖,通道注意力分支建模语义通道之间的上下文依赖;
17、执行局部像素注意力与通道注意力计算,还包括:
18、通过可学习权重α对像素注意力分支与通道注意力分支的输出进行自适应融合,得到局部增强特征。
19、其中一种可能的实现方式中,编码端第二尺度、第三尺度以及解码端对应尺度设置通道上下文注意力模块;
20、所述通道上下文注意力模块用于对输入的局部增强特征进行层归一化,通过由1×1卷积和深度可分离卷积构成的联合特征映射生成查询query、键key和值value,并在通道维度执行多头自注意力,以建模不同语义通道之间的上下文依赖关系。
21、其中一种可能的实现方式中,所述瓶颈层部署有自适应全局混合注意力模块,用于并行建模全局通道与空间依赖;通过可学习权重β对全局像素空间注意力分支的输出进行加权,通过权重1-β对通道上下文注意力分支的输出进行加权,并将两个加权结果相加,得到全局高维特征。
22、其中一种可能的实现方式中,所述converse-2d算子将高分辨率特征恢复建模为带正则项的最小二乘优化问题,根据卷积核及其转置算子获得闭式解,并通过快速傅里叶变换在频域执行所述闭式解的计算,以逐级恢复特征的空间分辨率。
23、与现有技术相比,本技术提供的技术方案存在如下有益效果:
24、本技术在wgnet浅层局部混合双注意力模块中引入小波频率增强机制,利用低频分支学习整体结构与亮度信息,利用三个参数独立的高频分支学习不同方向的边缘与纹理信息;经逆离散小波变换及原始特征融合后,引导像素与通道注意力计算,从而提高纹饰结构与镜面高光的区分能力。解码端采用converse-2d算子,将上采样建模为正则化优化问题并在频域求解,有效抑制传统转置卷积因重叠不均产生的棋盘伪影,提高瓷器图像高光去除与结构恢复质量。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com