基于结构指导与频域感知的汉代画像石拓片图像修复方法

本发明属于文化遗产数字化保护领域，具体涉及基于结构指导与频域感知的汉代画像石拓片图像修复方法。

背景技术：

1、汉代画像石是中国古代石刻艺术的核心遗存，其拓片以黑白雕刻线条为核心视觉载体，具备高结构依赖性、低纹理冗余的典型图像特征，是文物数字化存档、历史文化研究的重要资料。受千年自然风化、人为磕碰与保存环境影响，原石表面剥蚀、裂隙、残缺会完整转移至拓片图像，形成大面积线条断裂、不规则风化杂斑、油墨扩散噪声等图像病害，严重制约文物数字化存档质量与后续图像解析工作。

2、现阶段主流图像修复算法可分为三类，但均无法适配汉代画像石拓片的专属视觉特征，存在明显技术缺陷：

3、1、基于cnn的通用修复网络：依靠局部卷积提取特征，感受野范围有限，难以建模跨区域长距离雕刻轮廓，修复后易出现线条错位、断裂，同时网络无法自动区分有效雕刻线条与风化背景噪声，易生成虚假纹理结构；

4、2、transformer全局修复模型：依靠自注意力机制实现全局上下文建模，但计算复杂度随图像分辨率呈平方级增长，内存与推理耗时开销巨大，难以支撑批量文物拓片的高效处理；

5、3、频域感知修复网络（如ffc等）：利用频域信息强化全局纹理，但缺少显式几何结构约束，针对大面积线条缺损拓片重建时仍会出现拓扑断裂，且无法针对性滤除石刻风化带来的杂乱背景噪声；

6、此外，现有修复网络在多层特征融合过程中普遍存在高频细节丢失问题，修复图像边缘模糊，丢失拓片雕刻的字口、线条拐点等精细结构细节。因此，行业亟需一种低计算复杂度、兼顾全局线条连续性与微观纹理真实性的专用拓片图像修复算法。

技术实现思路

1、针对现有通用图像修复算法应用于汉代画像石拓片修复场景的缺陷：无法建模跨区域长距离雕刻轮廓、易混淆雕刻线条与风化噪声、深层特征融合产生过度平滑伪影以及全局建模计算成本过高。本发明提供一种基于结构指导与频域感知的汉代画像石拓片图像修复方法，实现风化破损拓片的高保真修复，兼顾全局线条连续性与微观墨色、宣纸纹理还原，同时显著降低网络推理开销。

2、为实现上述技术目的，本发明采用的技术方案如下：

3、基于结构指导与频域感知的汉代画像石拓片图像修复方法，采用结构-纹理双流协同生成对抗网络架构，对受损拓片图像执行修复推理，包括以下步骤：

4、s1：频域感知初始化：对输入受损图像提取频域增强高频特征，将空间边缘先验、频域增强高频特征与受损区域指示掩膜进行通道拼接，构建结构分支初始输入特征；

5、s2：结构特征纯化提取：将初始输入特征送入结构编码器进行多尺度特征提取，在编码器中间深层引入视觉全局建模模块捕捉全局轮廓连续性，并通过噪声精细化过滤模块滤除风化背景噪声，得到纯净结构流特征；

6、s3：高锐度结构解码：利用结构解码器对纯净结构流特征进行渐进式上采样恢复，解码阶段嵌入视觉全局建模模块实现全局结构对齐，并通过空间门控机制过滤跳跃连接特征中的噪声，输出拓片结构流预测结果；

7、s4：纹理多尺度提取：将受损图像与受损区域指示掩膜输入基于部分卷积构建的纹理流编解码器，提取多尺度拓片纹理特征；

8、s5：跨流双向特征融合：将结构特征、纹理特征映射至同一特征空间，通过视觉全局建模双向门控特征融合跨流双向融合模块实现双流全局双向特征交互，以结构特征约束纹理生成，同时利用纹理细节反向补充结构信息；

9、s6：结构约束纹理聚合：采用结构约束纹理聚合模块，基于纯净结构特征引导完成多尺度纹理语义聚合，输出修复完成的拓片图像。

10、采用上述技术方案，依托频域感知初始化前置强化拓片雕刻高频线条，区分有效结构与风化噪声，结构支路引入视觉全局建模模块以线性复杂度建模跨区域长距离轮廓，搭配噪声精细化过滤模块、空间门控分层滤除杂斑，保障线条完整锐利，纹理支路借助部分卷积隔绝破损像素干扰，精准还原宣纸、墨色微观质感，跨流双向融合模块实现双流双向约束，避免纹理无规则填充、线条偏移，结构约束纹理聚合模块解耦结构匹配与纹理填充，消除修复平滑伪影。配套双判别器与多分量联合损失训练，多维度约束重建效果，在降低全局建模算力开销的同时，兼顾拓片全局线条连续性与微观纹理真实度，适配不同破损程度汉画像石拓片高保真修复。

11、进一步的，所述s1中提取频域增强高频特征的具体步骤为：

12、s11、对受损图像执行离散余弦变换，设置具有归一化截止频率阈值的低通掩膜对高频系数进行比例衰减；

13、s12、对完成高频系数衰减处理后的频域数据执行逆离散余弦变换操作，还原生成低通平滑图像；

14、s13、计算受损图像与低通平滑图像的像素残差并执行min-max归一化，得到频域增强高频特征；

15、结构分支初始输入特征满足公式：，式中e为空间边缘先验，为频域增强高频特征，m为受损区域指示掩膜，concat代表通道拼接操作。

16、采用上述技术方案，该频域预处理方案通过离散余弦变换分离图像高低频分量，利用低通掩膜衰减细碎风化噪声对应的无效高频，逆变换得到平滑基底后，以原图与平滑图残差提取纯粹雕刻线条高频特征，经归一化强化边缘细节。将频域高频特征、空间边缘先验、破损掩膜通道拼接构建输入，可在网络输入端同步提供几何轮廓、线条纹理、破损位置三类先验信息，提前区分有效雕刻结构与风化杂斑，降低后续网络区分噪声与拓片线条的学习难度，减少深层特征提取时的噪声干扰，提升整体修复轮廓完整性。

17、进一步的，所述s2中结构特征纯化提取的具体步骤为：

18、s21、搭建七级渐进下采样结构编码器：网络包含四类特征尺度：256×256、128×128、64×64、32×32，对应特征通道依次为64、128、256、512,前三次下采样完成通道升维，后四次下采样保持32×32分辨率、512通道恒定不变；

19、s22、执行编码器浅层特征提取操作：采用具备掩膜更新机制的部分卷积提取局部结构特征，同步阻断破损像素向前传播，完成浅层处理后，将64×64、32×32中间及深层编码层级的常规卷积替换为视觉全局建模模块，在视觉全局建模模块输入前，使用浅层部分卷积生成并经插值缩放后的掩膜对特征执行掩码处理，屏蔽破损区域无效像素，视觉全局建模模块采用双向水平+垂直轴向扫描模式，依托状态空间模型线性复杂度完成跨区域全局拓扑建模；

20、s23、执行深层特征精细化降噪操作：在结构编码器最深层瓶颈、视觉全局建模模块输出后端部署噪声精细化过滤模块，噪声精细化过滤模块依次串联门控瓶颈卷积、结构感知尺度选择单元，先通过门控瓶颈卷积的主干卷积支路与并行门控分支逐元素相乘运算滤除深层风化噪声，再利用结构感知尺度选择单元多尺度空洞卷积拓展特征感受野，搭配轻量化通道注意力完成特征自适应加权输出，实现拓片断裂线条重建。

21、采用上述技术方案，七级多尺度编码器分层提取拓片结构特征，浅层部分卷积搭载动态掩膜，阻断破损像素污染深层特征，中深层引入视觉，以线性复杂度建模跨破损区域长距离雕刻轮廓，相比transformer大幅降低算力消耗。后端噪声精细化过滤模块先通过门控运算滤除深层风化杂斑，再借助多尺度空洞卷积扩大感受野，配合轻量化注意力自适应强化有效线条特征，分层完成噪声抑制与断裂线条重建，提纯无杂斑的纯净结构特征，为后续纹理填充提供准确完整的全局轮廓约束。

22、进一步的，所述s3中高锐度结构解码的具体步骤为：

23、s31、搭建对称式七级结构解码器，解码器前四层通道维持512不变，后续逐级降至256、128、64，采用双线性插值搭配卷积组合逐层上采样恢复图像分辨率；

24、s32、对32×32、64×64中层解码阶段嵌入视觉全局建模模块，对多尺度结构特征执行对齐处理，统一图像全局轮廓走向，消除不同层级拓雕刻线条错位问题；

25、s33、对128×128、256×256浅层解码阶段配置空间门控机制，对跳跃连接传入的特征做风化噪声过滤处理。

26、采用上述技术方案，采用对称七级解码器逐层上采样还原图像分辨率，中层嵌入视觉全局建模模块，统一多尺度特征的雕刻线条走向，消除层级间线条错位、断裂问题，保障全局轮廓连贯。浅层增设空间门控机制，自适应筛选跳跃连接中的浅层特征，过滤油墨扩散、细碎风化杂斑等无效噪声，保留清晰雕刻边缘。与编码器形成对称架构实现特征完整复用，中层全局对齐、浅层像素级降噪分层配合，逐步提升输出结构预测图锐度，为后续纹理融合提供精准、干净、无错位的完整轮廓先验，避免纹理填充出现线条偏移失真。

27、进一步的，所述s33中空间门控机制执行步骤为：

28、s33-1、取当前层级完成上采样处理后的特征作为计算输入；

29、s33-2、对输入特征依次执行1×1卷积运算、sigmoid激活处理，生成对应空间权重图；

30、s33-3、将生成的空间权重图与编码器跳跃连接输入的浅层特征逐元素相乘运算，自适应筛选去除含风化杂斑的无效特征，保留清晰拓片结构特征。

31、采用上述技术方案，该空间门控机制以本级上采样特征生成归一化空间权重图，通过逐元素相乘对跳跃连接浅层特征自适应筛选，精准区分清晰雕刻线条与风化杂斑、油墨扩散噪声，自动剔除无效干扰特征。机制轻量化仅采用1×1卷积与sigmoid激活，计算开销极低，适配高分辨率浅层解码场景。可在复原图像细节阶段实时滤除浅层细碎病害，保留锐利完整的拓片边缘结构，避免噪声传递至后续纹理融合环节，保障输出结构预测图干净清晰，减少修复后画面杂斑与边缘模糊问题。

32、进一步的，所述s4中纹理多尺度提取的具体步骤为：

33、s41、搭建七级部分卷积纹理编解码器，使其层级与结构编码器完全对称，在编解码全部运算流程中搭载动态掩膜更新机制，每完成一层卷积运算便同步更新掩膜，隔绝破损区域像素参与纹理特征计算；

34、s42、逐级配置七阶段纹理编解码器各层级参数，使其各分辨率尺度与结构编码器严格一一对应，编码器经四次下采样完成通道升维，特征通道规格依次为64、128、256、512，第5-7层通道固定保持512不变；

35、s43、完成全部层级纹理编码提取操作后，在纹理编码器末端输出统一64通道纯纹理特征，该特征仅承载宣纸基底、墨色浓淡两类微观材质信息，不携带全局几何结构约束。

36、采用上述技术方案，该对称七级部分卷积纹理编解码器与结构支路尺度匹配，全程动态更新掩膜，阻断破损像素干扰纹理提取，避免缺损区域失真纹理污染特征。多尺度分层提取宣纸基底、墨色浓淡微观材质信息，末端统一输出64通道无几何约束的纯纹理特征，将纹理、结构信息解耦处理。既保证微观质感还原精准，又不会混入全局轮廓干扰结构支路约束，为后续双流双向融合提供纯粹纹理素材，有效规避纹理填充时出现结构错乱、材质违和等问题。

37、进一步的，所述s5中跨流双向特征融合的具体步骤为：

38、s51、分别截取结构编码器、结构解码器输出末端特征，通过1×1卷积将两类特征映射至统一64通道特征维度；

39、s52、将对齐维度的结构特征、纹理特征通道拼接后送入视觉全局建模模块，完成双流全局上下文建模；

40、s53、基于建模后的全局特征分别卷积、sigmoid激活，生成结构调控权重、纹理调控权重两组门控参数；

41、s54、采用双向约束运算：结构门控权重与纹理特征逐乘，限制纹理填充范围贴合雕刻轮廓；纹理门控权重与结构特征逐乘，补充边缘细微墨色变化细节，依托线性计算复杂度消除修复图局部线条漂移。

42、采用上述技术方案，先通过1×1卷积统一双流特征通道维度，便于特征融合，在借助视觉全局建模模块以线性复杂度完成结构、纹理全局上下文建模，降低计算成本。通过两组门控权重实现双向约束：结构权重约束纹理仅在雕刻轮廓内填充，防止纹理溢出失真；纹理权重反向补充边缘墨色细节，完善结构精细度。双向交互可消除单一支路缺陷，解决传统融合易出现的线条漂移、纹理与轮廓不匹配问题，使修复图像全局线条连贯、局部墨色纹理自然统一。

43、进一步的，所述s6中结构约束纹理聚合的具体步骤为：

44、s61、将噪声精细化过滤模块拆分为结构亲和计算单元、多尺度纹理填充单元，将几何匹配、纹理填充两类运算逻辑解耦；

45、s62、调取s3输出完整拓片结构预测图，逐像素计算像素间余弦相似度，生成全局几何亲和性矩阵，仅依托雕刻线条拓扑关系判定像素匹配关系；

46、s63、以亲和矩阵数值为加权系数，仅在掩膜标记的未破损像素区域检索匹配多尺度真实纹理，加权完成破损区域填充，消除传统修复的过度平滑补丁伪影。

47、采用上述技术方案，将几何匹配与纹理填充解耦，先依托完整结构预测图计算像素余弦相似度生成几何亲和矩阵，仅依靠雕刻线条拓扑关系完成像素匹配，规避风化杂斑造成的匹配偏差。以亲和矩阵为权重，仅选取原图未破损区域的真实多尺度纹理加权填充缺损位置，摒弃无关虚假纹理。能够精准贴合拓片线条轮廓完成纹理还原，有效解决传统修复算法普遍存在的过度平滑、拼接补丁伪影问题，让修复区域宣纸基底、墨色质感与原生拓片视觉高度统一。

48、进一步的，该方法还配套网络训练步骤，训练阶段操作流程为：

49、s71、搭建相互独立的纹理判别器、结构判别器，两类判别器均采用多层patch卷积架构；

50、s72、纹理判别器输入局部图像块，学习宣纸、墨色纹理分布，判定修复区域微观材质真实度；

51、s73、结构判别器同步读取灰度图与对应边缘特征图，联合输入网络，约束整体雕刻拓扑连续；

52、s74、构建六分量联合损失函数，包含对抗损失、像素l1重建损失、感知损失、样式损失、边缘损失、轴向投影损失，利用联合损失迭代更新双流生成网络与双判别器参数。

53、采用上述技术方案，设置独立patch卷积纹理、结构双判别器分维度监督修复效果：纹理判别器校验宣纸墨色微观材质真实度，结构判别器联合灰度与边缘特征约束雕刻线条全局拓扑连续性。搭配六分量联合损失函数，从像素重建、感知风格、边缘轮廓、长距离线条投影多维度施加约束，多损失协同校正网络参数。分任务对抗训练可同步抑制纹理失真、线条断裂偏移问题，全面提升修复图像素精度、纹理自然度与结构完整性，大幅优化拓片修复视觉保真效果。

54、进一步的，所述联合损失总计算公式为：

55、式中：为双流协同对抗损失，为的权重系数：

56、和共同构成像素级l1重建损失，为的权重系数，为的权重系数

57、为基于vgg特征图的感知损失，为的权重系数；

58、为格拉姆矩阵样式损失，为的权重系数；

59、为边缘匹配损失：对修复图、真值图提取边缘后计算l1距离，为的权重系数；

60、为轴向投影损失：对图像行列投影向量计算余弦相似度，为的权重系数；

61、训练采用adam优化器，生成器初始学习率设置为，迭代至验证集损失收敛即终止训练。

62、采用上述技术方案，构建七项分量复合损失函数，搭配差异化权重实现多维度精准约束：高权重、、重点管控破损区域像素还原、雕刻边缘完整度与拓片墨色风格，低权重对抗、感知、轴向投影损失兼顾全局纹理真实感与长距离线条走向。采用adam优化器配合固定初始学习率稳定迭代更新网络参数，各项损失分工互补，同步约束像素误差、纹理风格、轮廓拓扑与线条连续性，避免单一损失带来的修复缺陷，直至验证集损失收敛停止训练，有效提升拓片修复综合保真度。

63、本发明相比现有技术，具有如下有益效果：

64、1、前置频域降噪，精准区分拓片线条与风化噪声：本发明引入dct频域感知初始化，分离图像高低频分量，衰减风化杂斑对应的无效高频，提取纯粹雕刻线条高频特征，联合边缘先验、破损掩膜共同输入网络，从输入端区分有效结构与噪声，解决现有算法易混淆拓片线条、风化斑驳的痛点，降低网络特征识别难度。

65、2、线性复杂度全局建模，大幅降低算力开销：在结构编解码中嵌入视觉全局建模模块，依托状态空间模型实现线性复杂度全局拓扑建模，对比transformer平方级计算开销，显著减少显存占用与推理耗时，可高效批量处理拓片，双向轴向扫描模式稳定捕捉跨破损区长距离雕刻轮廓，修复后无线条错位、断裂问题。

66、3、分层噪声抑制结合双流双向约束，兼顾结构与纹理：结构支路通过噪声精细化过滤模块深层降噪、解码器空间门控浅层滤波实现分层除噪，搭建结构-纹理双流网络，跨流双向融合模块实现双向特征交互，以结构约束纹理填充范围，纹理反向补充边缘墨色细节，克服传统单流网络结构、纹理脱节的缺陷。

67、4、解耦式纹理聚合，消除平滑补丁伪影：结构约束纹理聚合模块分离几何匹配与纹理填充流程，依托结构预测图生成亲和矩阵，仅采用原图未破损区域真实纹理加权填充缺损，规避通用修复算法过度平滑、拼接失真的问题，精准还原宣纸基底与墨色浓淡微观质感。

68、5、多维度联合损失与双判别器协同优化：纹理、结构双判别器分维度监督材质真实度与轮廓连续性，七分量联合损失从像素重建、边缘拓扑、纹理风格、长线条投影多维度约束网络，在1%-30%各类破损拓片修复场景下，峰值信噪比、结构相似性指标显著优于现有卷积网络、频域修复模型，修复图像视觉保真度更高。