一种基于书法美学的书法图像个性化生成方法

本发明属于图像处理与计算机视觉交叉，具体涉及一种基于书法美学的书法图像个性化生成方法。

背景技术：

1、书法美学图像个性化生成旨在根据用户设定的美学属性，生成在字形结构、笔画形态和整体美学上符合目标要求的书法图像。与一般字体生成任务相比，书法美学图像个性化生成不仅要求生成结果在内容层面保持可辨识性，还要求其在结构布局、风格和美学表达上体现出较强一致性。

2、然而，现有生成模型在处理书法风格生成任务时，往往将全局语义建模与局部细节生成分离处理，导致整体风格信息难以在生成过程中持续作用于局部书写过程。这就导致了：一方面，当全局特征仅在生成初始阶段提供粗粒度信息时，后续局部特征生成容易偏离用户设定的美学目标，使与目标属性高度相关的局部书写细节无法被有效强化，而与整体美学趋势不一致的局部响应却可能被保留下来。另一方面，书法图像生成网络内部通常同时维护多种空间尺度的特征表示，若在特征融合阶段忽略不同尺度在美学表达中的影响程度，而对多尺度特征进行统一处理，容易造成美学属性在不同层级上的传递不充分，进而导致生成结果在整体结构与局部细节之间出现表达不平衡的问题。

3、书法图像个性化生成不仅涉及字符内容保持，还涉及笔画粗细、转折力度、结构松紧、章法布局以及整体气韵等美学属性的协同表达。现有字体生成或属性编辑方法通常依赖条件向量、风格编码或简单特征拼接实现生成控制，但这类方式难以保证全局美学目标在生成网络的各个阶段持续发挥作用，容易出现局部笔画细节与整体风格不一致的问题。此外，书法图像生成过程中，不同尺度特征分别对应整体结构、空间布局和局部笔画细节。如果对多尺度特征采用统一融合方式，容易导致美学属性在不同层级上的表达不均衡，进而影响生成图像的结构稳定性、美学一致性和细节自然性。

技术实现思路

1、针对上述问题，本发明的目的是提供一种基于书法美学的书法图像个性化生成方法，以解决现有技术中全局语义与局部生成过程脱节以及多尺度特征统一处理导致的属性表达失衡问题。

2、为实现上述目的，本发明采取的技术方案包括：

3、一种基于书法美学的书法图像个性化生成模型构建方法，包括如下步骤：

4、s1，获取书法图像数据集，书法图像数据集包括n幅书法图像，每幅书法图像对应一个输入属性向量，输入属性向量为多维度，各维度分别对应不同的书法美学风格；n幅书法图像包括1幅输入图像和n-1幅风格图像，输入图像用于提供字形结构信息，风格图像用于提供风格参考信息；获取符合输入图像提供的字形结构信息和风格图像提供的风格参考信息的真实图像；设定与输入属性向量维度相等的目标属性向量和属性占比参数；

5、s2，构建书法图像个性化生成网络，书法图像个性化生成网络包括生成单元和判别器，生成单元包括特征编码器、风格编码器、特征自适应融合模块、美学注入模块和解码器；

6、特征编码器用于对书法图像进行特征提取，得到全局风格特征和局部空间特征；风格编码器用于对风格图像进行特征提取，得到风格特征；

7、特征自适应融合模块的输入端分别与特征编码器的输出端和风格编码器的输出端相连，用于接收特征编码器输出的全局风格特征和局部空间特征以及风格编码器输出的风格特征，以风格特征和全局风格特征拼接后共同生成通道权重对局部空间特征进行逐通道调制，并将得到的增强中间特征输出至解码器；

8、美学注入模块的输入端分别与风格编码器的输出端和网络输入端相连，用于接收风格特征、输入属性向量、目标属性向量和属性占比参数，将输入属性向量和目标属性向量通过属性占比参数进行线性加权得到个性化属性条件向量，并根据个性化属性条件向量与风格特征生成属性引导特征，并将属性引导特征输出至解码器；

9、解码器用于接收特征自适应融合模块输出的增强中间特征和美学注入模块输出的属性引导特征，进行逐步解码，输出生成图像；

10、判别器包括判别分支和美学特征提取分支，判别分支用于对解码器输出的生成图像与真实图像进行判别，以辅助对抗训练，美学特征提取分支用于提取生成图像和真实图像的美学特征向量；

11、s3，将书法图像数据集、真实图像、目标属性向量和属性占比参数输入s2构建的书法图像个性化生成网络，并以总体优化目标函数和对抗损失函数对书法图像个性化生成网络进行训练，得到训练好的生成单元，并将训练好的生成单元作为书法图像个性化生成模型；总体优化目标函数如下式：

12、

13、其中，为像素级重建约束，为结构感知约束，为美学一致性约束，、和分别为素级重建损失、结构感知损失和美学一致性损失的权重。

14、优选的，s2中特征自适应融合模块以风格特征和全局风格特征拼接后共同生成通道权重，对局部空间特征进行逐通道调制，具体包括：

15、将输入图像输入特征编码器进行特征提取，得到特征图f，对特征图f通过空间聚合获得全局风格特征，对特征图f进行映射，得到局部空间特征其中，表示空间聚合算子，用于保留整体统计特征；表示线性映射函数，由卷积算子构成，用于刻画局部结构;分别表示局部空间特征的高度、宽度和通道数；

16、将风格编码器输出的风格特征记为s，将全局风格特征g与风格特征s进行拼接后共同生成通道权重；其中，与为线性映射函数，表示非线性激活操作,为sigmoid激活函数，用于约束权重分布的稳定性；

17、根据通道权重a对局部空间特征进行逐通道调制，得到调制后的局部特征；其中，h、w和c分别表示增强中间特征的高度方向索引、宽度方向索引和通道索引，表示第c个通道的权重值；

18、将调制后的局部特征通过特征整合映射函数回注至主干特征流，以f作为主干特征，得到增强中间特征；其中，表示特征整合映射函数，用以保证调制后的特征与主干特征在维度与分布上的一致性。

19、优选的，s2中美学注入模块将输入属性向量和目标属性向量通过属性占比参数进行线性加权得到个性化属性条件向量；

20、将个性化属性条件向量与风格编码器输出的风格特征进行拼接，形成美学嵌入向量；

21、获取解码器的多个中间层分别输出的多组不同空间尺度的特征；其中，表示空间尺度的总数，表示第个空间尺度的特征；

22、对各空间尺度的特征进行空间聚合操作，得到联合表示；

23、通过可学习的映射函数将联合表示映射为一组空间尺度相关的调制权重；其中，表示第s个空间尺度的调制权重；

24、基于调制权重对各尺度特征进行美学属性驱动的重标定，得到；其中，⊙表示逐元素乘积运算；

25、对通过多尺度融合映射函数完成整合，输出多尺度调制后的特征表示，并将其作为属性引导特征；其中，表示多尺度融合映射函数。

26、优选的，s3中对书法图像个性化生成网络进行训练，具体包括如下步骤：

27、s31，将书法图像数据集中的输入图像和风格图像、真实图像、目标属性向量和属性占比参数输入书法图像个性化生成网络；

28、s32，将输入图像输入特征编码器进行特征提取，得到全局风格特征和局部空间特征；将风格图像输入风格编码器进行特征提取，得到风格特征；将真实图像作为判别器的监督信号输入判别器；

29、s33，特征自适应融合模块根据全局风格特征与风格特征的拼接结果生成通道权重，对局部空间特征进行逐通道调制，得到增强中间特征；

30、s34，美学注入模块根据输入属性向量、目标属性向量和属性占比参数计算个性化属性条件向量，并根据个性化属性条件向量与风格特征生成属性引导特征；

31、s35，解码器对增强中间特征和属性引导特征进行逐步解码，输出生成图像；

32、s36，以总体优化目标函数和对抗损失函数计算生成图像与真实图像之间的损失值，并根据损失值通过反向传播算法更新生成单元和判别器的网络参数，直至总体优化目标函数收敛，得到训练好的生成单元。

33、优选的，属性占比参数在训练过程中按照随机采样方式取值，每次迭代从[0,1]区间内随机采样一个数值作为当前迭代的属性占比参数。

34、优选的，像素级重建约束为：；其中，表示真实书法图像，表示解码器输出的生成图像，表示l1范数；结构感知约束为：；其中，表示用于提取中高层结构表示的特征提取网络；美学一致性约束：；其中，为判别器的美学特征提取分支对生成图像提取的美学特征向量，表示l2范数的平方。

35、一种基于书法美学的书法图像个性化生成方法，包括如下步骤：

36、步骤一，获取输入图像和用户指定的目标属性向量，目标属性向量为多维度，其中各维度分别对应不同的书法美学风格；

37、步骤二，将输入图像和用户指定的目标属性向量输入如权利要求1~6任一项的模型构建方法构建得到的书法图像个性化生成模型，并指定属性占比参数；

38、步骤三，输出生成图像。

39、一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时，以实现本技术公开的基于书法美学的书法图像个性化生成方法。

40、一种计算机程序产品，包括计算机程序/指令，计算机程序/指令被处理器执行时，以实现本技术公开的基于书法美学的书法图像个性化生成方法。

41、与现有技术相比，本发明的优点为：

42、（1）本发明的基于书法美学的书法图像个性化生成方法，通过特征自适应融合模块以全局风格特征与风格特征拼接后共同生成通道权重，对局部空间特征进行逐通道调制，使与目标美学属性高度相关的局部特征被强化，与整体风格取向不一致的局部细节被抑制，从而实现整体美学目标在生成过程中持续约束局部笔画生成过程，解决了全局语义与局部生成过程脱节的问题。

43、（2）本发明的基于书法美学的书法图像个性化生成方法，通过美学注入模块获取解码器多个中间层分别输出的多组不同空间尺度的特征表示，对各尺度特征进行空间聚合后映射为尺度相关的调制权重，基于该权重对各尺度特征进行美学属性驱动的重标定，使大尺度特征侧重字形结构和章法布局，中小尺度特征侧重笔画形态和局部细节表达，解决了多尺度特征统一处理导致的属性表达失衡问题。

44、（3）本发明的基于书法美学的书法图像个性化生成方法，将判别器设置为包括判别分支和美学特征提取分支的双分支结构，判别分支用于对抗训练，美学特征提取分支直接用于提取生成图像和真实图像的美学特征向量以计算美学一致性约束，在不增加额外网络模块和训练开销的前提下实现了美学特征的提取与约束。