一种基于扩散模型的汉字笔画自回归提取方法

摘要: 本技术涉及图像处理,尤其是涉及一种基于扩散模型的汉字笔画自回归提取方法。背景技术:1、汉字笔画提取是指从完整汉字图像中定位并分离构成该汉字的各个独立笔画,同时恢...
一种基于扩散模型的汉字笔画自回归提取方法

本技术涉及图像处理,尤其是涉及一种基于扩散模型的汉字笔画自回归提取方法。

背景技术:

1、汉字笔画提取是指从完整汉字图像中定位并分离构成该汉字的各个独立笔画,同时恢复各笔画的完整形态及其书写先后顺序。笔画是汉字结构和书写过程的基本单位,准确的笔画提取结果可用于汉字识别、字体生成、书写动画、笔顺教学、书法评价、古籍数字化以及字符结构分析等任务。例如,在书写教学中,系统只有获得按真实笔顺排列的独立笔画,才能逐笔演示字符的形成过程;在字体设计和字符生成中,独立笔画也便于对局部形态、粗细和位置进行编辑。

2、汉字笔画提取不同于普通前景分割。一个汉字通常由多个具有约定书写顺序的笔画叠加形成,不同笔画之间经常出现相交、相接、遮挡以及局部形态相似等情况。在笔画交叉区域,仅依据局部像素难以判断该区域属于哪一笔;对于被后续笔画覆盖的部分,还需要结合字符整体结构恢复笔画的连续形态。与此同时,不同笔画可能具有相似的局部形态,并可能在交叉或相接区域共享相同或相邻的图像像素,仅依据局部图像难以确定当前应提取的目标笔画,因此还需要结合目标笔顺序号和已经提取的前序笔画进行判断。

3、随着计算机视觉和深度学习技术的发展,汉字笔画提取方法可以归为三类:第一类是基于形态学规则或几何分析的笔画分解方法;第二类是基于语义分割、实例分割或多标签预测的笔画提取方法;第三类是基于参考笔画和图像配准的笔画提取方法。

4、第一类方法通常对二值汉字图像执行骨架化、轮廓提取、连通域分析或交叉点检测,再依据预先设置的笔画模板和几何规则拆分笔画。如cn104156721b公开的基于模板匹配的脱机汉字笔画提取方法,首先建立笔画编码表和汉字编码表,对完整脱机汉字图像进行二值化、归一化和细化处理得到单像素骨架,并在转折点和分叉点处分割笔段,再根据横、竖、撇、捺方向合并笔段形成准笔画,随后分三轮与笔画编码表中的标准笔画进行模板匹配,最后重组并输出独立笔画。这类方法不依赖大规模训练数据,但对字体、线宽、噪声和书写风格较为敏感。当多个笔画在局部区域粘连或交叉时,基于局部几何规则得到的分解往往不唯一,容易出现断笔、错分或漏分。

5、第二类方法将每个笔画视为独立分割目标,使用卷积神经网络或实例分割网络同时预测多个笔画掩码。如cn113011431a公开的基于maskrcnn的汉字笔画分割提取方法及系统,采用resnet50与特征金字塔网络作为骨干,利用区域建议网络生成候选区域,再通过分类、包围框回归和掩码分支输出笔画实例,一次性获得多个笔画分割结果;但在笔画交叉、相接或多个同类笔画重复出现时,候选区域大量重叠,候选框定位和低分辨率掩码预测可能影响交叉边界及细长笔画形态,导致笔画截断、重复或遗漏,且五类笔画标签不能直接解决同一字符中多个同类笔画的实例区分问题,若需要按书写顺序组织独立笔画,还需额外建立实例与笔顺的对应关系。cn117011864b公开的汉字笔画拆分方法,建立包含汉字类型、笔画类别和笔画数量的先验特征信息表,将笔画按照形状结构划分为十个大类,由网络一次性输出十个类别维度的全部笔画结果;同一字符中属于相同类别的多个独立笔画可能落在同一输出通道,仍需额外的实例分离步骤才能获得各个独立笔画,在交叉或相接区域仍需从共享像素中分离并恢复各独立笔画的完整形态。cn116994255b公开的多层级深度特征融合的笔画提取方法,将卷积神经网络、双向长短时记忆网络和图卷积网络组合,融合笔画的视觉特征、时序特征和空间特征,但需要使用笔画掩膜、笔画长度和笔画包围框等较细粒度标注构建训练数据,数据制作及校验成本较高;对于同一汉字中多个同类笔画的实例区分、交叉区域内各笔画完整形态的恢复以及提取结果与真实笔顺的一一对应,仍存在进一步改进空间。

6、第三类方法使用标准字体或手写样本中的单笔参考图像,为目标字符中的每个笔画提供大致形态和空间位置,再通过图像配准与分割网络将参考笔画映射至待处理字符。如cn115984866b公开的书法字笔画智能提取系统及方法,首先对临摹字图像进行分割和矫正,从参照字标注数据库中获得参照字部件结构及笔画轮廓,利用空间变换网络对参照字笔画与临摹字进行配准,把配准后的参考笔画作为先验信息输入笔画语义分割模型,最后通过单笔画提取模型按照参考笔画顺序依次输出目标单笔图像。再如结构可变形图像配准网络(sdnet,structure deformable image registration network)将有序参考笔画作为显式空间先验,可以在复杂结构中取得较高的笔画提取精度。但是,该方法在推理阶段需要与目标字符对应的有序单笔参考图像,此类数据需要额外拆分、标注和维护;当参考字体与目标字体差异较大时,配准误差还会影响后续提取结果。

7、综合上述现有技术,一次性分割方法不依赖外部参考数据,但在笔画交叉、相接或多个同类笔画重复出现时,目标笔画的定位、实例区分和完整形态恢复容易受到影响;参考配准方法能够借助单笔参考图像获得较为明确的形态和位置先验,但需要为目标字符准备额外的参考数据,并且配准误差可能影响后续提取结果。由此可见,现有技术仍缺少一种无需输入外部单笔参考图像,能够充分利用待处理汉字自身的结构和形态信息,稳定提取完整独立笔画的方法。

技术实现思路

1、针对现有汉字笔画提取方法在不使用外部单笔参考图像时空间约束不足、复杂交叉区域和同类重复笔画难以稳定分离,以及参考配准方法依赖额外参考数据的问题,本发明的目的在于提供一种基于扩散模型的汉字笔画自回归提取方法,通过将汉字笔画提取建模为按照真实笔顺逐笔执行的序列化提取过程。在提取当前目标笔画时,利用完整汉字图像提供字符的整体结构、可见笔画形态和相对位置信息,并将已经提取的前序笔画累积形成视觉上下文,为后续笔画的提取提供随笔顺更新的空间参考。每完成一次单笔提取,即将新提取的笔画加入视觉上下文,再利用更新后的视觉上下文辅助提取下一笔,直至得到按照真实笔顺排列的全部单笔图像。在上述逐笔提取过程中,本发明采用残差引导扩散模型提取当前目标笔画。具体流程包括数据预处理、视觉上下文构建、残差引导扩散状态构建、双图像块联合编码、来源感知二维位置编码、模型训练和自回归笔画提取。

2、技术方案

3、一种基于扩散模型的汉字笔画自回归提取方法,包括以下步骤:

4、步骤一:数据预处理;

5、获取待处理汉字图像及对应的笔画总数,构建训练样本;

6、具体的,获取以独立路径存储各笔画的汉字矢量文件,每个字符文件中各路径按照真实书写顺序排列;分别渲染完整字符及各条独立路径,得到统一尺寸的栅格图像,并记录字符身份、笔顺序号和总笔画数;以目标笔画为单位构建训练样本,每个样本包含完整汉字图像、目标笔画图像、笔顺序号、总笔画数以及序号小于当前目标的全部前序笔画图像;

7、步骤二:视觉上下文构建;

8、对当前目标笔画,收集全部前序笔画图像,执行逐像素最小值操作,将结果作为视觉上下文;当目标为第一笔时,以空白画布初始化视觉上下文;每完成一笔,将该笔画加入已提取集合并重新执行叠加操作,供下一笔使用;

9、步骤三:残差引导扩散状态构建;

10、将单笔提取建模为从完整汉字图像到目标笔画图像的残差引导扩散过程;

11、推理时,以完整汉字图像叠加残差噪声构建初始扩散状态,按照时间步从最大值递减至一执行多步后验采样;

12、当时间步为一时,直接以网络估计作为目标笔画输出;

13、步骤四:双图像块联合编码;

14、将当前扩散状态图像和视觉上下文图像分别划分为不重叠的图像块,利用卷积投影层将图像块映射到特征空间,对两个图像块序列沿序列维度拼接得到联合特征序列,输入由多个transformer模块组成的笔画预测网络;

15、扩散状态图像和视觉上下文图像对应的图像块分别携带来源标识,用于区分图像块来自哪幅图像;

16、步骤五:来源感知二维位置编码及条件注入;

17、对每个图像块构造包含来源标识的二维旋转位置编码:对来自视觉上下文图像的图像块,在其横向坐标上增加由图像块总数决定的来源偏移量,纵向坐标不变;对来自扩散状态图像的图像块,横向坐标不作偏移;将查询向量和键向量沿通道维度划分为两个子空间,分别执行旋转位置变换,无需额外学习位置参数;

18、扩散时间步、当前笔序号和笔画总数构成联合条件,并注入笔画预测网络。

19、具体的,分别对将扩散时间步、当前笔序号和笔画总数执行嵌入操作,三者相加得到联合条件向量,经多层感知机转换为缩放参数和平移参数,通过自适应层归一化注入笔画预测网络各transformer模块的自注意力层和前馈网络层;

20、步骤六:模型训练;

21、从字符有序笔画序列中选择目标笔画,使用全部真实前序笔画构建视觉上下文,随机采样扩散时间步并生成对应扩散状态,输入笔画预测网络在笔序号、笔画总数和扩散时间步的联合条件下直接预测目标笔画的图像块特征,训练目标为最小化预测特征与真实目标笔画特征之间的二范数距离;

22、步骤七:按照真实笔顺的自回归笔画提取;

23、推理时,输入待处理汉字图像及笔画总数,将笔序号初始化为一,以空白画布初始化视觉上下文。针对每个目标笔画,在完整汉字图像上叠加残差噪声得到初始扩散状态,执行多步反向扩散后以所得图像作为当前笔画输出;对输出笔画进行二值化,将二值化后的笔画更新视觉上下文,笔序号加一并重复上述过程,直至全部笔画提取完成,输出按真实笔顺排列的完整笔画序列。

24、本发明将汉字笔画提取建模为按照真实笔顺逐笔进行的序列化提取过程。在提取当前目标笔画时,以完整汉字图像所包含的整体结构、笔画形态和相对位置信息为扩散起点,并将已提取的前序笔画累积形成视觉上下文,为后续笔画的定位和完整形态恢复提供随处理过程动态更新的空间参照,从而在不输入外部笔画参考图像的情况下,为各次笔画提取建立随推理过程更新的空间约束。

25、进一步地,步骤二中,所述视觉上下文的更新方式为:对已提取的全部前序笔画图像执行逐像素最小值操作,将操作结果作为下一笔提取时使用的视觉上下文图像;当当前笔序号为第一笔时,使用与所述汉字图像尺寸相同的空白图像初始化视觉上下文;逐像素最小值操作能够将所有已提取笔画的像素分布完整保留在视觉上下文中,为后续笔画提取提供准确的已完成书写状态参照。

26、进一步地,步骤三中,不从纯高斯噪声出发建立正向扩散过程,而是在目标笔画图像与完整汉字图像之间构造残差路径;扩散时间步对应的混合系数在起点时为零、在终点时为一,使扩散状态的条件均值由目标笔画图像逐步移向完整汉字图像;推理阶段根据完整汉字图像叠加由标准高斯分布采样得到的残差噪声构建初始扩散状态。

27、通过以完整汉字图像为起点构造残差路径,扩散状态始终保留目标字符的结构信息,有助于在较少反向扩散步骤下提取出细窄、近似二值的目标笔画图像。

28、具体地,步骤四中,扩散状态图像对应的图像块和视觉上下文图像对应的图像块分别携带来源标识,所述来源标识用于区分图像块来自扩散状态图像还是来自视觉上下文图像。

29、通过为每个图像块附加来源标识,笔画预测网络能够在联合自注意力计算中区分两幅图像的来源,同时保留跨图像的空间对应关系。

30、进一步地,步骤五中,所述笔画预测网络在自注意力计算中对每个图像块构造包含来源标识的二维旋转位置编码;

31、对每个图像块构造坐标 (,,),其中表示图像块在对应图像块序列中的序号,和为图像块在其来源图像内的横向与纵向坐标,=0 表示来自扩散状态图像,=1 表示来自视觉上下文图像;

32、定义来源偏移量 δ=×,其中和分别为每幅图像沿高度和宽度方向的图像块数;

33、令修正后横向坐标=+δ·,纵向坐标=不变;将查询向量和键向量沿通道维度划分为两个子空间,分别使用和执行旋转位置变换,使来自不同图像的相同空间位置的图像块具有不同的位置编码,同时保留跨图像的空间对应关系,无需额外学习位置参数。

34、进一步地,步骤五中,所述联合条件的注入方式为:分别对扩散时间步、当前笔序号和笔画总数执行嵌入操作,将三者相加得到联合条件向量,利用多层感知机将所述联合条件向量转换为缩放参数和平移参数,通过自适应层归一化注入所述笔画预测网络各transformer模块的自注意力层和前馈网络层;笔序号用于标记当前提取阶段,笔画总数用于提供序列长度和结构复杂度信息,扩散时间步用于控制反向扩散进程,三者联合注入使网络能够在统一的条件框架下完成各步输出。

35、在一些实施例中,所述步骤七中,所述笔画总数由用户提供,用户通过网络查询获得待处理汉字的笔画总数,并将所述笔画总数与待处理汉字图像一同输入,所述笔画总数用于构造模型条件并确定逐笔提取过程的执行次数。上述方式不向模型输入目标字符的外部笔画参考图像,仅提供笔画总数这一数量条件。

36、进一步地,所述步骤七还包括对每步提取得到的笔画预测图像执行二值化处理:将所述笔画预测图像的像素值归一化至[0,1]区间,以0.5为阈值进行二值化,像素值小于或等于0.5时置为黑色笔画前景,像素值大于0.5时置为白色背景;将二值化后的笔画图像加入已提取笔画集合,并用于更新所述视觉上下文。二值化处理能够消除预测图像中的灰度噪声,使视觉上下文保持清晰的笔画像素分布,避免噪声累积对后续笔画提取造成干扰。

37、与现有技术相比,本发明具有以下有益效果:

38、1、本发明按照真实笔顺逐笔提取汉字笔画,并将已经提取的前序笔画构成视觉上下文,为后续笔画提供动态空间参考。结合完整汉字图像所包含的整体结构信息,能够提高复杂交叉区域和形态相似笔画的定位与完整形态恢复能力,并直接输出按照真实笔顺排列的单笔图像序列。

39、2、本发明充分利用待处理汉字内部自有信息,不需要输入目标字符的外部单笔参考图像,因而减少了外部参考数据的准备、选择和配准要求。