一种基于机器学习的图片文字识别方法与流程

摘要: 本发明涉及文字识别,尤其涉及一种基于机器学习的图片文字识别方法。背景技术:1、随着截图、网页图片、监控画面、传真件及压缩传输图片在办公取证、票据处理和信息录入场...
一种基于机器学习的图片文字识别方法与流程

本发明涉及文字识别,尤其涉及一种基于机器学习的图片文字识别方法。

背景技术:

1、随着截图、网页图片、监控画面、传真件及压缩传输图片在办公取证、票据处理和信息录入场景中的广泛使用,图片文字识别通常采用先进行图像去噪、锐化、二值化或超分辨率增强,再通过ocr模型输出文本的方式。现有方案也有针对jpeg压缩伪影的图像修复方法,通过像素域增强、dct域系数恢复或多域融合网络降低块效应、振铃和模糊。然而,此类方法多以提升整体视觉质量为目标,通常对整幅图像进行统一修复,未将文字区域、字符边缘和压缩块之间的对应关系作为模型内部处理对象,导致压缩失真图片中的小字号文字、锯齿笔画和相似字符仍容易识别错误。

2、针对低质量文字图片,也有方案尝试引入文字区域检测、文本图像超分辨率、笔画注意力或ocr置信度反馈,以提升后续识别准确率。但这些方案多在像素域或识别后处理阶段进行补偿,未能结合dct系数信息、量化矩阵信息和压缩块位置信息定位压缩损伤来源,也未在dct频率分支内根据字符边缘响应调节文字笔画相关频率成分。尤其在相邻dct块边界处,压缩量化容易造成字符横竖笔画断裂或错位,现有技术缺少依据文字dct块索引结果确定笔画延续关系,并对空间分支输出和门控后频率分支输出进行跨块连续性补偿的机制,因此难以针对图片文字识别需求生成更可靠的恢复后dct系数。

3、因此,如何提供一种基于机器学习的图片文字识别方法是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于机器学习的图片文字识别方法,本发明利用dct域压缩修复与笔画补偿模型,实现压缩失真图片文字识别,具备笔画连续性好、识别准确率高的优点。

2、根据本发明实施例的一种基于机器学习的图片文字识别方法,包括如下步骤:

3、获取含文字的压缩失真图片,进行dct域压缩解析,生成dct系数信息、量化矩阵信息和压缩块位置信息;

4、对dct系数信息执行dct系数重排,将量化矩阵信息嵌入重排后的dct系数信息,生成量化嵌入dct特征;

5、对压缩失真图片执行文字区域检测,生成文字区域位置结果,提取字符边缘响应结果,并将文字区域位置结果与压缩块位置信息对齐,生成文字dct块索引结果;

6、基于笔画补偿型dctransformer模型,通过亮度色度对齐层对文字dct块索引结果对应的量化嵌入dct特征进行通道对齐,通过空间频率transformer主干生成空间分支输出和频率分支输出;

7、通过字符笔画频率门控单元依据量化矩阵信息和字符边缘响应结果生成字符笔画频率门控结果,依据字符笔画频率门控结果调节频率分支输出,生成门控后频率分支输出;

8、通过跨dct块笔画连续性补偿单元依据文字dct块索引结果和字符边缘响应结果确定相邻dct块的笔画延续关系,对空间分支输出和门控后频率分支输出进行跨块连续性补偿,生成恢复后dct系数,执行逆dct重建和文字识别,输出图片文字识别结果。

9、可选的,所述dct域压缩解析具体包括:

10、读取含文字的压缩失真图片的文件结构和像素通道,判断文件结构中是否存在可读取的dct压缩参数,包括量化表、熵编码数据、块扫描顺序和最小编码单元信息;

11、当存在可读取的dct压缩参数时,对其中的熵编码数据进行解码,取得亮度通道和色度通道的量化后dct系数,并按照块扫描顺序和dct频率位置生成dct系数信息;

12、从量化表中提取亮度通道和色度通道对应的量化值,按照dct频率位置排列生成量化矩阵信息,并依据最小编码单元信息确定各dct块在压缩失真图片中的位置,生成压缩块位置信息;

13、当不存在可读取的dct压缩参数时,将压缩失真图片转换至亮度通道和色度通道,按照每边8个像素划分图像块,对每个图像块执行dct变换,生成等效dct系数;

14、依据等效dct系数在各dct频率位置的能量衰减状态生成量化矩阵信息,按照图像块在压缩失真图片中的坐标和扫描顺序生成压缩块位置信息,并将等效dct系数作为dct系数信息。

15、可选的,所述量化嵌入dct特征的生成具体包括:

16、依据压缩块位置信息确定各dct块在压缩失真图片中的空间顺序,将dct系数信息按照通道类型、dct块位置和dct频率位置进行排列,生成重排后的dct系数信息;

17、将量化矩阵信息按照通道类型和dct频率位置与重排后的dct系数信息进行同序对齐,生成同序量化矩阵信息;

18、将同序量化矩阵信息嵌入重排后的dct系数信息,使每个dct频率位置的dct系数携带对应的量化损失信息,生成量化嵌入dct特征。

19、可选的,所述文字dct块索引结果的生成具体包括:

20、对压缩失真图片执行文字区域检测,确定文字所在的矩形边界,生成文字区域位置结果;

21、依据文字区域位置结果在压缩失真图片中定位文字像素范围,对文字像素范围进行边缘梯度提取,生成字符边缘响应结果;

22、依据压缩块位置信息确定各dct块的块边界和块序号,将文字区域位置结果投影至对应dct块,确定文字覆盖的dct块;

23、将字符边缘响应结果投影至文字覆盖的dct块,确定每个文字覆盖的dct块内的字符边缘方向和字符边缘强度;

24、依据文字覆盖的dct块、字符边缘方向和字符边缘强度生成文字dct块索引结果。

25、可选的,所述笔画补偿型dctransformer模型包括亮度色度对齐层、浅层投影层、空间频率transformer主干、字符笔画频率门控单元、跨dct块笔画连续性补偿单元和dct系数恢复层。

26、可选的,所述空间分支输出和频率分支输出的生成具体包括:

27、依据文字dct块索引结果从量化嵌入dct特征中确定参与处理的dct块位置,提取dct块位置对应的量化嵌入dct特征,生成待对齐量化嵌入dct特征;

28、通过亮度色度对齐层将待对齐量化嵌入dct特征中的亮度通道特征与色度通道特征对齐到同一dct块位置和同一dct频率位置,生成通道对齐dct特征;

29、将通道对齐dct特征输入浅层投影层,生成dct块空间令牌和dct频率令牌;

30、通过空间频率transformer主干的空间分支对dct块空间令牌进行同频率跨块注意力处理,生成空间分支输出;

31、通过空间频率transformer主干的频率分支对dct频率令牌进行同块跨频率注意力处理,生成频率分支输出。

32、可选的,所述门控后频率分支输出的生成具体包括:

33、将量化矩阵信息与频率分支输出按照通道类型和dct频率位置进行对齐,将各dct频率位置的量化值转换为频率损伤向量;

34、依据字符边缘响应结果中的字符边缘方向和字符边缘强度,将字符边缘响应结果映射至dct频率位置,生成笔画响应向量;

35、将频率损伤向量和笔画响应向量输入字符笔画频率门控单元,生成字符笔画频率门控结果;

36、依据字符笔画频率门控结果调节频率分支输出中对应dct频率位置的特征,生成门控后频率分支输出。

37、可选的,所述图片文字识别结果的生成具体包括:

38、依据文字dct块索引结果确定参与跨块连续性补偿的相邻dct块,并读取相邻dct块对应的字符边缘响应结果;

39、在相邻dct块的共有块边界两侧提取字符边缘方向和字符边缘强度,生成边界笔画匹配结果;

40、依据边界笔画匹配结果确定相邻dct块的笔画延续关系,将相邻dct块的笔画延续关系写入对应dct块位置;

41、依据相邻dct块的笔画延续关系,通过跨dct块笔画连续性补偿单元对空间分支输出和门控后频率分支输出进行跨块连续性补偿,生成跨块连续性补偿后的空间频率融合特征;

42、通过dct系数恢复层依据跨块连续性补偿后的空间频率融合特征生成恢复后dct系数;

43、对恢复后dct系数执行逆dct重建,生成压缩失真修复后的文字图像,对压缩失真修复后的文字图像执行文字识别输出图片文字识别结果。

44、本发明的有益效果是:

45、本发明通过对含文字的压缩失真图片进行dct域压缩解析,生成dct系数信息、量化矩阵信息和压缩块位置信息,并在此基础上构建量化嵌入dct特征和文字dct块索引结果,使图片文字识别不再仅依赖像素域增强或整图去噪,而是能够从压缩失真的来源处定位文字区域对应的dct块和频率损伤情况。由此,模型可以围绕文字主体块、文字边缘块和相邻候选块进行针对性修复,减少对背景纹理、界面图标和无关压缩噪声的过度增强,提高压缩失真图片中文字区域的修复有效性。

46、本发明在笔画补偿型dctransformer模型中保留dct域输入、量化矩阵嵌入、亮度色度对齐和空间频率双分支处理结构,同时引入字符笔画频率门控单元,使量化矩阵信息对应的频率损伤情况与字符边缘响应结果共同参与频率分支调节。通过字符笔画频率门控结果对频率分支输出进行调节,可以增强与水平笔画、竖直笔画和斜向笔画相关的dct频率成分,抑制与文字识别无关的压缩噪声,从而改善小字号文字、锯齿边缘、断笔和相似字符混淆问题。

47、本发明进一步通过跨dct块笔画连续性补偿单元,根据文字dct块索引结果和字符边缘响应结果确定相邻dct块的笔画延续关系,并对空间分支输出和门控后频率分支输出进行跨块连续性补偿,使压缩块边界两侧的笔画结构在恢复后dct系数生成阶段得到修正。由此,逆dct重建得到的文字图像具有更连续的字符边缘和更完整的笔画结构,有利于提高压缩截图、网页图片、传真件和低码率传输图片中的文字识别准确率,降低人工校对成本。