图像处理方法、装置、设备、介质及产品与流程

摘要: 本技术涉及图像识别与智能信息提取领域,尤其涉及一种图像处理方法、装置、设备、介质及产品。背景技术:1、商户图像信息提取技术已广泛应用于金融支付、本地生活服务及商...
图像处理方法、装置、设备、介质及产品与流程

本技术涉及图像识别与智能信息提取领域,尤其涉及一种图像处理方法、装置、设备、介质及产品。

背景技术:

1、商户图像信息提取技术已广泛应用于金融支付、本地生活服务及商业数据采集等场景,现有方案多采用ocr流水线或多模态文档理解模型完成结构化提取。

2、然而,上述方案在真实商户场景中面对模糊、遮挡、倾斜及图文混排图像时,往往难以稳定提取有效特征;同时,对品牌简称、地域性称谓等语义歧义缺乏充分处理能力,易导致提取结果的准确率、完整性和场景适应性受限。

3、因此,如何在复杂商户图像条件下提高信息提取的准确性、完整性与鲁棒性,成为需要解决的技术问题。

技术实现思路

1、本技术实施例提供一种图像处理方法、装置、设备、介质及产品,以解决上述技术问题。该方案面向复杂商户场景下的图像信息提取需求,针对待处理图像存在的质量差异和退化特征,先确定与图像状态相对应的处理依据,再结合图像质量情况对图像进行针对性优化,在此基础上完成实体信息提取,从而提升复杂条件下图像信息提取的稳定性与适应性。

2、第一方面,本技术实施例提供了一种图像处理方法,包括:

3、对待处理图像进行质量评估,获取待处理图像对应的目标退化类型和质量分数;

4、基于目标退化类型和质量分数,采用至少一种目标增强策略对待处理图像进行增强处理,得到增强图像;其中,目标增强策略包括超分辨率重建、透视矫正或光照均衡化;

5、提取增强图像对应的视觉特征序列和文字特征序列,并对视觉特征序列和文字特征序列进行双向融合,得到多模态融合特征;

6、基于多模态融合特征,从预先配置的知识图谱中匹配到目标节点,并基于目标节点包含的节点信息得到增强图像包含的实体信息;节点信息至少包括实体类型、实体内容。

7、在一个可能的实施例中,对待处理图像进行质量评估,获取待处理图像对应的目标退化类型和质量分数,包括:

8、将待处理图像输入预先配置的图像质量感知网络,获取目标退化类型和质量分数。

9、在一个可能的实施例中,基于目标退化类型和质量分数,采用至少一种目标增强策略对待处理图像进行增强处理,得到增强图像,包括:

10、若质量分数未达到预先配置的分数阈值,从多种退化类型与多种增强策略的对应关系中,匹配到目标退化类型对应的至少一种目标增强策略;

11、采用目标增强策略对待处理图像进行增强处理,得到增强图像;

12、目标退化类型包括模糊、低分辨率、透视畸变、光照不均、遮挡中的至少一种。

13、在一个可能的实施例中,采用目标增强策略对待处理图像进行增强处理,得到增强图像,包括:

14、按照预配置的多种增强策略的处理顺序,确定至少一种目标增强策略的增强顺序;

15、按照增强顺序,依次采用目标增强策略对待处理图像进行增强处理,得到增强图像。

16、在一个可能的实施例中,提取增强图像对应的视觉特征序列,包括:

17、按照预设分割尺寸,将增强图像拆分为携带有一维序列编码的多个图像块;

18、基于多个图像块的空间位置和相对位置关系,获取多个图像块对应的二维序列编码和相对区域编码;

19、将携带有一维序列编码、二维序列编码和相对区域编码的多个图像块输入预先配置的视觉编码器,得到视觉特征序列。

20、在一个可能的实施例中,提取增强图像对应的文字特征序列,包括:

21、检测增强图像中的文字区域,以获取文字区域的候选边界框坐标集合;

22、对候选边界框坐标集合形成的多个候选边界框内的图像区域进行文字识别,得到多个候选边界框对应的片段文字;

23、在片段文字的基础上,叠加片段文字对应候选边界框的坐标信息,得到文字特征序列。

24、在一个可能的实施例中,在片段文字的基础上,叠加片段文字对应候选边界框的坐标信息,得到文字特征序列,包括:

25、提取多个片段文字对应的字符依赖关系,并基于字符依赖关系修正多个片段文字,得到多个修正片段文字;

26、在修正片段文字的基础上,叠加修正片段文字所在候选边界框的坐标信息,得到文字特征序列。

27、在一个可能的实施例中,对视觉特征序列和文字特征序列进行双向融合,得到多模态融合特征,包括:

28、采用文字特征序列,对视觉特征序列做检索匹配,以进行多头交叉注意力计算,得到视觉增强后的文字特征序列;

29、采用视觉增强后的文字特征序列,对视觉特征序列做检索匹配,以再次进行多头交叉注意力计算,得到文字感知的视觉特征序列;

30、拼接视觉增强后的文字特征序列、文字感知的视觉特征序列,得到多模态融合特征。

31、在一个可能的实施例中,基于多模态融合特征,从预先配置的知识图谱中匹配到目标节点,并基于目标节点包含的节点信息得到实体信息,包括:

32、对多模态融合特征进行序列标注,并针对多模态融合特征对应的多个标注进行同类型提取处理,得到多个候选实体集合;

33、基于候选实体集合中每个候选实体与知识图谱中各节点的语义相似度,从知识图谱中匹配到各候选实体对应的目标节点;

34、基于目标节点包含的节点信息,对候选实体进行信息补全,并基于信息补全后的候选实体确定实体信息,其中,信息补全后的候选实体包含对应的置信度。

35、在一个可能的实施例中,基于信息补全后的候选实体确定实体信息,包括:

36、对信息补全后的候选实体进行噪声过滤,并基于去噪且信息补全后的候选实体确定实体信息。

37、在一个可能的实施例中,对信息补全后的候选实体进行噪声过滤,包括:

38、基于预先配置的过滤词典,剔除与过滤词典匹配的信息补全后的候选实体;

39、和/或,基于信息补全后的候选实体与待处理图像对应的多个相邻实体的语义相关性数值,剔除语义相关性数值小于相关性阈值的信息补全后的候选实体;

40、和/或,基于信息补全后的候选实体的置信度,剔除置信度小于置信度阈值的信息补全后的候选实体;其中,置信度阈值与质量分数呈正相关。

41、在一个可能的实施例中,基于信息补全后的候选实体,与该候选实体所处候选实体集合内的其余多个候选实体的语义相关性数值,剔除语义相关性数值小于相关性阈值的信息补全后的候选实体,包括:

42、针对信息补全后的候选实体,计算该候选实体与该候选实体所处候选实体集合内的其余多个候选实体的多个语义相关性数值;

43、若未达到预先配置的相关性阈值的语义相关性数值的数量达到预设数量阈值,剔除该候选实体。

44、在一个可能的实施例中,基于去噪且信息补全后的候选实体确定实体信息,包括:

45、基于去噪且信息补全后的候选实体包含的字段信息、预先配置的兴趣点信息,计算去噪且信息补全后的候选实体对应的匹配分值;

46、结合去噪且信息补全后的候选实体对应的匹配分值、置信度和质量分数,确定待处理图像的综合置信度;

47、将综合置信度、基于去噪且信息补全后的候选实体包含的字段信息,作为实体信息。

48、在一个可能的实施例中,结合去噪且信息补全后的候选实体对应的匹配分值、置信度和质量分数,确定待处理图像的综合置信度,包括:

49、按照预先配置的权重分配策略,对匹配分值、置信度和质量分数进行加权求和处理,得到综合置信度。

50、第二方面,本技术实施例提供一种图像处理装置,包括:

51、获取模块,用于对待处理图像进行质量评估,获取待处理图像对应的目标退化类型和质量分数;

52、处理模块,用于基于目标退化类型和质量分数,采用至少一种目标增强策略对待处理图像进行增强处理,得到增强图像;其中,目标增强策略包括超分辨率重建、透视矫正或光照均衡化;

53、提取模块,用于提取增强图像对应的视觉特征序列和文字特征序列,并对视觉特征序列和文字特征序列进行双向融合,得到多模态融合特征;

54、匹配模块,用于基于多模态融合特征,从预先配置的知识图谱中匹配到目标节点,并基于目标节点包含的节点信息得到增强图像包含的实体信息;节点信息至少包括实体类型、实体内容。

55、第三方面,本技术实施例提供一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述提供的方法的步骤。

56、第四方面,本技术实施例提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述提供的方法的步骤。

57、第五方面,本技术实施例提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述提供的方法的步骤。

58、本技术实施例提供的一种图像处理方法、装置、设备、介质及产品,通过对待处理图像进行质量评估,获取待处理图像对应的目标退化类型和质量分数,并基于目标退化类型和质量分数采用至少一种目标增强策略对待处理图像进行增强处理,得到增强图像,能够针对模糊、倾斜、光照异常等不同质量问题实施更具适配性的图像优化;进而通过从增强图像中提取实体信息,提升实体信息提取的准确性、完整性与鲁棒性。