图像识别方法、装置、电子设备及存储介质与流程

摘要: 本技术涉及电子信息,更具体地,涉及一种图像识别方法、装置、电子设备及存储介质。背景技术:1、随着科技的发展,生成技术也愈发成熟,例如,可以通过生成模型基于输入信...
图像识别方法、装置、电子设备及存储介质与流程

本技术涉及电子信息,更具体地,涉及一种图像识别方法、装置、电子设备及存储介质。

背景技术:

1、随着科技的发展,生成技术也愈发成熟,例如,可以通过生成模型基于输入信息生成符合输入信息的图像。然而,生成的合成图像可能实现“以假乱真”,导致用户想使用真实图像的情况下,难以确定给定的图像是真实图像还是合成图像,因此,亟需一种手段来识别图像为真实图像或属于合成图像。

技术实现思路

1、有鉴于此,本技术实施例提出了一种图像识别方法、装置、电子设备及存储介质。

2、第一方面,本技术实施例提供了一种图像识别方法,方法包括:通过预训练的第一特征提取器对待识别图像进行特征提取,得到第一图像特征,并通过预训练的第二特征提取器对待识别图像进行特征提取,得到第二图像特征;基于第一图像特征确定待识别图像的第一识别结果,并基于第二图像特征确定待识别图像的第二识别结果;第一识别结果以及第二识别结果均用于指示待识别图像属于真实图像或属于合成图像;通过大语言模型基于提示文本、第一图像特征以及第二图像特征,确定待识别图像的第三识别结果以及针对第三识别结果的初始解释信息;第三识别结果用于指示待识别图像属于真实图像或属于合成图像;提示文本用于引导大语言模型生成识别结果及其对应的解释信息;基于第一识别结果以及第二识别结果,对第三识别结果以及初始解释信息进行矫正,得到待识别图像的图像识别结果以及针对图像识别结果的图像解释信息。

3、第二方面,本技术实施例提供了一种图像识别装置,装置包括:特征提取模块,用于通过预训练的第一特征提取器对待识别图像进行特征提取,得到第一图像特征,并通过预训练的第二特征提取器对待识别图像进行特征提取,得到第二图像特征;第一识别模块,用于基于第一图像特征确定待识别图像的第一识别结果,并基于第二图像特征确定待识别图像的第二识别结果;第一识别结果以及第二识别结果均用于指示待识别图像属于真实图像或属于合成图像;第二识别模块,用于通过大语言模型基于提示文本、第一图像特征以及第二图像特征,确定待识别图像的第三识别结果以及针对第三识别结果的初始解释信息;第三识别结果用于指示待识别图像属于真实图像或属于合成图像;提示文本用于引导大语言模型生成识别结果及其对应的解释信息;结果矫正模块,用于基于第一识别结果以及第二识别结果,对第三识别结果以及初始解释信息进行矫正,得到待识别图像的图像识别结果以及针对图像识别结果的图像解释信息。

4、可选地,特征提取模块,还用于通过第二特征提取器中的下采样模块对待识别图像进行下采样处理,得到下采样图像;通过第二特征提取器中的上采样模块对下采样图像进行上采样处理,以得到与待识别图像尺寸一致的上采样图像;将上采样图像输入第二特征提取器中的特征提取层进行特征提取,得到第二图像特征。

5、可选地,结果矫正模块,还用于对第一识别结果、第二识别结果以及第三识别结果进行识别结果的融合,得到待识别图像的图像识别结果;通过大语言模型基于目标识别结果以及初始解释信息进行解释信息的生成,得到针对图像识别结果的图像解释信息。

6、可选地,装置还包括训练模块,用于通过第一特征提取器对第一样本图像进行特征提取,得到第一样本图像特征,并通过第二特征提取器对第一样本图像进行特征提取,得到第二样本图像特征;基于第一样本图像特征确定第一样本图像的第一样本识别结果,并基于第二样本图像特征确定待识别图像的第二样本识别结果;第一样本识别结果以及第二样本识别结果均用于指示第一样本图像属于真实图像或属于合成图像;基于第一样本图像对应的第一样本标注信息与第一样本识别结果之间的差异,对第一特征提取器进行参数调整,并基于第一样本标注信息与第二样本识别结果之间的差异,对第二特征提取器进行参数调整;其中,第一样本标注信息用于指示第一样本图像属于真实图像或属于合成图像。

7、可选地,训练模块,还用于基于第一特征提取器对第二样本图像进行特征提取,得到第三样本图像特征;基于第二特征提取器对第二样本图像进行特征提取,得到第四样本图像特征;通过初始大语言模型基于第一样本提示文本、第三样本图像特征以及第四样本图像特征,确定第二样本图像对应的预测样本识别结果以及针对预测样本识别结果的预测样本解释信息;预测样本识别结果用于指示第二样本图像属于真实图像或属于合成图像;第一样本提示文本用于引导初始大语言模型生成识别结果及其对应的解释信息;基于第二样本图像对应的标注解释信息以及预测样本解释信息之间的差异,对初始大语言模型进行参数调整,以得到大语言模型。

8、可选地,训练模块,还用于基于标注解释信息以及预测样本解释信息之间的差异,对大语言模型进行参数调整,得到中间大语言模型;基于第一特征提取器对第三样本图像进行特征提取,得到第五样本图像特征,并基于第二特征提取器对第三样本图像进行特征提取,得到第六样本图像特征;通过中间大语言模型基于第二样本提示文本、第五样本图像特征、第六样本图像特征、第三样本图像对应的正标注解释信息以及第三样本图像对应的负标注解释信息,确定正标注解释信息对应的第一正样本概率以及负标注解释信息第一负样本概率;正标注解释信息是针对第三样本图像的正面的解释信息,负标注解释信息是针对第三样本图像的负面的解释信息;第二样本提示文本用于引导中间大语言模型判定输入的解释信息属于正面的解释信息的概率;基于第一正样本概率以及第一负样本概率,对中大语言模型进行参数调整,得到大语言模型。

9、可选地,中间大语言模型的参数调整过程包括n个迭代过程;n为大于1正整数;训练模块,还用于针对第m个迭代过程,通过第m-1个迭代过程后得到的第m-1中间大语言模型基于第三样本提示文本、第五样本图像特征、第六样本图像特征、正标注解释信息以及负标注解释信息,确定正标注解释信息对应的第二正样本概率以及负标注解释信息对应的第二负样本概率;m为大于1且不大于n的整数;第三样本提示文本用于引导第m-1中间大语言模型判定输入的解释信息属于正面的解释信息的概率;基于第一正样本概率与第二正样本概率的差异,以及第一负样本概率与第二负样本概率的差异,对第m-1中间大语言模型进行参数调整,得到第m个迭代过程后的第m中间大语言模型;若m小于n,将m累计加1,返回执行针对第m个迭代过程,通过第m-1个迭代过程后得到的第m-1中间大语言模型基于第三样本提示文本、第五样本图像特征、第六样本图像特征、正标注解释信息以及负标注解释信息,确定正标注解释信息对应的第二正样本概率以及负标注解释信息对应的第二负样本概率的步骤,直到m等于n,获取第n个迭代过程后的第n中间大语言模型作为大语言模型。

10、可选地,训练模块,还用于从数据库中确定第一初始样本图像;对第一初始样本图像确定正面的解释信息作为第一初始样本图像的正标注解释信息,并对第一初始样本图像确定负面的解释信息作为第一初始样本图像的负标注解释信息;从数据库中确定属于合成图像的第二初始样本图像;通过预设的第一参考大语言模型基于第二初始样本图像进行解释信息的生成,得到第二初始样本图像的正标注解释信息以及负标注解释信息;获取第一初始样本图像以及第二初始样本图像,作为第三样本图像。

11、可选地,第一参考大语言模型为多个;可选地,训练模块,还用于通过每个第一参考大语言模型分别基于第二初始样本图像进行解释信息的生成,得到每个第一参考大预言模型对应的一个正面的第二正解释信息以及一个负面的第二负解释信息;通过评分模型对第二初始样本图像对应的多个第二正解释信息以及多个第二负解释信息分别进行评分;获取评分最高的第二正解释信息,作为第二初始样本图像的正标注解释信息;获取评分最高的第二负解释信息,作为第二初始样本图像的负标注解释信息。

12、可选地,训练模块,还用于通过第一特征提取器对数据库中的候选图像进行特征提取,得到第一候选图像特征,并通过第二特征提取器对候选图像进行特征提取,得到第二候选图像特征;基于第一候选图像特征确定候选图像的第一候选识别结果;并基于第二候选图像特征确定候选图像的第一候选识别结果;第一候选识别结果以及第二候选识别结果均用于指示候选图像属于真实图像或属于合成图像;基于各候选图像的第一候选识别结果以及第二候选识别结果,确定属于合成图像的候选图像作为第二初始样本图像。

13、可选地,训练模块,还用于从数据库中确定属于合成图像的第三初始样本图像;通过预设的第三参考大语言模型基于第三初始样本图像进行解释信息的生成,得到第三初始样本图像的正标注解释信息以及负标注解释信息;通过预设的第四参考大语言模型基于正标注解释信息的修改建议,对第三初始样本图像的正标注解释信息进行修改,得到第三初始样本图像的修改正标注解释信息;通过第四参考大语言模型基于第三负标注解释信息的修改建议,对第三初始样本图像的负标注解释信息进行修改,得到第三初始样本图像的修改负标注解释信息;将第三初始样本图像的修改正标注解释信息作为第四初始样本图像的正标注解释信息,并将第三初始样本图像的修改负标注解释信息作为第四初始样本图像的负标注解释信息;第四初始样本图像为对第三初始样本图像复制后得到的图像;获取第三初始样本图像以及第四初始样本图像,作为第三样本图像。

14、可选地,第二识别模块,还用于通过投影层分别对第一图像特征以及第二图像特征进行投影处理,得到第一图像特征对应的第一投影特征以及第二图像特征对应的第二投影特征;通过大语言模型基于提示文本、第一投影特征以及第二投影特征,生成第三识别结果以及初始解释信息。

15、可选地,训练模块,还用于通过第一特征提取器对检验图像进行特征提取,得到第一检验图像特征,并通过第二特征提取器对检验图像进行特征提取,得到第二检验图像特征;基于第一图像特征确定检验图像的第一检验识别结果,并基于第二检验图像特征确定检验图像的第二检验识别结果;第一检验识别结果以及第二检验识别结果均用于指示检验图像属于真实图像或属于合成图像;通过大语言模型基于提示文本、第一检验图像特征以及第二检验图像特征,得到检验图像的第三检验识别结果以及针对第三检验识别结果的初始检验图像解释信息;第三检验识别结果用于指示检验图像属于真实图像或属于合成图像;基于第一检验识别结果以及第二检验识别结果,对第三检验识别结果以及初始检验图像解释信息进行矫正,得到检验图像的检验图像识别结果以及针对检验图像识别结果的检验图像解释信息;基于检验图像识别结果以及检验图像解释信息,对第一特征提取器、第二特征提取器以及大语言模型进行参数调整。

16、可选地,训练模块,还用于基于检验图像识别结果,确定图像识别指标;获取用户对检验图像解释信息的用户评估指标;获取评估模型对检验图像解释信息的模型评估指标;若图像识别指标、用户评估指标以及模型评估指标不满足预设条件,对第一特征提取器、第二特征提取器以及大语言模型进行参数调整。

17、第三方面,本技术实施例提供了一种电子设备,包括处理器以及存储器;存储器上存储有计算机可读指令,计算机可读指令被处理器执行时,实现上述的方法。

18、第四方面,本技术实施例提供了一种计算机可读存储介质,其上存储有计算机可读指令,当计算机可读指令被处理器执行时,实现上述的方法。

19、第五方面,本技术实施例提供了一种计算机程序产品,包括计算机指令,计算机指令被处理器执行时实现上述的方法。

20、本技术实施例提供的一种图像识别方法、装置、电子设备及存储介质,在本技术中,通过第一特征提取器针对待识别图像提取到的第一图像特征,确定第一识别结果,并通过第二特征提取器针对待识别图像提取到的第二图像特征,确定第二识别结果,再通过大语言模型基于提示文本、第一图像特征以及第二图像特征,生成第三识别结果以及提示文本、第一图像特征以及第二图像特征,最后,基于第一识别结果以及第二识别结果,对第三识别结果以及初始解释信息进行矫正,得到待识别图像的图像识别结果以及图像解释信息。由此,一方面,结合三个识别结果得到最终的图像识别结果,使得图像识别结果更加准确,实现提高了图像识别准确率的目标,另一方面,大语言模型还输出初始解释信息,之后继续对初始解释信息进行矫正,得到针对图像识别结果的图像解释信息,以便于通过图像解释信息确定图像识别结果的可信程度,再者,在对第三识别结果矫正后,还对初始解释信息进行矫正,得到契合图像识别结果的图像解释信息,提高图像解释信息的准确率。