图片信息处理的方法、装置、电子设备和存储介质与流程

本发明涉及数据处理，尤其涉及一种图片信息处理的方法、装置、电子设备和存储介质。

背景技术：

1、图片信息提取是指从包含文字、表格、版式、符号等图像中自动识别并输出机器可解析、可入库、可计算的标准化数据。在涉及票据、证件、合同等的业务场景中，图片结构化信息提取是一种常用的方式。相关技术中，可以先通过文字检测得到带有坐标的文本行，然后基于规则和模板从文本行中抽取出结构化信息。但是这种方式对图片版式变化敏感，在复杂版面、模糊图像等复杂场景下信息提取的准确性较低。

技术实现思路

1、有鉴于此，本发明实施例提供一种图片信息处理的方法、装置、电子设备和存储介质，能够解决先得到带有坐标的文本行，再从文本行中抽取出结构化信息的方式，对版式变化敏感，在复杂版面、模糊图像等复杂场景下信息提取的准确性较低的问题。

2、为实现上述目的，根据本发明实施例的一个方面，提供了一种图片信息处理的方法。

3、本发明实施例的一种图片信息处理的方法包括：获取预设的基础大模型和第一样本集合，调用第一训练算法，基于所述第一样本集合训练所述基础大模型，得到初始模型，所述第一样本集合包括预标注的图片样本；

4、获取预设的第二样本集合，以输入所述初始模型，得到输出结果，对所述输出结果校验；

5、响应于校验结果不满足预设条件，基于所述校验结果和预设的优化策略调整所述初始模型，将所述第二样本集合输入调整后的初始模型，得到更新的输出结果并进行校验，得到新的校验结果，在新的校验结果满足所述预设条件的情况下，将调整后的初始模型确定为特征提取模型；

6、响应于图片特征提取指令，获取待处理图片，以输入所述特征提取模型，得出结构化的图片特征。

7、在一个实施例中，获取预设的基础大模型和第一样本集合之前，包括：

8、采集与预设业务类型关联的第一图片集合；

9、对所述第一图片集合中各图片，识别所述图片的图片要素，基于所述图片要素确定所述图片的特征提取类型，生成所述特征提取类型对应的标注信息；

10、对所述第一图片集合中各图片和各所述图片的标注信息校验，根据校验结果从所述第一图片集合中确定图片样本集合，以生成所述第一样本集合。

11、在又一个实施例中，识别所述图片的图片要素，基于所述图片要素确定所述图片的特征提取类型，包括：

12、识别所述图片的图片要素，对所述图片要素分类，确定所述图片所包括的要素类型；

13、基于所述要素类型确定所述图片的特征提取类型。

14、在又一个实施例中，生成所述第一样本集合，包括：

15、对所述图片样本集合中每个图片，从所述业务语料库中匹配对应的语料，查询所述语料对应的话术模版，基于所述话术模板生成所述图片对应的指令文本，其中，所述业务语料库为根据预设业务类型关联的语音咨询记录、客服聊天记录、评论记录构建；

16、基于所述图片样本集合中每个图片的标注信息和指令文本生成所述第一样本集合。

17、在又一个实施例中，获取预设的第二样本集合之前，包括：

18、获取所述初始模型对应的训练数据，从所述训练数据中提取对应预测结果和真实结果之间偏差大于预设阈值的第二图片集合；

19、调用预设的各噪声叠加策略对所述第二图片集合中各图片叠加噪声，得出第二样本集合。

20、在又一个实施例中，所述初始模型包括视觉特征提取层；

21、基于所述校验结果和预设的优化策略调整所述初始模型之前，还包括：

22、获取所述初始模型中所述视觉特征提取层对应的模型参数，将所述模型参数的预设参数更新为目标值；

23、基于所述校验结果和预设的优化策略调整所述初始模型，包括：

24、获取所述初始模型中各模型参数，筛选对应所述预设参数不为所述目标值的待调整模型参数，基于所述校验结果和预设的优化策略对所述待调整模型参数调整。

25、为实现上述目的，根据本发明实施例的另一方面，提供了一种图片信息处理的装置。

26、本发明实施例的一种图片信息处理的装置包括：训练单元，用于获取预设的基础大模型和第一样本集合，调用第一训练算法，基于所述第一样本集合训练所述基础大模型，得到初始模型，所述第一样本集合包括预标注的图片样本；

27、所述训练单元，还用于获取预设的第二样本集合，以输入所述初始模型，得到输出结果，对所述输出结果校验；

28、调整单元，用于响应于校验结果不满足预设条件，基于所述校验结果和预设的优化策略调整所述初始模型，将所述第二样本集合输入调整后的初始模型，得到更新的输出结果并进行校验，得到新的校验结果，在新的校验结果满足所述预设条件的情况下，将调整后的初始模型确定为特征提取模型；

29、提取单元，用于响应于图片特征提取指令，获取待处理图片，以输入所述特征提取模型，输出结构化的图片特征。

30、在一个实施例中，所述装置还包括：

31、采集单元，用于采集与预设业务类型关联的第一图片集合；

32、生成单元，用于对所述第一图片集合中各图片，识别所述图片的图片要素，基于所述图片要素确定所述图片的特征提取类型，生成所述特征提取类型对应的标注信息；

33、所述生成单元，还用于对所述第一图片集合中各图片和各所述图片的标注信息校验，根据校验结果从所述第一图片集合中确定图片样本集合，以生成所述第一样本集合。

34、在又一个实施例中，所述生成单元，具体用于：

35、识别所述图片的图片要素，对所述图片要素分类，确定所述图片所包括的要素类型；

36、基于所述要素类型确定所述图片的特征提取类型。

37、在又一个实施例中，所述生成单元，具体用于：

38、对所述图片样本集合中每个图片，从所述业务语料库中匹配对应的语料，查询所述语料对应的话术模版，基于所述话术模板生成所述图片对应的指令文本，其中，所述业务语料库为根据预设业务类型关联的语音咨询记录、客服聊天记录、评论记录构建；

39、基于所述图片样本集合中每个图片的标注信息和指令文本生成所述第一样本集合。

40、在又一个实施例中，所述提取单元，还用于：

41、获取所述初始模型对应的训练数据，从所述训练数据中提取对应预测结果和真实结果之间偏差大于预设阈值的第二图片集合；

42、调用预设的各噪声叠加策略对所述第二图片集合中各图片叠加噪声，得出第二样本集合。

43、在又一个实施例中，所述初始模型包括视觉特征提取层；

44、所述装置还包括：

45、更新单元，用于获取所述初始模型中所述视觉特征提取层对应的模型参数，将所述模型参数的预设参数更新为目标值；

46、所述调整单元，具体用于：

47、获取所述初始模型中各模型参数，筛选对应所述预设参数不为所述目标值的待调整模型参数，基于所述校验结果和预设的优化策略对所述待调整模型参数调整。

48、为实现上述目的，根据本发明实施例的再一个方面，提供了一种电子设备。

49、本发明实施例的一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例提供的图片信息处理的方法。

50、为实现上述目的，根据本发明实施例的又一个方面，提供了一种计算机可读介质。

51、本发明实施例的一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例提供的图片信息处理的方法。

52、为实现上述目的，根据本发明实施例的又一个方面，提供了一种计算机程序产品。

53、本发明实施例的一种计算机程序产品，包括计算机程序，所述程序被处理器执行时实现本发明实施例提供的图片信息处理的方法。

54、上述发明中的一个实施例具有如下优点或有益效果：

55、本发明实施例中，对基础大模型可以先通过预标注的第一样本集合进行训练，得到初始模型，然后可以根据第二样本集合对初始模型进行调整，得到特征提取模型，进而在响应于图片特征提取指令时，可以通过训练完成的特征提取模型对待处理图片进行处理，得出对应的结构化图片特征。本发明实施例中，对基础大模型通过两个阶段进行训练，第一阶段使用预标注的样本集合训练，可以使初始模型快速掌握图片的视觉结构、语义关联及基础结构化输出能力，使初始模型具有更高的适配性，第二阶段在初始模型基础上根据优化策略进行调整，使得到的特征提取模型的特征提取准确性更高，即使特征提取模型具有更高的适配性和精准度，如此通过训练的特征提取模型对待处理图片处理来结构化的图片特征，使得出的提取结果具有更高的准确性。

56、上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。