数据处理方法、装置、电子设备和存储介质与流程

摘要: 本技术涉及计算机领域,具体涉及一种数据处理方法、装置、电子设备和存储介质。背景技术:1、大语言模型(largelanguagemodel,llm)是当前人工智能...
数据处理方法、装置、电子设备和存储介质与流程

本技术涉及计算机领域,具体涉及一种数据处理方法、装置、电子设备和存储介质。

背景技术:

1、大语言模型(large language model,llm)是当前人工智能领域的研究与应用热点,这类模型已从最初的文本生成应用,逐步扩展到支持图像、语音等多模态数据的处理,由此演进形成多模态大语言模型(multimodal large language model,mllm)。文字识别(ocr)是mllm广泛落地场景之一。当输入一张图片时,mllm不仅能准确提取图像中的文字内容,还能提供该文字内容在图片中的精确位置信息。

2、例如,如图1a所示,通过对输入图片的处理,采用通过第一输出头部基于全局词表得到内容标记;通过第二输出头部基于位置词表得到位置标记;最终得到内容标记对应的文字内容,与位置标记对应的位置信息,因此,可完整输出图片中全部的文字内容,以及文字内容在图片中的精确位置信息,然后基于该文字内容在图片中的精确位置信息在图片上为每段文字显示其对应的定位框。然而,目前模型推理出图片中的文字内容及其在图片中的精确位置信息的耗时较高,因此,现有的数据处理方法效率低下。

技术实现思路

1、本技术实施例提供一种数据处理方法、装置、电子设备和存储介质,可以提升数据处理方法的效率。

2、本技术实施例提供一种数据处理方法,应用于推理模型中,推理模型包括第一输出头部和第二输出头部,第一输出头部配置有全局词表,全局词表包括内容权重与位置权重,第二输出头部配置有位置词表,位置词表包括位置权重,方法包括:

3、通过第一输出头部基于全局词表得到内容标记;

4、通过第二输出头部基于位置词表得到位置标记;

5、基于已生成的标记序列、内容标记和位置标记得到最终标记序列。

6、本技术实施例还提供一种数据处理装置,应用于推理模型中,推理模型包括第一输出头部和第二输出头部,第一输出头部配置有全局词表,全局词表包括内容权重与位置权重,第二输出头部配置有位置词表,位置词表包括位置权重,装置包括:

7、内容单元,用于通过第一输出头部基于全局词表得到内容标记;

8、位置单元,用于通过第二输出头部基于位置词表得到位置标记;

9、添加单元,用于基于已生成的标记序列、内容标记和位置标记得到最终标记序列。

10、在一些实施例中,数据处理装置还包括:

11、分配单元,用于基于已生成的标记序列,确定当前情况为第一情况或第二情况,第一情况是使用第一输出头部的情况,第二情况是使用第二输出头部的情况。

12、在一些实施例中,已生成的标记序列包括以下的至少一种:位置起始标签和位置结束标签,位置起始标签用于标记位置标记的起始位置,位置结束标签用于标记位置标记的结束位置,分配单元还包括:

13、切换第二子单元,用于若检测到最新标记为位置起始标签,则确定当前情况为第二情况,最新标记为已生成的标记序列中最近一次的历史标记;

14、切换第一子单元,用于若检测到最新标记为位置结束标签,则将确定当前情况为第一情况。

15、在一些实施例中,分配单元还包括:

16、标签添加子单元,用于在已生成的标记序列中,若检测到最新标记为位置标记,且最近n次添加的历史片段均为位置标记,则将位置结束标签添加到已生成序列中。

17、在一些实施例中,分配单元还包括创建子单元,创建子单元用于:

18、创建空的标记序列;

19、将位置起始标签添加到空的标记序列中,以得到已生成的标记序列。

20、在一些实施例中,第一输出头部还用于输出以下的至少一种:位置起始标签、位置结束标签、内容起始标签和内容结束标签,内容起始标签用于标记内容标记的起始位置,内容结束标签用于标记内容标记的结束位置。

21、在一些实施例中,已生成的标记序列还包括以下内容标记:内容标记,分配单元还用于:

22、在已生成的标记序列中,若检测到最新标记为位置标记,且最近m次添加的历史片段均为位置标记,则对已生成的标记序列中最近m次添加的位置标记进行正则表达式匹配检测;

23、若最近m次添加的位置标记未通过正则表达式匹配检测,则确定当前情况为第一情况,m为小于n的正整数。

24、在一些实施例中,位置单元用于:

25、获取位置标记的初始索引,初始索引用于标记第二输出头部生成的位置标记的索引;

26、采用偏移补偿量对初始索引进行调整,得到调整后的索引,偏移补偿量用于表征第一输出头部和第二输出头部生成的位置标记的索引差异。

27、在一些实施例中,位置单元还用于:

28、获取第一输出头部的全局词表中位置权重的第一索引,与第二输出头部的位置词表中位置权重之间的第二索引;

29、基于第一索引和第二索引确定偏移补偿量。

30、在一些实施例中,数据处理装置还用于:

31、获取待调整的推理模型,待调整的推理模型包括第一输出头部,第一输出头部配置有全局词表,全局词表包括内容权重与位置权重;

32、基于第一输出头部的位置权重,构建第二输出头部,第二输出头部配置有位置词表,位置词表包括位置权重;

33、将第二输出头部添加到待调整的推理模型中,得到推理模型。

34、在一些实施例中,推理模型还包括第三输出头部,第三头部配置有其它专用词表,其它专用词表包括其它专用权重,数据处理装置还用于:

35、基于已生成的标记序列,确定当前情况为第三情况,第三情况是使用第三输出头部的情况;

36、通过第三输出头部基于其它专用词表得到其它标记;

37、基于已生成的标记序列、内容标记和位置标记得到最终标记序列,包括:

38、基于已生成的标记序列、其它标记、内容标记和位置标记得到最终标记序列。

39、本技术实施例还提供一种电子设备,包括存储器存储有多条指令;所述处理器从所述存储器中加载指令,以执行本技术实施例所提供的任一种数据处理方法中的步骤。

40、本技术实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本技术实施例所提供的任一种数据处理方法中的步骤。

41、本技术实施例提出的推理模型包括第一输出头部和第二输出头部,第一输出头部配置有全局词表,全局词表包括内容权重与位置权重,第二输出头部配置有位置词表,位置词表包括位置权重,当需要输出内容标记时,调用第一输出头部利用其大规模的全局词表实现细粒度语义生成;当需输出位置标记时,通过第二输出头部精简的位置词表提升计算效率。

42、因此,在位置信息的密集生成阶段,第二输出头部因词表规模缩减可以使计算量降低,从而极大加快驱动单次推理速度,有效缓解传统单个语言模型头部模型因全词表计算导致的耗时过长问题;此外,专用的第二输出头部通过位置词表聚焦位置信息,规避了第一输出头部因词表规模过大产生的概率分布稀释问题,提升了位置标记生成的准确性。

43、由此,本技术实施例提出的动态切换使用第一输出头部和第二输出头部,提升了数据处理方法的效率。