图像语音多模态数据解析方法、装置、设备及存储介质与流程

本发明涉及图像与语音数据处理，尤其涉及一种图像语音多模态数据解析方法、装置、设备及存储介质。

背景技术：

1、随着便携智能录音设备、翻译类终端的普及，结合ocr（optical characterrecognition，光学字符识别）图像识别、asr（automatic speech recognition，自动语音识别）语音识别的多模态翻译解析技术得到广泛应用。

2、目前ocr翻译设备、多模态翻译终端、智能录音笔已经可以实现拍照识别、录音转写等基础功能。但现有技术大多依赖图像或者语音单一模态识别，户外模糊、噪声环境识别精度差；图像与音频需要用户手动分别采集，无法在拍照瞬间自动绑定对应音频片段；缺少本地跨模态交叉校验，云端也无法实现音图联合推理校正；同时缺少面向外语学习者的发音标注、差异高亮等专属输出能力，网络条件较差时可用性不足。现有方法在地址识别等实际场景中，无法充分利用图像与语音信息互补优势，存在操作繁琐、识别结果可靠性不足的问题。

3、因此，亟需一种充分利用图像与语音信息互补优势的图像语音多模态数据解析方法。

技术实现思路

1、本发明提供了一种图像语音多模态数据解析方法、装置、设备及存储介质，通过图像与音频自动绑定的多模态数据联合解析，实现抓图即可获得准确的文本解析结果。

2、第一方面，本发明实施例提供了一种图像语音多模态数据解析方法，该方法包括：

3、响应于拍照指令，获取目标图像和所述目标图像的拍照时间戳，以及以拍照时间戳为中心的预设时间长度的目标音频数据；

4、对所述目标图像进行识别，得到第一文本数据，确定第一文本数据中各字符的第一置信度以及所述第一文本数据总体的第一平均置信度；对所述目标音频数据进行识别，得到第二文本数据，确定第二文本数据中各字符的第二置信度以及所述第二文本数据总体的第二平均置信度；

5、基于预设音形对照映射表，对第一文本数据与第二文本数据执行语义级等价对比和字符级等价对比，确定所述第一文本数据和第二文本数据的语义级判定结果和字符级判定结果；

6、基于所述字符级判定结果和语义级判定结果，确定所述第一文本数据和第二文本数据是否存在冲突，得到冲突判定结果；

7、根据所述冲突判定结果，结合第一置信度、第一平均置信度、第二置信度以及第二平均置信度，根据所述第一文本数据和第二文本数据，生成本地解析结果。

8、第二方面，本发明实施例还提供了一种图像语音多模态数据解析装置，该装置包括：

9、数据获取模块，用于响应于拍照指令，获取目标图像和所述目标图像的拍照时间戳，以及以拍照时间戳为中心的预设时间长度的目标音频数据；

10、数据识别和置信度确定模块，用于对所述目标图像进行识别，得到第一文本数据，确定第一文本数据中各字符的第一置信度以及所述第一文本数据总体的第一平均置信度；对所述目标音频数据进行识别，得到第二文本数据，确定第二文本数据中各字符的第二置信度以及所述第二文本数据总体的第二平均置信度；

11、等价对比模块，用于基于预设音形对照映射表，对第一文本数据与第二文本数据执行语义级等价对比和字符级等价对比，确定所述第一文本数据和第二文本数据的语义级判定结果和字符级判定结果；

12、冲突判定模块，用于基于所述字符级判定结果和语义级判定结果，确定所述第一文本数据和第二文本数据是否存在冲突，得到冲突判定结果；

13、解析结果生成模块，用于根据所述冲突判定结果，结合第一置信度、第一平均置信度、第二置信度以及第二平均置信度，根据所述第一文本数据和第二文本数据，生成本地解析结果。

14、第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的图像语音多模态数据解析方法。

15、第四方面，本发明实施例还提供了一种存储计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明实施例中任一所述的图像语音多模态数据解析方法。

16、本发明实施例的技术方案，通过分别根据图像和音频识别得到两套文本数据，将图片内容与对应读音自动绑定，通过预设音形对照映射表，同时开展两套文本数据的字符级等价比对与语义级等价比对，精准区分不同冲突类型的场景，并针对不同冲突类型采用差异化处理策略，并依据置信度生成本地解析结果，实现音图数据自动关联，抓图即可获得准确的文本解析结果。

17、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

1.一种图像语音多模态数据解析方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，基于所述字符级判定结果和语义级判定结果，确定所述第一文本数据和第二文本数据是否存在冲突，得到冲突判定结果，包括：

3.根据权利要求2所述的方法，其特征在于，根据所述冲突判定结果，结合第一置信度、第一平均置信度、第二置信度以及第二平均置信度，根据所述第一文本数据和第二文本数据，生成本地解析结果，包括：

4.根据权利要求2所述的方法，其特征在于，根据所述冲突判定结果，结合第一置信度、第一平均置信度、第二置信度以及第二平均置信度，根据所述第一文本数据和第二文本数据，生成本地解析结果，还包括：

5.根据权利要求2所述的方法，其特征在于，根据所述冲突判定结果，结合第一置信度、第一平均置信度、第二置信度以及第二平均置信度，根据所述第一文本数据和第二文本数据，生成本地解析结果，还包括：

6.根据权利要求1所述的方法，其特征在于，根据所述冲突判定结果，结合第一置信度、第一平均置信度、第二置信度以及第二平均置信度，根据所述第一文本数据和第二文本数据，生成本地解析结果之后，包括：

7.根据权利要求1所述的方法，其特征在于，所述预设音形对照映射表用于存储字形字符与对应语音读音文本之间的映射关系，所述预设音形对照映射表至少包括日文汉字与假名映射关系、英文数字发音与数字映射关系以及中文拼音与汉字映射关系。

8.一种图像语音多模态数据解析装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的图像语音多模态数据解析方法。

10.一种存储计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的图像语音多模态数据解析方法。