视觉语音识别的方法及装置与流程

本说明书一个或多个实施例涉及人工智能，尤其涉及视觉语音识别的方法及装置。

背景技术：

1、视觉语音识别（visual speech recognition, vsr），通常是仅依据说话者的唇部和面部视觉信息（而非音频），来识别语音内容的技术，也称为“唇语识别”或“读唇”。该技术在噪声环境通信、辅助听障人士、安防监测等场景具有重要应用价值。

2、视觉语音识别面临以下核心技术挑战：视觉信号具有天然的模糊性，存在大量同形异义（homophenes）现象，即不同的语音内容可能对应极为相似的唇部动作。这使得仅凭视觉信息进行精准识别具有极高难度。近年来，大语言模型（llm）展现出强大的语言理解和生成能力，为视觉语音识别提供了新的技术路径——通过将视觉特征向量映射到llm的语义空间，利用llm的上下文推理能力来消歧和重建句子。

3、然而，视觉特征向量空间与llm文本嵌入空间之间存在显著的分布漂移（distribution shift），现有技术方案可能存在训练不稳定、语义信息丢失或计算效率低之类的问题。因此，如何突破视觉语音识别的这一技术瓶颈，是亟待解决的技术问题。

技术实现思路

1、本说明书一个或多个实施例描述了一种针对视觉语音识别的方法及装置，用以解决背景技术提到的一个或多个问题。

2、根据第一方面，提供一种视觉语音识别的方法，所述方法包括：通过视觉特征提取网络，提取待识别视频中第一视频帧的第一视觉特征向量；基于与所述第一视觉特征向量的相似度，从各个候选基向量中为所述第一视频帧选择预定数量的第一目标基向量，各个候选基向量分别为大语言模型词表中各个词元的嵌入向量；将所述第一视觉特征向量转换成各个第一目标基向量的线性组合，得到第一重构视觉特征向量；基于所述第一重构视觉特征向量，利用大语言模型识别待识别视频中的语音信息。

3、在一个实施例中，所述视觉特征提取网络包括预训练的编码网络和线性变换网络，所述通过视觉特征提取网络，提取待识别视频中第一视频帧的第一视觉特征向量，包括：利用所述编码网络，从所述待识别视频中逐帧提取包含音素信息的深层特征；通过线性变换网络将各帧的深层特征转换为与大语言模型的词元嵌入向量维数一致的各个对齐向量；基于各个对齐向量确定第一视频帧对应的第一视觉特征向量。

4、在一个进一步的实施例中，所述编码网络为av-hubert模型，所述深层特征为所述av-hubert模型中预设层数的transformer输出层的输出结果。

5、在一个实施例中，所述通过视觉特征提取网络，提取待识别视频中第一视频帧的第一视觉特征向量，还包括：将各帧的视觉特征向量映射到视觉语音码本中距离最近的视觉语音编码向量，得到离散化的编码标识序列；其中，所述视觉语音码本包含预先通过多个视频帧的视觉特征向量确定的多个聚类中心分别对应的各个视觉语音编码向量，单个视觉语音编码向量为单个聚类中心的表征向量，通过相应聚类类簇中的各个视觉特征向量确定，各个聚类中心唯一对应各个编码标识；根据所述编码标识序列统计连续相同的编码标识的持续帧数；将连续相同编码标识对应的多个视频帧的视觉特征向量合并，作为相应多个视频帧去重后的视觉特征向量，并根据去重结果更新第一视频帧的第一视觉特征向量。

6、在一个实施例中，所述将连续相同编码标识对应的多个视频帧的视觉特征向量合并，作为相应多个视频帧去重后的视觉特征向量，包括：通过对所述连续相同编码标识对应的多个视频帧的视觉特征向量执行平均池化操作，得到该多个视频帧合并去重后的视觉特征向量。

7、在一个实施例中，所述基于与所述第一视觉特征向量的相似度，从各个候选基向量中为所述第一视频帧选择预定数量的第一目标基向量，包括：计算所述第一视觉特征向量与各个候选基向量之间分别对应的各个相似度；按照各个相似度降序排列，选取前k＇个得分最高的候选基向量作为各个第一目标基向量，其中 k＇为预定正整数。

8、在一个实施例中，所述将所述第一视觉特征向量转换成各个第一目标基向量的线性组合，得到第一重构视觉特征向量，包括：根据预定方式确定各个第一目标基向量的权重； 将所述权重作为各个目标基向量进行线性组合的线性系数，得到通过各个第一目标基向量的线性组合表示的所述第一重构视觉特征向量；

9、其中，所述预定方式为：将所述第一视觉特征向量作为查询向量，将各个第一目标基向量作为键向量，通过注意力机制计算所述第一视觉特征向量相对于相应各个第一目标基向量各自的贡献度，作为相应权重；或者，基于softmax函数，将所述第一视觉特征向量向各个第一目标基向量投影，得到各个第一目标基向量对应的归一化投影系数作为权重。

10、在一个实施例中，所述基于所述第一重构视觉特征向量，利用大语言模型识别待识别视频中的语音信息，包括：将包括所述第一重构视觉特征向量在内的各视频帧的重构视觉特征向量作为提示信息，输入大语言模型，由大语言模型以自回归方式逐个预测下一个词元，得到识别出的语音信息。

11、在一个实施例中，所述方法还包括对所述视觉特征提取网络进行对比学习的训练步骤，包括：获取当前批次的各个训练样本，单个训练样本包括单个样本视频和相应的标签文本；基于各个样本视频确定对比学习损失，其中，所述对比学习损失为各个样本视频各视频帧的单帧损失之和，当前批次中的第i个样本视频的单个视频帧t对应的单帧损失，基于视频帧t的视觉特征向量与第i个样本视频对应的标签文本中各个词元的嵌入向量之间的相似度确定；以最小化所述对比学习损失为目标，调整所述视觉特征提取网络中的待定参数。

12、在一个进一步的实施例中，所述以最小化所述对比学习损失为目标，调整所述视觉特征提取网络中的待定参数，还包括：确定大语言模型针对当前批次训练样本的自回归生成任务的生成损失；基于所述对比学习损失和所述生成损失，确定当前的模型损失；以最小化所述模型损失为目标，至少调整所述视觉特征向量提取网络中的待定参数。

13、在一个更进一步的实施例中，所述以最小化所述模型损失为目标，至少调整所述视觉特征提取网络中的待定参数还包括：以最小化所述模型损失为目标，调整大语言模型对应的待定参数，所述大语言模型对应的待定参数为大语言模型并联的旁接低秩矩阵中的参数。

14、根据第二方面，提供一种视觉语音识别的装置，包括：

15、提取单元，配置为通过视觉特征提取网络，提取待识别视频中第一视频帧的第一视觉特征向量；

16、选择单元，配置为基于与所述第一视觉特征向量的相似度，从各个候选基向量中为所述第一视频帧选择预定数量的第一目标基向量，各个候选基向量分别为大语言模型词表中各个词元的嵌入向量；

17、重构单元，配置为将所述第一视觉特征向量转换成各个第一目标基向量的线性组合，得到第一重构视觉特征向量；

18、识别单元，配置为基于所述第一重构视觉特征向量，利用大语言模型识别待识别视频中的语音信息。

19、根据第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面所述的方法。

20、根据第四方面，提供一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面所述的方法。

21、通过本说明书实施例提供的方法和装置，在利用大语言模型进行视觉语音识别过程中，对于待识别视频中的视觉特征向量进行重构，得到重构视觉特征向量。重构视觉特征向量可以基于词表词元的嵌入向量作为基向量确定。具体而言，可以将待识别视频中的视觉特征向量，转换成基向量的线性组合形式，作为重构视觉特征向量。将重构视觉特征向量作为提示信息提供给大语言模型，由大语言模型输出视频中的语音信息。由于在构建大语言模型的提示信息时，将视觉特征向量通过词表词元的嵌入向量表示，如此，可以有效地将视觉语音特征与文本特征对齐，从而大大提高识别结果的准确度。

22、另外，利用llm 词表向量作为基向量来逼近视觉特征，还可以解决视觉特征空间与llm文本嵌入空间之间的分布漂移导致的验证集损失发散问题，提高模型训练过程中的训练效率。