一种基于人类反馈强化学习的多模态情感大模型微调方法

本技术属于人工智能领域，更具体地，涉及一种基于人类反馈强化学习的多模态情感大模型微调方法。

背景技术：

1、随着人工智能等技术的快速发展，如何实现自然和谐的人机交互引起了很多研究者的兴趣和重视。在交往过程中，情感的表达是不可或缺的一部分，其传达的信息非常丰富，如对方当前的情感状态等。因此，赋予机器认知、识别和表达情感的能力尤为重要。在众多的情感交流的方式中，人脸情感占人类情感表达的55%，语音信息占人类情感表达的20%，其余为文本信息、生理信号与身体姿势。因此，通过基于人脸表情、语音信息与文本信息的分析，能够获得更加全面、丰富的内心情感状态，并更准确地判断交互者的情感。

2、以chatgpt和claude为代表的大型语言模型的出现，开启了情感识别领域的新时代。通过在无监督数据语料库上预训练大型生成语言模型，然后针对监督nlp任务微调模型，使模型可以针对特定任务表现良好的性能。然而，这种微调方式存在诸多不足：标注样本覆盖的指令类型和场景有限，难以覆盖真实交互中的多样化情境；监督信号难以精确度量模型输出在情感适配性、安抚性等方面的细微质量差异，导致模型在真实开放环境中容易生成不符合人类偏好或情感期望的回复，降低了人机交互的自然性和情感体验。

3、因此，如何在微调过程中使大模型生成的回复既保持内容流畅性又具备符合人类偏好的情感表达适配性，是当前亟需解决的问题。

技术实现思路

1、针对现有技术的缺陷，本技术的目的在于提供一种基于人类反馈强化学习的多模态情感大模型微调方法，能使大模型生成的回复既保持内容流畅性又具备符合人类偏好的情感表达适配性。

2、为实现上述目的，第一方面，本技术提供了一种基于人类反馈强化学习的多模态情感大模型微调方法，包括如下步骤：

3、s10，获取人脸图像、语音数据和输入文本；将人脸图像划分为不同尺度的图像块，并输入多尺度transformer模块提取多尺度人脸特征；将语音数据转换为语谱图，并利用resnet50网络提取语音语谱图特征；

4、s20，将所述多尺度人脸特征和所述语音语谱图特征进行拼接，得到初始融合特征；基于所述初始融合特征与所述多尺度人脸特征和所述语音语谱图特征，计算模态间相关性；将相关矩阵与特征矩阵映射到统一的低维空间，通过降维操作获得低维空间中的特征，再将所述低维空间中的特征反馈至原始特征空间，得到更新后的人脸特征和语音特征，将更新后的人脸特征和语音特征拼接，得到多模态情感融合特征；将所述多模态情感融合特征送入全连接层与softmax分类器，得到情感状态；

5、s30，将所述情感状态作为显式条件与所述文本一起构成复合输入，利用监督微调数据对预训练语言模型进行监督微调，使模型学习情感状态与语言表达之间的对应关系；构建奖励模型以模拟人类对回复的情感适配性和安抚性的偏好，并基于所述奖励模型输出的奖励值，采用ppo算法对监督微调后的语言模型进行强化微调，使模型生成的回复符合人类偏好。

6、作为进一步优选的，步骤s10中，将人脸图像划分为不同尺度的图像块包括：

7、利用mediapipe算法进行人脸检测，将检测到的人脸区域裁剪并统一缩放至224×224的尺寸，缩放后的人脸图像高度为h、宽度为w；

8、将缩放后的人脸图像分别输入全局分支和局部分支；

9、在全局分支中，采用图像块尺寸对缩放处理后的人脸图像进行规则划分，将图像表示为由若干不重叠的块组成的二维网格，以捕获整体结构与粗粒度表情变化，设

h和

w均能被整除，则全局分支中的图像块总数表示为：；

10、图像块尺寸使每个块都覆盖了一定范围的人脸区域，第（

i，

j）个全局图像块表示为：，其中，，；通过所述规则划分方式，保证所有块之间互不重叠且完全覆盖整张人脸图像；

11、在全局分支中，将每个图像块展平为一维向量，采用线性映射将展平后的向量投影到维度为

d的嵌入空间中。

12、作为进一步优选的，步骤s10中，提取多尺度人脸特征还包括：

13、由于全局分支的cls token维度与局部分支的patch tokens维度不同，首先进行维度对齐：，其中为用于维度对齐的投影函数，为维度对齐后的全局分支cls token，为全局分支的cls token；

14、将维度对齐后的全局分支cls token与局部分支的patch tokens进行拼接：，然后以作为查询，与之间进行注意力计算，计算公式为：，其中为局部分支的patch tokens，、和为可学习参数矩阵，

c和

h分别表示嵌入维度和注意力头的数量，

q、k、v分别表示查询矩阵、键矩阵和值矩阵；

15、通过矩阵乘法计算

q与

k之间的相似度，通过softmax操作将相似度矩阵转化为注意力权重，再与

v相乘，得到单头自注意力机制的输出矩阵：，，其中

a表示注意力权重矩阵；

16、在完成交叉注意力计算之后，应用前馈神经网络，在结合层归一化和残差连接后，将得到的特征与全局分支的patch tokens进行特征拼接操作，计算公式为：，其中代表全局分支的cls标记在经过交叉注意力机制处理后的输出特征，表示全局分支中的cls标记完成特征交互后得到的新全局分支特征，用于尺寸对齐的投影与反投影函数，为全局分支的patch tokens。

17、作为进一步优选的，步骤s10中，将语音数据转换为语谱图包括：

18、连续语音信号为，在采样频率为的条件下，经模数转换得到离散语音序列：，其中为采样间隔，

n为该语音片段包含的采样点总数；

19、对离散语音进行预加重处理：，其中

α为预加重系数，为与加重处理后的离散语音；

20、在获得加窗帧信号后，对每一帧执行短时傅里叶变换：，其中，为第

m帧在第

k个频率点的复数频率，

k为fft点数，

l代表时间帧的总数；

21、采用功率谱表征语音能量在频率上的分布：，其中用于反映在第

m帧中不同频率分量的能量强度。

22、作为进一步优选的，步骤s20具体包括：

23、在得到多尺度人脸特征和语音语谱图特征之后，其中和表示人脸特征与语音特征的维度，将两种模态的特征进行拼接，得到初步的融合特征，；

24、利用初步融合特征与语音语谱图特征计算模态间相关性，采用双线性形式的相似度函数，引入可学习权重矩阵将相关矩阵与特征矩阵映射到统一的低维空间，通过降维操作对齐表示尺度并去除冗余信息；

25、在降维过程中，对映射矩阵施加l1正则约束，将计算出的l1范数乘以正则化强度

λv、

λa，将其添加到损失函数中，得到最终的损失函数计算公式：；

26、在获得低维空间中的特征和后，将其反馈到原始特征空间中，采用线性映射与残差连接的方式构造增强特征：，其中和为线性映射矩阵，将低维空间中的多模态更新特征映射回原始维度，并利用残差连接在引入多模态信息的同时保留各模态原有的判别特征；

27、将经过跨模态注意力机制更新过的人脸和语音特征拼接在一起，得到最后的多模态情感融合特征表示：；

28、将该融合特征送入全连接层与softmax分类器中实现情感状态的分类。

29、作为进一步优选的，步骤s30中，利用监督微调数据对预训练语言模型进行监督微调包括：

30、llama3模型在输入阶段对原始文本进行分词处理，将连续的自然语言文本转换为离散的符号序列，采用基于子词的分词策略，分词器依据预定义的词表将原始文本中的字符切分为一系列子词单元；

31、每个词单元在词表中对应一个数字，通过查表映射的方式被映射为对应的整数索引，映射过程是确定性的；

32、在获得离散的token序列后，通过词嵌入矩阵将每个token映射为一个连续的向量表示；

33、在词嵌入表示的基础上引入旋转位置编码刻画不同token在序列中的相对位置信息，对于第

i个位置，其对应的查询向量和键向量在每一对维度上进行旋转操作，对查询向量和键向量施加旋转位置编码后计算自注意力权重；

34、在监督微调阶段，将文本指令与情感标签以显式条件的形式进行拼接，构成模型的输入序列，目标输出序列记为，输入序列和目标序列经分词与索引映射后转换为模型可处理的token序列。

35、作为进一步优选的，步骤s30中，构建奖励模型以模拟人类对回复的情感适配性和安抚性的偏好，具体包括：

36、通过将llama3 7b模型的词表预测头替换成奖励头，得到最终的奖励分数：，其中[x, y]表示拼接后的输入序列，表示transformer编码器加奖励头，transformer部分负责语义编码，线性层将最终隐藏状态映射为一个标量奖励值，最终的输出为：，其中

hcls表示最后一层隐藏状态，

w和

b表示可学习参数；

37、建模人类选择优于的概率：，其中表示被选择的回复，表示被拒绝的回复，为sigmoid函数；

38、基于上述概率建模，通过最大化人类偏好的对数似然来优化奖励模型参数，转化为最小化负对数似然损失：。

39、作为进一步优选的，步骤s30中，采用ppo算法对监督微调后的语言模型进行强化微调，具体包括：

40、引入价值网络对状态的期望回报进行估计，其输出为状态价值：，其中为折扣因子，

st表示当前状态，为折扣累积回报；

41、价值网络输出当前状态价值和下一状态价值，价值网络的输出与奖励模型的输出共同进入优势函数，用于计算时序差分残差与优势；

42、首先计算时序差分残差：，其中表示奖励模型输出，该残差刻画实际一步收益与未来价值估计相对于当前价值预测的偏离程度；

43、在此基础上，采用gae方法计算优势函数：，其中，λ为平滑参数，用于在长短期信息之间进行折中；

44、在获得优势估计后，ppo采用受约束的策略梯度更新，通过新旧策略概率比加截断机制限制每次迭代的策略变化幅度，定义新旧策略概率比：，截断目标函数为：，其中表示在状态

st下采取的动作，

θ表示当前待更新的策略网络（actor网络）的权重参数，

θold表示采样时所使用的旧策略网络的参数，

π表示策略函数，

ε为裁剪范围。

45、第二方面，本技术提供了一种基于人类反馈强化学习的多模态情感大模型微调系统，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述中任一项所述的方法的步骤。

46、第三方面，本技术提供了一种计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现如上述中任一项所述的方法的步骤。

47、本技术具有如下效果：通过多尺度人脸特征和语音语谱图特征的多模态融合，可准确感知交互者的情感状态，并将该情感状态作为显式条件与输入文本共同输入，可使大模型在理解文本语义的同时感知交互者的情感状态；经监督微调使模型学习情感状态与语言表达之间的对应关系以保持内容流畅性，再构建奖励模型模拟人类对回复情感适配性和安抚性的偏好，并基于奖励值采用ppo算法进行强化微调，驱动模型生成策略向人类偏好方向优化。通过上述手段的协同作用，可有效解决大模型在交互过程中只关注文本信息而不考虑交互者情感状态且回复内容不符合人类偏好的问题，既可保持大模型回复内容的流畅性，又可具备符合人类偏好的情感表达适配性。