一种多模态疼痛检测模型预训练方法、系统、设备和介质与流程

摘要: 背景技术:1、通用多模态大语言模型(基座模型)在海量图像、文本、音频等模态数据上进行训练,具有强大的多模态推理能力,能够将多种模态与文本对齐,从而达到对多模态例...
一种多模态疼痛检测模型预训练方法、系统、设备和介质与流程

背景技术:

1、通用多模态大语言模型(基座模型)在海量图像、文本、音频等模态数据上进行训练,具有强大的多模态推理能力,能够将多种模态与文本对齐,从而达到对多模态例如图像的理解能力。但是基座模型在特定垂直领域例如法律、医疗等领域常出现幻觉、偏差等问题,这主要源于基座模型未在下游任务微调。

2、目前通常采用lora(低秩自适应)方法对大模型进行微调,即保持大模型原始权重w不变,在大模型旁路上训练一个低秩权重矩阵w。而目前通过lora对大语言模型进行指令微调的技术,其监督对象为基座模型的文本输出,即监督基座模型是否能输出期望的文本,或者说,即损失函数为期望文本与实际输出文本之间的偏差。

3、但是对于多模态任务,其输入通常多模态数据,例如会同时输入图像、视频以及音频,如果只对文字输出进行监督的话,会丧失掉图像、视频等模态token所带来的信息。因此,多模态大模型指令微调不能仅仅依赖对输出文本的监督,还需要依赖对图像、视频所在位置token对应的输出token的监督。同时,由于通用多模态大语言模型通常主要在图像和文本数据上预训练,对生理信号模态的语义对齐能力较弱,因此仅依靠文本输出监督损失,模型可能难以充分利用生理信号hidden states中包含的疼痛相关信息。

技术实现思路

1、本技术实施例的目的在于提出一种多模态疼痛检测模型预训练方法、系统、设备和介质以解决当前大语言模型无法兼顾多模态疼痛信息的问题。

2、第一方面,一种多模态疼痛检测模型预训练方法,包括:

3、步骤100、获取多模态大语言模型,获取用于区分生理信号模态的模态分类器及反向梯度器,构建模态损失监督器及文本损失监督器,在所述多模态大语言模型的第一反馈支路上依次连接所述反向梯度器、模态分类器及所述模态损失监督器,在所述多模态大语言模型的第二反馈支路上连接文本损失监督器,得到多模态疼痛检测模型;

4、步骤200、采集病人疼痛长视频,医生结合临床经验和病人自我报告对所述病人疼痛长视频进行疼痛分数标注,利用标注后的病人疼痛长视频得到目标病人面部图像及目标视频片段,采集对应生理信号,根据所述目标病人面部图像、目标视频片段、生理信号及期望输出文本得到疼痛训练样本集;

5、步骤300、利用所述疼痛训练样本集对所述多模态疼痛检测模型进行预训练,利用所述模态损失监督器、文本损失监督器分别计算模态损失、文本损失,并根据所述模态损失、文本损失对所述多模态疼痛检测模型的权重参数进行更新,直到损失不再下降。

6、进一步的,所述步骤100包括:

7、步骤110、获取二分类交叉熵损失函数:

8、   (1),

9、其中,n表示参与模态分类监督的隐态数量;hi表示第i个token位置对应的隐态;mi表示该隐态的真实模态标签;qi表示模态分类器预测该隐态属于生理信号模态的概率;

10、步骤120、利用所述二分类交叉熵损失函数构建所述模态损失监督器。

11、进一步的,所述步骤100包括:

12、步骤130、获取反向梯度函数:

13、   (2),

14、其中,为反向梯度系数,用于控制模态对齐约束的强度;为单位矩阵;

15、步骤140、利用所述反向梯度函数构建所述反向梯度器。

16、进一步的,所述步骤200包括:

17、步骤210、对所述病人疼痛长视频进行切分,得到视频片段;

18、步骤220、使每个所述视频片段继承所述病人疼痛长视频的分数标注,得到所述目标视频片段。

19、进一步的,在所述步骤220之后,所述步骤200还包括:

20、步骤230、利用open face对每个所述视频片段逐帧提取au强度和au信息;

21、步骤240、根据所述au强度和au信息计算每个视频片段的au综合强度,并选取au综合强度最大的帧作为所述目标病人面部图像。

22、进一步的,所述步骤300包括:

23、步骤310、利用多模态编码器分别对目标病人面部图像、目标视频片段、生理信号及提示文本进行编码,分别得到图像token序列、视频token序列、生理信号token序列及文本token序列;

24、步骤320、将所述图像token序列、视频token序列、生理信号token序列及文本token序列拼接,输入所述多模态疼痛检测模型。

25、进一步的,在所述步骤320之后,所述步骤300还包括:

26、步骤330、反向梯度器在前向传输时,将多模态中的隐态特征传输到所述模态分类器;

27、步骤340、所述模态分类器对所述隐态特征是否生理信号特征进行区分,并利用所述模态分类器计算分类损失;

28、步骤350、反向梯度器在前向传输时,将传回模型的梯度乘以负系数,实现梯度反转。

29、为了解决上述技术问题,本技术实施例还提供一种多模态疼痛检测模型预训练系统,采用第一方面所述的多模态疼痛检测模型预训练方法,包括:

30、构建模块,用于获取多模态大语言模型,获取用于区分生理信号模态的模态分类器及反向梯度器,构建模态损失监督器及文本损失监督器,在所述多模态大语言模型的第一反馈支路上依次连接所述反向梯度器、模态分类器及所述模态损失监督器,在所述多模态大语言模型的第二反馈支路上连接文本损失监督器,得到多模态疼痛检测模型;

31、样本获取模块,用于采集病人疼痛长视频,医生结合临床经验和病人自我报告对所述病人疼痛长视频进行疼痛分数标注,利用标注后的病人疼痛长视频得到目标病人面部图像及目标视频片段,采集对应生理信号,根据所述目标病人面部图像、目标视频片段、生理信号及期望输出文本得到疼痛训练样本集;

32、预训练模块,用于利用所述疼痛训练样本集对所述多模态疼痛检测模型进行预训练,利用所述模态损失监督器、文本损失监督器分别计算模态损失、文本损失,并根据所述模态损失、文本损失对所述多模态疼痛检测模型的权重参数进行更新,直到损失不再下降。

33、为了解决上述技术问题,本技术实施例还提供一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述处理器执行所述计算机可读指令时实现如第一方面所述的多模态疼痛检测模型预训练方法的步骤。

34、为了解决上述技术问题,本技术实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如第一方面所述的多模态疼痛检测模型预训练方法的步骤。

35、与现有技术相比,本技术实施例主要有以下技术效果:通过构建获取多模态疼痛检测模型,通过在文本损失监督器之外,引入针对非文本模态隐态的模态损失监督器和反向梯度机制,使模型在训练学习过程中不仅学习生成正确的疼痛评估文本,还能够更充分地利用图像、视频和生理信号等多模态信息,增强生理信号模态与图像、文本模态之间的表征对齐能力。