基于多模态情绪感知的AI面试应答策略调整方法及系统与流程

摘要: 本技术涉及人工智能,尤其涉及一种基于多模态情绪感知的ai面试应答策略调整方法及系统。背景技术:1、随着远程招聘规模化发展,ai面试系统被广泛应用于人才筛选场景。...
基于多模态情绪感知的AI面试应答策略调整方法及系统与流程

本技术涉及人工智能,尤其涉及一种基于多模态情绪感知的ai面试应答策略调整方法及系统。

背景技术:

1、随着远程招聘规模化发展,ai面试系统被广泛应用于人才筛选场景。现有ai面试系统主要存在以下三类技术方案:其一,固定题库顺序式系统,按预设题目逐题推送,面试后离线评估面部情绪;其二,基于大语言模型的生成式系统,根据简历和岗位描述生成题目,并基于上一轮回答进行简单文本追问;其三,移植自客服领域的情绪模板系统,对用户输入进行粗粒度离散情绪分类,匹配固定话术回复。

2、上述三类方案虽技术路径各异,但系统架构层面存在以下共同痛点:系统性识别偏差、无法实现多维度协同调控、不具备持续进化能力;本质上仍属于固定脚本执行器或单向问答生成器。

技术实现思路

1、本技术实施例的目的在于提出一种基于多模态情绪感知的ai面试应答策略调整方法及系统,以解决现有ai面试系统中系统性识别偏差、无法实现多维度协同调控、不具备持续进化能力的技术问题。

2、为了解决上述技术问题,本技术实施例提供了一种基于多模态情绪感知的ai面试应答策略调整方法,采用了如下所述的技术方案,包括:

3、获取目标对象在初始交互阶段的初始多模态数据,根据所述初始多模态数据提取初始特征,并转换成情绪基线向量;

4、获取所述目标对象在当前交互阶段的当前多模态数据,根据所述当前多模态数据提取当前特征,并根据所述当前特征和所述情绪基线向量,并利用单向时序网络进行时序平滑处理生成所述目标对象在当前交互阶段的情绪表征;

5、获取所述目标对象的交互状态数据,根据所述情绪表征和所述交互状态数据,构建当前决策状态向量;

6、将所述当前决策状态向量输入至策略网络,由所述策略网络输出所述当前交互阶段的联合策略组合;

7、根据所述联合策略组合,生成与所述联合策略组合匹配的应答内容;

8、获取所述目标对象在下一交互阶段的反馈数据,根据所述反馈数据生成奖励值,并利用所述奖励值优化所述策略网络的参数。

9、进一步的,上述初始交互阶段包括向所述目标对象推送无评价标准的非社交压力任务,并同步采集所述目标对象在响应所述非社交压力任务过程中的所述初始多模态数据。

10、进一步的,上述根据所述初始多模态数据提取初始特征,包括:

11、分别对所述初始多模态数据中的视觉数据、音频数据和文本数据进行特征提取,得到初始视觉特征、初始音频特征和初始文本特征;

12、对所述初始视觉特征、所述初始音频特征和所述初始文本特征进行融合处理,生成所述初始特征。

13、进一步的,上述根据所述当前多模态数据提取当前特征,包括:

14、分别对所述当前多模态数据中的视觉数据、音频数据和文本数据进行特征提取,得到当前视觉特征、当前音频特征和当前文本特征;

15、根据所述当前视觉特征、所述当前音频特征和所述当前文本特征分别对应的置信度,对所述当前视觉特征、所述当前音频特征和所述当前文本特征进行加权融合,得到融合情绪特征;

16、根据所述融合情绪特征,生成所述当前特征。

17、进一步的,上述根据所述当前特征和所述情绪基线向量,并利用单向时序网络进行时序平滑处理生成所述目标对象在当前交互阶段的情绪表征,包括:

18、利用所述单向时序网络对所述融合情绪特征进行时序平滑处理,得到时序平滑后的情绪特征;

19、计算所述时序平滑后的情绪特征与所述情绪基线向量的差值,得到标准化情绪偏移量;

20、根据所述标准化情绪偏移量,具体确定所述目标对象在当前交互阶段的情绪类别、情绪强度和情绪变化趋势,以生成所述情绪表征。

21、进一步的,上述交互状态数据包括交互进度特征和交互历史特征;

22、所述交互进度特征用于表征当前交互进程在完整交互流程中的位置;

23、所述交互历史特征用于表征所述目标对象在至少一次历史交互阶段中的交互表现和情绪变化情况。

24、进一步的,上述联合策略组合包括内容策略、风格策略、节奏策略和情感策略;

25、所述内容策略用于确定下一个交互阶段的问题内容或考察维度;

26、所述风格策略用于确定下一个交互阶段的提问方式或交互语气;

27、所述节奏策略用于确定下一个交互阶段的时间间隔或停顿时长;

28、所述情感策略用于确定下一个交互阶段的情感支持强度或安抚力度。

29、进一步的,上述将所述当前决策状态向量输入至策略网络,由所述策略网络输出所述当前交互阶段的联合策略组合之后,还包括:

30、对所述策略网络输出的所述联合策略组合进行合规性检测,检测所述联合策略组合是否符合预设约束条件;

31、若所述联合策略组合不符合预设约束条件,则禁止所述联合策略组合作用于实际交互环境,并从预设的安全策略集合选择一个安全策略替代所述联合策略组合。

32、进一步的,上述根据所述联合策略组合,生成与所述联合策略组合匹配的应答内容,包括:

33、根据所述联合策略组合,生成用于引导语言模型生成应答内容的约束指令,所述语言模型为预训练的语言生成模型;

34、将所述约束指令和所述目标对象的历史交互文本输入至所述语言模型,生成原始应答文本;

35、根据所述联合策略组合中的情感策略和节奏策略,确定语音合成参数;

36、根据所述语音合成参数,将所述原始应答文本合成为具有相应情感韵律的语音信号作为所述应答内容。

37、为了解决上述技术问题,本技术实施例还提供了一种基于多模态情绪感知的ai面试应答策略调整系统,采用了如下所述的技术方案:

38、一种基于多模态情绪感知的ai面试应答策略调整系统,包括:

39、数据采集模块,用于获取目标对象在初始交互阶段的初始多模态数据和当前交互阶段的当前多模态数据;

40、情绪感知模块,用于根据所述初始多模态数据生成情绪基线向量,以及根据所述当前多模态数据和所述情绪基线向量生成所述目标对象在所述当前交互阶段的情绪表征;

41、策略决策模块,用于至少根据所述情绪表征和所述目标对象的交互状态数据构建当前决策状态向量,并将所述当前决策状态向量输入至策略网络,由所述策略网络输出所述当前交互阶段的联合策略组合;

42、应答生成模块,用于根据所述联合策略组合生成与所述联合策略组合匹配的应答内容;

43、优化模块,用于获取所述目标对象在下一交互阶段的反馈数据,根据所述反馈数据生成奖励值,并利用所述奖励值优化所述策略网络的参数。

44、与现有技术相比,本技术主要有以下有益效果:

45、通过获取初始多模态数据生成个体化情绪基线向量以消除个体表达差异,并实时融合当前多模态数据与交互状态构建决策状态向量,经策略网络输出内容、风格、节奏和情感的多维度联合策略,同时利用反馈奖励持续优化网络参数,解决了现有ai面试系统中策略响应滞后、系统性识别偏差、无法多维度协同调控及不具备持续进化能力的问题,实现了情绪感知与策略决策的实时联动与系统自我进化,使ai面试具备情绪驱动的实时自适应交互能力。