基于多模态数据的潜在心理风险预警系统及方法与流程

摘要: 本申请涉及智能预警领域,且更为具体地,涉及一种基于多模态数据的潜在心理风险预警系统及方法。背景技术:1、随着全球人口老龄化趋势的加剧与社会生活节奏的加快,公众特...
基于多模态数据的潜在心理风险预警系统及方法与流程

本申请涉及智能预警领域,且更为具体地,涉及一种基于多模态数据的潜在心理风险预警系统及方法。

背景技术:

1、随着全球人口老龄化趋势的加剧与社会生活节奏的加快,公众特别是老年群体的心理健康问题日益凸显。传统的心理健康评估多依赖于量表自评或专业人士的定期访谈,这些方法不仅主观性强、敏感度有限,且存在显著的滞后性,往往在心理问题已发展到较严重阶段时才能介入,错失了早期干预的黄金窗口。因此,发展一种能够客观、连续且非侵入式地监测个体潜在心理风险,并实现早期预警的技术方案,对于提升全民心理健康水平、减轻社会医疗负担具有重大的现实意义。在此背景下,融合计算机视觉、语音情感分析及生理传感等技术的多模态信息处理方法,为实现对个体状态的全面、动态感知提供了可能,也为构建主动式心理风险预警系统奠定了坚实的技术基础。

2、近年来,利用多模态数据进行心理状态评估与情感计算的研究已成为热点,部分技术方案能够通过分析面部表情、语音语调、心率等即时数据,初步判断个体当前的情绪状态。然而,现有技术大多聚焦于对短时、表层情绪的识别,却普遍忽略了心理风险演化的一个核心难题:如何将短暂、易变的情绪表现(状态)与长期、稳定的内在心理倾向(特质)进行有效关联与区分。具体而言,现有系统难以辨别一次因客观事件引发的短暂情绪低落与持续性抑郁倾向的早期征兆,本质上是缺乏对状态如何随时间累积、固化并最终演变为特质这一动态过程的深刻建模。这种对短期波动与长期趋势的混淆,导致预警系统易产生大量伪报,降低了其实用价值,也使其无法精准建立短期状态观测与长期潜在心理风险之间的深层映射关系,难以提供真正具备预见性的风险评估与溯源分析。

3、因此,亟需一种优化的基于多模态数据的潜在心理风险预警系统及方法。

技术实现思路

1、为了解决上述技术问题,提出了本申请。

2、根据本申请的一方面,提供了一种基于多模态数据的潜在心理风险预警方法,其包括:

3、获取短时间窗口内的多模态原始数据,多模态原始数据包括视频片段、音频片段和生理信号序列;

4、对短时间窗口内的多模态原始数据进行短时窗多模态状态编码以得到短时老年人对象状态向量;

5、基于短时老年人对象状态向量的时间序列进行状态记忆流更新以得到当前状态记忆;

6、对当前状态记忆和上一长周期的特质记忆进行状态固化门控决策以得到门控信号和特质更新量;

7、对上一长周期的特质记忆、特质更新量和门控信号进行特质记忆长时程更新以得到当前长周期的特质记忆;

8、对当前长周期的特质记忆和当前状态记忆进行风险分级与演化溯源以得到风险等级和演化报告。

9、根据本申请的另一方面,提供了一种基于多模态数据的潜在心理风险预警系统,其包括:

10、多模态原始数据获取模块,用于获取短时间窗口内的多模态原始数据,多模态原始数据包括视频片段、音频片段和生理信号序列;

11、短时窗多模态状态编码模块,用于对短时间窗口内的多模态原始数据进行短时窗多模态状态编码以得到短时老年人对象状态向量;

12、状态记忆流更新模块,用于基于短时老年人对象状态向量的时间序列进行状态记忆流更新以得到当前状态记忆;

13、状态固化门控决策模块,用于对当前状态记忆和上一长周期的特质记忆进行状态固化门控决策以得到门控信号和特质更新量;

14、特质记忆长时程更新模块,用于对上一长周期的特质记忆、特质更新量和门控信号进行特质记忆长时程更新以得到当前长周期的特质记忆;

15、风险分级与演化溯源模块,用于对当前长周期的特质记忆和当前状态记忆进行风险分级与演化溯源以得到风险等级和演化报告。

16、与现有技术相比,本申请提供的一种基于多模态数据的潜在心理风险预警系统及方法,其通过实时捕捉并编码对象的多模态数据流,形成对其当前情绪与生理状态的动态时序表征。进一步地,引入一种状态固化门控机制,该机制能够智能评估当前状态的持续性与显著性,前瞻性地决策是否以及在多大程度上将累积的状态信息沉淀、固化至代表长期心理倾向的特质记忆中。最终,融合动态演化的特质记忆与当前的即时状态进行联合分析与判定,输出风险等级。这样,能够动态解耦并建模短暂情绪波动与长期心理特质之间的演化关系,从而实现对潜在心理风险的精准、前瞻性预警。

1.一种基于多模态数据的潜在心理风险预警方法,其特征在于,包括:

2.根据权利要求1所述的基于多模态数据的潜在心理风险预警方法,其特征在于,对短时间窗口内的多模态原始数据进行短时窗多模态状态编码以得到短时老年人对象状态向量,包括:

3.根据权利要求2所述的基于多模态数据的潜在心理风险预警方法,其特征在于,对视觉特征、声学特征和感知特征进行跨模态融合以得到所述短时老年人对象状态向量,包括:

4.根据权利要求1所述的基于多模态数据的潜在心理风险预警方法,其特征在于,基于短时老年人对象状态向量的时间序列进行状态记忆流更新以得到当前状态记忆,包括:将短时老年人对象状态向量的时间序列输入门控循环单元以得到所述当前状态记忆。

5.根据权利要求1所述的基于多模态数据的潜在心理风险预警方法,其特征在于,对当前状态记忆和上一长周期的特质记忆进行状态固化门控决策以得到门控信号和特质更新量,包括:

6.根据权利要求5所述的基于多模态数据的潜在心理风险预警方法,其特征在于,对状态记忆的时间序列进行多维度状态趋势特征提取以得到人工趋势特征和注意力上下文向量,包括:

7.根据权利要求5所述的基于多模态数据的潜在心理风险预警方法,其特征在于,对人工趋势特征和注意力上下文向量进行趋势信息融合与候选更新量生成以得到趋势向量和特质更新量,包括:

8.根据权利要求5所述的基于多模态数据的潜在心理风险预警方法,其特征在于,基于上一长周期的特质记忆和特质更新量,确定门控信号,包括:将上一长周期的特质记忆和特质更新量进行向量拼接后,将其输入门控神经网络以得到所述门控信号。

9.根据权利要求1所述的基于多模态数据的潜在心理风险预警方法,其特征在于,对上一长周期的特质记忆、特质更新量和门控信号进行特质记忆长时程更新以得到当前长周期的特质记忆,包括:以如下公式进行特质记忆长时程更新,所述公式为:

10.一种基于多模态数据的潜在心理风险预警系统,其特征在于,包括: