一种面向老年人的多模态抑郁风险辅助评估与分级干预方法及系统

本发明属于人机交互控制，具体涉及一种面向老年人的多模态抑郁风险辅助评估与分级干预方法及系统。

背景技术：

1、老年用户的心理风险常伴随睡眠、兴趣、食欲、活动、日常功能及情绪表达的变化。为了降低对单次自陈或单一传感器的依赖，现有电子化辅助评估方案通常采集文本、语音、视频、生理、行为或量表数据，提取特征后进行多模态融合。

2、然而，老年人机交互中的采集质量容易受到方言、发音含混、语速缓慢、环境噪声、低照度、面部偏离、遮挡、听视障碍、条目漏答、数据源过期以及不同模态时间戳错位的影响。低质量模态可能与其他模态产生表面冲突；用户在两次交互之间真实状态发生变化时，也会产生与采集故障相似的证据变化。若系统仅根据置信度选择某一轮结果，无法判断结果变化是由采集条件改善还是由用户状态变化造成。

3、现有方案分别采用模态质量加权、个体基线、置信度不足后的再次采集、传感器伪差识别或采集参数调整。若只比较参数调整前后两次采集结果，仍无法排除用户状态随时间变化、控制指令未实际生效、非目标采集参数同时变化以及问题语义变化的影响。在缺少基线参数回切、实际值回读和跨相不变量核验时，调整后质量较高的样本也不能直接证明变化由目标参数引起。

4、此外，对全部模态进行重复采集会增加操作步骤、交互时长、数据处理量和终端能耗；在医疗或心理服务场景中，将高可信冲突直接平均或作为风险放大项还可能掩盖需要人工核查的证据差异。因此，需要一种能够在限定负担下形成具有施加—回切关系的三相样本组，先验证控制过程本身是否有效，再根据参考模态的同期变化和回切后的恢复情况区分冲突来源的技术方案。

技术实现思路

1、发明目的：本发明用于解决多模态辅助评估中复采控制是否实际生效、复采样本能否更新症状证据以及冲突来源难以区分的问题。本发明围绕一项可回切目标参数形成第一相基线采样、第二相干预采样和第三相回切采样，在参考模态保持基线采集配置连续采样的条件下，先通过参数回读、跨相不变量指纹、目标质量指标和受保护质量指标判断三相样本组是否有效，再对有效三相样本组执行来源归因和证据处理。

2、本发明具体提供了一种面向老年人的多模态抑郁风险辅助评估与分级干预方法及系统。

3、所述方法包括以下步骤：

4、步骤1，获取同一交互时间窗内老年用户的至少两类模态数据对象；采集接口写入样本开始时间和样本结束时间，授权控件写入授权状态，采集接口标识和设备标识写入数据来源，并同步记录质量指标；

5、步骤2，将各模态数据对象映射为按症状维度排列的症状证据，计算各模态数据对象的模态可信度、当前特征相对于个体基线的偏离程度，以及同一症状维度上的跨模态冲突程度，并执行危机表达检测；

6、步骤3，在未识别到危机表达时，根据模态可信度确定目标模态；

7、步骤4，执行三相位采样，包括第一相基线采样、第二相干预采样和第三相回切采样；

8、步骤5，根据第二相干预采样和第三相回切采样的实际回读值、三个相位的跨相不变量指纹、第二相干预采样取得的目标质量指标相对于第一相基线采样取得的同一目标质量指标的变化、受保护质量指标在三个相位之间的变化、三个相位总持续时间和参考模态连续缓存完整性，执行有效性门控；

9、步骤6，对通过有效性门控的三相样本组，比较目标模态与参考模态从第一相基线采样到第二相干预采样的同期症状证据变化、第三相回切采样相对于第一相基线采样的回切恢复程度以及第二相干预采样相对于第一相基线采样的冲突降低量，将异常来源确定为采集伪差、用户状态漂移或持续高可信冲突；

10、步骤7，根据异常来源的类型，修正数据、重置窗口或标记人工复核，排除故障干扰后进行可信融合；

11、步骤8，根据可信融合结果、危机表达标记和人工复核标记，输出辅助风险等级、分级响应信息或人工接续信息。

12、步骤1中，所述交互时间窗为一次连续问答或一次受控采样对应的预设时间范围；对于每一种数据类别，采集接口将交互时间窗内取得的基本采样单元按照样本开始时间和样本结束时间聚合并封装为一个模态数据对象，其中，文本类别在同一交互时间窗内取得的两个以上句子聚合为一个文本模态数据对象，用户在交互时间窗内说出的三句话形成一个文本模态数据对象；所述采集接口为处理器调用麦克风、摄像头、行为数据读取模块或适老化问答界面的软件接口或软硬件接口，所述采集接口在采集开始事件触发时和采集结束事件触发时分别写入样本开始时间和样本结束时间；所述授权控件为适老化问答界面中用于接收用户同意、拒绝或撤回采集授权的交互控件，并将相应操作结果写入授权状态；所述采集接口标识和设备标识写入数据来源，并记录模态数据对象的质量指标；所述采集接口标识由接口类型编码和接口实例序号组成，所述设备标识为处理终端、摄像头、麦克风或行为数据采集设备的唯一编码；

13、所述质量指标有四项，分别为采集有效性指标、内容完整性指标、时效性指标和时间同步性指标，且均归一化至0至1，按下式计算：

14、，

15、，

16、，

17、，

18、其中，表示第类模态在时刻对应的交互时间窗内形成的模态数据对象的采集有效性指标，表示第类模态在时刻对应的交互时间窗内形成的模态数据对象中通过设备状态、数据格式和可解析性检查的有效采样单元数，表示第类模态在时刻对应的交互时间窗内形成的模态数据对象的采样单元总数；表示第类模态在时刻对应的交互时间窗内形成的模态数据对象的内容完整性指标，表示第类模态在时刻对应的交互时间窗内形成的模态数据对象中已取得的必需内容项数，表示第类模态在时刻对应的交互时间窗内形成的模态数据对象的必需内容项总数；表示第类模态在时刻对应的交互时间窗内形成的模态数据对象的时效性指标，表示处理时刻与第类模态在时刻对应的交互时间窗内形成的模态数据对象的样本结束时刻之间的非负时间差，表示第类模态对应的时效性容许时间；表示第类模态在时刻对应的交互时间窗内形成的模态数据对象的时间同步性指标，表示第类模态在时刻对应的交互时间窗内形成的模态数据对象的样本中点与交互时间窗中点之间时间差的绝对值，表示第类模态对应的同步容许时间；最大值函数表示取括号内各数值的最大值；当或为0时，不计算对应质量指标并将第类模态在时刻对应的交互时间窗内形成的模态数据对象标记为信息不足；如果一个质量指标低于最低要求，判定为失效质量指标。

19、步骤2中，所述模态可信度的计算公式为：

20、，

21、，

22、其中，表示第类模态在时刻对应的交互时间窗内形成的模态数据对象的第项质量指标，取值为1、2、3和4；表示第类模态的第项质量指标权重，的取值范围为0至1，质量指标权重之和为1；表示第类模态对应的非空关键质量指标集合；表示第类模态的第项质量指标最低要求；表示第类模态在时刻对应的交互时间窗内形成的模态数据对象的模态可信度；最小值函数表示取括号内各数值的最小值；

23、关键质量指标集合从采集有效性指标、内容完整性指标、时效性指标和时间同步性指标中选取，且至少包含一项质量指标；选取条件为：如果一项质量指标低于最低要求时将导致模态数据对象不能完成解析或特征提取，则将质量指标加入关键质量指标集合；最低要求依据采集接口的验收条件和正式交互前独立校准样本确定，并在0.50至0.80取值；

24、当前特征相对于个体基线的偏离程度的计算公式为：

25、，

26、其中，表示第类模态在时刻对应的交互时间窗内形成的模态数据对象在第个症状维度上的当前特征，表示第类模态在第个症状维度上的历史有效窗口特征中位数，绝对偏差中位数表示第类模态在第个症状维度上的历史有效窗口特征相对于的绝对偏差中位数，1.4826表示将绝对偏差中位数换算为稳健标准差估计值的比例系数，表示防止分母为0的正数，表示第类模态在时刻对应的交互时间窗内形成的模态数据对象在第个症状维度上的当前特征相对于个体基线的稳健偏离程度；基线历史窗口长度表示用于计算和的连续历史有效窗口数量；当达到基线偏离阈值时，判定所述当前特征明显偏离个体基线；

27、对于第m类模态和第n类模态在时刻t对应的交互时间窗内分别形成的两个模态数据对象在同一症状维度上的症状证据，跨模态冲突程度的计算公式为：

28、，

29、其中，表示第类模态和第类模态在时刻对应的交互时间窗内分别形成的两个模态数据对象在第个症状维度上的跨模态冲突程度；表示第类模态在时刻对应的交互时间窗内形成的模态数据对象的模态可信度，表示第类模态在时刻对应的交互时间窗内形成的模态数据对象的模态可信度；表示第类模态在时刻对应的交互时间窗内形成的模态数据对象在第个症状维度上的症状证据，表示第类模态在时刻对应的交互时间窗内形成的模态数据对象在第个症状维度上的症状证据。

30、步骤3包括：任一模态数据对象的模态可信度低于第一阈值时，判定为低可信触发，并将形成模态数据对象且包含失效质量指标的数据类别确定为目标模态；

31、任意两个模态数据对象之间的跨模态冲突程度高于第二阈值时，判定为高冲突触发；高冲突触发且不存在失效质量指标时，从形成参与冲突的模态数据对象的数据类别中，根据各模态数据对象对跨模态冲突程度的贡献、与参与冲突的其他模态数据对象的一致程度以及可回切目标参数的可达性确定目标模态；

32、随后确定目标症状维度、至少一个非目标模态作为参考模态、一项可回切目标参数以及与所述可回切目标参数对应的控制作用模板；

33、所述控制作用模板从采集有效性指标、内容完整性指标、时效性指标和时间同步性指标中，选取一项在正式交互前单参数校准中随可回切目标参数呈稳定预定方向变化的质量指标作为目标质量指标，未被选作目标质量指标的其他三项质量指标均作为受保护质量指标；所述正式交互前单参数校准是指面向用户执行正式辅助评估交互之前，保持除候选可回切目标参数以外的采集参数不变，依次施加候选参数值、读取实际生效值并恢复基线参数值的校准过程；

34、所述参考模态从能够表征目标症状维度的非目标模态中选取，所选参考模态数据对象的模态可信度不低于参考模态可信阈值，且在基线历史窗口长度对应的5至20个历史有效窗口内的症状证据漂移量不超过参考漂移阈值；

35、所述控制作用模板记录可回切目标参数、目标质量指标、预期变化方向、最小预期变化量、受保护质量指标和旁路变化阈值；

36、所述可回切目标参数从能够被控制接口施加、回读和恢复的采集参数中选取，预期变化方向由正式交互前单参数校准结果确定，最小预期变化量在0.05至0.20之间取值，旁路变化阈值根据同次校准中受保护质量指标的最大波动量确定并在0.05至0.15之间取值。

37、步骤4包括：第一相基线采样开始前，读取并冻结目标模态和参考模态的当前采集参数，其中，目标模态中被选定为可回切目标参数的当前值为基线参数值，参考模态的全部当前采集参数构成基线采集配置；所述采集参数包括麦克风增益、噪声抑制状态、分句时长、摄像头曝光补偿、屏幕补光强度、采集时长、界面字号、语音播报速度和单页选项数量；

38、在目标症状维度、语义锚点和除可回切目标参数以外的采集参数保持不变，且参考模态保持基线采集配置连续采样的条件下，依次执行第一相基线采样、第二相干预采样和第三相回切采样；第一相基线采样使用基线参数值，第二相干预采样仅将可回切目标参数改变为干预值，第三相回切采样将可回切目标参数恢复为所述基线参数值；依次执行第一相基线采样、第二相干预采样和第三相回切采样的完整过程称为一组三相受控复采；

39、每一相位对应一个相位子时间窗，目标模态和各参考模态在每一相位子时间窗内分别形成一个目标模态数据对象和一个同期参考模态数据对象；分别保存第一相基线采样、第二相干预采样和第三相回切采样取得的目标模态数据对象及同期参考模态数据对象，并记录目标参数指令值、实际回读值、样本开始时间、样本结束时间和跨相不变量指纹；第一相基线采样、第二相干预采样和第三相回切采样取得的目标模态数据对象和同期参考模态数据对象构成一个三相样本组；

40、所述语义锚点有四项，分别为目标症状维度、时间范围、主体指向和风险方向；

41、正式交互前建立问题模板库，并为每一问题模板预先配置症状维度标识、时间范围字段、主体指向字段和风险方向字段；当前问题模板由问题模板库按照目标症状维度选取，四项语义锚点在第一相基线采样开始前从当前问题模板的症状维度标识、时间范围字段、主体指向字段和风险方向字段中读取，并在第二相干预采样和第三相回切采样中原值沿用；

42、第一相基线采样开始前，从目标模态的采集接口读取除可回切目标参数以外的采集参数，从参考模态的采集接口读取参考模态标识和全部当前采集参数，并将所述全部当前采集参数冻结为参考模态的基线采集配置；所述跨相不变量指纹由四项语义锚点、除可回切目标参数以外的采集参数、参考模态标识和参考模态的基线采集配置按照预设字段顺序编码生成；

43、同一三相样本组的证据谱系记录包括复采组标识、相位标识、目标模态标识、参考模态标识、可回切目标参数、目标参数指令值、实际回读值、样本开始时间、样本结束时间、授权状态、控制作用模板版本、跨相不变量指纹、目标质量指标、受保护质量指标、目标症状证据、参考症状证据摘要、跨模态冲突程度、有效性门控结果、异常来源和证据处理动作。

44、步骤5包括：未通过有效性门控的三相样本组予以隔离，不用于替换或更新症状证据；

45、当所述可回切目标参数不能施加或不能恢复，或者在允许复采次数内，第二相干预采样取得的目标质量指标相对于第一相基线采样取得的同一目标质量指标始终未达到最小预期变化量时，将异常来源确定为不可恢复采集故障；

46、当如下条件均满足时，将三相样本组确定为有效三相样本组：

47、第二相干预采样期间可回切目标参数的实际回读值落入干预指令值的预设参数回读容差范围；

48、第三相回切采样期间可回切目标参数的实际回读值落入第一相基线采样所用基线参数值的预设参数恢复容差范围；

49、第一相基线采样、第二相干预采样和第三相回切采样的跨相不变量指纹一致；

50、第二相干预采样的目标质量指标相对于第一相基线采样沿控制作用模板规定方向达到最小预期变化量；

51、受保护质量指标在三个相位间的变化均不超过旁路变化阈值；三个相位的总持续时间不超过三相总持续时间上限；参考模态从第一相基线采样开始至第三相回切采样结束的连续缓存完整；任一条件不满足时，将三相样本组确定为无效三相样本组并予以隔离，不用于来源归因、症状证据替换或症状证据更新。

52、步骤6包括：选定的目标模态类别索引记为，参考模态集合记为，集合中第个参考模态类别的索引记为；目标模态与参考模态在第一相基线采样和第二相干预采样中的同期症状证据变化、参考漂移量、目标模态变化与参考变化的差异程度以及冲突降低量按照如下公式计算：

53、，

54、，

55、，

56、，

57、，

58、，

59、其中，和分别表示索引为的目标模态类别在第个症状维度上由第一相基线采样取得的目标症状证据和第二相干预采样取得的目标症状证据；和分别表示集合中索引为的参考模态类别在第个症状维度上由第一相基线采样取得的同期参考症状证据和第二相干预采样取得的同期参考症状证据；表示索引为的目标模态类别在第个症状维度上的有符号症状证据变化；表示集合中索引为的参考模态类别在第个症状维度上的有符号症状证据变化；表示集合中各参考模态在第个症状维度上的有符号症状证据变化中位数；表示第个症状维度上的参考漂移量；表示索引为的目标模态类别在第个症状维度上的有符号症状证据变化与参考变化之间的绝对差；和分别表示第一相基线采样中索引为的目标模态类别与集合中索引为的参考模态类别在第个症状维度上的跨模态冲突程度和第二相干预采样中索引为的目标模态类别与集合中索引为的参考模态类别在第个症状维度上的跨模态冲突程度；表示索引为的目标模态类别在第个症状维度上由第一相基线采样至第二相干预采样的冲突降低量；中位数函数表示取集合中各数值的中位数；集合只有一个参考模态时，中位数为所述参考模态的相应数值；

60、采用如下公式计算目标质量指标的回切恢复程度：

61、，

62、其中，表示目标质量指标的序号；、和分别表示索引为的目标模态类别在第一相基线采样中取得的目标质量指标值、第二相干预采样中取得的目标质量指标值和第三相回切采样中取得的目标质量指标值；表示索引为的目标模态类别的目标质量指标回切恢复程度；

63、当目标模态变化与参考变化的差异程度不低于目标—参考差分阈值、参考漂移量不超过参考漂移阈值、回切恢复程度不低于回切恢复阈值，且冲突降低量不低于冲突降低阈值时，确定为采集伪差；当参考漂移量超过参考漂移阈值，且参考模态集合中超过半数的参考模态与目标模态从第一相基线采样到第二相干预采样发生同期、同方向的症状证据变化时，确定为用户状态漂移；当目标模态数据对象以及用于计算跨模态冲突程度的各参考模态数据对象在第一相基线采样、第二相干预采样和第三相回切采样中的模态可信度均不低于高可信阈值，且同一症状维度上的跨模态冲突程度在三个相位中均高于第二阈值时，确定为持续高可信冲突。

64、步骤4中，单次交互执行的三相受控复采不超过3组，累计交互负担不超过预设交互负担上限；累计交互负担按下式计算：

65、，

66、其中，表示累计交互负担，表示本次交互中新增的确认操作次数，表示本次交互中三相受控复采的累计持续秒数，向上取整函数表示将括号内数值向上取至最接近的整数；

67、每新增一次确认操作计1个负担单位，每累计增加30秒三相受控复采时长计1个负担单位，不足30秒按30秒计；达到复采次数上限或交互负担上限时，停止生成新的三相受控复采指令；

68、步骤7包括：在异常来源为采集伪差时，使用第二相干预采样取得的目标模态数据对象所对应的目标症状证据，替换第一相基线采样取得的目标模态数据对象所对应的目标症状证据；在异常来源为用户状态漂移时，建立新的交互时间窗；在异常来源为持续高可信冲突时，保留目标模态与参考模态在同一症状维度上的冲突证据并生成人工复核标记；

69、当异常来源为不可恢复采集故障时，将目标模态标记为不可用，且不将因采集故障造成的目标模态数据对象缺失作为提高风险等级的依据；对未被隔离、未被标记为不可用且未被人工复核标记阻断的症状证据进行可信融合；

70、步骤8中，当识别到自伤、自杀、无法保证安全或严重绝望的危机表达时，停止普通三相受控复采和普通可信融合并输出高优先级人工接续信息；向家属、社区工作人员或医疗人员发送摘要前取得用户授权，且所发送摘要不包含完整原始对话、原始录音或原始视频帧。

71、本发明还提供了一种用于执行所述方法的面向老年人的多模态抑郁风险辅助评估与分级干预系统，包括数据采集单元、症状证据映射与冲突检测单元、模态选择单元、三相受控复采与参数回切单元、来源归因单元、证据处理动作执行单元和风险分级与响应输出单元；

72、所述数据采集单元用于：获取同一交互时间窗内至少两类模态数据对象；采集接口写入样本开始时间和样本结束时间，授权控件写入授权状态，采集接口标识和设备标识写入数据来源，并同步记录质量指标；

73、所述症状证据映射与冲突检测单元用于：将模态数据对象映射为按症状维度排列的症状证据，计算模态可信度、当前特征相对于个体基线的偏离程度和跨模态冲突程度，并执行危机表达检测；

74、所述模态选择单元用于：在未识别到危机表达且出现低可信或高冲突时，按照失效质量指标或跨模态冲突贡献确定目标模态，并确定目标症状维度、参考模态、可回切目标参数和控制作用模板；

75、所述三相受控复采与参数回切单元用于：保持语义锚点、除可回切目标参数以外的采集参数和参考模态的基线采集配置不变，依次执行第一相基线采样、第二相干预采样和第三相回切采样，读取可回切目标参数实际回读值，并建立三相样本组的证据谱系；

76、所述来源归因单元用于：核对第二相干预采样中的参数施加结果、第三相回切采样中的参数恢复结果、三个相位的跨相不变量指纹、第二相干预采样取得的目标质量指标相对于第一相基线采样取得的同一目标质量指标的变化，以及各受保护质量指标在三个相位之间的变化；不满足有效性条件的三相样本组予以隔离且不更新症状证据，控制故障达到允许复采次数上限时标记为不可恢复采集故障；对有效三相样本组比较目标模态与参考模态从第一相基线采样到第二相干预采样的同期症状证据变化、第三相回切采样相对于第一相基线采样的回切恢复程度，以及第二相干预采样相对于第一相基线采样的冲突降低程度，将异常来源确定为采集伪差、用户状态漂移或持续高可信冲突。

77、所述证据处理动作执行单元用于：按照异常来源执行以下证据处理动作：使用第二相干预采样取得的目标症状证据替换第一相基线采样取得的目标症状证据、重建交互时间窗、保留冲突证据并生成人工复核标记，或者将目标模态标记为不可用；随后对符合条件的症状证据进行可信融合。

78、所述风险分级与响应输出单元用于：根据可信融合结果、危机表达标记和人工复核标记输出辅助风险等级、分级响应信息或人工接续信息，并受复采次数、交互负担和用户授权约束。

79、本发明还提供了一种电子设备，包括处理器、存储器、采集接口、能够返回可回切目标参数实际生效值的控制接口以及用于连续保存参考模态数据对象的缓存区；所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，使所述电子设备执行所述的方法。

80、本发明具有如下有益效果：

81、1.通过第一相基线采样、第二相干预采样和第三相回切采样建立可逆对照，避免仅凭一次调整后的高置信样本更新症状证据。

82、2.通过读取第二相干预采样中的实际生效值和第三相回切采样中的实际恢复值，能够识别控制未生效、参数未恢复和权限或设备错误。

83、3.通过统一的目标质量指标和受保护质量指标，排除多个采集条件同时变化造成的旁路干扰。

84、4.通过参考模态在三相期间保持基线采集配置并连续采样，能够识别共同状态变化，避免把用户状态漂移误归因为目标传感器或目标输入路径故障。

85、5.通过有效性门控使无效三相样本组在进入来源归因和可信融合前被隔离，从控制路径上阻止无效样本写入症状证据。

86、6.通过分别处理采集伪差、状态漂移、持续高可信冲突和不可恢复采集故障，避免将四类性质不同的异常统一降权、简单平均或直接放大为风险。

87、7.通过仅对目标模态执行短时三相受控复采并设置复采次数和负担预算，减少全量重采造成的老年用户操作负担、数据处理量、传输量和终端能耗。

88、8.通过在高可信冲突持续存在时保留两侧证据并触发人工复核，使主观体验与客观活动不一致等信息不会被融合平均掩盖。

89、9.通过危机表达的独立终止分支，使危机信息跳过普通三相受控复采与普通可信融合，减少现实接续被延迟的风险。