一种多维感知驱动的数字文化展品互动处理方法及系统

本发明属于数字文化展品互动处理领域，具体关于一种多维感知驱动的数字文化展品互动处理方法及系统。

背景技术：

1、随着数字技术在文化展陈领域的深度应用，全息文物、交互式数字画卷等数字文化展品逐渐成为主流展示形态。为了提升观展体验，现有技术已尝试通过采集观众的面部图像，识别其情绪状态，并据此调整展品的呈现内容，从而实现展品与观众之间的智能互动。

2、然而，在实际的数字文化展品应用场景中，上述方案面临一个核心难题：观众的微表情反应并不总是由展品内容所诱发。展厅环境中存在大量干扰因素，例如同伴交流、手机信息提示、环境噪声等，均可能引发观众的微表情变化。现有技术缺乏有效的手段来判断所捕捉到的微表情是否确实与当前展品内容存在因果关联，导致互动动作的触发依据不可靠，频繁的误触发严重干扰了观众的沉浸式观展体验。

技术实现思路

1、本发明的目的在于提供一种多维感知驱动的数字文化展品互动处理方法及系统，以解决上述背景中提出的技术问题。

2、为了实现上述目的，本发明提供了一种多维感知驱动的数字文化展品互动处理方法，包括以下步骤：s1、获取数字文化展品在展示过程中输出的文化语义事件，所述文化语义事件携带输出时刻和语义标签；s2、在所述输出时刻后建立的反应时间窗内，采集观众的面部高帧率图像流，对多个预设面部关键区域进行微运动追踪，提取观众在所述文化语义事件诱发下的时空微表情特征；s3、根据所述时空微表情特征，结合观众视线与展品兴趣区域的空间匹配度、以及微表情发生时刻与所述输出时刻的时间偏移量，计算所述微表情的展品诱发置信度；s4、当所述展品诱发置信度高于预设阈值时，基于所述时空微表情特征进行复合情感解耦，生成包含多个独立心理维度参数值的观众精细情感状态向量，并计算反映观众认知投入状态的文化理解负荷指数；s5、根据所述观众精细情感状态向量、文化理解负荷指数和展品诱发置信度，生成分级互动参数集，以驱动展品呈现装置执行对应等级的互动动作；s6、在所述互动动作执行后，采集预设反馈时间窗内的第二面部高帧率图像流，生成干预后观众精细情感状态向量，并根据干预前后观众精细情感状态向量的差分结果，调整所述分级互动参数集的生成规则。

3、在本发明的一个或多个实施例中，s2中提取观众在所述文化语义事件诱发下的时空微表情特征，具体包括：对各所述预设面部关键区域的运动轨迹进行峰值检测，确定各所述预设面部关键区域的脉冲起始时刻、峰值时刻和脉冲幅值；根据不同预设面部关键区域之间的峰值时延关系，构建描述面部微运动传播时序的微表情相位传播矩阵；同时，根据同一预设动作单元在面部左右两侧的所述运动轨迹，计算运动幅度不对称性指数。

4、在本发明的一个或多个实施例中，所述构建描述面部微运动传播时序的微表情相位传播矩阵，具体包括：将所述多个预设面部关键区域划分为眉间区、眼睑区、鼻翼区、口角区和颧骨区；对每个区域的运动轨迹进行归一化处理，提取各区域的所述脉冲起始时刻、峰值时刻和脉冲幅值；计算任意两个区域之间的峰值时刻差值，形成区域间峰值传播时延；将所有区域对的所述峰值传播时延，按照所述多个预设面部关键区域的划分，组合形成一个描述区域间微运动传播时序关系的多维矩阵，作为所述微表情相位传播矩阵。

5、在本发明的一个或多个实施例中，s3中计算所述微表情的展品诱发置信度，具体包括：根据所述时空微表情特征中的峰值时延关系是否符合预设的、与文化语义事件的语义标签对应的期望传播模式，计算第一置信度分量；根据微表情脉冲的发生时刻与所述输出时刻之间的时间偏移量是否处于预设的有效反应窗口内，计算第二置信度分量；根据观众视线落点与当前文化语义事件对应的展品兴趣区域是否重合，计算第三置信度分量；对所述第一置信度分量、第二置信度分量和第三置信度分量进行加权融合，得到所述展品诱发置信度。

6、在本发明的一个或多个实施例中，所述计算第一置信度分量，具体包括：将所述时空微表情特征中的微表情相位传播矩阵与预设的、对应于所述语义标签的期望传播模式进行相似度匹配，计算皮尔逊相关系数；当所述皮尔逊相关系数高于第一预设阈值时，所述第一置信度分量取高值，当低于第二预设阈值时取低值，介于两者之间时取中值；其中，不同语义标签对应不同的期望传播模式，视觉细节类事件对应眼睑区至眉间区的短时程峰值传播模式，叙事冲突类事件对应眉间区、鼻翼区和口角区的复合传播模式，审美愉悦类事件对应口角区至颧骨区的峰值传播模式。

7、在本发明的一个或多个实施例中，s4中所述计算反映观众认知投入状态的文化理解负荷指数，还包括：根据所述专注度与困惑度的组合关系以及视线扫视路径熵值，将观众认知投入状态判定为探索型负荷、阻滞型负荷或低参与型负荷；其中，当所述专注度高于第一阈值、困惑度处于中间区间且视线扫视路径熵值低于熵值阈值时，判定为探索型负荷；当所述困惑度高于第二阈值且视线扫视路径熵值高于熵值阈值时，判定为阻滞型负荷；当所述专注度低于第三阈值时，判定为低参与型负荷；并且，对所述探索型负荷匹配低显著性提示策略，对所述阻滞型负荷匹配辅助说明呈现策略，对所述低参与型负荷匹配信息密度降低或内容引导切换策略。

8、在本发明的一个或多个实施例中，s2中所述反应时间窗的时长，初始根据触发该反应时间窗的所述文化语义事件的类型设置，视觉细节类事件对应第一时长窗口，叙事转折类事件对应第二时长窗口，所述第二时长窗口大于第一时长窗口；并且，根据同一观众在同类文化语义事件下的历史微表情峰值时刻分布，自适应调整该类型事件对应的反应时间窗的起始偏移量和终止偏移量。

9、在本发明的一个或多个实施例中，s5中所述生成分级互动参数集，包括：当所述展品诱发置信度在连续多个反应时间窗内均高于预设置信阈值时，提高所述互动动作的等级；当所述互动动作执行后，检测到所述观众精细情感状态向量中的专注度下降或观众视线离开展品兴趣区域时，降低所述互动动作的等级。

10、为了实现上述目的，本发明提供了一种多维感知驱动的数字文化展品互动处理系统，包括数字文化展品呈现装置、文化语义事件输出模块、观众感知采集模块、微表情处理模块、视线匹配模块、展品诱发置信度计算模块、复合情感解耦模块、文化理解负荷计算模块、互动参数生成模块和反馈校正模块；文化语义事件输出模块用于获取数字文化展品在展示过程中输出的文化语义事件，所述文化语义事件携带输出时刻和语义标签；观众感知采集模块用于在所述输出时刻后建立的反应时间窗内，采集观众的面部高帧率图像流；微表情处理模块用于对多个预设面部关键区域进行微运动追踪，提取观众在所述文化语义事件诱发下的时空微表情特征；视线匹配模块用于获取观众视线与展品兴趣区域的空间匹配度；展品诱发置信度计算模块用于根据所述时空微表情特征、空间匹配度以及微表情发生时刻与输出时刻的时间偏移量，计算所述微表情的展品诱发置信度；复合情感解耦模块用于当所述展品诱发置信度高于预设阈值时，基于所述时空微表情特征进行复合情感解耦，生成包含多个独立心理维度参数值的观众精细情感状态向量；文化理解负荷计算模块用于根据所述观众精细情感状态向量和观众视线扫视路径熵值，计算反映观众认知投入状态的文化理解负荷指数；互动参数生成模块用于根据所述观众精细情感状态向量、文化理解负荷指数和展品诱发置信度，生成分级互动参数集，以驱动所述数字文化展品呈现装置执行对应等级的互动动作；反馈校正模块用于在所述互动动作执行后，采集预设反馈时间窗内的第二面部高帧率图像流，生成干预后观众精细情感状态向量，并根据干预前后观众精细情感状态向量的差分结果，调整所述分级互动参数集的生成规则。

11、在本发明的一个或多个实施例中，所述观众感知采集模块包括至少一台帧率为120fps至240fps的高帧率图像采集设备，所述图像采集设备通过刚性支架安装于展品正前方或侧前方，且所述图像采集设备的外周设置有环形近红外补光灯和磨砂扩散罩，所述图像采集设备前方还配置有偏振滤光片；所述多个预设面部关键区域包括眉间区、眼睑区、鼻翼区、口角区和颧骨区；所述微表情处理模块对各预设面部关键区域的运动轨迹进行峰值检测，确定各所述预设面部关键区域的脉冲起始时刻、峰值时刻和脉冲幅值；根据不同预设面部关键区域之间的峰值时延关系，构建微表情相位传播矩阵；同时，根据同一预设动作单元在面部左右两侧的运动轨迹，计算运动幅度不对称性指数。

12、与现有技术相比，本发明的有益效果是：通过以展品实际输出的文化语义事件为时间基准和因果锚点，在输出时刻后建立与语义标签绑定的反应时间窗，将微表情采集限定在具有合理心理反应延迟的区间内，并构建面部多个关键区域的微表情相位传播矩阵，结合期望传播模式匹配、时间偏移量校验和视线空间匹配度三重加权融合计算展品诱发置信度，只有当置信度满足阈值时才触发互动动作，从而准确区分展品诱发的具有传播规律的微表情与外部干扰引起的面部动作，有效判断所捕捉到的微表情是否确实与当前展品内容存在因果关联，使互动动作的触发依据可靠且可量化，显著降低了误触发率，保障了观众沉浸式观展体验的连续性与稳定性。