一种基于语义锚点的多模态时序流主动控制方法及装置

本发明涉及多模态时序数据处理及流媒体智能控制，具体涉及一种基于语义锚点的多模态时序流主动控制方法及装置。

背景技术：

1、随着网络视频、音频直播、远程协作、智能会议、工业监测、内容审阅及交互式内容分发等应用的发展，连续时序流已成为信息展示、人机交互和过程控制的重要载体。与静态数据相比，时序流具有连续性、强时间依赖性、多模态并发性及上下文动态变化等特点，其控制过程不仅涉及播放进度，还与语义变化、用户反馈、设备状态及外部控制约束相关。

2、现有时序流处理系统通常能够实现采集、编码、传输、缓存、播放、转码及检索，并可通过固定时间戳、人工章节、字幕切分或关键词索引定位片段。然而，上述方式大多仍将时序流作为单向输出的数据序列，用户需要通过暂停、拖动、快进、回退或输入指令完成控制，系统难以在播放过程中主动识别主题切换、因果关系转换、操作状态变化或关键事件发生等语义逻辑转折点，也难以将该转折点转化为可用于回溯、跳转和主动交互的控制节点。

3、现有多模态处理技术虽然能够分别完成视觉识别、语音识别、字幕解析及语义分析，但各模态处理结果通常相互独立，缺乏统一时间轴下的融合状态建模。与此同时，部分系统能够记录用户停顿、重复播放及历史操作，却未将响应时延、状态不确定性、锚点重要度和打断成本统一用于主动交互触发，容易出现频繁打断或未能及时介入的问题。此外，传统回溯和跳转通常依据绝对时间位置执行，难以保证目标位置对应完整语义起点。因此，亟需一种能够融合多模态语义变化、自动构建语义锚点、结合用户状态主动发起交互并依据响应结果执行闭环控制的时序流主动控制方案。

技术实现思路

1、本发明的目的是提供一种基于语义锚点的多模态时序流主动控制方法及装置，解决现有时序流控制依赖人工操作、难以识别语义逻辑转折点并结合用户状态主动执行语义化续播、回溯或分支跳转的问题。

2、为了实现上述目的，本发明提供如下技术方案：

3、第一方面，本发明提供一种基于语义锚点的多模态时序流主动控制方法，包括以下步骤：

4、接收包括视频、音频和文本中至少两种模态数据的时序流媒体，将各模态数据按照媒体时间戳对齐至统一时间轴，并提取相邻时间窗口之间的模态变化特征、上下文连续性特征和历史交互相关性特征；

5、根据所述特征检测候选事件边界，计算候选事件边界的锚点评分，并在所述锚点评分满足触发阈值、最小时间间隔和平滑稳定性条件时确定语义逻辑转折点；

6、为所述语义逻辑转折点生成包含时间戳、上下文摘要、关联关系和控制钩子的语义锚点，并根据语义锚点之间的顺序关系、回溯关系、分支关系或语义关联关系构建锚点关系图；

7、在时序流媒体播放过程中，根据用户交互反馈更新用户状态，结合所述用户状态、当前语义锚点的重要度和打断惩罚确定是否触发主动语音质询；

8、在触发主动语音质询时，根据当前语义锚点生成质询内容，识别用户语音响应并确定响应语义和响应置信度；根据所述响应语义、响应置信度、锚点关系图和用户状态，从续播、回溯至目标语义锚点和跳转至分支语义锚点中确定目标控制动作，执行所述目标控制动作，并根据执行结果更新用户状态和锚点关系图。

9、作为本发明第一方面的一种优选技术方案，所述将各模态数据按照媒体时间戳对齐至统一时间轴，包括：

10、按照固定时间窗口或根据时序流媒体变化程度调整的自适应时间窗口生成媒体片段对象；分别对视频数据进行抽样、缩放、去噪和标准化，对音频数据进行分帧、降噪和端点检测，对文本数据进行分句、清洗、标记和时间戳校正，并将处理后的各模态数据绑定至同一时间窗口。

11、作为本发明第一方面的一种优选技术方案，所述锚点评分根据视觉变化强度、音频变化强度、文本语义变化强度、上下文连贯性修正项及历史交互相关性修正项确定；仅在所述锚点评分达到锚点触发阈值、候选事件边界与前一有效语义锚点之间的时间间隔达到最小时间间隔，且平滑处理后的锚点评分达到稳定性阈值时，将所述候选事件边界确定为语义逻辑转折点。

12、作为本发明第一方面的一种优选技术方案，所述语义锚点还包括锚点编号、锚点评分、锚点类别、特征摘要、相邻锚点和跳转关系；所述控制钩子与播放器控制接口、流媒体服务器控制接口或边缘控制接口关联，以使回溯动作或分支跳转动作按照目标语义锚点对应的媒体位置执行。

13、作为本发明第一方面的一种优选技术方案，所述用户交互反馈包括停顿操作、重复回放操作、快进操作、回退操作、语音响应时延、低置信反馈和历史控制结果中的至少一种；根据所述用户交互反馈确定认知负荷、状态不确定性和交互意图强度，并结合当前语义锚点的重要度及打断惩罚计算主动质询触发分值，在所述主动质询触发分值达到预设触发阈值时触发主动语音质询。

14、作为本发明第一方面的一种优选技术方案，所述响应置信度根据自动语音识别置信度、自然语言理解置信度、用户语音响应与当前语义锚点上下文之间的一致性以及噪声惩罚确定；

15、当所述响应置信度低于预设响应阈值时，不直接执行分支跳转动作或其他高风险控制动作，而执行重新质询、澄清确认、缩小候选控制动作范围、维持续播、短暂停留、返回前一稳定语义锚点或记录待确认状态中的至少一种。

16、作为本发明第一方面的一种优选技术方案，所述确定目标控制动作，包括：

17、针对各候选控制动作，分别确定用户响应意图与候选控制动作之间的匹配度、候选控制动作所指向的目标语义锚点与当前上下文之间的相关性、候选控制动作与历史控制轨迹之间的一致性以及候选控制动作的控制风险，根据所述匹配度、相关性、一致性和控制风险计算各候选控制动作的综合评价值，并将综合评价值最大的候选控制动作确定为目标控制动作。

18、第二方面，本发明提供一种基于语义锚点的多模态时序流主动控制装置，用于实施第一方面，包括：

19、流媒体接入单元，用于接收包括至少两种模态数据的时序流媒体；

20、多模态处理单元，用于将各模态数据对齐至统一时间轴，并提取模态变化特征、上下文连续性特征和历史交互相关性特征；

21、语义锚点检测单元，用于检测候选事件边界，并在候选事件边界的锚点评分满足触发阈值、最小时间间隔和平滑稳定性条件时确定语义逻辑转折点；

22、锚点插桩与索引单元，用于生成包含时间戳、上下文摘要、关联关系和控制钩子的语义锚点，并构建锚点关系图；

23、用户状态评估单元，用于根据用户交互反馈更新用户状态，并结合用户状态、当前语义锚点的重要度和打断惩罚确定是否触发主动语音质询；

24、主动语音交互单元，用于生成质询内容，采集用户语音响应并确定响应语义和响应置信度；

25、控制决策与执行单元，用于根据响应语义、响应置信度、锚点关系图和用户状态确定并执行续播、回溯或分支跳转动作；

26、日志与状态更新单元，用于根据执行结果更新用户状态和锚点关系图。

27、作为本发明第二方面的一种优选技术方案，所述锚点插桩与索引单元被配置为：在实时监控模式下，随时序流媒体播放进度移动时间窗口并持续生成语义锚点；或者，在离线预扫描模式下，于时序流媒体播放前遍历完整时序流媒体，预先建立锚点库和锚点关系图；所述锚点库按照媒体来源、时间戳、锚点类别、锚点评分、上下文摘要和跳转关系中的至少一种建立索引。

28、作为本发明第二方面的一种优选技术方案，所述日志与状态更新单元用于记录来源语义锚点、目标语义锚点、主动质询触发原因、响应置信度、控制动作、执行结果和异常事件，并将所述执行结果反馈至用户状态评估单元和锚点插桩与索引单元，以更新用户状态及语义锚点之间的回溯关系、分支关系或语义关联关系。

29、在上述技术方案中，本发明提供的技术效果和优点：

30、本发明通过将视频、音频和文本等多模态数据统一映射至同一时间轴，并结合模态变化特征、上下文连续性和历史交互相关性识别语义逻辑转折点，从而能够生成具有时间戳、上下文摘要、关联关系和控制钩子的语义锚点，使媒体回溯和跳转由依赖固定时间位置转变为依据语义节点执行；进一步地，通过结合用户状态、锚点重要度和打断惩罚确定主动语音质询时机，并根据用户响应语义、响应置信度及锚点关系图选择续播、回溯或分支跳转动作，从而在减少无效打断的同时提高控制动作与当前语义上下文的匹配程度；同时，通过在控制动作执行后更新用户状态和锚点关系图，使后续质询触发和控制决策能够利用历史反馈持续调整，由此提高多模态时序流主动控制的实时性、准确性、稳定性和可解释性。