预算调度的多模态长视频推理方法、装置、设备及介质与流程
本发明涉及人工智能,尤其涉及一种预算调度的多模态长视频推理方法、装置、设备及介质。
背景技术:
1、随着视频监控、工业质检、医疗记录、教育分析和媒体审核等场景的发展,视频数据时长不断增长,长视频推理任务逐渐成为多模态智能处理的重要方向。用户通常希望通过自然语言查询从数小时甚至数天的视频中定位特定事件,例如确认某一行为是否发生、查找异常事件发生的时间段,或分析故障产生的原因。这类任务需要系统同时理解视频画面、音频、文本和时间信息,并在有限算力、时延和成本条件下完成检索、定位与推理。
2、在现有技术中,长视频推理通常采用固定抽帧频率、固定采样帧数或固定帧数上限的方式处理视频。无论查询是简单问题还是复杂问题,系统均以相同的采样策略处理全部视频内容,导致算力分配较为僵化。对于简单查询,固定采样会引入大量冗余帧,造成算力和成本浪费;对于复杂查询,固定采样又可能无法覆盖关键事件片段,导致证据缺失。因此,现有技术难以根据查询内容和任务复杂度动态分配计算资源。
3、同时,长视频推理通常涉及候选片段搜索、关键片段定位和深度推理等多个阶段,不同阶段对资源的需求不同。现有技术往往仅对总计算量进行粗粒度限制,而未将预算细化为搜索、定位与推理等阶段,也难以根据查询类型进行动态倾斜。这可能导致搜索阶段消耗过多资源,后续定位和推理不足;或者推理阶段占用过多预算,导致候选证据搜索不充分,从而影响复杂问题的推理准确性。
4、此外,现有技术在片段选择时通常主要依赖查询与视频帧之间的相似度。然而,长视频中的关键证据并不总是具有最高的表面相似度。某些低频异常事件、短暂声音事件、细微动作变化或跨事件因果链中的中间片段,可能因相似度不高而被忽略。若未综合考虑片段稀有度、模型不确定度、片段之间的桥接关系以及处理成本,系统容易遗漏关键证据。
5、现有技术还多采用一次性开环作答方式,即在完成一次检索或片段选择后直接生成答案,而不会判断当前证据是否足以支持该答案。在画面模糊、遮挡、音频缺失、文本识别误差或多证据冲突等情况下,模型可能在证据不足时仍输出看似合理的答案,增加误判和幻觉风险。并且,现有技术通常仅输出最终答案,缺乏证据片段、时间区间、置信度和预算消耗等信息,导致结果难以复核和审计。
6、综上,现有技术因固定采样和固定预算分配无法动态调度算力,且一次性开环作答缺乏证据充分性判断,导致复杂长视频问题在算力、时延或成本受限条件下准确率低且不可解释。
技术实现思路
1、本发明的实施例提供了一种预算调度的多模态长视频推理方法、装置、设备及介质,旨在解决现有长视频推理在算力、时延或成本受限下,因固定采样和一次性开环作答而无法动态分配预算、证据不足时仍输出答案,导致复杂长视频问题准确率低且不可解释的技术问题。
2、第一方面,本发明实施例提供了一种预算调度的多模态长视频推理方法,所述方法包括:获取针对目标长视频的自然语言查询并解析为多模态查询锚点,根据所述多模态查询锚点将预设的总计算预算动态划分为搜索预算、定位预算与推理预算;在所述搜索预算的约束下,对所述目标长视频进行粗粒度扫描,生成候选视频片段集合,并基于预设的多维价值评估模型,对所述候选视频片段集合中的各候选视频片段进行效用值计算;在所述定位预算的约束下,基于各所述候选视频片段的效用值与处理成本,从所述候选视频片段集合中筛选出目标视频片段集合;对所述目标视频片段集合中的各目标视频片段进行精细化时序定位与深度多模态推理,得到当前推理答案及对应的证据片段集合;基于多维证据充分性评估模型,对所述当前推理答案及所述证据片段集合进行充分性评分,并根据所述充分性评分执行闭环调度控制;当满足预设的输出终止条件时,基于所述当前推理答案、所述证据片段集合及预算消耗记录生成结构化推理结果并输出。
3、第二方面,本发明实施例还提供了一种预算调度的多模态长视频推理装置,用于执行如上所述的预算调度的多模态长视频推理方法。
4、第三方面,本发明实施例还提供了一种计算机设备,所述计算机设备包括存储器以及与所述存储器相连的处理器;所述存储器用于存储计算机程序;所述处理器用于运行所述存储器中存储的计算机程序,以执行上述预算调度的多模态长视频推理方法的步骤。
5、第四方面,本发明实施例还提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时可实现上述预算调度的多模态长视频推理方法的步骤。
6、与现有技术相比,本发明的有益效果是:
7、在本发明的技术方案中,预算调度的多模态长视频推理方法通过获取针对目标长视频的自然语言查询并解析为多模态查询锚点,据此将总计算预算动态划分为搜索、定位与推理预算;在搜索预算约束下粗粒度扫描目标长视频生成候选视频片段集合,并通过多维价值评估模型计算候选片段效用值;在定位预算约束下依据效用值与处理成本筛选目标视频片段集合;对目标片段进行精细化时序定位与深度多模态推理,得到当前推理答案及证据片段集合;基于多维证据充分性评估模型进行充分性评分并执行闭环调度控制;满足输出终止条件时输出包含答案、证据片段及预算消耗记录的结构化推理结果。该方法提高了复杂长视频推理的准确性、可靠性与可审计性。
1.一种预算调度的多模态长视频推理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的预算调度的多模态长视频推理方法,其特征在于,所述获取针对目标长视频的自然语言查询并解析为多模态查询锚点,根据所述多模态查询锚点将预设的总计算预算动态划分为搜索预算、定位预算与推理预算的步骤包括:
3.根据权利要求1所述的预算调度的多模态长视频推理方法,其特征在于,所述在所述搜索预算的约束下,对所述目标长视频进行粗粒度扫描,生成候选视频片段集合的步骤包括:
4.根据权利要求3所述的预算调度的多模态长视频推理方法,其特征在于,所述基于预设的多维价值评估模型,对所述候选视频片段集合中的各候选视频片段进行效用值计算的步骤包括:
5.根据权利要求1所述的预算调度的多模态长视频推理方法,其特征在于,所述在所述定位预算的约束下,基于各所述候选视频片段的效用值与处理成本,从所述候选视频片段集合中筛选出目标视频片段集合的步骤包括:
6.根据权利要求1所述的预算调度的多模态长视频推理方法,其特征在于,所述对所述目标视频片段集合中的各目标视频片段进行精细化时序定位与深度多模态推理,得到当前推理答案及对应的证据片段集合的步骤包括:
7.根据权利要求1所述的预算调度的多模态长视频推理方法,其特征在于,所述基于多维证据充分性评估模型,对所述当前推理答案及所述证据片段集合进行充分性评分,并根据所述充分性评分执行闭环调度控制的步骤包括:
8.一种预算调度的多模态长视频推理装置,其特征在于,用于执行如权利要求1至7中任一项所述的预算调度的多模态长视频推理方法。
9.一种计算机设备,其特征在于,所述计算机设备包括存储器以及与所述存储器相连的处理器;所述存储器用于存储计算机程序;所述处理器用于运行所述存储器中存储的计算机程序,以执行如权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时可实现如权利要求1至7中任一项所述方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com