基于自然语言指令的视频流分析与自适应报警方法及系统与流程
本发明涉及视频流分析,特别是涉及基于自然语言指令的视频流分析与自适应报警方法及系统。
背景技术:
1、随着摄像头和视频监控系统的广泛应用,视频监控已成为现场管理和安全监管的重要手段。现有视频监控方式主要包括人工值守、固定方式报警、专用视觉算法识别以及ai视觉大模型分析等。
2、人工值守方式主要依靠工作人员查看监控画面并根据经验判断异常,该方式受人员精力、经验和工作时段影响较大,容易出现漏看、误判等问题,难以满足全天候连续化监管需求。
3、固定方式报警方式通常需要技术人员或管理员在系统后台手动设置检测区域、报警阈值、报警时间段等参数,方式配置较为复杂,普通业务人员难以直接使用。
4、专用视觉算法识别方式通常针对特定目标或特定场景训练模型,例如安全帽识别、烟火识别等,该方式对固定目标识别效果较好,但监测内容相对固定,当用户需要新增监测内容或适配新的行业场景时,往往需要重新开发算法或重新训练模型,扩展成本较高。
5、近年来,ai视觉大模型具备了一定的视频画面理解能力,可以根据图像或视频内容判断现场状态。但在实际应用中,大模型通常仍需要人工编写提示词和配置分析任务,与摄像头视频流接入、报警方式判断、人工反馈、样本生成和模型训练之间缺少完整联动,难以形成稳定可持续的业务闭环。此外,单独使用大模型进行视频分析存在计算资源消耗较大、响应速度较慢的问题,而单一轻量化算法又难以识别复杂行为和复杂语义场景。
技术实现思路
1、本发明的目的在于提供基于自然语言指令的视频流分析与自适应报警方法及系统,以解决上述背景技术中提出的问题。
2、为实现上述目的,本发明提供如下技术方案:基于自然语言指令的视频流分析与自适应报警方法,包括:
3、接收用户输入的自然语言监测指令,对所述自然语言监测指令进行语义解析,生成结构化监测方式;
4、根据所述结构化监测方式创建视频分析任务,将所述视频分析任务与目标摄像头绑定,获取所述目标摄像头的视频流,并从所述视频流中抽取视频帧或视频片段;
5、从所述结构化监测方式中提取语义特征,根据所述语义特征确定分析模式;
6、根据所述分析模式,调用对应的轻量化视觉算法模型和/或ai视觉大模型,对所述视频帧或视频片段进行分析,得到分析结果;
7、当所述分析模式为所述协同时,对所述轻量化视觉算法模型输出的第一置信度,与所述ai视觉大模型输出的第二置信度进行非对称融合决策,并在两模型输出存在语义冲突时执行冲突消解;
8、根据所述分析结果进行报警方式判断,所述报警方式判断包括持续时间判断和多条件组合判断,满足报警条件时生成报警记录并推送;
9、接收人工反馈,根据所述人工反馈生成训练样本,并基于所述训练样本进行模型训练或微调。
10、优选的,所述结构化监测方式包括方式名称、监测对象、监测区域、监测行为、报警条件、报警阈值、持续时间、置信度阈值、检测频率、报警等级、适用摄像头、分析模型、是否需要人工复核、报警推送方式和启用状态中的至少一种,所述对所述自然语言监测指令进行语义解析,生成结构化监测方式包括:
11、对所述自然语言监测指令进行意图识别、对象识别、区域识别、条件识别和阈值识别;
12、当自然语言监测指令的内容不完整时,根据行业模板和默认配置,补充缺失字段。
13、优选的,所述语义特征包括对象确定性系数α、行为复杂度系数β和风险等级系数γ,所述风险等级系数γ∈{0.3,0.6,1.0},分别对应普通报警、中级报警、高级报警,所述分析模式包括轻量化视觉算法模型独立分析、ai视觉大模型独立分析、以及轻量化视觉算法模型初筛与ai视觉大模型复核的协同分析,所述根据所述语义特征确定分析模式包括:
14、当α≥0.4且β<0.4时,确定为所述轻量化视觉算法模型独立分析;
15、当β>0.7或α<0.4时,确定为所述ai视觉大模型独立分析;
16、当0.4≤β≤0.7且α≥0.4时,确定为所述协同分析。
17、优选的,置信度包括初筛阈值θ1、高阈值θ2、失败阈值θ3、通过阈值θ4及深度确认阈值θ5五个阈值,所述非对称融合决策包括:
18、轻量化视觉算法模型对视频帧进行检测,保留第一置信度大于θ1的候选目标;
19、当候选目标中存在第一置信度大于θ2的目标时,将对应视频帧或视频片段送入ai视觉大模型复核;
20、若第一置信度大于θ2且第二置信度大于θ4,或第一置信度处于[θ1,θ2]且第二置信度大于θ5,判断为真阳性,此时触发报警;
21、若第一置信度大于θ2且第二置信度小于θ3,判断为冲突事件,打上待人工复核标记;
22、若第二置信度处于[θ3,θ4]且第一置信度处于[θ1,θ2],判断为模糊事件,标记为低置信度疑似,并根据γ决定要不要推送报警;
23、其他情况判定为阴性;
24、其中,θ1<θ2,θ3<θ4<θ5。
25、优选的,所述冲突消解包括:
26、维护轻量化模型标签集与ai视觉大模型输出文本的语义映射表,将所述轻量化视觉算法模型的检测标签与所述ai视觉大模型的语义描述进行对齐;
27、根据对齐结果调整对应模型的输出权重;
28、若对齐后仍存在冲突,则当γ=1.0时优先采信所述ai视觉大模型,当γ≤0.6且α>0.8时优先采信所述轻量化视觉算法模型,当γ≤0.6且α≤0.8时标记为待人工复核;
29、将冲突事件及仲裁结果存入冲突样本库。
30、优选的,所述根据所述分析结果进行报警方式判断包括:
31、当所述结构化监测方式包含持续时间阈值时,记录异常状态的开始时间,仅在所述异常状态的持续时间达到所述持续时间阈值且所述分析结果满足对应置信度要求后触发报警;
32、当所述结构化监测方式包含多条件组合时,优先执行所述轻量化视觉算法模型能够完成的判断条件,若所述判断条件不满足,则跳过后续由所述ai视觉大模型执行的语义分析条件。
33、优选的,还包括:
34、统计所述视频分析任务在预设时间窗口t内的误报率fpr和漏报率fnr;
35、当fpr>fnr时,提高置信度的五个阈值;
36、当fnr>fpr时,降低所述各阈值;
37、其中,阈值调整幅度与β和γ正相关。
38、优选的,所述接收人工反馈,根据所述人工反馈生成训练样本包括:
39、将人工反馈结果与原始报警记录、视频证据、模型输出结果及所采用的融合模式进行绑定、保存;
40、根据人工反馈自动生成误报样本、漏报样本和正确报警样本;
41、当达到预设训练周期、样本数量阈值、误报率阈值或漏报率阈值时,触发模型训练或微调。
42、优选的,所述基于所述训练样本进行模型训练或微调包括:
43、训练完成后生成新的模型版本,并记录融合阈值配置和冲突仲裁策略配置;
44、将所述新的模型版本在部分摄像头或部分任务中进行灰度测试,测试通过后正式启用;
45、当所述新的模型版本效果不满足要求时,回滚至上一版本,恢复该上一版本对应的融合阈值配置和冲突仲裁策略配置。
46、一种基于自然语言指令的视频流分析与自适应报警系统,包括:
47、自然语言解析与方式生成模块,用于接收用户输入的自然语言监测指令,对所述自然语言监测指令进行语义解析,生成结构化监测方式;
48、视频流接入与预处理模块,用于根据所述结构化监测方式创建视频分析任务,将所述视频分析任务与目标摄像头绑定,获取所述目标摄像头的视频流,并从所述视频流中抽取视频帧或视频片段;
49、双模型视觉分析引擎模块,包括轻量化视觉算法模型分析引擎和ai视觉大模型分析引擎;
50、多模型协同决策模块,用于从所述结构化监测方式中提取语义特征,根据所述语义特征确定分析模式,所述分析模式包括轻量化视觉算法模型独立分析、ai视觉大模型独立分析、以及轻量化视觉算法模型初筛与ai视觉大模型复核的协同分析;还用于当所述分析模式为所述协同时,对所述轻量化视觉算法模型输出的第一置信度与所述ai视觉大模型输出的第二置信度进行非对称融合决策,并在两模型输出存在语义冲突时执行冲突消解;
51、报警与证据管理模块,用于根据分析结果进行报警方式判断,所述报警方式判断包括持续时间判断和多条件组合判断,满足报警条件时生成报警记录并推送;
52、模型闭环优化模块,用于接收人工反馈,根据所述人工反馈生成训练样本,并基于所述训练样本进行模型训练或微调。
53、本发明的技术效果和优点:
54、(1)本发明通过自然语言监测指令的语义解析与结构化监测方式的自动生成的方式,便于解决现有视频监控系统中方式配置复杂、使用门槛高的问题。用户无需手动设置检测区域、报警阈值和算法参数,仅通过自然语言描述监测需求即可生成可执行的视频分析任务,使非技术人员能够直接配置监控方式;
55、(2)本发明通过从结构化监测方式中提取语义特征并据此自动选择分析模式,从而解决了单一视觉算法监测内容固定、场景适配能力弱的问题,降低ai视觉大模型直接分析带来的计算资源消耗。对于目标明确的任务采用轻量化视觉算法模型进行快速分析,对于复杂语义任务采用ai视觉大模型进行分析,或采用二者协同分析,在满足不同场景需求的同时兼顾了分析效率;
56、(3)本发明通过非对称融合决策与冲突消解机制,不予解决现有系统报警判断方式简单、误报和漏报率高的问题。系统对轻量化模型与ai视觉大模型输出的置信度进行非对称门控判断,在两模型结果存在语义冲突时通过对齐和仲裁方式进行消解,而非简单加权平均,从而提高了报警判断的准确性;同时通过持续时间判断和多条件组合判断的短路求优,减少成本;
57、(4)本发明通过人工反馈驱动的闭环优化与版本回滚机制,解决了现有系统误报漏报后优化流程长、模型上线后缺乏持续学习能力的问题。系统根据人工反馈自动生成训练样本并触发模型训练,根据误报率和漏报率动态调整融合阈值;新模型版本经灰度测试后启用,效果不佳时回滚至上一版本,并同步恢复对应的融合阈值配置和冲突仲裁策略配置,保证了模型权重与决策参数的一致性,降低了模型迭代维护成本。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com