一种基于边缘感知与大模型协同的异常检测方法及系统与流程
本发明属于人工智能与计算机视觉,具体涉及一种基于边缘感知与大模型协同的异常检测方法及系统。
背景技术:
1、在当前的智能监控与异常检测领域中,通常采用部署于边缘侧的轻量级目标检测模型对视频流进行实时分析,以保障响应速度。然而,这类模型受限于参数量,本质上仍属于像素级的特征匹配,缺乏对复杂业务语义的深度理解,在面对遮挡、光线突变或特定合规场景时极易产生大量误报警。随着多模态大语言模型技术的发展,虽然具备了类人的逻辑推理与上下文理解能力,但将其直接应用于全量视频流分析会面临巨大的算力消耗与处理延迟,难以满足工业现场对实时性的严苛要求。现有技术框架在处理此类问题时,往往在边缘侧的高频感知与大模型的高阶认知之间存在断层,缺乏一种能够根据硬件算力水平动态调度计算资源、实现异步协同的高效机制,导致无法兼顾检测的实时性与准确性,且难以实现从违规识别到业务闭环管理的端到端自动化转化。
技术实现思路
1、针对现有技术的不足之处,本发明的目的在于提供一种基于边缘感知与大模型协同的异常检测方法及系统,实现了在受限算力下高精度与低延迟的平衡以及监管决策的自动化输出。
2、本发明提供一种基于边缘感知与大模型协同的异常检测方法,包括:
3、在边缘感知节点对目标区域的视频流进行实时检测,当检测到目标对象的疑似异常状态满足预设的时空连续性条件时,触发异常初筛;
4、响应于触发所述异常初筛,提取关键图像帧以及环境元数据,封装生成事件上下文数据;
5、将所述事件上下文数据异步路由至大模型处理节点;
6、通过所述大模型处理节点中的多模态大模型,基于所述事件上下文数据进行视觉问答推理,判定所述疑似异常状态是否属于预设的豁免场景;
7、基于所述视觉问答推理的判定结果,输出对应的监管决策。
8、当检测到目标对象的疑似异常状态满足预设的时空连续性条件时,触发异常初筛,包括:监测所述目标对象在预设警戒区域内的停留时间;当所述停留时间超过预设时间阈值时,获取连续多帧图像中所述目标对象的特征变化趋势;基于所述停留时间与所述特征变化趋势进行联合判断,若满足预设的连续性规则,则触发所述异常初筛。
9、获取连续多帧图像中所述目标对象的特征变化趋势,包括:计算所述连续多帧图像中所述目标对象的边界框交并比变化率或特征向量重叠度;所述基于所述停留时间与所述特征变化趋势进行联合判断,包括:将所述边界框交并比变化率或所述特征向量重叠度与预设的过滤阈值进行比对,并结合所述停留时间进行联合校验;其中,所述边界框交并比变化率的计算满足如下关系式:;式中,为边界框交并比变化率,为连续多帧图像的帧数,为第帧图像中目标对象的边界框与预设基准框的交并比,为帧序号,和分别为第帧和第帧图像对应的时刻。
10、所述事件上下文数据包括:异常发生前后的关键视频帧序列和高清现场快照;所述目标区域的环境状态信息,所述环境状态信息包括光照状态、天气状态和地理坐标中的至少一种;与所述目标对象关联的业务工单信息以及初步识别的异常类型。
11、通过所述大模型处理节点中的多模态大模型,基于所述事件上下文数据进行视觉问答推理,判定所述疑似异常状态是否属于预设的豁免场景,包括:通过所述多模态大模型对所述关键图像帧进行深度视觉特征分析,提取背景环境特征和所述目标对象的行为姿态特征;基于所述背景环境特征和所述行为姿态特征,判断所述目标对象是否处于非作业区域或非作业状态;若所述目标对象处于所述非作业区域或所述非作业状态,则判定所述疑似异常状态属于所述预设的豁免场景。
12、将所述事件上下文数据异步路由至大模型处理节点,包括:通过意图路由模块获取所述事件上下文数据中初步识别的异常类型;基于所述初步识别的异常类型,将所述事件上下文数据异步分配至对应的专业研判模块;所述通过所述大模型处理节点中的多模态大模型,基于所述事件上下文数据进行视觉问答推理,包括:通过所述专业研判模块调用所述多模态大模型执行所述视觉问答推理。
13、基于所述视觉问答推理的判定结果,输出对应的监管决策,包括:若判定所述疑似异常状态属于所述预设的豁免场景,则消除边缘感知节点的告警提示并记录静默日志;若判定所述疑似异常状态不属于所述预设的豁免场景,则检索预设的规章制度,结合所述事件上下文数据和所述视觉问答推理的推理细节,生成结构化的监管报告,和/或向所述边缘感知节点下发反向控制指令。
14、此外,本申请还提供了一种基于边缘感知与大模型协同的异常检测系统,包括:边缘感知模块,用于在边缘感知节点对目标区域的视频流进行实时检测,当检测到目标对象的疑似异常状态满足预设的时空连续性条件时,触发异常初筛;上下文封装模块,用于响应于触发所述异常初筛,提取关键图像帧以及环境元数据,封装生成事件上下文数据;异步路由模块,用于将所述事件上下文数据异步路由至大模型处理节点;大模型推理模块,用于通过所述大模型处理节点中的多模态大模型,基于所述事件上下文数据进行视觉问答推理,判定所述疑似异常状态是否属于预设的豁免场景;决策输出模块,用于基于所述视觉问答推理的判定结果,输出对应的监管决策。
15、上述系统方案通过模块化的功能划分,在虚拟系统层面复现了前述方法的异步协同逻辑,确保了技术方案在产品形态上的可实施性与保护完整性。
16、此外,本申请还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如上述方案所述的方法。
17、此外,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述方案所述的方法。
18、本发明公开了一种基于边缘感知与大模型协同的异常检测方法及系统,通过边缘感知与大模型的异步协同机制,取得了以下有益效果:
19、首先,实现了从机械特征识别向深度语义认知的跨越。通过引入多模态大模型进行视觉问答推理,打破了传统轻量级检测模型仅能进行像素级匹配的局限。系统能够深度理解画面中的环境标识、物理边界及人员姿态等业务上下文,有效识别并过滤掉因环境遮挡、光线变化或合规豁免行为导致的无效告警,显著提升了复杂场景下的检测准确率。
20、其次,实现了计算资源的非对称异步调度。通过独创的时空连续性初筛触发机制,将绝大部分常规视频帧的处理压力保留在低成本的边缘侧,仅在满足特定条件时才异步调用高算力的大模型。这种按需调用的策略既保障了边缘端毫秒级的实时响应能力,又避免了全量视频流接入大模型导致的算力过载与延迟,确保了方案在国产化受限算力设备上的平稳运行。
21、最后,实现了全流程监管业务的自动化闭环。通过决策输出模块将大模型的推理逻辑与预设规章制度自动映射,能够瞬时生成包含违规细节、条款依据及整改建议的结构化报告,或直接下发反向控制指令。这一机制将原本依赖人工回溯、核实与撰写的繁琐流程转化为机器驱动的自动化作业,极大地降低了监理工作的门槛与人力成本,提升了监管效率。
1.一种基于边缘感知与大模型协同的异常检测方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述当检测到目标对象的疑似异常状态满足预设的时空连续性条件时,触发异常初筛,包括:
3.根据权利要求2所述的方法,其特征在于,所述获取连续多帧图像中所述目标对象的特征变化趋势,包括:
4.根据权利要求1所述的方法,其特征在于,所述事件上下文数据包括:
5.根据权利要求1所述的方法,其特征在于,所述通过所述大模型处理节点中的多模态大模型,基于所述事件上下文数据进行视觉问答推理,判定所述疑似异常状态是否属于预设的豁免场景,包括:
6.根据权利要求5所述的方法,其特征在于,所述将所述事件上下文数据异步路由至大模型处理节点,包括:
7.根据权利要求5所述的方法,其特征在于,所述基于所述视觉问答推理的判定结果,输出对应的监管决策,包括:
8.一种基于边缘感知与大模型协同的异常检测系统,其特征在于,包括:
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com