一种基于场景图像的场景风险分析方法及系统与流程
本发明实施例涉及信息处理,特别是指一种基于场景图像的场景风险分析方法及系统。
背景技术:
1、在工业生产、建筑工地、公共场所等场景中,人员安全行为监管主要依赖人工巡检或传统的图像识别技术。人工巡检存在响应滞后、覆盖范围有限、工作强度大等问题;而传统图像识别方法通常基于固定规则库或单一目标检测模型,虽然能够识别特定安全装备(如安全帽、口罩、安全服等),但其功能局限于单一目标的分类与定位,缺乏对复杂场景中多目标空间位置关系、行为状态与环境上下文的综合理解。
2、近年来,大语言模型和多模态模型在语义理解与逻辑推理方面展现出强大能力,但现有技术尚未将其有效融合于实时安全监控场景。多模态融合不充分,视觉特征与文本语义之间缺乏精准对齐,导致系统难以将“看到”的目标转化为“理解”的风险;大模型推理延迟较高,难以满足实时告警的需求。此外,现有方案在样例匹配维度单一、小样本识别能力弱、缺乏因果推理与多轮交互机制等方面存在明显不足,导致告警可解释性差、误报率高,无法动态扩展新风险类别,泛化能力和可扩展性受限。
技术实现思路
1、本发明实施例要解决的技术问题是提供一种基于场景图像的场景风险分析方法及系统,实现生产安全高效检测报警。
2、为解决上述技术问题,本发明实施例的技术方案如下:
3、一种基于场景图像的场景风险分析方法,包括:
4、获取目标场景的场景类型标识以及目标场景的监控图像;
5、对所述监控图像进行目标对象检测,得到目标检测结果;
6、对所述目标检测结果中的图像视觉特征和文本语义信息进行多模态向量对齐处理,得到对齐验证结果;
7、根据所述对齐验证结果对所述目标检测结果进行过滤,得到中间检测结果;
8、根据所述场景类型标识以及中间检测结果的图像视觉特征和文本语义信息,从预设样例库中匹配得到候选样例子集;
9、根据所述中间检测结果的文本语义信息和候选样例子集,生成推理提示词;
10、将所述推理提示词输入预设智能分析告警模型进行风险推理分析,得到并输出风险推理结果。
11、可选的,所述预设智能分析告警模型的训练过程包括:
12、获取多场景监控图像数据,所述多场景监控图像数据包括:多场景监控图像、图像场景类型数据和标签字段数据;
13、根据所述图像场景类型数据,对所述多场景监控图像进行增强处理,得到中间多场景监控图像;
14、将所述标签字段数据与中间多场景监控图像进行关联绑定,得到训练数据集;
15、根据所述训练数据集对基础学生模型进行训练,得到训练后的预设智能分析告警模型。
16、可选的,所述预设样例库的构建过程包括:
17、根据所述图像场景类型数据,将所述训练数据集中的标注样本划分为多个场景样例集;
18、对各个所述场景样例集分别建立向量索引,得到预设样例库。
19、可选的,所述目标检测结果包括:图像视觉特征和文本语义信息;对所述监控图像进行目标对象检测,得到目标检测结果,包括:
20、对所述监控图像进行目标对象检测,得到各目标对象的像素框和目标类型;
21、根据各目标对象的像素框,得到各目标对象的行为标签、环境标签和图像视觉特征;
22、将所述各目标对象的目标类型、行为标签和环境标签进行整合,得到各目标对象的文本语义信息。
23、可选的,对所述目标检测结果中的图像视觉特征和文本语义信息进行多模态向量对齐处理,得到对齐验证结果,包括:
24、对所述目标检测结果中的图像视觉特征进行映射,得到固定维度视觉特征向量;
25、对所述目标检测结果中的文本语义信息进行映射,得到固定维度文本语义向量;
26、将所述固定维度视觉特征向量和固定维度文本语义向量的相似度数值,作为对齐验证结果。
27、可选的,根据所述对齐验证结果对所述目标检测结果进行过滤,得到中间检测结果,包括:
28、若所述对齐验证结果超过设定阈值,将对应的目标检测结果确定为中间检测结果;
29、若所述对齐验证结果小于设定阈值,将对应的目标检测结果进行过滤。
30、可选的,根据所述场景类型标识以及中间检测结果的图像视觉特征和文本语义信息,从预设样例库中匹配得到候选样例子集,包括:
31、根据所述场景类型标识,从预设样例库中匹配得到目标场景样例集;
32、将所述中间检测结果的图像视觉特征映射为图像检索向量;
33、将所述中间检测结果的文本语义信息映射为文本检索向量;
34、根据所述图像检索向量和文本检索向量从目标场景样例集中匹配得到候选样例子集。
35、可选的,所述推理提示词包括:参考示例和待推理内容;根据所述中间检测结果的文本语义信息和候选样例子集,生成推理提示词,包括:
36、将所述候选样例子集的文本语义数据和标准风险判定结果,配置为参考示例;
37、将所述中间检测结果的文本语义信息,配置为待推理内容。
38、可选的,所述风险推理结果包括:当前场景下存在的安全风险、风险等级和风险产生逻辑的风险推理结果;将所述推理提示词输入预设智能分析告警模型进行风险推理分析,得到风险推理结果,包括:
39、将所述参考示例和待推理内容输入预设智能分析告警模型进行风险推理分析,得到当前场景下存在的安全风险、风险等级和风险产生逻辑的风险推理结果。
40、本发明的实施例还提供一种基于场景图像的场景风险分析系统,包括:
41、获取模块,用于获取目标场景的场景类型标识以及目标场景的监控图像;
42、处理模块,用于对所述监控图像进行目标对象检测,得到目标检测结果;对所述目标检测结果中的图像视觉特征和文本语义信息进行多模态向量对齐处理,得到对齐验证结果;根据所述对齐验证结果对所述目标检测结果进行过滤,得到中间检测结果;根据所述场景类型标识以及中间检测结果的图像视觉特征和文本语义信息,从预设样例库中匹配得到候选样例子集;根据所述中间检测结果的文本语义信息和候选样例子集,生成推理提示词;将所述推理提示词输入预设智能分析告警模型进行风险推理分析,得到并输出风险推理结果。
43、本发明实施例的上述方案至少包括以下有益效果:
44、本发明实施例的上述方案,依托目标对象检测提取图像视觉特征与文本语义信息并做多模态向量对齐校验,实现视觉与文本信息精准匹配,规避识别混淆问题,从源头降低误告警。
45、结合场景类型标识筛选预设样例库、融合多维度特征匹配候选样例子集,丰富样例匹配维度,提升小样本风险识别能力,支持新增风险类别灵活扩展。
46、通过中间检测结果的文本语义信息和候选样例子集生成推理提示词输入预设智能分析告警模型完成风险推理,依托预设智能分析告警模型语义逻辑能力实现多目标位置、行为、环境上下文综合理解,突破传统单一目标识别、固定规则的局限。
47、预设智能分析告警模型可完成完整风险逻辑推理,输出具备可解释性的风险结果,弥补传统方案无因果推理、告警结论单薄的缺陷,适配工地、工厂、公共场所多场景实时安全告警需求。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com