一种地铁PIS屏故障检测及自然语言检索方法及系统

摘要: 本申请涉及轨道交通智能运维与视频分析,特别涉及一种地铁pis屏故障检测及自然语言检索方法及系统。背景技术:1、随着城市轨道交通全自动运行线路快速发展,车载乘客信...
一种地铁PIS屏故障检测及自然语言检索方法及系统

本申请涉及轨道交通智能运维与视频分析,特别涉及一种地铁pis屏故障检测及自然语言检索方法及系统。

背景技术:

1、随着城市轨道交通全自动运行线路快速发展,车载乘客信息系统显示屏(pis屏)成为乘客获取出行信息的核心视觉渠道,其显示状态直接影响乘客出行体验与运营安全。按照运营规程,列车出现多块pis屏故障时不得发车,因此故障的快速发现与定位对保障运营秩序至关重要。

2、pis屏长期高负荷运行,故障类型涵盖屏幕本体、信号传输与供电链路等多个环节,同一故障现象可能由不同诱因导致,传统人工排查效率低下。在自动检测方面,现有方案多采用传统计算机视觉规则,通过亮度阈值、色彩直方图等判断黑屏、暗屏等简单故障,对花屏、乱码、偏色等复杂故障识别率低,且易受车厢光照、人员遮挡、屏幕角度等因素干扰,误报率高。在视频检索方面,现有地铁监控系统多依赖人工回放或结构化属性检索,调度人员无法通过自然语言直接检索目标,突发事件响应效率低。

3、现有专利文献cn122116777a公开了一种车载显示屏的检测方法,基于图像处理或ai(人工智能)模型识别显示异常,但该方案面向通用显示屏,未针对地铁pis屏运行场景优化,且采用传统检测模型,不具备自然语言检索能力。专利文献cn118551077a公开了一种基于生成式大模型的自然语言交互安防视频检索系统,但其仅具备视频检索功能,无pis屏故障检测能力,且检索与故障检测为相互独立的系统,无法复用模型与硬件资源,造成车载计算资源浪费。

4、总体而言,现有技术无法同时实现pis屏复杂故障的精准检测与自然语言视频检索,也缺乏两套功能复用同一模型与硬件的高效架构,难以满足地铁车载场景的运维需求。

技术实现思路

1、本申请实施例提供了一种地铁pis屏故障检测及自然语言检索方法及系统,用以解决现有技术中pis屏复杂故障识别率低、故障检测与视频检索系统割裂、资源复用率低的问题。

2、一方面,本申请实施例提供了一种地铁pis屏故障检测及自然语言检索方法,包括以下步骤:

3、通过车载摄像头采集地铁pis屏的显示画面和车厢全景视频流;

4、在车载边缘计算设备上部署轻量vl(视频语言)大模型,轻量vl大模型配置有故障检测模式与自然语言检索模式,两种模式共用同一套模型权重,通过更换输入提示词实现模式切换;

5、在默认状态下运行故障检测模式,对显示画面进行区域定位和预处理后,将屏幕区域图像与故障检测提示词一同输入轻量vl大模型,由轻量vl大模型判断地铁pis屏是否存在显示故障,如果存在故障则输出故障类型、严重等级和处置建议;

6、当接收到自然语言检索指令的提示词时,自动切换至自然语言检索模式,将车厢全景视频流与包含用户自然语言描述的检索提示词一同输入轻量vl大模型,由轻量vl大模型在车厢全景视频流的视频帧中定位匹配目标并输出目标位置;

7、检索任务完成后,在预设超时时间内未接收到新的自然语言检索指令时,自动切回故障检测模式。

8、另一方面,本申请实施例还提供了一种地铁pis屏故障检测及自然语言检索系统,包括:

9、视频感知层,包括对准地铁pis屏的车载摄像头和车厢全景摄像头,分别用于采集地铁pis屏的显示画面和车厢全景视频流;

10、边缘计算层,包括地铁pis屏区域定位模块、轻量vl大模型推理模块、双模式切换控制模块和故障时序确认模块,用于在车载边缘计算设备上执行地铁pis屏区域定位、vl大模型推理、双模式切换控制和故障时序确认;

11、端云协同层,包括边缘推理结果上传模块、云端大模型调度模块和检索任务分发模块,用于管理边缘端与云端的任务分配和数据传输;

12、双模式服务层,包括故障检测服务模块、自然语言检索服务模块和统一事件输出模块,用于在故障检测模式下输出故障信息,在自然语言检索模式下输出目标定位结果;

13、交互与告警层,包括车载显示终端、调度中心告警界面、自然语言交互界面和事件证据留存模块,用于展示告警和检索结果、提供自然语言输入、保存事件证据。

14、本申请中的地铁pis屏故障检测及自然语言检索方法及系统,具有以下优点:

15、采用视觉语言大模型实现pis屏复杂故障的端到端语义识别,提升故障识别范围与准确率,具备零样本识别新型故障的能力;通过同一套模型的双模式自适应切换,实现故障检测与自然语言检索的硬件与模型复用,降低车载系统成本;支持自然语言零样本目标检索,提升突发事件响应效率;采用端云协同架构,兼顾实时性与准确性,降低带宽消耗。

1.一种地铁pis屏故障检测及自然语言检索方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的地铁pis屏故障检测及自然语言检索方法,其特征在于,在所述故障检测模式下,所述轻量vl大模型识别的故障类型包括黑屏、花屏、偏色、乱码、裂屏、画面冻结或无信号中的至少一种;所述故障检测提示词包含各故障类型的视觉特征描述与严重等级判定标准,引导所述轻量vl大模型输出包含故障类型、严重等级、故障位置描述和处置建议的结构化结果。

3.根据权利要求1所述的地铁pis屏故障检测及自然语言检索方法,其特征在于,对所述显示画面进行区域定位和预处理,包括:

4.根据权利要求1所述的地铁pis屏故障检测及自然语言检索方法,其特征在于,当所述轻量vl大模型确定地铁pis屏的故障检测结果后,如果所述轻量vl大模型在连续n帧中均判断为同一类型的故障,确认该故障成立,其中n为大于等于2的整数;如果已确认的故障在后续帧中判断为正常,则进入渐退计数,当连续m帧均判断为正常时解除告警,其中m为大于等于2的整数。

5.根据权利要求1所述的地铁pis屏故障检测及自然语言检索方法,其特征在于,在所述自然语言检索模式下,所述轻量vl大模型直接理解所述自然语言检索指令中的目标描述,在所述车厢全景视频流的视频帧中零样本定位匹配目标;在找到目标首帧后,在后续帧中启动轻量目标追踪算法对目标进行连续追踪,进而获取目标的连续位置。

6.根据权利要求1所述的地铁pis屏故障检测及自然语言检索方法,其特征在于,在进行模式切换时,仅更换送入所述轻量vl大模型的提示词模板,所述轻量vl大模型的权重和推理引擎保持加载状态不变;在切换模式的同时也同步切换视频源,在所述故障检测模式下使用对地铁pis屏的车载摄像头,在所述自然语言检索模式下使用车厢全景摄像头。

7.根据权利要求1所述的地铁pis屏故障检测及自然语言检索方法,其特征在于,还包括端云协同步骤:

8.根据权利要求1所述的地铁pis屏故障检测及自然语言检索方法,其特征在于,故障的严重等级分为三级:严重等级为全屏黑屏、全屏花屏或全屏无信号的故障;一般等级为偏色、局部花屏、乱码或画面冻结的故障;轻微等级为亮度异常或偶发闪烁的故障;不同等级对应不同的告警策略。

9.一种地铁pis屏故障检测及自然语言检索系统,所述系统应用权利要求1-8任一项所述的方法,其特征在于,包括:

10.根据权利要求9所述的地铁pis屏故障检测及自然语言检索系统,其特征在于,所述双模式切换控制模块维护模式状态机,所述模式状态机默认处于所述故障检测模式,当接收到自然语言检索指令的提示词时自动切换至所述自然语言检索模式,检索完成且预设超时时间内未收到新的所述自然语言检索指令时自动切回所述故障检测模式;模式切换时仅更换vl大模型的输入提示词,模型权重和推理引擎保持不变。