一种基于图像识别的环卫作业监控方法及系统与流程
本发明涉及新能源专用汽车中的环卫车辆监控风险闭环,具体涉及一种基于图像识别的环卫作业监控方法及系统。
背景技术:
1、随着环卫行业数字化、智能化水平的提升,对环卫车辆及作业过程的监管模式正逐步从传统的人工巡查、视频抽查,向基于北斗定位、视频监控、车载终端与作业数据采集的综合监管模式演进。现有的环卫监管系统普遍能够实现车辆定位、轨迹回放、视频查看、作业状态监测及告警信息展示等基础功能,然而目前行业内对于视频图像数据的利用仍较为有限,大多局限于事后人工回看查验或简单的实时告警展示,尚未形成覆盖作业全过程的闭环智能化监管能力。现有技术中对视频图像数据的利用方案存在多方面缺陷。
2、首先,多数现有的系统仅能识别疲劳驾驶、抽烟、使用手机等瞬时行为并产生离散的报警记录,缺乏对风险事件的持续性状态(如事件开始、持续、解除)、持续时间、关联证据及处置状态进行统一建模和全生命周期管理。其次,受光照变化、瞬时遮挡、驾驶员姿态快速切换等因素影响,基于单帧图像的识别算法容易产生连续、重复的误报,现有系统直接将逐帧或高频率的识别结果入库,导致平台产生大量冗余告警数据,严重影响数据质量和监管效率。再者,多数方案将告警文本与图像、视频等证据文件分散存储,缺乏自动化的关联机制,导致责任追溯或取证时需人工费力查找匹配,难以形成具有完整证据链的风险记录。此外,当前监控系统大多仅依据预设的固定风险类型输出固定风险等级,未能结合车辆实时速度、作业工况、风险持续时长、驾驶员疲劳程度等多维动态信息进行综合评估,使得风险评估结果偏离真实业务场景,无法区分偶然短时动作与长期高危行为。最后,现有技术成果往往分散于前端算法优化、车载终端开发或后端平台展示等单一环节,缺少将车端图像识别、结构化事件上报、平台统一业务建模、动态风险评估、证据自动归档与闭环处置进行有效整合的端到端工程化解决方案。
3、因此,现有技术有待于进一步发展。
技术实现思路
1、本发明的目的在于克服上述技术不足,提供一种基于图像识别的环卫作业监控方法及系统,以解决相关技术中环卫作业监控系统存在风险评估单一且缺乏全生命周期闭环管理能力的技术问题。
2、为达到上述技术目的,本发明采取了以下技术方案:提供了一种基于图像识别的环卫作业监控方法,包括:实时采集环卫车辆的驾驶室视频和/或作业区域视频,生成视频流;采用多帧时序融合算法对视频流进行异常行为判定,生成异常行为结构化事件;对异常行为结构化事件进行解析生成风险主记录;异步获取异常行为结构化事件对应的证据文件,并将证据文件与风险主记录绑定;根据证据文件确定证据完整度信息;根据事件类型、风险持续时长、车辆运行状态以及证据完整度信动态计算当前风险等级,其中,风险等级与证据完整度信息正相关;输出风险事件并提供闭环处置接口,闭环处置接口包括手动关闭风险、下发文本提醒至车载终端或建立语音对讲中的至少一种。
3、进一步地,异常行为结构化事件包括:车辆标识、设备标识、事件流水号、事件类型、事件时间、经纬度、车速、疲劳程度、告警等级及附件数量信息。
4、进一步地,对视频流进行异常行为判定的方法包括:对视频流中的连续视频帧进行驾驶员目标检测与跟踪,提取驾驶员的人脸区域、眼部区域、口部区域、头部姿态区域及手部关键区域的特征向量;基于特征向量对目标行为进行识别,得到目标异常行为以及目标异常行为对应的视频帧;计算目标异常行为对应的视频帧的置信度,并在时序窗口内对置信度进行加权融合得到时序融合得分;当时序融合得分大于等于第一阈值且连续满足单帧置信度条件的总帧数大于等于第二阈值时,判定目标异常行为成立。
5、进一步地,生成风险主记录的方法包括:将异常行为结构化事件中的底层事件编码映射为预设统一风险类型及预设风险名称;对异常行为结构化事件发生位置进行经纬度转换和语义地址解析;基于状态机对属于同一风险的持续上报事件进行去重和状态合并,生成包含风险唯一标识、风险状态、风险持续时长及风险时间轴的风险主记录。
6、进一步地,将证据文件与风险主记录绑定的方法包括:在生成风险主记录后生成唯一的风险记录id;向车载终端下发附件上传指令,指示车载终端上传与当前风险事件对应的抓拍图片和/或录像片段;接收并解析证据文件的索引信息,根据风险记录id、设备号、车辆识别码、报警流水号及报警时间对证据文件与风险主记录进行自动关联,其中,当索引信息中未包含可直接命中的主键字段时,以设备号或车辆识别码一致为条件筛选候选风险主记录,并将证据文件生成时间与风险主记录中的报警时间进行比对,按照预设时间窗口和优先级顺序确定最终关联对象,将匹配成功的证据文件信息写入附件表并与风险记录id建立关联关系。
7、进一步地,计算当前风险等级的方法包括:获取异常行为结构化事件中的基础风险分值;根据风险持续时长确定第一修正系数,第一修正系数随风险持续时长的增加而增加;根据车辆运行状态确定第二修正系数,车辆运行状态包括高速行驶状态、普通道路行驶状态、城区低速作业状态及转场行驶状态;将基础风险分值、第一修正系数和第二修正系数相乘,得到综合风险值,并根综合风险值确定当前风险等级。
8、进一步地,计算当前风险等级的方法包括:根据证据完整度信息计算当前风险等级,证据完整度信息根据证据文件的获取结果确定,且风险等级与证据完整度信息正相关。
9、进一步地,闭环处置接口还包括:根据当前风险等级生成告警通知并推送至监管端;响应于监管人员的手动关闭操作,结束当前风险事件并关闭告警;响应于监管人员的文本下发操作,生成文本指令并下发至车载终端进行语音播报提醒;响应于监管人员的语音对讲操作,向车载终端发起语音呼叫。
10、还提供了一种基于图像识别的环卫作业监控系统,包括:数据采集单元,数据采集单元用于实时采集环卫车辆的驾驶室视频和/或作业区域视频,生成视频流;异常行为判定单元,异常行为判定单元用于采用多帧时序融合算法对视频流进行异常行为判定,生成异常行为结构化事件;风险生成单元,风险生成单元用于对异常行为结构化事件进行解析生成风险主记录;绑定单元,绑定单元用于异步获取异常行为结构化事件对应的证据文件,并将证据文件与风险主记录绑定;完整度确认单元,完整度确认单元用于根据证据文件确定证据完整度信息;风险等级计算单元,风险等级计算单元用于根据事件类型、风险持续时长、车辆运行状态以及证据完整度信动态计算当前风险等级,其中,风险等级与证据完整度信息正相关;闭环处置单元,闭环处置单元用于输出风险事件并提供闭环处置接口,闭环处置接口包括手动关闭风险、下发文本提醒至车载终端或建立语音对讲中的至少一种。
11、还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机可读指令,计算机可读指令被处理器执行时实现如上基于图像识别的环卫作业监控方法的各个步骤或基于图像识别的环卫作业监控系统。
12、有益效果:
13、本发明的基于图像识别的环卫作业监控方法通过实时采集视频流并采用多帧时序融合算法进行异常行为判定,在车端显著降低了单帧识别带来的误报和重复报警,使上报至平台的结构化事件具备较高的可信度与连续性;在此基础上,平台对结构化事件进行解析生成风险主记录,将原本离散的瞬时报警转化为包含状态和持续时长的可管理风险对象,为后续环节提供了统一的数据底座;继而,通过异步获取证据文件并与该风险主记录绑定,使每一风险记录自动关联完整的图片和录像证据,完善了风险对象的证据链,同时也为后续的风险评估提供证据完整度这一关键维度;再通过根据事件类型、风险持续时长和车辆运行状态动态计算当前风险等级,将前序步骤生成的多维度信息纳入综合量化模型,使风险评估结果既具备场景适应性又兼顾证据可信度;最后,通过输出风险事件并提供手动关闭、下发文本提醒或语音对讲等多种闭环处置接口,使前序步骤从识别、建模、归档、评估所积累的全部信息能够被有效利用并转化为具体的监管处置动作,从而完成从风险感知、状态跟踪、证据固化、量化评估到终端干预的完整闭环链路,将前端感知质量、平台建模能力、证据管理机制和动态评估逻辑紧密耦合,实现了由传统静态告警展示向全链路动态闭环监管的转变,有效解决了现有技术中环卫作业监控系统存在风险评估单一且缺乏全生命周期闭环管理能力的技术问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com