智能眼镜多帧隐患事件生成及端云协同方法、系统及设备与流程

摘要: 本发明涉及城市安全巡检,具体涉及一种智能眼镜多帧隐患事件生成及端云协同方法、系统及设备。背景技术:1、随着城市化、工业化和基层安全治理数字化水平不断提升,城市安...
智能眼镜多帧隐患事件生成及端云协同方法、系统及设备与流程

本发明涉及城市安全巡检,具体涉及一种智能眼镜多帧隐患事件生成及端云协同方法、系统及设备。

背景技术:

1、随着城市化、工业化和基层安全治理数字化水平不断提升,城市安全巡检对象已由单一设备扩展到工业企业、危化场所、“九小场所”、建筑工地和人员密集场所。检查人员通常需要边移动边完成取证、隐患判断、依据查询、整改要求确认和数据留档,传统纸笔或手机操作需要频繁停步、切换界面,难以支持连续巡检。

2、人工智能视觉识别技术能够从连续视频中给出设备设施类别、目标位置、状态特征和可信程度;增强现实技术能够把目标框、风险标签和处置提示叠加到佩戴者的真实视野;视觉惯性里程计和即时定位与地图构建技术能够计算眼镜位姿,使虚拟标注在佩戴者转头或移动后仍对应原来的真实目标。

3、低功耗人工智能芯片、无线通信和远端识别服务的发展,使人工智能眼镜可以在本地完成常见目标的低时延识别,并把难以判断或高风险的局部图像提交远端复核。系统根据网络状态、预计时延、能耗和风险等级选择执行位置,从而在实时性、识别精度、传输量和电池消耗之间取得平衡。

4、安全巡检业务也由单次发现向闭环处置发展。识别结果需要与时间、地点、证据图像、适用规则、操作人员和整改状态建立稳定关联,并在弱网、断网及多终端同时操作时保持记录唯一、状态一致和过程可追溯。因此,本领域的技术重点已从单纯“识别并提示”发展为感知、计算、交互、同步和闭环状态控制的一体化技术系统。

5、专利申请cn117975324a公开了一种基于ar眼镜的安全提示方法,该方法由ar眼镜执行,包括:获取用户所处环境的实时环境数据;基于所述实时环境数据进行安全性检测,并根据安全性检测的结果生成提示信息以显示至ar眼镜的显示画面中。该方案通过摄像头采集全景图像数据进行目标检测,当检测到与预设危险目标对象库相匹配的危险目标对象时生成提示信息,并可锁定危险目标对象,获取其实时位置数据后在显示画面中进行增强显示。该方案的终点为“发现危险目标并提示”,属于“感知”层面的技术方案。

6、专利cn120543957b公开了一种基于多源感知的ar眼镜危险状态动态标注方法及系统,通过深度摄像头、气体传感器等多源设备同步采集深度图像、气体浓度等数据;经改进的危险目标检测模型提取旋转不变点云特征,融合多模态数据生成动态危险等级;基于vio(视觉惯性里程计)实现标注与真实场景的空间精准注册。

7、市场上已有手机端的安全检查辅助工具,用户通过手机拍照上传现场图片,由云端算法进行隐患识别后返回识别结果。该类工具已在部分场景中得到应用。

8、但是,相关技术中存在下列问题:

9、(1)交互步骤多,连续巡检容易中断。手机端通常需要解锁、取景、拍照、上传和手工录入,无法在登高、持械或狭窄空间中保持双手作业;相关眼镜方案也多停留在查看提示或上报异常,未形成由识别结果直接驱动现场确认、证据封装和隐患工单生成的连续技术链路。

10、(2)单帧识别结果缺少跨帧一致性和空间唯一性。同一隐患随佩戴者视角变化会在连续视频帧中多次出现,若只根据单帧目标框生成记录,容易形成重复告警或重复隐患工单;佩戴者转头后,普通屏幕坐标标注也不能持续指向原来的真实目标。

11、(3)眼镜端与远端识别缺乏资源约束下的调度机制。全部上传会增加网络带宽、时延和电量消耗,全部在眼镜端处理又难以应对遮挡、逆光和少见隐患;相关方案通常只按固定可信程度阈值切换,未综合预计时延、能耗、传输量和风险等级。

12、(4)隐患信息与适用依据、整改建议和证据材料之间缺少结构化绑定。识别结果经人工转录后容易出现图片、点位、条款和隐患工单相互错配,影响记录完整性和后续复查。

13、(5)缺乏可恢复的闭环状态同步。弱网或离线环境下产生的确认、忽略、派发和整改事件无法实时上传;网络恢复后若直接覆盖后台记录,容易发生版本冲突、重复派发或状态回退。

14、(6)信息展示层级固定。一次显示全部详情会遮挡真实视野,仅显示目标框又不能提供法规和整改信息,相关技术缺乏结合风险等级、注视目标和语音指令的分层显示控制。

15、综上,现有方案在以下方面仍有改进空间:同一物理隐患可能因视角变化而重复生成事件记录;资源受限条件下端侧处理与远端复核的选择可能不稳定;弱网重连及多端并发时,事件状态或证据版本可能不一致。

技术实现思路

1、本发明创造实施例提供一种智能眼镜多帧隐患事件生成及端云协同方法、系统及设备,用于减少同一物理隐患的重复建档,并处理资源受限条件下端云复核选择不稳定以及弱网重连时事件状态或证据版本不一致的问题。

2、本发明创造实施例提供一种智能眼镜多帧隐患事件生成及端云协同方法,获取具有统一时间戳的视频帧、目标深度、眼镜位姿、网络状态,并与空间基准标识关联;基于相机内参及坐标系变换关系,对当前检测目标框、上述目标深度和上述眼镜位姿进行转换,得到候选隐患目标的三维中心坐标和三维尺寸,其中,上述当前检测目标框是对上述视频帧进行目标检测得到的;读取历史隐患事件的三维中心坐标和三维尺寸确定历史三维包围盒,基于上述历史三维包围盒的八个角点与当前眼镜位姿进行重投影,得到预测目标框,并结合历史隐患事件轨迹以及上述候选隐患目标的三维中心坐标和三维尺寸计算关联得分;在上述关联得分达到预设阈值时更新对应的历史隐患事件,在上述关联得分未达到上述预设阈值时新建隐患事件记录;对更新的历史隐患事件或新建的隐患事件记录,依据各项指标的可用性标记计算融合可信程度,其中,上述指标包括当前检测概率、连续帧目标稳定度、视觉特征一致性和规则匹配度;基于上述融合可信程度,上述网络状态,以及预设的时延、能耗和传输量进行联合判定,以选择在眼镜端生成结果或上传至远端复核;其中,在更新历史隐患事件或新建隐患事件记录之后,将眼镜端模型版本、远端模型版本、规则库版本、空间基准标识、证据摘要、事件版本和防重复处理键绑定至同一隐患事件,并基于服务端确认序号和缺失分片进行恢复。

3、作为一种可实施的方案,基于相机内参及坐标系变换关系,对当前检测目标框、上述目标深度和上述眼镜位姿进行转换,得到候选隐患目标的三维中心坐标和三维尺寸,包括:提取上述当前检测目标框的中心像素坐标和目标深度值;基于相机内参矩阵对上述中心像素坐标和上述目标深度值进行反投影运算,得到相机坐标;基于相机-眼镜坐标系变换矩阵和眼镜-世界坐标系变换矩阵,对上述相机坐标进行齐次变换,得到候选隐患目标的三维中心坐标;基于上述相机-眼镜坐标系变换矩阵和上述眼镜-世界坐标系变换矩阵,对上述当前检测目标框内的目标深度点进行齐次变换,并结合各坐标轴方向的坐标范围,确定上述候选隐患目标的三维尺寸。

4、作为一种可实施的方案,上述历史三维包围盒为以上述历史隐患事件的三维中心坐标为中心,以上述历史隐患事件的三维尺寸为边长,且与世界坐标轴平行的三维包围盒;基于上述历史三维包围盒的八个角点与当前眼镜位姿进行重投影,得到预测目标框,并结合历史隐患事件轨迹以及上述候选隐患目标的三维中心坐标和三维尺寸计算关联得分,包括:基于上述当前眼镜位姿将上述历史三维包围盒的八个角点投影至当前图像平面,以各投影点的外接矩形作为上述预测目标框;其中,在无法获得用于构建历史三维包围盒的完整三维尺寸信息,但保留有最近历史检测目标框和上述最近历史检测目标框的历史深度,且能够获得当前估计深度的情况下,将上述最近历史检测目标框按照上述历史深度与上述当前估计深度的比值进行缩放,得到上述预测目标框,并记录对应的降级预测标记,其中,上述最近历史检测目标框为与当前时刻的时间间隔小于预设上限的历史检测目标框,上述历史深度为最近一次有效关联帧中目标中心沿相机光轴方向的深度,上述当前估计深度为当前检测目标框中心邻域内目标深度点的中位数,上述历史深度和上述当前估计深度均大于0;计算上述当前检测目标框与上述预测目标框的交并比,当前帧视觉特征与历史隐患事件轨迹平均视觉特征的归一化相似度,以及候选隐患目标的三维中心坐标与历史隐患事件的三维中心坐标之间的空间距离相似度;基于非负权重,对上述交并比、上述归一化相似度、上述空间距离相似度进行加权求和,得到关联得分,其中,各项对应的非负权重之和为1。

5、作为一种可实施的方案,读取历史隐患事件的三维中心坐标和三维尺寸确定历史三维包围盒之前,上述方法还包括:基于空间基准标识一致性、预设时间窗口、预设空间距离门限对历史隐患事件进行前置筛选,其中,不满足筛选条件的历史隐患事件不与上述候选隐患目标进行关联匹配;将连续未匹配帧数未超过预设阈值的历史隐患事件轨迹标记为遮挡状态,保留对应的三维中心坐标、三维尺寸和平均视觉特征;对各历史隐患事件的空间锚点逐帧校验重投影误差,在任一空间锚点于连续预设校验帧数的重投影误差均超出预设误差阈值的情况下,标记空间锚点失效,并将对应的历史隐患事件转入人工或远端复核流程。

6、作为一种可实施的方案,对更新的历史隐患事件或新建的隐患事件记录,依据各项指标的可用性标记计算融合可信程度,包括:将上述当前检测概率的可用性标记置为1;在首帧或不存在关联的历史隐患事件轨迹的情况下,将上述连续帧目标稳定度和上述视觉特征一致性的可用性标记置为0;在非首帧且存在关联的历史隐患事件轨迹的情况下,基于上述当前检测目标框以及与上述当前检测目标框关联的历史检测目标框,计算交并比均值,确定上述连续帧目标稳定度的可用性标记,以及,基于当前视觉特征与历史隐患事件轨迹平均特征的归一化相似度,确定视觉特征一致性的可用性标记;在当前场景不存在适用规则的情况下,将上述规则匹配度的可用性标记置为0;在当前场景存在适用规则的情况下,基于目标状态与当前场景适用规则的符合程度确定上述规则匹配度的可用性标记;基于各项指标对应的非负权重和可用性标记,仅对可用指标重新归一化,计算上述融合可信程度。

7、作为一种可实施的方案,基于相机内参及坐标系变换关系,对当前检测目标框、上述目标深度和上述眼镜位姿进行转换,得到候选隐患目标的三维中心坐标和三维尺寸之后,上述方法还包括:根据上述候选隐患目标的三维中心坐标和三维尺寸确定目标三维包围盒;依据当前眼镜位姿将上述目标三维包围盒的八个角点投影至近眼显示画面,以投影点的外接矩形作为空间锚定目标框,其中,上述近眼显示画面设置有基础显示层与详情显示层,上述基础显示层用于呈现上述空间锚定目标框,以及对应的设备名称和风险颜色;在检测到用户注视上述候选隐患目标,或者接收到查看指令的情况下,激活上述详情显示层,呈现对应的隐患描述、适用条款和整改建议。

8、作为一种可实施的方案,上述方法还包括采集用户语音指令并识别对应的操作类型,其中,上述操作类型包括隐患确认、隐患排除、信息补充说明、重新识别请求;在识别到隐患确认指令的情况下,将对应的候选隐患目标标记为已确认状态,触发证据包生成与上传流程;在识别到隐患排除指令的情况下,将对应的候选隐患目标标记为已排除状态,终止复核与工单派发流程;在识别到信息补充说明指令的情况下,将语音补充内容存入对应的隐患事件的证据集合;在识别到重新识别请求的情况下,对上述候选隐患目标重新进行目标检测与融合可信程度计算。

9、作为一种可实施的方案,在更新历史隐患事件或新建隐患事件记录之后,上述方法还包括:从上述隐患事件记录关联的多帧视频中选取清晰度最高、遮挡最少且包含隐患目标全貌的视频帧作为主证据帧,并保留上述主证据帧的前后相邻帧,构成带分片序号的证据集合;将隐患记录标识,任务标识,主证据帧与相邻帧的摘要校验值,空间坐标,地图或坐标基准标识,时间戳,融合可信程度,场景信息,适用条款,整改规则,语音补充信息,操作者标识,眼镜端模型版本,远端模型版本,规则库版本,记录版本号和防重复处理键绑定并封装为证据包;将上述证据包按分片上传至综合管理平台,由综合管理平台基于上述隐患记录标识与上述防重复处理键进行幂等校验,其中,同一确认操作仅生成一条隐患工单并派发;在上述综合管理平台对接收的证据分片进行摘要校验后,向眼镜端返回服务端确认序号与缺失分片列表,由眼镜端基于上述服务端确认序号释放对应已确认的本地缓存数据,并基于上述缺失分片列表重传对应证据分片,直至全部证据分片与状态事件均被服务端确认接收。

10、本发明创造实施例还提供一种智能眼镜多帧隐患事件生成及端云协同系统,包括:同步采集模块,获取具有统一时间戳的视频帧、目标深度、眼镜位姿、网络状态,并与空间基准标识关联;世界坐标变换模块,基于相机内参及坐标系变换关系,对当前检测目标框、所述目标深度和所述眼镜位姿进行转换,得到候选隐患目标的三维中心坐标和三维尺寸,其中,上述当前检测目标框是对上述视频帧进行目标检测得到的;历史目标重投影及事件关联模块,读取历史隐患事件的三维中心坐标和三维尺寸确定历史三维包围盒,基于上述历史三维包围盒的八个角点与当前眼镜位姿进行重投影,得到预测目标框,并结合历史隐患事件轨迹以及上述候选隐患目标的三维中心坐标和三维尺寸计算关联得分;事件更新与可用性掩码可信程度模块,在上述关联得分达到预设阈值时更新对应的历史隐患事件,在上述关联得分未达到上述预设阈值时新建隐患事件记录;对更新的历史隐患事件或新建的隐患事件记录,依据各项指标的可用性标记计算融合可信程度,其中,上述指标包括当前检测概率、连续帧目标稳定度、视觉特征一致性和规则匹配度;端云复核调度模块,基于上述融合可信程度,上述网络状态,以及预设的时延、能耗和传输量进行联合判定,以选择在眼镜端生成结果或上传至远端复核;版本化证据模块,在更新历史隐患事件或新建隐患事件记录之后,将眼镜端模型版本、远端模型版本、规则库版本、空间基准标识、证据摘要、事件版本和防重复处理键绑定至同一隐患事件;弱网恢复同步模块,基于服务端确认序号和缺失分片进行恢复。

11、本发明创造实施例还提供一种电子设备,包括处理器以及存储程序的存储器;所述程序包括指令,所述指令由所述处理器执行时,使所述处理器执行上述任一方法。

12、本发明创造实施例提供的智能眼镜多帧隐患事件生成及端云协同方法,以带空间基准标识的隐患事件为数据主线:由历史隐患事件的三维中心坐标和三维尺寸重投影生成预测目标框并完成多帧关联;更新历史隐患事件或新建隐患事件记录后,按可用性掩码计算融合可信程度;在可行执行侧集合内计算端云调度代价;最后通过事件版本、确认序号和缺失分片控制弱网恢复。上述技术链有助于减少同一物理隐患的重复记录,稳定端云复核路径,并降低弱网重连时发生状态回退或证据版本冲突的可能。