基于多源视觉融合的港口安全风险智能识别与预警方法与流程

摘要: 本发明涉及图像识别,特别是指一种基于多源视觉融合的港口安全风险智能识别与预警方法。背景技术:1、图像识别技术领域主要围绕摄像装置获取的图像或视频数据开展传输、存...
基于多源视觉融合的港口安全风险智能识别与预警方法与流程

本发明涉及图像识别,特别是指一种基于多源视觉融合的港口安全风险智能识别与预警方法。

背景技术:

1、图像识别技术领域主要围绕摄像装置获取的图像或视频数据开展传输、存储、目标检测、特征提取、类别识别、状态判断及结果输出,并由摄像机、边缘计算设备或服务器依据图像帧、目标位置、外观特征和时序信息进行处理。其中,传统港口安全风险智能识别与预警方法是指针对散杂货码头装卸、堆存、转运及车辆通行等多业务协同运营过程,对人员、车辆、装卸机械、货物及作业区域的视觉状态进行识别和风险判断的方法,通常由多个作业区域的摄像机获取视频流,经网络传送至计算设备,对人员、车辆、机械和货物进行检测与匹配,并结合目标位置、运动轨迹、区域进入状态、目标间距离及业务作业状态进行判断,将识别所得事件、时间、位置和关联作业信息传送至运营管控终端或预警设备。

2、传统港口视觉风险识别由多个作业区域摄像机分别获取视频流,并依据人员车辆装卸机械和货物的位置轨迹区域进入状态及目标间距离判断,各视觉源中的同一作业对象缺少连续身份关联,多个业务状态下的对象交互关系难以形成统一判断依据,跨区域目标迁移时容易出现状态割裂,风险事件与装卸堆存转运及车辆通行业务过程的对应关系不够紧密,导致风险识别依据分散,预警内容难以反映风险对象风险位置及关联业务状态。

技术实现思路

1、本发明的目的在于提供一种基于多源视觉融合的港口安全风险智能识别与预警方法,针对散杂货码头装卸、堆存、转运及车辆通行等多业务协同运营过程中,不同作业区域的视觉数据相互分离、同一作业对象跨视觉源状态缺乏连续关联以及风险判断与业务状态之间关联不足的技术情况,对多源视频数据中的人员、车辆、装卸机械和货物进行跨视域关联,并结合跨作业区域形成的对象状态、对象交互关系及业务状态进行风险识别,使港口安全风险识别与预警建立在多视觉源连续状态和散杂货码头业务过程的共同约束基础上。

2、为了实现上述目的,本发明提供一种基于多源视觉融合的港口安全风险智能识别与预警方法,包括以下步骤:

3、获取散杂货码头不同作业区域的多源视频数据,从各多源视频数据中识别人员、车辆、装卸机械和货物,提取对应的目标位置、运动状态、出现时间和视觉表征,得到各视觉源对应的目标状态信息。

4、根据视觉源之间的空间关联关系,对目标状态信息中的出现时间、运动状态和视觉表征进行跨视域匹配,将满足匹配条件的目标状态信息关联至同一作业对象,得到跨视觉源连续的作业对象状态序列。

5、将所述作业对象状态序列与装卸、堆存、转运及车辆通行的业务状态进行时空关联,根据同一时间范围内作业对象之间的区域占用关系、运动关系和相对位置关系,得到表征港口作业场景中对象交互关系的融合风险场景。

6、将所述融合风险场景中的对象交互关系与对应业务状态下的风险判定条件进行匹配,满足所述风险判定条件时确定风险对象、风险位置及风险事件类型,得到港口安全风险识别结果;不满足所述风险判定条件时,更新所述作业对象状态序列。根据所述港口安全风险识别结果确定关联视觉源和风险对象的状态变化,生成包含风险事件类型、风险对象、风险位置及关联业务状态的港口安全风险预警信息。

7、进一步的,所述多源视频数据包括分别由散杂货码头装卸区域、堆存区域、转运区域及车辆通行区域对应视觉源采集的视频帧序列。按照视觉源标识和采集时间对视频帧序列进行对应整理,并从各视频帧序列中识别人员、车辆、装卸机械和货物;针对识别出的人员、车辆、装卸机械和货物分别提取目标位置、运动状态、出现时间和视觉表征,将同一视觉源下对应目标的目标位置、运动状态、出现时间和视觉表征关联记录,得到所述目标状态信息。

8、进一步的,所述目标状态信息中的运动状态由连续视频帧中同一目标的位置变化得到,出现时间由视频帧对应采集时刻确定,视觉表征由目标图像区域提取。当连续视频帧中的目标类别一致且目标位置变化满足连续运动关系时,将对应目标状态归入同一目标状态记录;当目标类别不一致或目标位置变化不满足连续运动关系时,分别建立目标状态记录,并以各目标状态记录作为所述跨视域匹配的输入。

9、进一步的,所述跨视域匹配包括根据不同视觉源对应作业区域之间的空间关联关系确定具有目标迁移关联的视觉源组合,按照视觉源组合中目标状态信息的出现时间确定候选匹配对象,并比较候选匹配对象的运动状态和视觉表征。当出现时间满足时间连续关系、运动状态满足迁移方向一致关系且视觉表征满足目标一致关系时,将对应目标状态信息关联至同一作业对象,得到跨视觉源连续的所述作业对象状态序列;当任一关系不满足时,保持对应目标状态信息相互独立。

10、进一步的,所述作业对象状态序列包括按照出现时间排列的目标位置、运动状态以及对应视觉源的作业区域。当同一作业对象由一个作业区域进入空间关联的另一作业区域时,根据两个作业区域对应目标状态信息的时间先后关系和运动方向确定区域迁移关系;当区域迁移关系与视觉源之间的空间关联关系一致时,将对应目标状态信息接续至所述作业对象状态序列,当不一致时终止对应目标状态信息的接续。

11、进一步的,所述融合风险场景的形成包括按照统一时间范围提取所述作业对象状态序列中的目标位置和运动状态,并确定对应作业对象所在的作业区域;将作业区域对应的装卸、堆存、转运或车辆通行的所述业务状态与所述作业对象状态序列进行时间对齐,确定参与同一业务过程的作业对象集合;根据作业对象集合中不同作业对象的区域占用关系、运动方向关系和相对位置关系建立对象交互关系,并将所述对象交互关系与对应业务状态关联,得到所述融合风险场景。

12、进一步的,所述对象交互关系包括人员与装卸机械之间、车辆与装卸机械之间、车辆与货物之间以及作业对象与作业区域之间的时空关系。按照同一时间范围比较对应作业对象的区域占用状态、运动方向和相对位置,当对应作业对象处于同一作业区域或存在运动路径交汇关系时,将对应作业对象确定为关联作业对象,并将关联作业对象之间的区域占用状态、运动方向和相对位置写入所述对象交互关系,作为所述融合风险场景的风险判定依据。

13、进一步的,所述风险判定条件依据所述融合风险场景对应的装卸、堆存、转运或车辆通行业务状态确定参与风险判定的作业对象组合,并从所述融合风险场景中提取作业对象组合对应的区域占用关系、运动关系和相对位置关系。将区域占用关系、运动关系和相对位置关系与对应业务状态下的预设风险关系逐项匹配,当各项关系满足所述预设风险关系时,将对应作业对象确定为风险对象,根据所述风险对象所在作业区域及匹配的所述预设风险关系确定风险位置和风险事件类型,得到所述港口安全风险识别结果;当任一项关系不满足所述预设风险关系时,不生成对应的港口安全风险识别结果,并更新对应的所述作业对象状态序列。

14、进一步的,所述港口安全风险识别结果包括风险对象、风险位置和风险事件类型,根据所述风险对象对应的作业对象状态序列确定关联视觉源,比较所述关联视觉源中所述风险对象在连续采集时刻的目标位置和运动状态。当目标位置和运动状态与风险事件类型对应的对象交互关系保持一致时,保留所述港口安全风险识别结果,并根据保留的所述港口安全风险识别结果及对应业务状态生成所述港口安全风险预警信息。

15、进一步的,对所述港口安全风险预警信息进行状态连续性限定时,根据所述风险对象对应的作业对象状态序列,提取所述风险对象在所述关联视觉源中的目标位置和运动状态,并与所述港口安全风险识别结果对应的对象交互关系进行连续性校验。当目标位置、运动状态与对象交互关系保持一致时,维持对应的所述港口安全风险预警信息;当不一致时,根据更新后的所述作业对象状态序列重新确定风险对象、风险位置和风险事件类型,并生成更新后的所述港口安全风险预警信息。

16、与现有技术相比,本发明的优点和积极效果在于:

17、本发明中,依据视觉源空间关联关系以及目标出现时间、运动状态和视觉表征,对人员、车辆、装卸机械和货物进行跨视域匹配,形成作业对象状态序列,使作业区域的目标状态按统一作业对象组织。将作业对象状态序列与装卸、堆存、转运及车辆通行业务状态进行时空关联,结合区域占用、运动和相对位置关系形成融合风险场景,使风险判定受对象交互关系与业务状态约束。根据风险判定条件确定风险对象、风险位置和风险事件类型,形成港口安全风险识别结果并生成港口安全风险预警信息,使预警内容与风险对象、风险位置及关联业务状态对应。