基于云边协同的斑马线异常行为检测方法与流程

本发明涉及动作识别，尤其涉及基于云边协同的斑马线异常行为检测方法。

背景技术：

1、动作识别技术领域主要围绕摄像装置获取的连续视频帧，对画面中的人员、车辆及其位置、运动轨迹、姿态和时序状态进行提取、关联与判断，通常由道路摄像机采集图像，经有线或无线链路传送至本地计算设备或服务器，并结合帧间位置变化、目标类别、区域边界和时间顺序生成行为判定结果及对应记录。

2、其中，传统斑马线异常行为检测方法是指针对斑马线区域内行人、非机动车或机动车的通行状态进行识别的方法，通常先从道路监控视频中确定斑马线检测区域，对连续帧中的目标进行检测和轨迹关联，再依据目标类别、进入与离开区域的时刻、移动方向、停留时间、轨迹位置及交通信号状态进行条件比较，并将符合预设异常条件的目标编号、发生时间、位置及对应视频帧记录至本地存储区域或服务器数据库。

3、传统斑马线异常行为检测依赖划定区域并对视频中的目标进行识别和轨迹关联，再依据目标类别，区域进出时刻，移动方向，停留时间，轨迹位置及交通信号状态进行条件比较，运行中行人过街状态与驶近车辆轨迹的时空关系缺少事件化关联，异常行为识别与交通冲突判断相互分离，检测结果保存目标编号，发生时间，位置和视频帧，难以将通行过程，冲突风险和异常行为组织为连续事件，检测输出与现场警示间缺少直接联动。

技术实现思路

1、本发明的目的在于提供一种基于云边协同的斑马线异常行为检测方法，以斑马线区域内行人过街过程为连续处理对象，由边缘计算设备完成连续道路视频处理、风险判断、异常行为识别及现场警示联动，并由云端服务器接收满足触发条件的事件数据，从而将行人状态变化、行人与驶近车辆之间的时空关系、异常行为检测结果、现场警示设备的联动执行以及云端事件记录纳入同一过街事件处理链。

2、为实现上述目的，本发明提供一种基于云边协同的斑马线异常行为检测方法，包括以下步骤：

3、由与所述行人识别摄像机通信连接的边缘计算设备获取所述行人识别摄像机采集的连续道路视频，依据所述斑马线标线确定所述斑马线区域及所述外侧等候区域，并设定所述轨迹接近条件和所述异常行为条件。

4、从所述连续道路视频中关联同一行人在不同视频帧中的位置形成所述行人轨迹，根据所述行人轨迹中相邻轨迹点的位移确定所述行人移动方向，并按照所述轨迹点进入和离开所述外侧等候区域以及所述斑马线区域的时序，确定等候状态、进入状态、过街状态、离开状态及对应的状态切换时刻，建立所述过街事件对象。

5、从所述连续道路视频中关联驶近车辆在不同视频帧中的位置形成所述驶近车辆轨迹，根据所述驶近车辆轨迹中轨迹点的位移确定所述车辆驶近方向，将所述行人轨迹和所述驶近车辆轨迹映射至所述斑马线坐标，并将轨迹距离满足所述轨迹接近条件的位置确定为所述冲突区域；按照帧时刻分别确定行人占用所述冲突区域的时间区间以及车辆到达所述冲突区域的时间区间，当两个时间区间重叠时确定事件风险状态为冲突状态，当两个时间区间不重叠时确定事件风险状态为非冲突状态。

6、从与所述过街状态对应的视频帧中提取人员姿态、所述携带物及所述目标关联关系，并按照所述异常行为条件进行匹配，生成所述异常行为检测结果。

7、依据所述过街事件对象的状态、所述行人移动方向、所述车辆驶近方向、所述事件风险状态和所述异常行为检测结果，生成包含警示方向和警示类型的对应侧警示设备联动控制信息，并向对应侧警示设备发送所述联动控制信息，获取所述警示设备的执行状态；当所述执行状态无效时，切换可用的所述警示设备执行所述联动控制信息。当所述过街事件对象发生状态切换、所述异常行为检测结果发生变化或所述执行状态无效时，由所述边缘计算设备将对应事件状态、状态切换时刻、异常行为检测结果及执行状态组成事件数据并发送至所述云端服务器。

8、进一步地，根据所述连续道路视频中所述斑马线标线的位置及围合范围确定所述斑马线区域，并以所述斑马线区域两端边界向外延伸的预设范围确定所述外侧等候区域；根据所述斑马线区域的宽度设定所述轨迹距离阈值，以所述行人轨迹与所述驶近车辆轨迹在所述斑马线区域内的距离不大于所述轨迹距离阈值作为所述轨迹接近条件，并按照不推行、打手机、不戴头盔及超载分别对应的所述人员姿态、所述携带物和所述目标关联关系设定所述异常行为条件。

9、进一步地，将所述行人轨迹中的轨迹点按照帧时刻排序，根据相邻轨迹点相对于所述外侧等候区域和所述斑马线区域的内外位置变化确定所述状态切换时刻；当轨迹点连续位于所述外侧等候区域时确定为所述等候状态，当轨迹点由所述外侧等候区域进入所述斑马线区域时确定为所述进入状态，当后续轨迹点连续位于所述斑马线区域时确定为所述过街状态，当轨迹点越出所述斑马线区域并沿所述行人移动方向远离时确定为所述离开状态，并将各状态及对应的所述状态切换时刻关联至所述过街事件对象。

10、进一步地，对映射至所述斑马线坐标的所述行人轨迹和所述驶近车辆轨迹按照帧时刻排列轨迹点，筛选两轨迹间距不大于所述轨迹距离阈值的轨迹点对应坐标范围作为所述冲突区域；以所述行人轨迹首次进入和末次离开所述冲突区域的帧时刻形成所述行人占用时间区间，以所述驶近车辆轨迹首次到达和末次离开所述冲突区域的帧时刻形成所述车辆到达时间区间，并以两个时间区间的共同帧时段限定所述冲突状态的持续区间。

11、进一步地，利用所述异常行为条件分别限定不推行、打手机、不戴头盔及超载的匹配关系。当所述人员姿态表征骑乘且人员与非机动车具有随动关系时匹配不推行；当所述携带物中存在由手部持握的通信终端时匹配打手机；当骑乘人员头部区域未匹配防护物时匹配不戴头盔；当同一骑乘目标关联的人员数量超过所述异常行为条件限定数量时匹配超载。当任一匹配关系成立时，将对应行为类型及发生帧时刻写入所述异常行为检测结果；各匹配关系均不成立时，将所述异常行为检测结果记为无异常。

12、进一步地，按照所述警示设备位于斑马线两侧的安装位置确定设备侧别，根据所述车辆驶近方向确定车辆进入所述斑马线区域的来车侧，并根据所述行人移动方向确定行人进入侧和行人离开侧。当所述事件风险状态为冲突状态时，将所述来车侧对应的警示设备确定为优先执行设备；当所述事件风险状态为非冲突状态且所述异常行为检测结果表征异常时，确定所述来车侧和所述行人进入侧对应的警示设备执行警示动作；当所述事件风险状态为非冲突状态且所述异常行为检测结果为无异常时，确定对应警示设备保持待机状态且不执行警示动作。将所确定的设备侧别作为所述警示方向，并将与所述冲突状态或异常行为类型对应的警示动作内容作为所述警示类型，据此生成所述联动控制信息。

13、进一步地，预先设定所述警示设备的反馈时限及同侧警示设备的动作优先级，将所述联动控制信息发送至对应的所述警示设备，并在所述反馈时限内接收动作完成反馈。当接收到表征动作完成的反馈时，将所述执行状态确定为有效；当未在所述反馈时限内接收到反馈或反馈表征动作未执行时，将所述执行状态确定为无效，并按照所述动作优先级从同侧剩余警示设备中选择可用警示设备重新发送所述联动控制信息。

14、进一步地，所述行人识别摄像机与所述边缘计算设备通信连接，由所述边缘计算设备接收所述连续道路视频并形成所述过街事件对象、所述事件风险状态、所述异常行为检测结果及所述联动控制信息；当所述过街事件对象发生状态切换、所述异常行为检测结果发生变化或所述执行状态无效时，由所述边缘计算设备将对应事件状态、状态切换时刻、异常行为检测结果及执行状态组成事件数据并发送至所述云端服务器，由所述云端服务器接收所述事件数据。

15、作为附加方案，将所述投影设备作为所述警示设备，并设定所述投影空间偏差阈值和所述亮度差阈值。解析所述联动控制信息中的所述警示方向和所述警示类型，根据所述警示方向确定对应侧的所述目标投影范围，并控制所述投影设备投射与所述警示类型对应的投影图案；从投影动作执行后的所述连续道路视频帧中提取所述投影图案边界及所述邻近路面亮度，以所述斑马线区域边界限定所述目标投影范围，获得所述投影图案边界相对所述目标投影范围的空间偏差以及投影区域亮度与所述邻近路面亮度的差值；当所述空间偏差超过所述投影空间偏差阈值或所述亮度差值低于所述亮度差阈值时，调整所述投影设备的图案映射参数或亮度控制量，并获取更新后的连续道路视频帧进行比较，直至两项比较结果均满足对应阈值或达到所述预设调整次数。

16、进一步地，由所述边缘计算设备为每一所述过街事件对象生成对应的所述事件标识，并使发送至所述云端服务器的各组所述事件数据携带所述事件标识；所述云端服务器按照所述事件标识对接收的所述事件数据进行分组，并按照所述状态切换时刻排列同组所述事件数据。当同组中存在状态切换时刻相同的多组所述事件数据时，保留包含有效所述执行状态的所述事件数据；当多组所述事件数据均包含有效所述执行状态时，保留接收时序靠后的所述事件数据。

17、与现有技术相比，本发明的优点和积极效果在于：

18、本发明通过边缘计算设备接收连续道路视频，并将斑马线区域与外侧等候区域的进出时序形成过街事件对象，使行人状态及状态切换时刻连续关联。将行人轨迹与驶近车辆轨迹映射至斑马线坐标，以轨迹接近位置形成冲突区域，并根据行人占用时间区间与车辆到达时间区间的重叠关系确定事件风险状态，使车辆驶近风险与行人过街过程对应。由与过街状态对应的视频帧中的人员姿态、携带物和目标关联关系生成异常行为检测结果，再结合过街事件对象状态、移动方向和事件风险状态生成包含警示方向和警示类型的对应侧警示设备联动控制信息并发送，执行状态无效时切换可用警示设备；边缘计算设备将满足触发条件的事件数据发送至云端服务器，使异常检测、冲突判断、现场警示和云端事件记录形成云边协同闭环。