基于边缘视觉的智慧自习室座位状态识别管理方法

本发明属于智慧管理与边缘人工智能，特别是涉及基于边缘视觉的智慧自习室座位状态识别管理方法。

背景技术：

1、目前，自习室、阅览室、实验室等学习场所普遍存在人员管理效率低、巡查成本高、异常行为难以及时发现等问题。传统管理方式主要依赖人工巡查，存在巡查频率低、无法连续记录、主观性强、证据链不完整等不足。

2、在实际管理过程中，管理人员通常只能在特定时间点查看现场情况，难以持续掌握某一座位是否长期离座、是否存在占座不在位、是否存在使用手机等影响学习秩序的行为。此外，人工管理通常无法自动形成图像化证据与结构化记录，不利于后续追溯、统计分析和管理优化。

3、现有部分智能监控方案多依赖云端服务器进行图像处理和数据分析，虽然具备一定智能化能力，但也存在部署成本高、对网络依赖强、隐私风险较大、在封闭环境中适应性不足等问题。对于自习室等对实时性、稳定性、隐私性要求较高的场景，亟需一种能够在本地独立运行、兼顾识别精度与系统闭环管理能力的智慧自习室管理终端。

4、因此，开发一种基于边缘视觉的智慧自习室管理终端，将视频识别、状态判断、事件记录和本地可视化管理集成于同一边缘设备，具有明显的现实意义和应用价值。

技术实现思路

1、为解决上述技术问题，本发明是通过以下技术方案实现的：

2、本发明为基于边缘视觉的智慧自习室座位状态识别管理方法，包括以下步骤：

3、步骤s1：通过摄像头采集自习室场景的实时视频图像，并将图像数据传输至边缘计算终端；

4、步骤s2：边缘计算终端对输入的视频帧进行人体目标检测，获取画面中人体目标的边界框位置信息；

5、步骤s3：边缘计算终端对同一视频帧进行手机目标检测，获取画面中手机目标的边界框位置信息；

6、步骤s4：根据检测到的人体目标位置建立对应座位对象，生成各座位对象对应的座位参考区域，并在连续视频帧处理中保持座位身份稳定；

7、步骤s5：根据人体目标与对应座位参考区域的空间位置关系，判断对应座位处于在位状态或离座状态，当离座持续时长超过预设阈值时，判定该座位处于超时离座状态；

8、步骤s6：根据手机目标与人体目标的空间关联关系，将手机目标归属至对应的座位对象，当满足异常判定条件时，判定该座位存在手机异常行为；

9、步骤s7：检测到座位状态变化或手机异常状态变化时，生成对应的事件记录，并同步保存事件触发时的视频帧截图，使事件记录与截图相关联。

10、进一步地，所述步骤s1包括以下步骤：

11、步骤s11：摄像头对目标区域进行连续视频采集，采集频率设置为每秒10帧至30帧；

12、步骤s12：边缘计算终端通过usb摄像头接口或mipi摄像头接口获取视频流数据。

13、进一步地，所述步骤s2中包括以下步骤：

14、步骤s21：采用轻量化目标检测模型对视频帧中的人体目标进行识别推理；

15、步骤s22：输出人体目标的边界框坐标、置信度及目标位置信息。

16、进一步地，所述步骤s3中包括以下步骤：

17、步骤s31：采用针对小目标场景优化训练的手机检测模型对视频帧中的手机目标进行识别推理；

18、步骤s32：输出手机目标的边界框坐标、置信度及空间位置信息。

19、进一步地，所述步骤s4中包括以下步骤：

20、步骤s41：根据人体检测框向下或向周边扩展，生成对应座位的参考区域；

21、步骤s42：在连续视频帧处理中，依据目标位置连续性、区域对应关系和历史状态信息维持各座位对象的身份标识，避免座位身份频繁切换。

22、进一步地，所述步骤s5中包括以下步骤：

23、步骤s51：当人体目标离开对应座位的参考区域时，启动离座计时器开始计时；

24、步骤s52：将离座计时时长的阈值设置为10秒至300秒，当离座持续时间超过该阈值时，更新座位状态为超时离座状态并生成对应异常事件。

25、进一步地，所述步骤s6中包括以下步骤：

26、步骤s61：基于以下条件之一或其组合判定手机异常：手机目标中心点位于人体检测框周边预设范围内、手机目标与人体检测框存在 面积重叠、手机目标在连续多帧中稳定出现在同一座位对象附近；

27、步骤s62：将异常持续帧数设置为3帧至30帧，仅当满足异常判定条件的持续帧数达到设定值时，判定该座位存在手机异常行为。

28、进一步地，所述步骤s7中包括以下步骤：

29、步骤s71：生成的事件记录包括离座开始、离座结束、超时离座触发、手机异常开始、手机异常结束五类事件，每条事件记录包含事件时间、事件类别、座位编号、状态变化信息和持续时间；系统在事件触发时同步保存对应视频帧截图，截图文件与日志记录建立关联，形成可追溯证据链；

30、步骤s72：事件日志采用结构化表格格式保存，现场截图采用jpg或png格式保存。

31、进一步地，还包括步骤s8本地数据存储与网页可视化展示，具体包括以下步骤：

32、步骤s81：在一次管理场景结束后，根据事件记录自动生成场次摘要，场次摘要包括离座次数、超时离座次数、手机异常次数、各类异常持续时间以及座位状态变化概况信息；

33、步骤s82：基于flask框架构建本地网页服务，网页界面包含控制台页面、实时状态页面、历史记录页面、详情摘要页面，支持通过局域网或设备本地访问完成实时查看与历史查询。

34、进一步地，还包括步骤s9边缘端模型部署加速，具体包括以下步骤：

35、步骤s91：将训练完成的检测模型导出为onnx格式，再转换为rknn格式；

36、步骤s92：将转换后的模型部署至orange pi 5pro边缘计算平台，调用npu执行推理加速，支持根据算力情况选择cpu模式、gpu辅助模式或npu加速模式运行。

37、本发明具有以下有益效果：

38、1、本发明通过本地闭环运行：视频采集、检测推理、状态判断、事件记录和页面展示均可在边缘设备本地完成，减少对外部网络和云端平台的依赖。

39、2、本发明隐私保护较好：系统主要在本地处理和存储数据，适用于对隐私较为敏感的学习场所。

40、3、本发明管理自动化程度高：能够自动识别在位、离座、超时离座和手机异常等状态，降低人工巡查压力。

41、4、本发明证据链完整：通过事件日志、截图保存和摘要统计形成可追溯的管理闭环。

42、5、本发明具备扩展性：目前已在双座位管理场景下完成闭环验证，后续可平滑扩展至多人座位管理、更多异常行为识别和更复杂管理场景。

43、6、本发明部署成本较低：采用边缘设备和轻量化模型，可在较低成本下实现智慧自习室终端化部署。

44、当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。