一种基于云边协同与多模态空间活动分析的智能养殖巡检方法及系统

本发明属于智慧农业与智能机器人交叉，具体涉及一种基于云边协同与多模态空间活动分析的智能养殖巡检方法及系统。

背景技术：

1、随着现代畜禽养殖业向规模化、集约化方向快速发展，对养殖环境监测、动物健康管理和生产自动化水平的要求不断提高。传统的人工巡检方式存在耗时耗力、易漏检错检、响应不及时等问题，已难以满足现代养殖精细化管理需求。机器人巡检具有全天候、高精度、高效率等优势，被视为连接环境感知、动物状态观察和生产管理的重要载体。

2、现有养殖巡检技术主要分为固定设施感知、轨道式移动巡检和自主移动机器人三类。固定设施受安装位置和遮挡限制，无法主动覆盖盲区；轨道式设备需改造栏舍基础设施，路径灵活性和临时避障能力不足；自主移动机器人虽能主动扩大覆盖范围，但在养殖场复杂环境中仍存在以下不足：

3、其一，高算力任务与实时控制任务边界不清。同步定位与建图、视觉推理等任务计算负载不稳定，而电机闭环、急停处理需要稳定控制周期。两者在同一处理器运行容易引起周期抖动，影响底盘控制的实时性和安全性。

4、其二，多类上层运动控制源与本地安全控制之间缺少分级仲裁机制。自主导航、视觉循线、目标跟随和远程手动控制均可能产生上层速度控制量，若缺少唯一控制源选择机制，容易产生指令冲突；同时，物理急停、本地手柄接管、控制通信超时和底盘故障等安全事件需要在实时控制端以更高优先级进行处理，现有方案中对上层运动控制与底层安全覆盖的职责边界及优先级关系仍缺乏统一设计。

5、其三，动物轨迹、环境参数与机器人位姿相互割裂。视觉输出、环境数据和地图坐标使用各自独立的时间与空间基准，难以形成可供追溯的统一记录，无法有效支持按个体、区域和时间段的综合查询。

6、其四，弱网条件下数据连续性和安全策略不足。养殖场网络波动频繁，网络中断后，结构化数据缺少本地缓存、序列号确认和恢复补传机制，易造成数据丢失或重复。

7、基于此，有必要发明一种基于云边协同与多模态空间活动分析的智能养殖巡检方法及系统。

技术实现思路

1、本发明为了解决现有养殖巡检技术中高算力任务与实时控制任务边界不清导致控制周期抖动、多类控制源缺少唯一选择机制导致指令冲突、动物轨迹与环境参数及机器人位姿时空基准不统一导致数据相互割裂、以及弱网条件下缺少本地缓存与恢复补传机制导致数据丢失或重复的问题，提供了一种基于云边协同与多模态空间活动分析的智能养殖巡检方法及系统。

2、本发明是采用如下技术方案实现的：

3、一种基于云边协同与多模态空间活动分析的智能养殖巡检方法，包括：

4、提供云端、边缘计算端、硬件端和实时控制端；

5、所述云端向边缘计算端下发巡检任务，巡检任务包括任务标识、巡检区域、目标点、运行模式和安全参数；

6、所述边缘计算端解析巡检任务，并根据任务类型配置对应的运行模式；

7、所述硬件端采集养殖场内的激光扫描数据、视频数据、环境参数、姿态数据、超声波距离以及轮速里程数据，并将激光扫描数据和视频数据传输至边缘计算端，将环境参数、姿态数据、超声波距离和轮速里程数据传输至实时控制端；

8、所述边缘计算端根据激光扫描数据和轮速里程数据进行同步定位与建图以获得机器人位姿和地图，并根据机器人位姿、目标点和激光扫描数据中的局部障碍物生成导航速度控制量；

9、所述实时控制端对导航速度控制量执行安全覆盖，再进行差速底盘运动学解算和轮速闭环调节；

10、所述边缘计算端对视频数据进行实例分割、多目标跟踪和轨迹聚类，获得带有行为类别和轨迹标识的连续轨迹及活动热点；

11、所述边缘计算端将环境参数、机器人位姿、实时控制端反馈的设备状态、行为类别、连续轨迹和活动热点关联为结构化巡检记录；

12、网络正常时，结构化巡检记录实时上传至云端；网络中断时，未确认记录写入本地缓存；网络恢复后，按序列号补传并由云端依据记录唯一标识执行去重。

13、进一步地，所述硬件端采集数据时，通过二维激光雷达向边缘计算端传输激光扫描数据，通过前置摄像头和红外球机向边缘计算端传输视频数据；所述实时控制端通过rs485接口读取环境变送器的环境参数，环境参数包括温度、湿度、氨气、硫化氢和二氧化碳数据，通过spi接口读取姿态数据，通过gpio输出触发信号并测量回波脉宽以获得超声波距离，通过定时器编码器接口获取轮速里程数据；所述实时控制端还生成ps2手柄接管状态、物理急停状态和故障状态作为离散状态数据，并将离散状态数据与环境参数、姿态数据、超声波距离以及轮速里程数据共同封装传输至边缘计算端。

14、进一步地，所述运行模式包括自主导航、视觉循线、目标跟随和远程手动控制；所述边缘计算端在自主导航、视觉循线、目标跟随和远程手动控制四类候选控制源中根据当前运行模式选择唯一有效的上层控制源，并对选定的线速度和角速度执行幅值限制、加速度限制，并进行控制时效校验，将仲裁后的线速度和角速度通过usb cdc下发至实时控制端；所述实时控制端对边缘计算端下发的线速度和角速度执行包括物理急停处理、ps2本地接管处理、控制通信超时处理和底盘故障处理在内的安全处理后，再按照两轮差速底盘运动学模型计算左右轮目标角速度，并分别采用增量式pid根据编码器反馈进行轮速闭环调节。

15、进一步地，所述边缘计算端对视频数据进行实例分割、多目标跟踪和轨迹聚类具体包括：

16、将红外视频帧输入实例分割模型，逐帧输出目标边界框、实例掩膜、行为类别和模型置信度；

17、根据前一时刻的目标状态预测当前目标位置，并依据空间重叠和匹配代价维持轨迹标识，输出至少包含轨迹标识、时间戳、中心点坐标和匹配状态的跟踪结果；

18、根据相机标定参数、机器人位姿和栏舍坐标系，将跟踪中心点的像素坐标转换为栏舍实际平面坐标；

19、按照设定时间窗、邻域半径和最小样本数对轨迹点进行密度聚类，识别高密度停留区域并剔除离群点，输出个体停留区域或群体活动热点。

20、进一步地，所述结构化巡检记录至少包括任务标识、记录唯一标识、设备标识、栏舍标识、边缘端时间戳、机器人位姿、坐标系名称、环境参数、轮速与里程、轨迹点、聚类编号、轨迹标识、行为类别、行为类别置信度、边界框、跟踪状态、数据质量标记、算法版本和序列号；所述边缘计算端在生成结构化巡检记录时，若不同来源的数据采样频率不一致，则按照记录生成时刻采用最近时间匹配、时间窗口汇总或插值方式完成对齐，并记录匹配时间差和数据质量状态。

21、进一步地，当环境参数超过预设阈值，或者个体活动量、停留时长和活动区域面积相对设定基线在预设时间窗口内连续超过预设偏离阈值时，边缘计算端生成包含异常类型、发生时间、栏舍位置、关联轨迹标识、触发数据和关联视频片段索引的异常事件记录。

22、进一步地，所述结构化巡检记录经mqtt或http由边缘计算端实时上传，视频数据经rtsp或rtmp独立传输，使视频流与结构化数据分属不同链路；网络中断时，边缘计算端将未确认记录按照任务标识、记录唯一标识、序列号和数据优先级写入本地缓存；网络恢复后，边缘计算端按序列号补传未确认记录，云端根据记录唯一标识对已入库记录进行去重。

23、一种基于云边协同与多模态空间活动分析的智能养殖巡检系统，包括：

24、云端交互与管理模块，部署于云端服务器，用于下发巡检任务、接收结构化巡检数据并写入数据库，以及依据记录唯一标识对补传记录执行去重；

25、边缘计算与运动控制模块，部署于边缘计算设备，用于解析巡检任务，完成同步定位与建图以获得机器人位姿和地图、路径规划、视觉循线、目标跟随、运动指令仲裁，以及根据时间和空间关联关系将环境参数、机器人位姿、设备状态、行为类别、连续轨迹和活动热点关联为结构化巡检记录；

26、实时控制模块，部署于实时控制器，与边缘计算设备之间设置有逻辑相互独立的上行数据通道和下行控制通道，用于采集环境参数、姿态数据、超声波距离、轮速里程数据及设备状态，对边缘计算设备下发的线速度和角速度执行安全覆盖，以及完成差速底盘运动学解算和轮速闭环调节；

27、硬件感知与执行模块，包括二维激光雷达、前置摄像头、红外球机、环境变送器、姿态传感器、超声波模块、编码器、电机驱动器和电机，用于获取激光扫描数据、视频数据、环境参数、姿态数据、超声波距离以及轮速里程数据并执行运动指令。

28、进一步地，所述边缘计算与运动控制模块包括运动指令仲裁单元，用于接收自主导航、视觉循线、目标跟随和远程手动控制四类候选控制源，根据当前运行模式选择唯一有效的上层控制源，对选定的线速度和角速度执行幅值限制、加速度限制，并进行控制时效校验，并将仲裁后的线速度和角速度下发至实时控制模块；所述实时控制模块包括本地控制权仲裁与急停安全处理单元，用于对边缘计算设备下发的线速度和角速度执行包括物理急停处理、ps2本地接管处理、控制通信超时处理和底盘故障处理在内的安全处理，以及按照两轮差速底盘运动学模型计算左右轮目标角速度，并分别采用增量式pid根据编码器反馈进行轮速闭环调节。

29、进一步地，所述边缘计算与运动控制模块还包括结构化数据通信与断网补传单元，用于在网络正常时实时上传结构化巡检记录，网络中断时将未确认记录按照任务标识、记录唯一标识、序列号和数据优先级写入本地缓存，网络恢复后按序列号补传未确认记录，并由云端根据记录唯一标识对已入库记录进行去重。

30、与现有技术相比，本发明提供了一种基于云边协同与多模态空间活动分析的智能养殖巡检方法及系统，具有以下有益效果：

31、1、本发明通过云端、边缘计算端、实时控制端和硬件端分层协同处理，由边缘计算端承担同步定位与建图、路径规划、实例分割和轨迹分析等高算力任务，由实时控制端承担急停处理、运动学解算、轮速闭环调节和执行设备控制等低延迟实时控制任务，解决了高算力算法与低延迟实时控制集中运行时相互干扰的矛盾问题，使机器人在执行视觉和导航计算的同时保持底盘控制周期的稳定性。

32、2、本发明通过jetson nano上层运动指令仲裁与stm32f407本地安全覆盖相结合的两级控制机制，由jetson nano从自主导航、视觉循线、目标跟随和远程手动控制四类候选控制源中选择唯一有效的上层控制源，由stm32f407对其执行物理急停处理、ps2本地接管处理、控制通信超时处理和底盘故障处理等安全覆盖，解决了多类控制源同时存在时缺少唯一选择机制导致指令冲突的问题，提升了系统的安全性和可靠性。

33、3、本发明通过行为类别识别、实例分割和连续跟踪获得带有行为标签的连续轨迹，结合相机标定参数和机器人位姿将轨迹点转换至栏舍实际空间坐标后进行密度聚类以获得个体或群体活动热点，并将环境参数、机器人位姿、设备状态、行为类别、连续轨迹和活动热点按照统一记录结构进行时间对齐和空间关联，形成可供追溯的结构化巡检记录，解决了动物轨迹、环境参数与机器人位姿时空基准不统一导致数据相互割裂的问题，使管理人员能够按轨迹标识、区域、时间段和巡检任务进行综合查询和分析。

34、4、本发明通过记录唯一标识、数据序列号、本地缓存、确认状态、恢复补传和云端去重的完整通信机制，在网络正常时实时上传结构化记录，网络中断时将未确认记录写入本地缓存，网络恢复后按序列号补传并由云端依据记录唯一标识执行去重，解决了养殖场网络波动或中断时巡检数据容易丢失及恢复上传后容易重复写入的问题，使结构化巡检数据保持连续、可查询和可追溯。