一种基于巡检机器人的母猪分娩预警方法、系统、程序产品、存储介质及电子设备与流程
本发明公开一种基于巡检机器人的母猪分娩预警方法、系统、程序产品、存储介质及电子设备,属于智能畜牧养殖与人工智能交叉领域。
背景技术:
1、母猪分娩是规模化猪场繁殖环节的关键节点,产程管理和分娩时间预判直接影响仔猪成活率与母猪繁殖性能。据统计,分娩过程中约有10%-15%的仔猪因未能及时接产、窒息或压死等原因死亡,其中大部分与分娩预警不及时、产程监测不到位直接相关。目前,猪场主要依赖饲养员人工巡查和经验判断来预测分娩时间、监测产程进展——通过观察母猪行为变化(如衔草做窝、频繁起卧、呼吸急促、阴户肿胀等)来判断分娩节点,并通过人工记录产仔间隔和努责情况来评估产程是否正常。然而,人工巡查难以覆盖夜间时段,无法实现24小时持续监测;不同品种和胎次的母猪分娩前行为表现差异大,经验判断主观性强、准确率低;产程监测依赖离散的人工记录,缺乏连续性和量化指标,难产、产程过长等异常情况往往在下次巡查时才被发现,极易错过最佳处置窗口。
2、现有技术中已有部分智能化尝试,主要包括基于固定摄像头的视频行为识别、基于可穿戴传感器的体征监测和基于环境传感器的辅助预警。但固定摄像头视角受限且容易被围栏遮挡,无法获取母猪体表温度等关键生理参数;可穿戴设备需逐个佩戴,成本高、维护难、损耗率大,难以在规模化猪场推广;环境传感器仅能间接反映猪舍整体状态,无法直接监测个体母猪的生理和行为变化。上述方案均采用单一模态监测方式,缺乏多源信息的融合利用,导致预警准确率有限,且均未充分利用规模化猪场已有的巡检机器人基础设施。因此,亟需一种能够融合多模态数据、实现分娩时间自动预测和产程全程量化监测的智能化分娩管理方案。
技术实现思路
1、本发明的目的在于提供一种基于巡检机器人的母猪分娩预警方法、系统、程序产品、存储介质及电子设备,以解决现有技术中,母猪分娩管理依赖人工巡查导致无法24小时持续监测、分娩时间预判主观性强、产程异常发现滞后且缺乏量化指标的问题。
2、本发明提供一种基于巡检机器人的母猪分娩预警系统,以解决现有技术中,母猪分娩监测设备功能分散、各传感器和数据处理模块之间缺乏统一协同机制、无法形成从数据采集到预警输出的完整闭环,且系统部署缺乏与巡检机器人深度耦合的软硬件一体化方案的问题。
3、一种基于巡检机器人的母猪分娩预警系统,包括:巡检机器人、边缘计算节点、云端服务器和终端展示模块;
4、巡检机器人沿猪舍轨道运行,搭载rgb-d深度相机、热红外相机、环境传感器和拾音器;
5、巡检机器人按预设路线巡检,在分娩母猪栏位前停留采集数据;
6、rgb-d相机获取母猪三维点云和彩色图像,热红外相机获取体表温度分布,拾音器采集环境音频;
7、边缘计算节点部署于猪舍现场,接收巡检机器人回传的数据,进行实时预处理,并将处理结果上传云端服务器;
8、云端服务器部署分娩预警模型,接收边缘节点上传的特征数据,进行多模态融合和分娩概率预测,生成预警信息;
9、终端展示模块展示预警信息、母猪实时监测数据和历史趋势曲线。
10、本发明提供一种基于巡检机器人的母猪分娩预警方法,以解决现有技术中,母猪分娩预警和产程监测依赖人工巡查导致无法24小时持续监测、分娩时间预判主观性强、产程异常发现滞后且缺乏量化指标,以及现有智能化方案仅采用单一模态监测导致预警准确率低的问题。
11、一种基于巡检机器人的母猪分娩预警方法,使用一种基于巡检机器人的母猪分娩预警系统,包括:
12、s1、基于rgb-d深度相机、热红外相机、环境传感器和拾音器的时间戳进行异步对齐;对对齐后的数据进行预处理,输出预处理后的rgb图像序列、母猪分割掩码、热红外图像、环境参数和梅尔频谱图;
13、s2、将预处理后的rgb图像序列、母猪分割掩码、热红外图像、环境参数和梅尔频谱图输入改进的yolov8神经网络,进行神经网络训练,训练完成后输出行为特征向量、温度特征向量、环境特征向量、行为概率分布和行为强度值;
14、s3、将行为特征向量、温度特征向量、环境特征向量、行为概率分布、行为强度值和历史融合特征向量输入多模态特征融合与分娩预警模型,进行神经网络训练,训练完成后,输出分娩概率曲线;设置分娩概率阈值触发分娩预警;
15、s4、发出分娩预警后,进入产程监测模式,提高巡检频率,实时采集目标栏位的rgb图像、热红外图像和音频数据;根据母猪弓背角度量化努责强度,根据仔猪产出时刻计算产出间隔,根据努责强度和产出间隔进行异常判定并触发相应预警,产程结束后计算产程质量综合评分并输出产程质量等级;
16、s5、根据预警类型生成预警信息推送至饲养员终端,饲养员确认并录入处置措施,处置记录关联至产程档案,误报数据存入模型优化数据库。
17、s1包括,预处理包括通过retinex自适应增强和双边滤波进行图像增强,采用高斯滤波进行图像去噪,采用改进的yolov8神经网络进行目标检测和母猪区域分割,对热图与可视图像对齐,进行音频分帧与梅尔频谱转换;
18、改进的yolov8神经网络,包括backbone层、嵌入sca-swin的neck层、双分支检测头和输出层;
19、backbone层为yolov8 xspddarknet;嵌入sca-swin的neck层包括swintransformer和特征金字塔fpn+pan;双分支检测头包括目标分类分支和姿态感知分支;目标分类分支输出边界框坐标;姿态感知分支输出姿态关键点;
20、目标分类分支为bce loss;姿态感知分支为6关键点热力图回归mse loss;姿态关键点包括肩、背峰、臀、头、阴户;
21、s2包括,s2.1、rgb图像序列进行行为特征提取,包括基于分割掩码裁剪、cnn骨干mobilenet-v3-large、时序建模video swin、特征降维、双分支分类头;
22、cnn骨干mobilenet-v3-large包括mobilenet-v3-large空间特征提取、局部运动注意力模块、时序聚合池化模块;
23、时序建模video swin包括video swin transformer和pbtc对比学习模块;
24、双分支分类头包括行为分类头和强度回归头;
25、特征降维层输出行为特征向量;
26、行为分类头输出行为概率分布,强度回归头输出行为强度值;
27、s2包括,s2.2、对热红外图像进行热红外特征提取,包括区域分割和各区域温度统计,输出温度特征向量;
28、s2包括,s2.3、对环境参数进行环境特征提取,对环境参数进行拼接,输出环境特征向量;
29、s2包括,s2.4、对梅尔频谱进行呼吸音频特征提取,包括频率维卷积、时间维卷积、adaptiveavgpool2d和呼吸模式分类;
30、adaptiveavgpool2d输出呼吸音频特征,然后将输入呼吸模式分类,经全连接层映射和softmax激活,输出三类呼吸模式的概率分布;
31、s3包括,将输入环境编码器,将输入音频编码器,将输入热红外编码器,将输入行为编码器;以行为编码器输出为主模态,将所有编码器的处理结果输入交叉注意力融合层,输出融合特征向量;
32、与历史融合特征向量输入时序预测模块,在时间维度上拼接,输出历史特征序列,将输入bi-lstm层,bi-lstm层第一层包含256个lstm单元,沿正向和反向两个方向分别处理序列,将两个方向的输出拼接后输入第二层;第二层包含128个lstm单元,同样沿正向和反向两个方向处理序列,取最后一个时间步的输出作为时序编码特征;将时序编码特征输入预测头,预测头依次包括第一全连接层、gelu激活、dropout、第二全连接层和sigmoid激活,输出未来分娩概率曲线;
33、设置预设分娩曲线阈值,当时,判定当前母猪将在未来小时内分娩,触发分娩预警并记录预测分娩小时数。
34、s4包括,当判定当前母猪在未来小时内分娩时,进入临产状态,触发产程监测模式,产程监测模式中巡检机器人巡检频率提升至30分钟一次,试采集目标栏位的rgb图像、热红外图像和音频数据;
35、跟rgb图像和姿态关键点,计算母猪弓背角度;设置弓背角度阈值和持续时间阈值,当大于弓背角度阈值且持续时间在持续时间阈值范围内,判定为一次有效努责:
36、;
37、式中,、为肩部关键点坐标,、为背峰关键点坐标,、为臀部关键点坐标;
38、计算单次努责评分:
39、;
40、式中,为单次努责持续时间,为当前分钟内的努责频次;
41、计算努责强度原始值:
42、;
43、式中,为窗口内所有有效努责单次评分的平均值,为窗口内有效努责总次数;
44、将按下式标准化至0~100区间:
45、;
46、式中,标准化后的努责强度;
47、当大于强努责阈值时为强努责,当小于弱努责阈值时为弱诺责;
48、基于rgb图像,采用yolov8目标检测网络检测产床上的仔猪边界框:
49、采用匈牙利算法对相邻帧检测到的仔猪边界框进行跨帧匹配,匹配代价为:
50、;
51、式中,为两个边界框的交并比;
52、当某一仔猪边界框在连续帧中未匹配到既有目标时,判定为新生仔猪,记录该头仔猪的产出时刻;
53、计算相邻仔猪产出间隔:
54、;
55、当有效努责持续30分钟以上但无新生仔猪产出时,判定为难产,触发难产预警;
56、当相邻仔猪产出间隔大于产出间隔阈值时,判定为产程过长,触发产程过长预警;
57、当产后母猪腹部区域体表温度大于温度阈值时,判定为产后感染风险,触发产后感染预警;
58、当小于努责阈值且持续时间大于乏力阈值以上时,判定为子宫收缩乏力,触发宫缩乏力预警;
59、当从大于努责强阈值突降至努责弱阈值时,判定为努责异常减弱,触发努责异常预警;
60、产程结束后,按以下公式计算产程质量综合评分:
61、;
62、式中,为产程阶段进展清晰度评分,为产程时长评分,为产出速率评分,为仔猪产出均匀度评分,为胎衣排出完整性评分;
63、根据输出产程质量等级。
64、s5包括,系统将预警信息推送至饲养员终端,并接收人工确认与处置记录;
65、系统根据预警触发类型生成结构化预警信息,预警信息包括母猪耳号、栏位号、预警类型、预警等级、预测分娩时间或异常描述、当前监测数据快照及建议措施;系统将预警信息通过无线通信网络推送至饲养员终端和中控平台;
66、饲养员通过终端查看预警信息并进行人工确认,确认结果包括确认和误报;饲养员录入处置措施及处置时间,系统将处置记录关联至该母猪的产程档案;当确认结果为误报时,系统记录差异原因并将数据存入模型优化数据库,用于后续模型的优化训练。
67、提供一种程序产品,以解决现有技术中,母猪分娩预警算法难以模块化复用、不同猪场场景下算法适配成本高、模型迭代升级需重新编译部署,导致软件无法灵活适配多样化养殖环境的问题。
68、一种程序产品,所述程序产品用于使处理器执行一种基于巡检机器人的母猪分娩预警方法。
69、提供一种存储介质,以解决现有技术中,母猪分娩预警程序在现场部署时程序加载繁琐、依赖外部网络下载安装、各边缘节点需逐一配置导致实施效率低,以及养殖场技术人员缺乏专业软件部署能力的问题。
70、一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行一种基于巡检机器人的母猪分娩预警方法。
71、提供一种电子设备,以解决现有技术中,分娩预警硬件平台与算法软件分离、现场需自行组装调试、缺乏针对猪舍高湿高温粉尘环境的专用加固设计、部署周期长且运行稳定性差,难以在规模化猪场恶劣环境中长期可靠运行的问题。
72、一种电子设备,所述电子设备包括处理器,以及与处理器通信连接的存储器;所述存储器存储有被所述处理器执行的指令,所述指令被所述处理器执行,以使所述处理器执行一种基于巡检机器人的母猪分娩预警方法。
73、相对比现有技术,本发明具有以下有益效果:本发明提供的基于巡检机器人的母猪分娩预警系统,通过巡检机器人集成rgb-d相机、热红外相机、环境传感器和拾音器,实现多模态数据的同步采集;通过边缘计算节点完成数据实时预处理,降低云端计算压力和网络带宽占用;通过云端部署的分娩预警模型实现多模态融合和分娩概率预测,形成端-边-云协同的完整闭环架构。该系统充分利用规模化猪场已有的导轨式巡检机器人基础设施,无需额外部署固定摄像头或可穿戴设备,即可实现从数据采集、处理、融合到预警生成的全流程自动化,为规模化猪场提供了一套即插即用、软硬件深度耦合的智能化分娩预警系统解决方案。
74、本发明提供的基于巡检机器人的母猪分娩预警方法,通过多模态数据采集和特征提取,融合行为、体表温度、呼吸音频和环境四类特征,结合交叉注意力机制实现模态间自适应信息交互,并利用时序网络预测未来24小时分娩概率,实现了分娩时间的自动精准预测(平均提前6.5小时,准确率92.3%);进入产程后通过量化努责强度指数和自动检测仔猪产出事件,实现了产程全程量化监测和难产、产程过长等五类异常的自动识别预警;产程结束后自动生成产程质量综合评分,为饲养员提供从产前预警到产中监测再到产后评估的全流程决策支持。
75、本发明提供的程序产品,封装了数据预处理模块、多模态特征提取模块、交叉注意力融合模块、时序预测模块和产程异常判定模块等核心算法单元,各模块采用标准化接口设计,支持独立升级和替换;具有跨平台可移植性,可灵活部署于边缘服务器、工业计算机或云端虚拟机;核心计算过程不依赖持续的外部网络连接,在网络中断时仍能完成本地实时分析与预警,仅在预警推送时恢复通信;内置增量学习接口,支持将人工复核的误报数据和处置效果数据回流至模型优化数据库,为算法的持续迭代优化提供了数据闭环,有效降低了算法在不同养殖场景下的适配成本和后期维护成本。
76、本发明提供的存储介质,存储有完整的分娩预警程序及预训练模型权重,便于批量复制、分发和安装;养殖场无需在每台设备上逐一配置环境或从网络下载依赖包,通过插拔存储介质即可在任意具备计算能力的硬件设备上完成程序加载和运行环境配置;存储介质支持离线部署,可在无外部网络连接的猪舍环境中完成部署,大幅降低了技术实施门槛、部署时间和人力成本,有利于推动智能化分娩预警技术的规模化推广应用。
77、本发明提供的电子设备,通过处理器执行内部存储的计算机程序,能够独立完成视频采集、图像预处理、目标检测、多模态特征提取、融合与预测、预警生成的完整闭环流程,无需依赖外部网络或云端算力即可完成本地实时推理;设备部署于猪舍现场,端到端处理延迟满足实时监测需求;设备外壳采用防水防尘设计,适应猪舍高湿、高温、粉尘环境,内置npu或gpu加速单元支持深度学习模型低功耗、低延迟推理加速,为规模化猪场提供了一种即插即用、环境适应性强、稳定可靠的硬件支撑方案。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com