基于多模态生物特征识别的动态蜂群调控方法及系统与流程

本发明涉及智能蜂业，具体而言，涉及一种基于多模态生物特征识别的动态蜂群调控方法及系统。

背景技术：

1、智能蜂业中，蜂群的行为和健康状态取决于蜂王产卵、幼虫发育、工蜂日龄结构及群体情绪等生物学特征。传统养蜂依赖蜂农开箱观察，主观性强、干扰蜂群且难以量化。为减少人工干预，智能化监测系统逐渐被应用。专利文献cn121301816a公开了一种基于ai的智能养蜂监测分析管理系统及方法，其通过采集蜂箱内的温度、湿度、重量、声音主频等环境参数，经数据清洗和归一化后输入活跃度评估模型，输出蜂群活跃度评分和状态标签，最终向蜂农推送管理建议。该方案仅能基于环境参数对蜂群整体活跃度进行粗略判断，无法对蜂王产卵状态、幼虫发育阶段、工蜂日龄结构等生物学特征进行直接识别，也无法在蜂箱端主动执行任何调控动作，且未涉及多蜂箱间的协同调配。

2、现有技术存在以下主要问题：

3、第一，所采集的环境参数与蜂群实际生物状态之间存在多对多的映射关系，例如温度降低和蜂王衰老均会引起活跃度下降，仅靠环境参数无法区分根本原因，导致管理建议笼统且缺乏针对性；

4、第二，蜂箱自身不具备主动调控执行能力，从系统发现问题到人工实施调控存在明显时间差，易错失最佳干预窗口；

5、第三，缺乏对蜂群情绪状态（如焦躁、分蜂热、盗蜂警觉）的感知手段，难以在分蜂、盗蜂等群体行为事件发生前做出预警；

6、第四，未考虑蜂场级多蜂箱单元间的协同，无法根据各群生物特征实现强弱群平衡、病群隔离以及采集群与繁殖群的动态分工。

7、由此可见，现有技术无法满足从环境参数监测到生物特征精准识别，再到主动闭环调控和蜂场级协同管理的深度智能化养蜂需求。

技术实现思路

1、本发明的目的在于提供一种基于多模态生物特征识别的动态蜂群调控方法及系统，旨在解决现有养蜂监测系统仅依靠环境参数无法精准识别蜂群内部生物特征并进行主动闭环调控的问题。

2、本发明通过以下技术方案实现：

3、一种基于多模态生物特征识别的动态蜂群调控方法，包括以下步骤：

4、采集蜂箱的多模态数据，所述多模态数据包括巢门区域图像、子脾区域图像、蜂群声音、蜂箱内挥发性有机物浓度分布、蜂箱振动、多点温度数据和蜂箱重量；

5、从所述子脾区域图像定位蜂王，提取蜂王腹部特征和运动特征，结合所述多点温度数据中蜂王所在区域与周围区域的温度差异，确定蜂王产卵状态；

6、对所述子脾区域图像进行实例分割，提取巢房内幼虫的形态特征，根据幼虫发育模型确定幼虫日龄和发育健康状态；

7、从所述巢门区域图像提取返巢工蜂的体表特征，结合工蜂出入巢频次和花粉携带比例，通过聚类分析估计不同日龄工蜂的占比，得到工蜂日龄结构；

8、对所述蜂群声音提取声音情绪特征，对所述挥发性有机物浓度分布提取气味情绪特征，对所述蜂箱振动提取振动情绪特征，对所述巢门区域图像提取图像情绪特征，将所提取的特征输入情绪分类模型，输出蜂群情绪状态；

9、根据蜂王产卵状态、幼虫日龄和发育健康状态、工蜂日龄结构和蜂群情绪状态，生成调控指令；其中，所述调控指令包括信息素释放指令和机械调控指令；

10、执行所述信息素释放指令，以脉冲方式释放信息素类似物，并根据由蜂箱重量和巢门区域图像估计的蜂群数量，动态调节释放速率；执行所述机械调控指令，调节巢门开度、蜂路间距和子脾区温度中的至少一种。

11、可选地，所述确定蜂王产卵状态，具体包括：

12、将所述子脾区域图像输入蜂王定位模型，得到蜂王边界框；在所述边界框内提取蜂王腹部膨大度、产卵姿态概率和移动活跃度；从所述多点温度数据获取蜂王所处区域与子脾背景区域的平均温差；

13、按下式计算蜂王产卵状态指数，如下式所示：

14、

15、其中，、、和为对应的权重系数，且；

16、当且时，判定产卵旺盛；当且时，判定停卵；否则判定产卵减弱；为产卵旺盛阈值，为停卵阈值，且。

17、可选地，所述确定幼虫日龄和发育健康状态，具体包括：

18、采用实例分割网络对所述子脾区域图像进行处理，分割出各个完整巢房区域；在每个巢房区域内提取幼虫的体长、体色饱和度、弯曲度和饲喂状态标志，其中表示该巢房正被工蜂饲喂，表示未被饲喂；

19、根据多元线性回归模型计算幼虫推定日龄，如下式所示：

20、

21、其中，为截距，、、和为各特征对应的回归系数；

22、将与预设日龄区间比较：若则划入1～3日龄，若则划入4～6日龄，若则划入7～8日龄；

23、当所述体长小于预设日龄区间的标准体长下限，且的持续时长超过时间阈值时，判定幼虫发育迟缓。

24、可选地，所述通过聚类分析估计不同日龄工蜂的占比，具体包括：

25、对从所述巢门区域图像检测到的每只返巢工蜂，构建三维特征向量，其中为体色灰度均值，为翅边缘磨损指数，为胸背部体毛密度指数；

26、采用高斯混合模型对全体返巢工蜂的特征向量进行聚类，所述高斯混合模型的概率密度函数如下式所示：

27、

28、其中，为第个高斯分量的混合权重，且；为均值向量；为协方差矩阵；

29、通过期望最大化算法求解参数，，将4个聚类中心分别对应幼年、青年、壮年和老年四个日龄区间；

30、以各分量的混合权重作为该日龄区间工蜂在蜂群中的占比估计，得到所述工蜂日龄结构。

31、可选地，所述将所提取的特征输入情绪分类模型，输出蜂群情绪状态，具体包括：

32、从所述蜂群声音中提取高频尖叫能量和低频嗡嗡能量，计算声音情绪指数，如下式所示：

33、

34、从所述挥发性有机物浓度分布中提取电子鼻传感器阵列的响应向量及其在相邻采集周期的变化率向量；

35、从所述蜂箱振动中提取振动频谱主频、主频振幅以及频带能量占总能量的比值；

36、从所述巢门区域图像中提取蜂群聚集密度、攻击姿态工蜂占比和工蜂平均振翅频率；

37、构建情绪特征向量，输入预先训练的轻量梯度提升机模型，得到五维概率向量，，、、、和分别对应安静、正常、焦躁、分蜂热和盗蜂警觉的概率；

38、取最大概率对应的类别为所述蜂群情绪状态。

39、可选地，所述执行所述信息素释放指令，具体包括：

40、根据所述蜂群情绪状态对应的目标情绪概率，当时，按以下释放速率控制微泵，如下式所示：

41、

42、其中，为基础释放速率；为由所述蜂箱重量和巢门区域图像估计的蜂群个体数量；为基准蜂群个体数量；为增益系数；当时，；

43、采用脉冲式释放模式：在每个决策周期内，以的速率释放次，每次持续秒，相邻两次释放间隔秒；

44、实时获取蜂箱内总挥发性有机物浓度，当时，令线性缩减至原值的50%；当时，立即停止释放，并向蜂农终端推送告警；其中，为警戒浓度，为绝对安全上限浓度，且。

45、可选地，所述执行所述机械调控指令，具体包括：

46、巢门开度调节：定义巢门开度角，其可调范围为；当所述蜂群情绪状态为分蜂热时，控制；当外界处于流蜜期且蜂群情绪不为分蜂热时，控制；其余情况控制；

47、蜂路间距调节：定义蜂路间距；当识别到蜂群处于繁殖期时，控制；当识别到蜂群处于流蜜期时，控制；

48、子脾区温度调节：设定子脾区目标温度，根据所述多点温度数据中子脾区的实测温度，采用闭环控制策略驱动加热或制冷单元，使维持在的范围内。

49、基于同一发明构思，本发明还提供一种基于多模态生物特征识别的动态蜂群调控系统，用于实现所述的基于多模态生物特征识别的动态蜂群调控方法，包括：

50、多模态数据采集模块，用于采集蜂箱的巢门区域图像、子脾区域图像、蜂群声音、蜂箱内挥发性有机物浓度分布、蜂箱振动、多点温度数据和蜂箱重量；

51、蜂王产卵状态确定模块，与所述多模态数据采集模块连接，接收所述子脾区域图像和所述多点温度数据，用于从所述子脾区域图像定位蜂王，提取蜂王腹部特征和运动特征，结合所述多点温度数据中蜂王所在区域与周围区域的温度差异，确定蜂王产卵状态；

52、幼虫发育状态确定模块，与所述多模态数据采集模块连接，接收所述子脾区域图像，用于对所述子脾区域图像进行实例分割，提取巢房内幼虫的形态特征，根据幼虫发育模型确定幼虫日龄和发育健康状态；

53、工蜂日龄结构估计模块，与所述多模态数据采集模块连接，接收所述巢门区域图像，用于从所述巢门区域图像提取返巢工蜂的体表特征，结合工蜂出入巢频次和花粉携带比例，通过聚类分析估计不同日龄工蜂的占比，输出工蜂日龄结构；

54、蜂群情绪识别模块，与所述多模态数据采集模块连接，接收所述蜂群声音、所述挥发性有机物浓度分布、所述蜂箱振动和所述巢门区域图像，用于提取声音情绪特征、气味情绪特征、振动情绪特征和图像情绪特征，将所提取的特征输入情绪分类模型，输出蜂群情绪状态；

55、调控指令生成模块，分别与所述蜂王产卵状态确定模块、所述幼虫发育状态确定模块、所述工蜂日龄结构估计模块和所述蜂群情绪识别模块连接，用于根据蜂王产卵状态、幼虫日龄和发育健康状态、工蜂日龄结构和蜂群情绪状态，生成调控指令；所述调控指令包括信息素释放指令和机械调控指令；

56、信息素释放执行模块，与所述调控指令生成模块和所述多模态数据采集模块连接，接收所述信息素释放指令、所述蜂箱重量、所述巢门区域图像和所述挥发性有机物浓度分布，用于以脉冲方式释放信息素类似物，并根据由所述蜂箱重量和巢门区域图像估计的蜂群数量以及总挥发性有机物浓度，动态调节释放速率；

57、机械调控执行模块，与所述调控指令生成模块和所述多模态数据采集模块连接，接收所述机械调控指令和所述多点温度数据，用于执行巢门开度调节、蜂路间距调节，以及根据所述多点温度数据对子脾区温度进行闭环控制。

58、基于同一发明构思，本发明还提供了一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述的基于多模态生物特征识别的动态蜂群调控方法。

59、基于同一发明构思，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的基于多模态生物特征识别的动态蜂群调控方法。

60、本发明的技术方案至少具有如下优点和有益效果：

61、通过从子脾区域图像定位蜂王并融合蜂王所在区域与周围温度差异判断产卵状态，对子脾图像实例分割提取幼虫形态以确定幼虫日龄与发育健康状态，以及从巢门区域图像结合出入频次和花粉携带比例聚类分析工蜂日龄结构，克服了传统方案仅依赖环境参数无法区分根本原因的缺陷，使蜂群内部生物特征可量化、可区分，为针对性调控提供了准确根据。

62、同步提取蜂群声音的声音情绪特征、挥发性有机物浓度分布的气味情绪特征、蜂箱振动的振动情绪特征和巢门区域图像的图像情绪特征，并输入情绪分类模型，能够实时感知焦躁、分蜂热、盗蜂警觉等情绪状态，填补了蜂群情绪感知的技术空白，可在分蜂、盗蜂等群体行为事件发生前做出预警，提升风险预判能力。

63、根据蜂王产卵状态、幼虫日龄与健康、工蜂日龄结构和蜂群情绪状态自动生成调控指令，执行脉冲方式释放信息素类似物，并利用蜂箱重量和巢门区域图像估计的蜂群数量动态调节释放速率，同时自动调节巢门开度、蜂路间距和子脾区温度中的至少一种，使蜂箱具备自主调控能力，能够在最佳干预窗口及时实施精准调控，避免错失时机。

64、通过输出各蜂箱的蜂王产卵状态、幼虫发育健康状态、工蜂日龄结构及群体情绪等高粒度生物特征，能够准确反映群势强弱和发展趋势，为强弱群平衡、病群隔离、采集群与繁殖群的动态分工等协同作业提供决策根据，有利于实现蜂场整体高效、健康生产。