一种基于目标检测的青虾行为分析方法及系统与流程
本发明涉及水产养殖智能监测,尤其涉及一种基于目标检测的青虾行为分析方法及系统。
背景技术:
1、当前青虾养殖领域的行为监测与分析手段较为传统,多采用人工巡查或常规视频采集的方式获取虾塘相关信息,对采集到的视频数据仅能执行基础分帧处理,未应用基于深度学习训练的青虾专用目标检测模型,无法在视频帧中精准识别并定位每一只青虾个体,难以获取稳定可靠的青虾个体位置数据。现有技术未基于连续视频帧的检测结果开展青虾个体跨帧关联与轨迹追踪,无法形成单只青虾的连续运动轨迹,也不能从轨迹中提取运动学特征,未将运动学特征与虾塘实时养殖环境参数结合,不具备青虾个体特定行为模式的识别能力。
2、现有青虾行为分析方案仅能实现群体层面的粗略判断,无法对所有青虾个体的行为模式进行统计分析,不能量化得到虾塘中青虾群体的行为强度指标与行为频率指标,行为分析结果缺乏统一的量化标准。此类技术未结合虾塘养殖环境参数的历史变化趋势进行综合分析,无法自动生成结构化的青虾行为分析报告,从个体识别到群体分析再到结果输出的完整分析流程存在明显缺失。
3、本发明针对现有技术中青虾个体定位不准确、个体运动轨迹无法连续追踪、单只青虾行为模式无法识别、群体行为无法量化分析、无标准化分析报告输出的问题,实现青虾从个体行为识别到群体行为量化的全流程自动化分析。
技术实现思路
1、本发明的目的是解决现有技术中存在的缺点,而提出的一种基于目标检测的青虾行为分析方法及系统。
2、为了实现上述目的,本发明采用了如下技术方案:一种基于目标检测的青虾行为分析方法,包括:
3、通过图像采集装置连续获取虾塘水域的青虾动态视频序列;
4、对所述青虾动态视频序列进行分帧处理,得到按时间顺序排列的多个原始视频帧;
5、利用训练好的青虾目标检测模型对每个原始视频帧进行处理,识别出每个原始视频帧中每一只青虾个体的位置,所述青虾目标检测模型是基于已标注青虾位置信息的样本图像通过深度学习训练得到的;
6、基于所述青虾目标检测模型在连续原始视频帧中的识别结果,对每一只青虾个体进行跨帧关联与轨迹追踪,形成每条青虾个体的连续运动轨迹;
7、提取每条青虾个体的连续运动轨迹中的运动学特征,并结合实时采集的虾塘养殖环境参数,识别出每条青虾个体表现出的特定行为模式;
8、对识别出的所有青虾个体的特定行为模式进行统计分析,量化得到整个虾塘青虾群体的行为强度指标与行为频率指标;
9、基于所述行为强度指标与行为频率指标,结合所述虾塘养殖环境参数的历史变化趋势,生成结构化的青虾行为分析报告。
10、作为本发明的进一步方案,对所述青虾动态视频序列进行分帧处理,得到按时间顺序排列的多个原始视频帧,包括:
11、设定视频帧采样频率,按照所述视频帧采样频率对所述青虾动态视频序列进行等时间间隔采样,得到初始视频帧集合;
12、对所述初始视频帧集合中的每一帧初始视频帧进行图像预处理,所述图像预处理至少包括图像去噪处理、光照均衡化处理和图像尺寸归一化处理;
13、将完成图像预处理的每一帧初始视频帧,按照其时间戳顺序进行排列,构成所述按时间顺序排列的多个原始视频帧。
14、作为本发明的进一步方案,所述利用训练好的青虾目标检测模型对每个原始视频帧进行处理,识别出每个原始视频帧中每一只青虾个体的位置,包括:
15、将目标原始视频帧输入至所述训练好的青虾目标检测模型的特征提取网络,提取所述目标原始视频帧的多层次深度特征图;
16、将所述多层次深度特征图输入至所述训练好的青虾目标检测模型的区域生成网络,在所述多层次深度特征图上生成多个包含青虾个体的候选区域;
17、对每个候选区域进行特征池化操作,生成每个候选区域的固定维度的特征向量;
18、将每个候选区域的固定维度的特征向量输入至所述训练好的青虾目标检测模型的分类与回归网络;
19、通过所述分类与回归网络对每个候选区域进行分类,判断所述候选区域内是否包含青虾个体,并对包含青虾个体的候选区域的边界框位置进行坐标回归,得到所述目标原始视频帧中每一只青虾个体的边界框位置。
20、作为本发明的进一步方案,所述对每一只青虾个体进行跨帧关联与轨迹追踪,形成每条青虾个体的连续运动轨迹,包括:
21、在初始原始视频帧中,将所述青虾目标检测模型识别出的所有青虾个体的边界框位置,初始化为多个独立的青虾目标轨迹,并为每条青虾目标轨迹分配唯一标识;
22、在下一帧原始视频帧中,获取所述青虾目标检测模型识别出的所有青虾个体的边界框位置,作为当前帧检测目标集合;
23、计算前一帧中每条青虾目标轨迹的预测位置与所述当前帧检测目标集合中每个青虾个体边界框位置之间的运动关联度,所述运动关联度基于边界框之间的交并比、中心点距离以及运动速度一致性计算;
24、根据所述运动关联度,采用数据关联算法,将所述当前帧检测目标集合中的青虾个体与前一帧的青虾目标轨迹进行匹配,为匹配成功的青虾个体更新其所属青虾目标轨迹的位置信息;
25、为所述当前帧检测目标集合中未与任何已有青虾目标轨迹匹配成功的青虾个体,创建新的青虾目标轨迹;
26、循环执行过程直至处理完所有原始视频帧,从而形成每条青虾个体的连续运动轨迹,所述连续运动轨迹由青虾个体在不同原始视频帧中的边界框位置坐标序列构成。
27、作为本发明的进一步方案,所述提取每条青虾个体的连续运动轨迹中的运动学特征,包括:
28、针对每条青虾个体的连续运动轨迹,获取其边界框位置坐标序列;
29、根据所述边界框位置坐标序列,计算所述青虾个体在相邻原始视频帧之间的位移向量序列;
30、根据所述位移向量序列,计算所述青虾个体在单位时间内的移动速度序列和移动加速度序列;
31、统计所述青虾个体在预设时间窗口内的移动方向变化次数,计算其移动方向角序列的统计方差;
32、根据所述青虾个体的边界框位置坐标序列,计算其活动区域的覆盖面积与周长;
33、所述运动学特征至少包括移动速度序列、移动加速度序列、移动方向角序列的统计方差、活动区域的覆盖面积与周长。
34、作为本发明的进一步方案,所述结合实时采集的虾塘养殖环境参数,识别出每条青虾个体表现出的特定行为模式,包括:
35、获取所述实时采集的虾塘养殖环境参数,所述虾塘养殖环境参数至少包括水温参数、溶解氧参数、光照强度参数;
36、将目标青虾个体的运动学特征与所述虾塘养殖环境参数在时间维度上进行对齐与融合,形成目标青虾个体的时空行为特征向量;
37、将所述目标青虾个体的时空行为特征向量输入至预训练的行为模式分类模型;
38、通过所述预训练的行为模式分类模型对所述时空行为特征向量进行分析,输出所述目标青虾个体在对应时间段内表现出的特定行为模式的类别,所述特定行为模式的类别至少包括正常巡游行为、摄食行为、争斗行为、应激逃窜行为、静止行为。
39、作为本发明的进一步方案,所述对识别出的所有青虾个体的特定行为模式进行统计分析,量化得到整个虾塘青虾群体的行为强度指标与行为频率指标,包括:
40、在预设的统计时间周期内,汇总所有青虾个体被识别出的各类特定行为模式;
41、对于每一类特定行为模式,统计在所述统计时间周期内表现出所述特定行为模式的青虾个体总数,计算其占总青虾个体数量的比例,作为所述特定行为模式的行为发生频率指标;
42、对于每一类特定行为模式,提取所有表现出所述特定行为模式的青虾个体的相关运动学特征,计算所述运动学特征的平均值与分布方差,作为所述特定行为模式的行为强度指标;
43、汇总所有类别的特定行为模式的行为发生频率指标和行为强度指标,构成所述整个虾塘青虾群体的行为强度指标与行为频率指标。
44、作为本发明的进一步方案,基于所述行为强度指标与行为频率指标,结合所述虾塘养殖环境参数的历史变化趋势,生成结构化的青虾行为分析报告,包括:
45、建立行为与环境关联数据库,所述行为与环境关联数据库存储所述行为强度指标、所述行为频率指标以及与所述行为强度指标和行为频率指标在时间上同步的虾塘养殖环境参数;
46、对所述行为与环境关联数据库中的历史数据进行时序分析,识别出虾塘养殖环境参数的变化与各类特定行为模式的行为强度指标或行为频率指标变化之间的关联规则;
47、根据当前统计时间周期内获取的所述行为强度指标、所述行为频率指标以及所述虾塘养殖环境参数,结合所述关联规则,推断当前青虾群体的整体行为状态与潜在环境影响因子;
48、按照预设的报告模板,将所述当前青虾群体的整体行为状态、所述行为强度指标、所述行为频率指标、所述虾塘养殖环境参数以及所述潜在环境影响因子,组织生成包含文本描述与数据图表的所述结构化的青虾行为分析报告。
49、作为本发明的进一步方案,所述青虾目标检测模型的训练方法包括:
50、收集大量包含青虾的虾塘水下图像,构成原始训练图像集;
51、对所述原始训练图像集中的每幅图像进行标注,在图像中标注出每一只青虾个体的边界框位置及类别标签,构成已标注训练样本集;
52、构建深度学习目标检测模型,所述深度学习目标检测模型包括特征提取网络、区域生成网络、分类与回归网络;
53、使用所述已标注训练样本集对所述深度学习目标检测模型进行训练,通过迭代优化损失函数,调整所述深度学习目标检测模型的网络参数,直至模型在验证集上的检测精度达到预设阈值,得到所述训练好的青虾目标检测模型。
54、作为本发明的进一步方案,本发明还包括一种基于目标检测的青虾行为分析系统,所述系统包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序,所述处理器在执行所述计算机程序时,实现如上述一种基于目标检测的青虾行为分析方法的步骤。
55、与现有技术相比,本发明的优点和积极效果在于:
56、借助经深度学习训练的青虾目标检测模型,可在视频帧中完成单只青虾个体的精准定位,依托连续视频帧的检测结果实现青虾个体的跨帧关联与轨迹追踪,形成青虾个体的连续运动轨迹,从运动轨迹中提取对应的运动学特征,将运动学特征与虾塘实时养殖环境参数进行结合,可直接完成单只青虾个体特定行为模式的判定,细化行为分析的对象维度,实现青虾行为分析从群体层面的模糊判断向个体层面的精准识别转变,保障青虾行为识别的针对性与准确性,实现青虾个体行为与养殖环境参数的直接对应,完整反映青虾个体行为与养殖环境之间的关联关系,强化行为分析对象的区分度与数据的可靠性。
57、对虾塘内全部青虾个体的行为模式开展统一统计分析,可量化形成青虾群体的行为强度指标与行为频率指标,将两类量化指标与虾塘养殖环境参数的历史变化趋势进行融合分析,可自动生成结构化的青虾行为分析报告,规范青虾行为分析的数据输出形式,形成从个体行为识别到群体行为量化再到分析报告输出的完整分析流程,统一青虾行为分析的量化标准与输出格式,消除行为分析结果零散、无统一规范的问题,直观体现青虾群体行为与养殖环境变化的对应关系,完善青虾养殖行为分析的整体流程,提升行为分析结果的规范性、系统性与完整性,让行为分析数据形成标准化的输出成果。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com