一种密集鳀鱼位姿检测方法及系统与流程

本发明涉及食品加工，更具体的，涉及一种密集鳀鱼位姿检测方法及系统。

背景技术：

1、现有鱼类图像检测与分割方法主要存在以下不足：第一，针对密集鱼群场景，传统实例分割方法难以有效处理个体间的重度遮挡问题，尤其当多个鳀鱼个体相互重叠式，分割掩码往往出现粘连或缺失；第二，现有方法缺乏针对鳀鱼特殊形态特征的适应性分割策略，掩码生成与补全过程未充分利用目标对象的先验形态信息；第三，对于鱼头部的精准定位，现有技术多依赖粗略的轮廓方向判断，缺乏对头部关键点的精细化检测，难以实现对圆头鳀鱼与尖头鳀鱼的准确区分与分类。

2、因此，现有技术存在缺陷，亟待改进。

技术实现思路

1、为了解决上述至少一个技术问题，本发明的目的是提供一种密集鳀鱼位姿检测方法及系统，能够以鳀鱼特殊形态特征对遮挡部位进行补全，进而精准实现鳀鱼位姿定位。

2、本发明第一方面提供了一种密集鳀鱼位姿检测方法，包括：

3、获取包含密集鳀鱼群的待检测图像，提取图像的多尺度特征并进行融合，得到融合特征图；

4、提取融合特征图中鳀鱼的形态特征，并以鳀鱼的形态特征，生成自适应的像素级分割掩码；

5、基于像素级分割掩码，对密集鳀鱼群进行分割，得到分割后的鳀鱼个体掩码；

6、基于分割后的鳀鱼个体掩码，提取鳀鱼的整体轮廓特征，通过椭圆拟合得到躯干轮廓,并基于预设的关键点检测算法定位头部核心关键点；

7、根据所述头部核心关键点的坐标，确定头部区域的边界框，以实现头部精准定位。

8、本方案中，对于被遮挡鳀鱼，还包括：

9、若头部未被遮挡，则通过头部特征实现分割定位，得到完整鳀鱼个体分割掩码；

10、若完全被遮挡，则以相邻鳀鱼的分布规律和形态特征，判定其存在性并初步定位，得到完整鳀鱼个体分割掩码。

11、本方案中，所述若头部未被遮挡，则通过头部特征实现分割定位，得到完整鳀鱼个体分割掩码的步骤，具体包括：

12、提取头部轮廓的形态特征；

13、将所述头部轮廓的形态特征和预设形态特征进行对比分析，确定形态特征相似值；

14、若所述形态特征相似值大于预设的相似阈值，则将所述预设形态特征对应的朝向方向向量设为所述头部轮廓的朝向方向向量；

15、以所述头部轮廓的朝向方向向量的相反方向为扩展方向，以预设的鳀鱼体长与体宽之比的体型比例约束，以以预设形态特征对应鳀鱼的躯干作为本鳀鱼的扩展，得到完整鳀鱼个体分割掩码。

16、本方案中，所述若完全被遮挡，则以相邻鳀鱼的分布规律和形态特征，判定其存在性并初步定位，得到完整鳀鱼个体分割掩码的步骤，具体包括：

17、提取同一帧图像中所有可见的鳀鱼个体，并统计其体长的平均值和体宽的平均值，以及个体之间的平均间距；

18、根据鳀鱼体长的平均值和体宽的平均值，确定鳀鱼体型比例；

19、提取被遮挡区域，并在所述被遮挡区域搜索符合鳀鱼体型比例和个体间距的潜在目标区域；

20、提取潜在目标区域的特征，并以所述潜在目标区域的特征构建置信度；

21、若所述置信度大于预设的置信度阈值，则以该潜在目标区域的几何中心作为初步定位位置，以鳀鱼体长的平均值和体宽的平均值对应的鳀鱼流线型曲线构建对应完整鳀鱼个体分割掩码。

22、本方案中，所述通过椭圆拟合得到躯干轮廓的步骤，具体包括：

23、对分割后的鳀鱼个体掩码进行轮廓跟踪，得到有序轮廓点集；

24、基于预设的最小二乘法对所述有序轮廓点集中点进行椭圆拟合，求解椭圆参数，所述椭圆参数至少包括长轴长度、短轴长度、长轴方向角和中心点坐标；所述长轴方向角表征鳀鱼躯干的中轴线方向；

25、若长轴长度与短轴长度的比值在预设范围，则对应椭圆拟合为正常，并将拟合的椭圆设为鳀鱼躯干轮廓；

26、若长轴长度与短轴长度的比值不在预设范围，则对鳀鱼个体掩码进行修正。

27、本方案中，所述对鳀鱼个体掩码进行修正的步骤，具体包括：

28、若长轴长度与短轴长度的比值大于预设范围，则判定当前掩码偏瘦长，其修正的步骤为：沿椭圆短轴方向对掩码轮廓点施加向外扩张偏移，扩张幅度；同时对长轴两端端点区域的轮廓点施加向内收缩偏移，偏移幅度为，其中l表示长轴长度，w表示短轴长度，k为预设的长短轴比例，a为浮动系数；

29、若长轴长度与短轴长度的比值小于预设范围，则判定当前掩码偏短胖，其修正的步骤为：沿椭圆长轴方向对掩码轮廓点施加向外拉伸偏移，拉伸幅度；同时对短轴两端端点区域的轮廓点施加向内压缩偏移，压缩幅度为。

30、本方案中，所述基于预设的关键点检测算法定位头部核心关键点的步骤，具体包括：

31、基于椭圆拟合得到的躯干轮廓，将椭圆长轴的一个端点所在区域确定为头部候选区域；

32、在所述头部候选区域内，分别预测吻部端点、眼部关键点和头部顶点的坐标位置；

33、以眼部关键点e为参考原点，构建头部局部坐标系，并计算吻部端点的坐标位置相对于e的实际偏移向量，并计算所述实际偏移向量偏离标准位置置信椭圆的马氏距离；

34、判断所述马氏距离是否小于等于预设的置信阈值，若是，则当前鳀鱼头部核心关键点位置正常；若否，则对吻部端点位置进行校正。

35、本方案中，所述对吻部端点位置进行校正的步骤，具体包括：

36、将眼部关键点e与吻部端点的连线方向设为吻部指向方向；

37、以e为起点，沿所述方向以标准偏移距离投影得到校正候选点；

38、将校正候选点和吻部端点进行加权融合，得到最终吻部端点。

39、本发明第二方面提供了一种密集鳀鱼位姿检测系统,包括存储器和处理器，所述存储器中存储有一种密集鳀鱼位姿检测方法程序，所述处理器执行时实现如上述任意一项所述的一种密集鳀鱼位姿检测方法。

40、本申请提出的一个或多个技术方案，至少具有以下技术效果：

41、1.通过多尺度特征融合，构建包含清晰鳀鱼形态特征的融合特征图，便于鳀鱼的形态特征提取，提高了像素级分割掩码的精准性；

42、2.针对被遮挡鳀鱼，以鳀鱼的形态特征为基础，鳀鱼体长与体宽的体型比例为约束，对被遮挡部分进行补全，提高了被遮挡鳀鱼位姿的精准性；

43、综上所述，本发明通过以鳀鱼特有的形态特征为基础，对密集鳀鱼中被遮挡鳀鱼的位姿进行补全，提高了鳀鱼位姿检测的精准性。

1.一种密集鳀鱼位姿检测方法，其特征在于，包括：

2.根据权利要求1所述的一种密集鳀鱼位姿检测方法，其特征在于，对于被遮挡鳀鱼，还包括：

3.根据权利要求2所述的一种密集鳀鱼位姿检测方法，其特征在于，所述若头部未被遮挡，则通过头部特征实现分割定位，得到完整鳀鱼个体分割掩码的步骤，具体包括：

4.根据权利要求2所述的一种密集鳀鱼位姿检测方法，其特征在于，所述若完全被遮挡，则以相邻鳀鱼的分布规律和形态特征，判定其存在性并初步定位，得到完整鳀鱼个体分割掩码的步骤，具体包括：

5.根据权利要求1所述的一种密集鳀鱼位姿检测方法，其特征在于，所述通过椭圆拟合得到躯干轮廓的步骤，具体包括：

6.根据权利要求5所述的一种密集鳀鱼位姿检测方法，其特征在于，所述对鳀鱼个体掩码进行修正的步骤，具体包括：

7.根据权利要求1所述的一种密集鳀鱼位姿检测方法，其特征在于，所述基于预设的关键点检测算法定位头部核心关键点的步骤，具体包括：

8.根据权利要求7所述的一种密集鳀鱼位姿检测方法，其特征在于，所述对吻部端点位置进行校正的步骤，具体包括：

9.一种密集鳀鱼位姿检测系统,其特征在于，包括存储器和处理器，所述存储器中存储有一种密集鳀鱼位姿检测方法程序，所述处理器执行时实现如权利要求1至8中任意一项所述的一种密集鳀鱼位姿检测方法。