一种海洋养殖区水下场景全景图生成方法与流程

技术特征：
1.一种海洋养殖区水下场景全景图生成方法，其特征在于：包括以下步骤：步骤1、规划水下机器人的行走路线，根据所述行走路线控制所述水下机器人运动方向；步骤2、通过设置在所述水下机器人上的多个高清相机采集所述水下机器人可视区域的多张图像；步骤3、利用局部特征提取器和全局特征提取器对采集的多张所述图像进行海产品目标特征提取获取局部特征图和全局特征图；步骤4、通过目标检测算法模型对所述局部特征图进行目标特征提取，获得鲁棒性强的局部掩码特征图，通过softmax函数对所述目标特征图进行掩码处理获得目标掩码特征图，将所述目标掩码特征图与所述全局特征图作矩阵掩码操作，获得图像中具有代表性的特征图；步骤5、将所述具有代表性的特征图送入dcp网络中进行局部指导操作，增加特征图通道信息较多的特征的权重，减少信息较少的不重要特征的权重；步骤6、将所述全局特征图与所述具有代表性的特征图相连，获得融合特征图；步骤7、将所述可视区域的多张图像进行目标重识别检测，若两张及两张以上的图像中出现同一物体，对检测到同一物体的图像进行曝光处理获得曝光处理图像；步骤8、判断所述曝光处理图像是否具有相同特征的物体，若否，返回步骤2，若是，执行步骤9；步骤9、利用拼接算法对检测到同一物体的图像进行图像拼接；步骤10、利用声学设备进行避障；步骤11、是否遇到障碍物，若是，返回步骤1，若否，执行步骤12；步骤12、保存拼接图像；步骤13、判断是否结束，若否，返回步骤1。2.根据权利要求1所述的海洋养殖区水下场景全景图生成方法，其特征在于：所述全局特征提取器的主干网络包括用于进行全局特征提取的两个标准的3
×
3卷积、用于防止训练网络过程中发生过拟合的relu函数和用于增加像素之间的相关性的非局部注意力机制网络；所述局部特征提取器包括用于关注水下图像中具有明显目标的区域的yolov4单阶段检测器网络和用于检测得到的局部区域特征图的mask网络。3.根据权利要求1所述的海洋养殖区水下场景全景图生成方法，其特征在于：所述步骤4包括以下步骤：步骤40、设置检测精度高和置信度高的候选框，所述候选框中包括水下图像的相关属性；步骤41、在选择多个top
‑
d检测精度高的候选区域后，使用索引i∈{1,2,...,d}来指示每一个被选的代表性特征，每个代表性特征覆盖的空间区域表示为a
i
，对于每一个候选区域a
i
，通过将1分配给区域内的像素，0分配给其余的像素，得到一个二进制特征矩阵，公式如下：
其中，m
i
∈{0，1}
c
×
k
，且所有a
i
在c
×
k范围内，以确保所有部分掩码区域都位于图像区域内，然后将部分掩码映射到全局特征，在获得全局特征f
g
和部分掩码{m
i
}
di＝1
之后，将部分掩码映射到全局特征上，得到一组基于部分掩码的特征图集合{f
i
}
di＝1
；步骤42、利用mask网络只保留最具代表性的特征，得到掩码特征后，再结合全局特征f
g
，对于每一个部分区域i，可以得到掩码特征图f
i
，即：f
i
＝m
i
⊙
f
g
，其中，
⊙
表示在全局特征f
g
的每一个通道上进行操作，f
i
是第i部分的部分掩码特征的映射，在f
i
中只有第i部分的部分掩码特征被激活，且有f
i
∈r
c
×
k
×
g
，将全局特征f
g
和每个掩码的特征图f
i
在通道维度进行连接，补充水下目标经过卷积之后的丢失的信息，得到多个鲁棒性强的特征。4.根据权利要求3所述的海洋养殖区水下场景全景图生成方法，其特征在于：所述步骤5包括以下步骤：步骤50、对每个掩码特征图f
i
上使用全局平均池化进行操作，获得每个掩码特征图f
i
的channel像素最大值，每个channel对应图像的不同特征；步骤51、对所述每个掩码特征图f
i
的channel像素最大值进行softmax操作，获得用来表示每个代表性特征的重要性的权重向量w，w用和为1进行归一化，使不同特征之间的相对重要性更加明显；步骤52、添加全局特征f
g
以增强代表性特征区域的重要性，从而得到最具代表性特征：其中，可以通过以下公式预测：其中，μ(
·
)表示学习的函数，σ
μ
是μ(
·
)的参数，mgap(
·
)表示全局平均池化。5.根据权利要求4所述的海洋养殖区水下场景全景图生成方法，其特征在于：所述规划水下机器人的行走路线采用避障算法或pid算法；通过actor
‑
critic算法，控制推进器的前进方向，规划机器人的运动轨迹，算法公式如下：(1)critic被定义为状态动作函数q其中，q是状态动作函数，π是奖罚策略，γ是衰减因子[0,1]，u
t
是时间t采取的动作状态动作函数，可以使用状态x
t
到x
t 1
的概率被学习，状态x
t
包括水下机器人当前的运动方向和当前的位置；(2)当目标策略被固定时，q可以被离线学习，更新q的公式如下：
更新q
w
直到q
w
≈q
π
，其中，q
w
机器人运动的具体位置坐标点；(3)actor被定义为状态价值函数：τ(μ
θ
)＝∫ρ
μ
r(x
t
,μ)dx＝ε[r(x
t
,μ
θ
(x
t
))]在神经网络中，通过最小化损失函数来优化τ(u
θ
)，则损失函数为：其中，l(w)是简单的均方误差函数，n代表采样的时间范围，y
i
是从目标深度神经网络q获得的目标状态动作值，其中，y
i
＝r(x
i
,u'
i
)
‑
γq'
w
(x
i
,u
i
),u'
i
＝μ(x
i
|θ')对损失函数求梯度为：如果actor被具有参数θ的神经网络来表示，则τ(μ
θ
)＝q
w
(x
i
,μ(x
i
|θ|)w)，对τ求梯度为：

技术总结
本发明公开了一种海洋养殖区水下场景全景图生成方法，包括规划水下机器人行走路径，利用水下机器人采集水下图像，对采集的多张所述图像进行海产品目标特征提取获取局部特征图和全局特征图；并通过目标检测算法模型对局部特征图进行目标特征提取，获得鲁棒性强的局部掩码特征图，对目标特征图进行掩码处理获得目标掩码特征图，将目标掩码特征图与全局特征图作矩阵掩码操作，获得图像中具有代表性的特征图以及对图片进行曝光和判断是否为同一图片等处理，进而利用拼接算法对检测到同一物体的图像进行图像拼接，可以获得水下拼接图像。该方法可以通过机器人在当前目标区域内完成水下图像拼接后，使得观测的效果更加清晰、准确和精准。确和精准。确和精准。


技术研发人员：付先平 姚冰 苏知青 袁国良 王辉兵
受保护的技术使用者：大连海事大学
技术研发日：2021.06.30
技术公布日：2021/10/23