面向软硬混杂堆叠快递件的实例分割方法、程序产品、存储介质及处理设备

本发明涉及图像处理，尤其涉及面向软硬混杂堆叠快递件的实例分割方法、程序产品、存储介质及处理设备。

背景技术：

1、在物流拆垛、快递分拣、机器人快件抓取等工况中，通常面对规则硬纸箱快递件和不规则软包快递件相互遮挡、接触边界不清、局部深度断裂的混合堆叠场景，需要对堆叠场景图像进行实例分割，以支持后续快件姿态估计、分拣等任务。硬纸箱快递件具有相对稳定的平面、棱线和角点，软包快递件则常表现为表面褶皱、局部塌陷、形变明显和边界不规则。当两类快递件混合堆叠时，软包快递件可能贴附、压靠或遮挡纸箱快递件边缘，纸箱快递件也可能对软包快递件形成挤压，使得二维图像中的相邻目标边界呈现粘连状态。

2、为提升分割精度，现有实例分割方法结合彩色图像和深度图像进行实例分割。但是，其仅在输入层或特征层对彩色图像与深度图像进行简单拼接或固定权重融合，网络难以根据局部场景（例如在纹理清晰但深度噪声较大的软包快递件区域，外观信息更有辨识度；在纸箱快递件棱边、遮挡交界和高度突变区域，深度图像获得的几何信息往往更稳定）自动判断不同模态（外观和深度两个模态）的可靠性，深度几何信息并未得到充分利用。导致获得的实例分割掩膜中软包快递件与硬纸箱快递件的接触区域存在粘连误分割、漏分割或者过度分割。且其直接将实例分割模型获得的实例分割掩膜作为后续位姿估计、抓取位姿生成或碰撞检测的输入，会导致目标局部点云混入相邻物体点、抓取区域估计不稳定、上层目标选择错误等问题。

3、在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

4、现有实例分割方法在软硬快递件混杂、遮挡堆叠和边界粘连场景下分割精度不足。

技术实现思路

1、本发明的目的在于提供面向软硬混杂堆叠快递件的实例分割方法、程序产品、存储介质及处理设备，以解决现有技术中存在的现有实例分割方法在软硬快递件混杂、遮挡堆叠和边界粘连场景下分割精度不足的技术问题。本发明提供的诸多技术方案中的优选技术方案所能产生的诸多技术效果详见下文阐述。

2、为实现上述目的，本发明提供了以下技术方案：

3、本发明提供的面向软硬混杂堆叠快递件的实例分割方法，所述方法包括：输入快递件软硬混杂堆叠场景的彩色图像、深度图像和相机内参至分割模型，获得实例的预测类型和精细实例掩膜；所述分割模型包括：特征编码模块，其包括：外观编码分支，处理所述彩色图像获得多个尺度的外观特征；几何编码分支，处理所述深度图像获得多个尺度的几何特征；边界状态分支，基于所述彩色图像、所述深度图像、多个尺度的所述外观特征和所述几何特征获得多个尺度的边界状态特征；自适应融合模块，融合多个尺度的所述外观特征、所述几何特征和所述边界状态特征获得多尺度融合特征；实例分割网络，基于所述多尺度融合特征获得多个候选粗实例掩膜；局部点云构建模块，基于所述候选粗实例掩膜、所述深度图像和所述相机内参构建候选实例局部点云；实例特征获取模块，基于所述多尺度融合特征、多个尺度的所述边界状态特征、实例的所述候选粗实例掩膜和所述候选实例局部点云，获得实例的实例基础特征；类型预测头，基于实例的所述实例基础特征获得预测类型；掩膜精修分支，基于实例的所述预测类型和所述实例基础特征获得实例的精细实例掩膜。

4、优选的，所述边界状态分支包括：第一提取单元，利用边界提取算法从所述彩色图像提取彩色边缘响应；第二提取单元，利用深度梯度算法从所述深度图像提取几何边界响应；第一融合单元，融合每个尺度的所述外观特征和所述几何特征，获得该尺度的第一融合特征；多个初步边界分支，分别与多个尺度一一对应，每个初步边界分支包括第一卷积和第二卷积，每个初步边界分支基于其对应尺度的所述第一融合特征获得该尺度的中间边界响应；第二融合单元，融合所述彩色边缘响应、所述几何边界响应和每个尺度的中间边界响应，获得该尺度的第二融合特征；多个卷积组，分别与多个尺度一一对应，每个卷积组处理其对应尺度的所述第二融合特征获得该尺度的边界状态特征。

5、优选的，所述自适应融合模块包括：第三融合单元，融合每个尺度的所述外观特征、所述几何特征和所述边界状态特征获得尺度联合特征；多个局部卷积，分别与多个尺度一一对应，每个局部卷积基于其对应尺度的所述尺度联合特征获得边界邻域响应；多个通道映射单元，分别与多个尺度一一对应，每个通道映射单元将其对应尺度的所述边界邻域响应映射为外观模态响应和几何模态响应；归一化单元，对每个尺度的所述外观模态响应和所述几何模态响应进行归一化处理，获得外观权重和几何权重；融合单元，利用每个尺度的所述外观权重和所述几何权重加权处理该尺度的所述外观特征和所述几何特征，获得加权特征，利用特征投影层将所述加权特征投影为该尺度的单尺度融合特征；整合多个尺度的所述单尺度融合特征获得多尺度融合特征。

6、优选的，所述局部点云构建模块包括：掩膜边界扩展单元，对每个实例的所述候选粗实例掩膜进行扩展，获得候选像素集合；深度反投影单元，基于所述深度图像和所述相机内参对每个实例的候选像素集合执行反投影，得到每个实例的初始局部点云；点云筛选单元，对每个实例的初始局部点云进行点筛选，筛选出该实例的候选实例局部点云。

7、优选的，所述实例特征获取模块包括：点云编码分支，从每个实例的所述候选实例局部点云提取点云几何特征；感兴趣区域特征聚合单元，基于每个实例的候选粗实例掩膜在所述多尺度融合特征上执行感兴趣区域特征对齐操作，获得每个实例的候选区域融合特征；实例边界获取单元，基于每个实例的候选粗实例掩膜和多个尺度的所述边界状态特征获得该实例的实例边界特征；第四融合单元，融合每个实例的所述点云几何特征、所述候选区域融合特征和所述实例边界特征，获得该实例的实例基础特征。

8、优选的，所述实例边界获取单元包括：掩膜边界获取单元，对每个实例的候选粗实例掩膜进行掩膜边界提取处理，获得每个实例的二维掩膜边界响应；候选区域边界获取单元，基于每个实例的候选粗实例掩膜在多个尺度的所述边界状态特征上执行感兴趣区域特征对齐操作，获得该实例的候选区域边界响应；第四卷积，将每个实例的所述二维掩膜边界响应和所述候选区域边界响应映射为该实例的所述实例边界特征。

9、优选的，在所述分割模型训练过程中损失函数包括：实例分割损失项，基于样本的实例掩膜标签和所述分割模型输出的所述样本的精细实例掩膜计算获得，所述快递件软硬混杂堆叠场景的彩色图像、深度图像和相机内参；类别分类损失项，基于样本的快递件类别标签和所述分割模型输出的所述样本的预测类型概率分布计算获得；边界约束损失项，基于样本的边界监督标签和由所述分割模型输出的所述样本的精细实例掩膜提取的实例预测边界响应计算获得，所述样本的边界监督标签从所述样本的所述实例掩膜标签获取。

10、本发明提供的一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本发明所述的面向软硬混杂堆叠快递件的实例分割方法的步骤。

11、本发明提供的一种计算机可读的存储介质，所述存储介质上存储有计算机程序，所述计算机程序被执行时实现本发明所述的面向软硬混杂堆叠快递件的实例分割方法。

12、本发明提供的一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个计算机程序，一个或多个所述处理器用于执行所述存储器存储的一个或多个计算机程序，以使一个或多个所述处理器执行如本发明所述的面向软硬混杂堆叠快递件的实例分割方法。

13、实施本发明上述技术方案中的一个技术方案，具有如下优点或有益效果：

14、本发明设置边界状态分支获取多个尺度的边界状态特征，在自适应融合模块中利用每个尺度的边界状态特征引导该尺度的外观特征和几何特征自适应融合，能够根据软包快递件褶皱、纸箱快递件棱线、遮挡交界和深度断裂等局部状态动态调整外观特征和几何特征两个模态的贡献，克服了现有技术中简单拼接或固定加权融合在复杂堆叠场景下适应性不足的问题，从而提高实例分割精度；

15、本发明以实例分割网络获得的候选粗实例掩膜作为空间范围约束构建候选实例局部点云，将候选实例局部点云的特征、从多尺度融合特征中提取的候选区域融合特征以及从边界状态特征中提取的候选区域边界响应进行整合，能够降低软包快递件与硬纸箱快递件的接触区域的粘连误分割，减少相邻快递件点云混入，从而获得每个实例的准确的实例基础特征，再利用类型预测头基于实例基础特征获得预测类型，将该预测类型作为辅助属性，和实例基础特征一起输入掩膜精修分支得到精细实例掩膜，使掩膜精修分支处理过程能够结合不同类型的快递件特点进行差异化处理，实现对候选粗实例掩膜的修正；此外，本发明在几何编码分支、边界状态分支和局部点云构建模块中充分利用了深度图像信息；因此，能够提高混杂材质场景中的精细实例掩膜的实例边界表达能力，为后续位姿估计、快递件抓取等应用提供更稳定和更准确的目标区域。