一种基于深度学习的实时错分检测方法、系统、设备及存储介质与流程

本发明涉及物流包裹分拣，尤其涉及一种基于深度学习的实时错分检测方法、系统、设备及存储介质。

背景技术：

1、随着快递与物流行业业务量的井喷式增长，包裹分拣的准确性和效率成为行业发展的关键因素。尽管自动化分拣设备在很大程度上提高了分拣效率，但由于物流环境的复杂性和货物种类的多样性，错分情况仍难以完全避免。包裹错分所带来的后果不仅仅是罚款，还包括快件丢失、延误等问题，严重影响客户稳定性和服务体验。因此，降低错分，提升分拣准确性显得尤为重要。

2、目前，自动分拣系统主要方法为：使用视觉的错分检测系统，错分检测系统包含目标检测算法和目标跟踪算法，目标检测算法使用主流的非轻量化检测模型，在智能机部署耗时高，实时性有所降低，会降低皮带传输速度，降低分拣效率。

技术实现思路

1、发明目的：本发明的目的是提供一种基于深度学习的实时错分检测方法、系统、设备及存储介质，本发明有效降低处理耗时且提升了错分检测精度。

2、技术方案：为实现以上目的，本发明所述的一种基于深度学习的实时错分检测方法，包括如下步骤：

3、（1）采用工业相机获取皮带上的待检测包裹的视频流，切片后得到待检测的原始图像序列；

4、（2）构建轻量化目标检测模型，再通过标注软件标注包裹检测框，制作包裹训练数据集，使用包裹训练数据集训练轻量化目标检测模型，得到训练后的轻量化目标检测模型；

5、轻量化目标检测模型包括主干网络模块、特征融合模块和预测头，主干网络模块用于对输入的原始图像依次执行初始卷积与池化下采样操作，生成初始特征图；所述初始特征图经过逐级下采样与特征提取后输出分辨率逐级降低、通道数逐级递增的多尺度特征图；特征融合模块用于对主干网络模块输出的多尺度特征图分别进行通道数统一变换后，通过自顶向下与自底向上的双向跨层级特征融合路径，将深层语义特征与浅层空间特征逐级聚合，输出多种不同尺度的融合特征图；预测头用于根据不同尺度的融合特征图预测检测框位置信息以及目标类别概率，最后使用非极大值抑制算法筛选得到最优检测框，并输出最优检测框的位置信息以及对应的目标类别概率，检测框的位置信息包括检测框左上角点坐标、检测框宽度和检测框高度；

6、（3）将待检测的原始图像序列输入训练后的轻量化目标检测模型，输出检测框集合；再通过引入目标跟踪算法，利用帧间运动关联对检测框集合进行时序一致性校正，获得包裹轨迹。

7、可选的，所述主干网络模块包括依次连接的卷积块、池化层以及三个级联的es模块，其中原始图像输入主干网络模块，进行初始卷积和池化处理，得到初始特征图；将初始特征图依次通过三个级联的es模块进行逐级下采样和特征提取，分别输出第一特征层、第二特征层和第三特征层；其中es模块包括深度可分离卷积层和se注意力机制模块。

8、可选的，所述特征融合模块包括与三个级联的es模块对应设置的卷积层和csp模块，其中第一特征层、第二特征层和第三特征层分别输入卷积层，调整卷积层输出特征图的通道数至预设维度，再通过csp模块进行特征融合，得到4种不同尺度的融合特征图；

9、其中第三特征层经过卷积层进行逐点卷积处理，调整其通道数至预设维度，输出第一中间特征图；第二特征层经过卷积层进行逐点卷积处理，调整其通道数至预设维度，输出第二中间特征图；第二中间特征图与经过上采样的第一中间特征图进行拼接后输入csp模块进行特征融合，得到第一融合特征图；第一特征层经过卷积层进行逐点卷积处理，调整其通道数至预设维度，输出第三中间特征图；第三中间特征图与经过上采样的第一融合特征图进行拼接后输入csp模块进行特征融合，得到第二融合特征图；经过下采样的第二融合特征图与第一融合特征图进行拼接后输入csp模块进行特征融合，得到第三融合特征图；经过下采样的第三融合特征图与第一中间特征图进行拼接后输入csp模块进行特征融合，得到第四融合特征图；经过下采样的第四融合特征图与经过下采样的第一中间特征图相加得到第五融合特征图；

10、第二融合特征图输入第一预测头，第三融合特征图输入第二预测头，第四融合特征图输入第三预测头，第五融合特征图输入第四预测头。

11、可选的，所述步骤（2）中使用非极大值抑制算法筛选得到最优检测框，具体为，将检测头输出的各检测框按目标置信度得分降序排列，依次选取置信度最高者作为保留检测框，计算其余检测框与保留检测框的交并比值，剔除交并比值大于预设阈值的冗余检测框，迭代执行直至所有检测框均被处理，输出各目标包裹对应的最优检测框的位置信息以及目标类别概率。

12、可选的，所述步骤（3）中目标跟踪算法包括卡尔曼滤波器和匈牙利算法，目标跟踪算法的具体步骤为：

13、（3.1）维护一个轨迹池，初始帧的轨迹池为空，轨迹池中存储有当前帧之前已建立的各跟踪器；每个跟踪器封装有对应的包裹跟踪轨迹及卡尔曼滤波器状态，所述卡尔曼滤波器状态包括状态向量及其对应的协方差矩阵；所述状态向量包含目标检测框的位置参数及位置变化率参数；所述协方差矩阵用于表征各状态参数的不确定性及其相互之间的相关性；从轨迹池中获取前一帧输出并存储的各包裹跟踪轨迹及卡尔曼滤波器状态，作为当前帧的输入；对于当前帧的各包裹跟踪轨迹，利用卡尔曼滤波器根据前一帧的状态向量和协方差矩阵，结合状态转移矩阵与过程激励噪声协方差矩阵，计算当前帧的预测状态向量和预测协方差矩阵，得到当前帧中各包裹的跟踪框集合，即预测框集合；

14、（3.2）将当前帧图像输入轻量化目标检测模型，输出当前帧中所有包裹的检测结果，形成检测框集合；

15、（3.3）对于步骤（3.1）得到的跟踪框集合和步骤（3.2）得到的检测框集合，分别将各跟踪框和各检测框以各自中心点为中心，沿x方向和y方向按相同比例向外扩展一段距离，以增大各框的面积，增加检测框与跟踪框之间存在交集的概率；

16、（3.4）计算经步骤（3.3）扩展后的各检测框与各跟踪框之间的广义交并比giou，以广义交并比giou作为相似度指标，构建代价矩阵；

17、（3.5）将步骤（3.4）构建的代价矩阵输入匈牙利算法，求解检测框与跟踪框之间的最小代价匹配，确定各检测框与各跟踪框之间的对应关系；

18、（3.6）根据匈牙利算法的匹配结果，将所有包裹分为以下三类：

19、未匹配跟踪框：跟踪框未能匹配到任何检测框；

20、未匹配检测框：检测框未能匹配到任何跟踪框；

21、匹配成功：检测框与跟踪框成功配对；

22、（3.7）对于匹配成功的包裹，将当前帧中匹配到的检测框作为观测值输入卡尔曼滤波器，执行更新阶段，即利用当前帧观测值对步骤（3.1）得到的预测状态向量和预测协方差矩阵进行校正，得到当前帧的输出跟踪框；同时，该包裹跟踪器的跟踪帧数加1，跳过帧数重置为0，该包裹的id保持不变；

23、（3.8）对于未匹配检测框，判定其为当前帧中新进入场景的包裹，并执行以下操作：以该检测框为初始观测值，新建跟踪器并为其分配唯一身份标识号，id总数加1；同时，以该检测框初始化对应的卡尔曼滤波器，并将该检测框作为当前帧的输出跟踪框，以及作为该跟踪器起始跟踪轨迹的第一帧位置；将新建的跟踪器加入轨迹池；

24、（3.9）对于未匹配跟踪框，将该包裹跟踪器的跳过帧数加1，并判断当前跳过帧数是否已达到预设的跳过帧数阈值，若未达到阈值，则暂时保留该跟踪器，将该跟踪器的卡尔曼滤波预测结果，即步骤（3.1）输出的跟踪框，作为当前帧的输出跟踪框，该包裹跟踪器的id保持不变；若已达到阈值，则判定该包裹已离开场景或永久丢失，删除该跟踪器及其轨迹；

25、（3.10）将步骤（3.7）～（3.9）处理得到的当前帧跟踪框输出，并作为下一帧的输入，重复执行步骤（3.1）至步骤（3.10），实现对原始图像序列中所有包裹目标的追踪。

26、本发明所述的一种基于深度学习的实时错分检测系统，包括：

27、待检测图像获取模块，用于采用工业相机获取皮带上的待检测包裹的视频流，切片后得到待检测的原始图像序列；

28、检测模型构建模块，用于构建轻量化目标检测模型，再通过标注软件标注包裹检测框，制作包裹训练数据集，使用包裹训练数据集训练轻量化目标检测模型，得到训练后的轻量化目标检测模型；

29、轻量化目标检测模型包括主干网络模块、特征融合模块和预测头，主干网络模块用于对输入的原始图像依次执行初始卷积与池化下采样操作，生成初始特征图；所述初始特征图经过逐级下采样与特征提取后输出分辨率逐级降低、通道数逐级递增的多尺度特征图；特征融合模块用于对主干网络模块输出的多尺度特征图分别进行通道数统一变换后，通过自顶向下与自底向上的双向跨层级特征融合路径，将深层语义特征与浅层空间特征逐级聚合，输出多种不同尺度的融合特征图；预测头用于根据不同尺度的融合特征图预测检测框位置信息以及目标类别概率，最后使用非极大值抑制算法筛选得到最优检测框，并输出最优检测框的位置信息以及对应的目标类别概率，检测框的位置信息包括检测框左上角点坐标、检测框宽度和检测框高度；

30、包裹轨迹跟踪模块，用于将待检测的原始图像序列输入训练后的轻量化目标检测模型，输出检测框集合；再通过引入目标跟踪算法，利用帧间运动关联对检测框集合进行时序一致性校正，获得包裹轨迹。

31、可选的，所述主干网络模块包括依次连接的卷积块、池化层以及三个级联的es模块，其中原始图像输入主干网络模块，进行初始卷积和池化处理，得到初始特征图；将初始特征图依次通过三个级联的es模块进行逐级下采样和特征提取，分别输出第一特征层、第二特征层和第三特征层；其中es模块包括深度可分离卷积层和se注意力机制模块。

32、可选的，所述特征融合模块包括与三个级联的es模块对应设置的卷积层和csp模块，其中第一特征层、第二特征层和第三特征层分别输入卷积层，调整卷积层输出特征图的通道数至预设维度，再通过csp模块进行特征融合，得到4种不同尺度的融合特征图；

33、其中第三特征层经过卷积层进行逐点卷积处理，调整其通道数至预设维度，输出第一中间特征图；第二特征层经过卷积层进行逐点卷积处理，调整其通道数至预设维度，输出第二中间特征图；第二中间特征图与经过上采样的第一中间特征图进行拼接后输入csp模块进行特征融合，得到第一融合特征图；第一特征层经过卷积层进行逐点卷积处理，调整其通道数至预设维度，输出第三中间特征图；第三中间特征图与经过上采样的第一融合特征图进行拼接后输入csp模块进行特征融合，得到第二融合特征图；经过下采样的第二融合特征图与第一融合特征图进行拼接后输入csp模块进行特征融合，得到第三融合特征图；经过下采样的第三融合特征图与第一中间特征图进行拼接后输入csp模块进行特征融合，得到第四融合特征图；经过下采样的第四融合特征图与经过下采样的第一中间特征图相加得到第五融合特征图；

34、第二融合特征图输入第一预测头，第三融合特征图输入第二预测头，第四融合特征图输入第三预测头，第五融合特征图输入第四预测头。

35、本发明所述的一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序，以实现如上所述的一种基于深度学习的实时错分检测方法。

36、本发明所述的一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行，以实现如上所述的一种基于深度学习的实时错分检测方法。

37、有益效果：与现有技术相比，本发明具有以下显著优点：本发明的轻量化目标检测模型通过采用包含深度可分离卷积的轻量级主干网络与双向跨层级特征融合，在保证多尺度目标检测精度的同时，大幅降低了模型计算量与参数量，实现了在h700彩色相机等边缘计算设备上以20帧/秒的速率实时运行的技术效果，显著提升了目标检测的实时性和部署可行性，适用于对时效性和算力受限有严格要求的工业场景；本发明通过优化目标跟踪算法的相似度指标以及匹配机制，降低包裹切换id频率，有效提升错分检测精度。