基于DeepSORT的多目标杂质连续跟踪与剔除轨迹预测方法及系统与流程
本发明涉及工业视觉物料分选,具体公开了一种基于deepsort的多目标杂质连续跟踪与剔除轨迹预测方法及系统。
背景技术:
1、随着机器视觉与自动化控制技术的快速发展,基于视觉识别的传送带式物料杂质自动分选系统已广泛应用于工业生产中。现有分选系统普遍采用“图像采集-目标检测-多目标跟踪-剔除执行”的标准化技术架构,其中多目标跟踪环节多以deepsort算法为基础框架,依靠卡尔曼滤波的匀速运动模型预测目标位置,结合外观特征与马氏距离完成轨迹与检测目标的数据关联,最终基于传送带标称速度计算杂质到达剔除机构的时间并触发剔除动作。
2、在实际工业应用中,现有技术存在以下几方面明显缺陷:
3、第一,运动模型脱离传送带物理运动规律。deepsort内置的匀速卡尔曼滤波模型将目标视为图像平面内的自由运动质点,未考虑传送带对物料的强制平动约束,也无法表征 “传送带整体平动+杂质个体滑动扰动”的复合运动特性,轨迹预测结果持续存在系统性偏差,跟踪精度难以满足高精度分选需求。
4、第二,数据关联鲁棒性不足。传统 deepsort 使用单帧或短时外观特征进行匹配,未设置特征有效性筛选机制,杂质翻转、旋转、遮挡或相似杂质密集出现时,易发生误关联,出现轨迹id切换、轨迹断裂、重复计数等问题,影响连续跟踪的稳定性。
5、第三,剔除时机计算误差大。不同杂质因自身材质、重量、外形轮廓、表面摩擦系数存在差异,相对传送带会产生不同程度的滑动,实际运动速度与传送带标称速度并不一致。现有方案统一采用传送带标称速度计算剔除到达时间,忽略杂质个体滑动差异,导致剔除机构动作提前或滞后,漏剔、误剔、吹空等故障频发,杂质剔除合格率偏低。
6、第四,缺乏闭环自校正机制。现有方案中运动预测、参数估计、剔除计算为单向串行流程,跟踪过程中辨识得到的运动参数无法反向修正运动预测模型,系统性能存在固定上限,无法随运行过程迭代优化,也难以自适应传送带速度波动、物料种类切换等动态工况。
7、因此,亟需一种贴合传送带物理运动规律、可在线辨识个体滑动参数、具备闭环自校正能力的多目标跟踪与剔除轨迹预测方案,以解决现有技术的上述不足。。
技术实现思路
1、为了弥补现有技术中的不足,本发明提供以解决现有deepsort跟踪框架运动模型脱离传送带物理规律、个体滑动差异导致剔除时机不准、缺乏闭环参数自校正机制、跟踪稳定性不足的技术问题,实现高精度、高稳定性的传送带物料杂质连续跟踪与精准剔除。
2、为了实现上述发明目的,本发明采取如下技术方案:
3、第一方面,本发明提供了一种基于deepsort的多目标杂质连续跟踪与剔除轨迹预测方法,其特征在于,包括:
4、获取传送带帧间位移增量,以及物料中杂质的检测位置信息;
5、将所述帧间位移增量与个体滑动因子输入传送带约束运动模型,预测杂质的目标位置;
6、对预测得到的杂质目标位置与所述检测位置信息对应的杂质进行匹配,基于匹配结果同步更新杂质的位置与个体滑动因子;
7、将更新后的个体滑动因子回传至传送带约束运动模型,用于下一周期的位置预测;
8、根据更新后的杂质位置与个体滑动因子计算杂质到达剔除位置的时间,触发剔除动作。
9、可选地,所述获取传送带帧间位移增量包括:
10、基于同步触发信号,获取与图像时间戳对应的传送带累计位移;
11、对相邻帧的所述传送带累计位移求差值,得到所述帧间位移增量。
12、可选地,在预测杂质目标位置之前,还包括:
13、预先离线标定传送带运动方向单位向量,并将所述传送带运动方向单位向量输入所述传送带约束运动模型。
14、可选地,所述将所述帧间位移增量与个体滑动因子输入传送带约束运动模型,预测杂质的目标位置包括:
15、构建包含杂质横纵坐标与所述个体滑动因子的三维联合状态向量;
16、将所述帧间位移增量、所述传送带运动方向单位向量以及历史个体滑动因子输入所述传送带约束运动模型,求解杂质的目标位置预测坐标;
17、基于对称sigma点集对所述三维联合状态向量进行无迹变换,求解轨迹预测位置及预测协方差。
18、可选地,所述基于匹配结果同步更新杂质的位置与个体滑动因子包括:
19、构建观测杂质位置坐标的线性观测方程;
20、将匹配成功的检测位置信息作为观测值,通过无迹卡尔曼滤波进行状态更新,输出更新后的三维联合状态向量;其中,所述三维联合状态向量包括杂质位置与所述个体滑动因子。
21、可选地,所述对预测得到的杂质目标位置与所述检测位置信息对应的杂质进行匹配包括:
22、调用检测得到的、与杂质检测位置对应的空间纹理联合特征;
23、基于所述空间纹理联合特征计算外观相似度;
24、融合所述外观相似度、运动统计距离、运动方向一致性以及轨迹生存期置信度,构建联合代价矩阵;
25、基于所述联合代价矩阵,将已有的杂质跟踪轨迹与所述检测位置信息进行匹配。
26、可选地,所述基于所述空间纹理联合特征计算外观相似度包括:
27、为各所述杂质跟踪轨迹维护特征缓存队列;
28、将满足动力学一致性检验的所述空间纹理联合特征存入所述特征缓存队列;
29、通过时序注意力权重聚合所述特征缓存队列中的特征,生成轨迹动态外观向量;
30、计算由所述空间纹理联合特征映射得到的查询向量与所述轨迹动态外观向量之间的余弦相似度,作为所述外观相似度。
31、可选地,所述融合所述外观相似度、运动统计距离、运动方向一致性以及轨迹生存期置信度,构建联合代价矩阵包括:
32、分别计算所述外观相似度、运动统计距离、运动方向一致性以及轨迹生存期置信度对应的代价值,对各代价值加权求和得到单组匹配总代价,由所有轨迹与所有检测目标的匹配总代价填充形成所述联合代价矩阵;
33、其中,所述轨迹生存期置信度根据轨迹连续匹配次数计算,其对应的代价值根据所述轨迹生存期置信度生成对数形式的惩罚项得到。
34、可选地,所述根据更新后的杂质位置与个体滑动因子计算杂质到达剔除位置的时间,触发剔除动作包括:
35、建立图像坐标与传送带物理坐标的映射关系;
36、根据传送带实时速度与所述个体滑动因子计算杂质实际运动速度;
37、根据杂质位置到剔除位置的物理距离与所述实际运动速度,计算到达时间;
38、结合剔除机构的动作延迟确定剔除触发时刻,并基于个体滑动因子的估计方差自适应调整剔除脉冲窗口,输出剔除信号。
39、第二方面,本发明提供了一种基于deepsort的多目标杂质连续跟踪与剔除轨迹预测系统,包括:
40、信息获取模块,用于获取传送带帧间位移增量,以及物料中杂质的检测位置信息;
41、位置预测模块,用于将所述帧间位移增量与个体滑动因子输入传送带约束运动模型,预测杂质的目标位置;
42、匹配更新模块,对预测得到的杂质目标位置与所述检测位置信息对应的杂质进行匹配,基于匹配结果同步更新杂质的位置与个体滑动因子;
43、回传模块,用于将更新后的个体滑动因子回传至传送带约束运动模型,用于下一周期的位置预测;
44、动作执行模块,用于根据更新后的杂质位置与个体滑动因子计算杂质到达剔除位置的时间,触发剔除动作。
45、与最接近的现有技术相比,本发明具有的有益效果:
46、本发明提出基于deepsort的多目标杂质连续跟踪与剔除轨迹预测方法及系统,在deepsort框架基础上,将传统匀速运动模型替换为贴合物理规律的传送带约束运动模型,以传送带实际帧间位移增量作为运动驱动输入,通过个体滑动因子表征杂质相对传送带的滑动扰动,准确还原传送带场景下物料的复合运动特性,有效消除传统模型带来的系统性预测偏差,轨迹定位精度显著提升。
47、本发明构建包含外观相似度、运动统计距离、运动方向一致性与轨迹生存期置信度的四维联合代价矩阵,同时引入动力学一致性检验与时序注意力聚合的动态外观特征处理机制,仅将符合运动约束的有效特征纳入外观缓存,多重约束提升数据关联的准确性,有效减少杂质密集、遮挡翻转、光线变化场景下的轨迹id切换与断裂问题,保障长时间连续跟踪的可靠性。
48、本发明将个体滑动因子纳入三维联合状态向量,通过无迹卡尔曼滤波在线实时辨识每个杂质的专属滑动参数,结合个体滑动因子修正杂质实际运动速度,替代传统统一标称速度的计算方式,可将剔除位置误差控制在毫米级,有效降低漏剔、误剔、吹空等生产故障,提升杂质剔除合格率。
49、本发明将更新后的个体滑动因子回传至传送带约束运动模型,用于下一周期的位置预测,滑动参数随跟踪过程持续迭代优化,无需人工离线反复标定,可自适应传送带速度波动、物料种类切换等动态工况,系统鲁棒性更强;并基于个体滑动因子的估计方差自适应调整剔除脉冲窗口,滑动参数估计不确定度越高,脉冲窗口宽度越大,在保证剔除精度的同时最大化提升剔除命中概率,可适配不同材质、不同滑动特性的杂质分选需求。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com