使用移动设备进行对象跟踪和追踪的制作方法
本公开涉及对象跟踪和追踪,并且更尤其涉及用于在工业场景中利用具有传感器的移动设备(如智能手机、平板电脑等)借助一个或多个对象检测模型来跟踪和追踪多种类型对象的方法、系统和计算机程序产品。
背景技术:
1、对象跟踪和追踪系统在各种工业场景中发挥着重要作用,从仓库和制造设施到建筑工地和工具库。这些系统通过提供关于对象位置和状态的实时信息,帮助组织管理库存、监控资产利用并简化运营流程。
2、在批量生产环境(如包裹递送服务)中,跟踪和追踪解决方案已基本实现自动化。条形码或rfid标签通常贴附在每个物件上,从而可在整个物流链中实现无缝扫描和分拣。然而,在高混合、小批量的工业场景中,实施类似的完全自动化系统可能带来挑战。例如,可能无法在每一个待跟踪的对象上贴上条形码,和/或无法在流程中的许多不同位置放置扫描仪。此外,这些环境通常需要处理具有各种物理特征的多种多样的对象,其中许多对象可能缺乏标准化识别标记,这可能使自动识别变得复杂。
3、在高混合、小批量环境中进行跟踪和追踪的复杂性通常需要人工参与该过程。操作员经常需要手动识别、分拣和记录各种工具、部件或设备的位置。这种手动方式可能耗时、易出错且效率低下,尤其是在处理定制物品或缺乏清晰识别标记的物品时。随着工业运营的持续演进和多样化,人们越来越需要灵活且适应性强的跟踪解决方案,以便在利用现有技术和基础设施的同时,弥合完全自动化系统与人工流程之间的差距。
技术实现思路
1、本公开可以应对在工业环境中、特别是在高混合、小批量环境下高效跟踪和追踪多种对象的挑战,而无需依赖专用硬件。本公开的多个方面提供一种灵活的、基于移动设备的解决方案,可协助人工操作员在工业场景中识别、分拣和管理各种各样的对象。
2、根据本公开的一个方面,提供一种由移动设备执行、用于跟踪和追踪对象的方法。该方法包括:经由移动设备的相机接收工业环境中对象的图像。该方法还包括:利用所接收的图像查询一个或多个对象检测应用。基于来自一个或多个对象检测应用的结果,该方法包括:查询跟踪及追踪数据库以确定匹配。基于该确定,该方法包括:经由用户界面输出识别该对象的建议。该方法还包括:经由用户界面接收确认或修改识别该对象的建议的用户输入。然后,该方法包括:基于对对象的确认或修改后的识别来更新跟踪及追踪数据库。
3、根据本公开的另一方面,提供一种计算机程序产品。该计算机程序产品包括非暂态计算机可读介质,其中包含指令,当由处理器执行时,使处理器执行上文所描述的方法。
4、根据本公开的又一方面,提供一种用于跟踪和追踪对象的系统。该系统包括跟踪数据库和移动设备。该移动设备包括相机、用户界面、处理器和存储器。存储器存储可由处理器执行的指令,这些指令将移动设备配置为执行上文所描述的方法。
5、通过本公开的技术还可以实现额外的技术特征和益处。本公开的实施方式和多个方面在本文中进行了详细描述,并被视为所要求保护主题的一部分。为获得更好的理解,请参考详细说明和附图。
1.一种由移动设备执行的用于跟踪和追踪对象的方法,所述方法包括:
2.根据权利要求1所述的方法,还包括使用运行在所述移动设备上的定位服务对接收到的图像进行地理标记,其中,更新所述跟踪及追踪数据库包括基于所述地理标记来更新所述跟踪及追踪数据库中与所识别的对象相关联的位置信息。
3.根据权利要求1所述的方法,其中,更新所述跟踪及追踪数据库包括将识别的对象的实例添加到所述跟踪及追踪数据库中的逻辑位置,所述逻辑位置与仓库中的物理存储位置相对应。
4.根据权利要求1至3中任一项所述的方法,其中,所述一个或多个对象检测应用包括来自公开可用服务的对象检测模型。
5.根据权利要求1至4中任一项所述的方法,其中,所述一个或多个对象检测应用包括使用所述工业环境中关注对象的经标记的真实世界图像来定制训练的对象检测模型。
6.根据权利要求1至5中任一项所述的方法,其中,所述一个或多个对象检测应用包括使用关注对象的计算机辅助设计(cad)数据来定制训练的对象检测模型。
7.根据权利要求1至6中任一项所述的方法,其中,来自所述一个或多个对象检测应用的结果是通过融合多个对象检测应用的推理输出而生成的。
8.根据权利要求7所述的方法,其中,融合多个对象检测应用的推理输出包括基于与所述推理输出相关联的置信度分数,对所述推理输出进行排序和/或选择所述推理输出中的一个或多个。
9.根据权利要求1至8中任一项所述的方法,包括:如果没有确定或确认匹配:
10.根据权利要求9所述的方法,还包括:
11.根据权利要求1至10中任一项所述的方法,其中,所述移动设备还包括深度传感器,并且其中,所述对象的图像包括三维(3d)图像。
12.根据权利要求11所述的方法,其中,所述一个或多个对象检测应用包括能够处理3d图像以识别对象的对象检测模型。
13.根据权利要求11和12中任一项所述的方法,其中,查询所述跟踪及追踪数据库包括提供从3d图像得出的对象尺寸。
14.一种计算机程序产品,包括非暂态计算机可读介质,所述非暂态计算机可读介质存储有指令,所述指令在由移动设备的处理器执行时,使所述移动设备执行根据权利要求1至13中任一项所述的方法。
15.一种用于跟踪和追踪对象的系统,所述系统包括:
16.根据权利要求15所述的系统,还包括被配置为托管所述一个或多个对象检测应用中至少一个对象检测应用的服务器。
17.根据权利要求15和16中任一项所述的系统,其中,所述移动设备被配置为在所述移动设备上本地执行所述一个或多个对象检测应用中至少一个对象检测应用。
18.根据权利要求15至17中任一项所述的系统,其中,所述指令还配置所述移动设备用于:
19.根据权利要求15至17中任一项所述的系统,其中,所述指令配置所述移动设备用于:
20.根据权利要求15至17中任一项所述的系统,还包括模型训练模块,所述模型训练模块被配置为基于经由所述用户界面接收的识别所述对象的图像标签来再训练所述一个或多个对象检测应用中至少一个对象检测应用的对象检测模型。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com