一种搬运货物异常检测方法、电子设备和存储介质与流程

1.本技术涉及搬运货物技术领域，特别是涉及一种搬运货物异常检测方法、电子设备和存储介质。


背景技术：

2.在新基建政策下，通过混合现实技术、智能培训技术、智能场景识别技术、智能语音控制技术、智慧远程专家等技术，加速数字经济发展，使我国企业优先迈入工业4.0时代，达到智能制造。
3.当前，搬运货物异常检测是通过摄像头检测，或者管理人员进行人为检测，检测效率低下，用户体验差。


技术实现要素：

4.基于上述问题，本技术提供一种搬运货物异常检测方法、电子设备和存储介质。
5.第一方面，本技术实施例提供一种搬运货物异常检测方法，包括：当测试人员在基于混合现实的测试环境中使用搬运机器人进行搬运操作时，确定吸盘货物接触得分；当测试人员在基于混合现实的测试环境中完成货物抓取时，确定货物抓取异常得分和货物移动得分；当测试人员在基于混合现实的测试环境中完成货物移动操作时，确定货物放置得分；根据货物抓取异常得分、货物移动得分和货物放置得分确定测试人员在所述基于混合现实的测试环境中操作机械臂搬运货物的操作异常得分；根据操作异常得分确定搬运货物是否异常。
6.进一步地，上述搬运货物异常检测方法中，确定吸盘货物接触得分，包括：获取基于混合现实的测试环境中吸盘底部中央的坐标及长方体货物的坐标，其中为长方体货物上表面的左顶点坐标，为长方体货物上表面的宽，为长方体货物上表面的高，为长方体的竖直高度；当测试人员开始抓取货物时开始计时，每隔时间确定一次吸盘货物接触得分，根据吸盘底部中央的坐标以及长方体货物的坐标确定第i次的吸盘货物接触得分通过如下公式确定：
其中，表示吸盘底部中央的z轴的坐标，表示长方体货物上表面的左顶点的z轴坐标，为设定的第一判断阈值，为设定的第二判断阈值。
7.进一步地，上述搬运货物异常检测方法中，确定货物抓取异常得分，包括：当测试人员在基于混合现实的测试环境中完成货物抓取时，获取当前时间到测试人员开始抓取货物之间的时间间隔、吸盘货物接触得分的个数、吸盘底部中央的坐标及长方体货物的坐标；根据当前时间到测试人员开始抓取货物之间的时间间隔、吸盘货物接触得分的个数、吸盘底部中央的坐标及长方体货物的坐标确定货物抓取异常得分通过如下公式确定：其中，[]为取整函数，为历史数据训练得到的第一修正常数，为设定的第三判断阈值， 为设定的第四判断阈值，为设定的第五判断阈值，;表示第i次的吸盘货物接触得分，表示长方体货物上表面的左顶点x轴坐标，表示长方体货物上表面的宽，表示长方体货物上表面的左顶点y轴坐标，表示异常碰撞得分。
[0008]
进一步地，上述搬运货物异常检测方法中，确定货物移动得分，包括：当测试人员在所述基于混合现实的测试环境中完成货物抓取时，开始记录吸盘底部中央坐标，每隔时间记录一个坐标，直至测试人员确认已完成货物移动操作，对于任意相邻的两个坐标：，
根据任意相邻的两个坐标计算动态速度通过如下公式计算：，从而得到移动过程中的动态速度集合，其中，动态速度集合元素数为，获取测试人员完成货物抓取到测试人员确认已完成货物移动操作之间的时间，根据动态速度集合、动态速度集合元素数为以及任意相邻的两个坐标计算机械臂移动过程中的异常位移指数通过如下公式计算： 根据动态速度集合、动态速度集合元素数为以及任意相邻的两个坐标计算机械臂移动过程中的稳定指数通过如下公式计算： 根据测试人员完成货物抓取到测试人员确认已完成货物移动操作之间的时间、异常位移指数和机械臂移动过程中的稳定指数通过如下公式计算货物移动得分：其中，为设定的第六判断阈值，为设定的第七判断阈值，为设定的第八判断阈值，为历史数据训练得到的第二修正常数。
[0009]
进一步地，上述搬运货物异常检测方法中，确定货物放置得分，包括：获取货物放置的货物槽放置平面的坐标，其中，为货物槽放置平面的左顶点坐标，为货物槽放置平面的宽，为货物槽放置平面的高，每隔时间
记录吸盘底部中央坐标得到吸盘的位置轨迹，所述吸盘的位置轨迹元素个数为，获取测试人员从完成货物移动操作到完成货物放置的时间；根据货物放置的货物槽放置平面的坐标、吸盘底部中央坐标、吸盘的位置轨迹、吸盘的位置轨迹元素个数为以及长方体货物的坐标通过如下公式计算货物的放置误差指数，其中,其中,其中,表示吸盘底部中央的x轴的坐标，表示货物槽放置平面的x轴的坐标，表示吸盘底部中央的y轴的坐标，表示货物槽放置平面的y轴的坐标，表示长方体货物上表面的左顶点x轴坐标，表示长方体货物上表面的左顶点y轴坐标，为长方体货物上表面的宽，为长方体货物上表面的高，为设定的第九判断阈值，为设定的第十判断阈值,根据吸盘的位置轨迹和吸盘的位置轨迹元素个数为，计算货物的放置过程指数的放置过程指数 根据货物的放置误差指数、货物的放置过程指数和测试人员从完成货物移动操作到完成货物放置的时间确定货物放置得分，确定货物放置得分通过如下公式确定：
其中，为设定的第十一判断阈值，为设定的第十二判断阈值，为设定的第十三判断阈值，为历史数据训练得到的第三修正常数。
[0010]
进一步地，上述搬运货物异常检测方法中，根据货物抓取异常得分、所述货物移动得分和货物放置得分确定测试人员在基于混合现实的测试环境中操作机械臂搬运货物的操作异常得分，包括：根据货物抓取异常得分、货物移动得分和货物放置得分确定测试人员在基于混合现实的测试环境中操作机械臂搬运货物的操作异常得分，通过如下公式确定：其中，为历史数据训练得到的第四修正常数，为历史数据训练得到的第五修正常数，为历史数据训练得到的第六修正常数，为设定的第十四判断阈值。
[0011]
进一步地，上述搬运货物异常检测方法中，根据操作异常得分确定搬运货物是否异常，包括：判断操作异常得分和数字1的关系；当操作异常得分等于1时，确定搬运货物异常，当操作异常得分不等于1时，确定搬运货物合格。
[0012]
进一步地，上述搬运货物异常检测方法中，确定吸盘货物接触得分之前，还包括：确定基于混合现实的测试环境中的标准搬运行为数据；根据基于混合现实的测试环境中的标准搬运行为数据确定多个判断阈值。
[0013]
第二方面，本发明实施例还提供了一种电子设备，包括：处理器和存储器；所述处理器通过调用所述存储器存储的程序或指令，用于执行如上所述任一项所述的所述一种搬运货物异常检测方法。
[0014]
第三方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如上所述任一项所述的所述一种搬运货物异常检测方法。
[0015]
本技术实施例的优点在于：在基于混合现实的测试环境中使用搬运机器人进行搬运操作时，确定吸盘货物接触得分；在基于混合现实的测试环境中完成货物抓取时，确定货物抓取异常得分和货物移动得分；在基于混合现实的测试环境中完成货物移动操作时，确定货物放置得分；根据货物抓取异常得分、货物移动得分和货物放置得分确定在所述基于混合现实的测试环境中操作机械臂搬运货物的操作异常得分；根据操作异常得分确定搬运货物是否异常。本技术将货物搬运过程分为不同的阶段，在不同的阶段确定不同的得分，通
过不同的得分确定操作异常得分，通过操作异常得分确定搬运货物是否异常，使得检测过程简单、快捷，与摄像头检测和人为检测相比，检测效率更高，提升了用户体验。
附图说明
[0016]
为了更清楚地说明本技术实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]
图1为本技术实施例提供的一种搬运货物异常检测方法示意图；图2是本公开实施例提供的一种电子设备的示意性框图。
具体实施方式
[0018]
为使本技术的上述目的、特征和优点能够更加明显易懂，下面结合附图对本技术的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本技术。但是本技术能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本技术内涵时做类似改进，因此本技术不受下面公开的具体实施的限制。
[0019]
除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中在本技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本技术。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
[0020]
图1为本技术实施例提供的一种搬运货物异常检测方法示意图。
[0021]
第一方面，本技术实施例提供一种搬运货物异常检测方法，结合图1，包括s101至s105五个步骤：s101：当测试人员在基于混合现实的测试环境中使用搬运机器人进行搬运操作时，确定吸盘货物接触得分。
[0022]
具体的，本技术实施例中，当测试人员佩戴好设备在基于mr建立的测试环境中使用搬运机器人进行搬运操作时，通过吸盘底部中央的坐标及长方体货物的坐标确定吸盘货物接触得分，确定吸盘货物接触得分的方法下文详细介绍。
[0023]
s102：当测试人员在基于混合现实的测试环境中完成货物抓取时，确定货物抓取异常得分和货物移动得分。
[0024]
具体的，本技术实施例中，测试人员在基于混合现实的测试环境中完成货物抓取，可以是接收到测试人员完成货物抓取时通过控制器按钮发送的信号，也可以是通过摄像头获取；确定货物抓取异常得分和货物移动得分的方法下文详细介绍。
[0025]
s103：当测试人员在基于混合现实的测试环境中完成货物移动操作时，确定货物放置得分。
[0026]
具体的，本技术实施例中，当测试人员在基于混合现实的测试环境中完成货物移动操作，可以是接收到测试人员完成货物抓取时通过控制器按钮发送的信号，也可以是通过摄像头获取；确定货物放置得分是通过获取测试人员从完成货物移动操作完成货物放置
的时间、货物的放置误差指数和货物的放置过程指数确定的，下文详细介绍货物的放置误差指数和货物的放置过程指数的确定方法以及通过获取测试人员从完成货物移动操作完成货物放置的时间、货物的放置误差指数和货物的放置过程指数确定方法。
[0027]
s104：根据货物抓取异常得分、货物移动得分和货物放置得分确定测试人员在所述基于混合现实的测试环境中操作机械臂搬运货物的操作异常得分。
[0028]
具体的，本技术实施例中，根据货物抓取异常得分、货物移动得分和货物放置得分确定测试人员在所述基于混合现实的测试环境中操作机械臂搬运货物的操作异常得分的方法下文详细介绍。
[0029]
s105：根据操作异常得分确定搬运货物是否异常。
[0030]
具体的，本技术实施例中，根据操作异常得分和1的关系确定搬运货物是否异常的方法，下文详细介绍。
[0031]
进一步地，上述搬运货物异常检测方法中，确定吸盘货物接触得分，包括：获取基于混合现实的测试环境中吸盘底部中央的坐标及长方体货物的坐标，其中为长方体货物上表面的左顶点坐标，为长方体货物上表面的宽，为长方体货物上表面的高，为长方体的竖直高度；当测试人员开始抓取货物时开始计时，每隔时间确定一次吸盘货物接触得分，根据吸盘底部中央的坐标以及长方体货物的坐标确定第i次的吸盘货物接触得分通过如下公式确定：其中，表示吸盘底部中央的z轴的坐标，表示长方体货物上表面的左顶点的z轴坐标，为设定的第一判断阈值，为设定的第二判断阈值。
[0032]
具体的，本技术实施例中，第一判断阈值和第二判断阈值是根据标准搬运行为数据设定的。
[0033]
进一步地，上述搬运货物异常检测方法中，确定货物抓取异常得分，包括：当测试人员在基于混合现实的测试环境中完成货物抓取时，获取当前时间到测试人员开始抓取货物之间的时间间隔、吸盘货物接触得分的个数、吸盘底部中央的坐标及长方体货物的坐标；根据当前时间到测试人员开始抓取货物之间的时间间隔、吸盘货物接触得分的个数、吸盘底部中央的坐标及长方体货物的坐标确定货物抓取异常得分通过如下公式确定：
其中，[]为取整函数，为历史数据训练得到的第一修正常数，为设定的第三判断阈值， 为设定的第四判断阈值，为设定的第五判断阈值，;表示第i次的吸盘货物接触得分，表示长方体货物上表面的左顶点x轴坐标， 表示长方体货物上表面的宽，表示长方体货物上表面的左顶点y轴坐标，表示异常碰撞得分。
[0034]
具体的，本技术实施例中，第三判断阈值、第四判断阈值和第五判断阈值是根据标准搬运行为数据设定的。
[0035]
进一步地，上述搬运货物异常检测方法中，确定货物移动得分，包括：当测试人员在所述基于混合现实的测试环境中完成货物抓取时，开始记录吸盘底部中央坐标，每隔时间记录一个坐标，直至测试人员确认已完成货物移动操作，对于任意相邻的两个坐标：，根据任意相邻的两个坐标计算动态速度通过如下公式计算：，从而得到移动过程中的动态速度集合，其中，动态速度集合元素数为，获取测试人员完成货物抓取到测试人员确认已完成货物移动操作之间的时间，根据动态速度集合、动态速度集合元素数为以及任意相邻的两个坐标计算机械臂移动过程中的异常位移指数通过如下公式计算：
ꢀ
根据动态速度集合、动态速度集合元素数为以及任意相邻的两个坐标计算机械臂移动过程中的稳定指数通过如下公式计算： 根据测试人员完成货物抓取到测试人员确认已完成货物移动操作之间的时间、异常位移指数和机械臂移动过程中的稳定指数通过如下公式计算货物移动得分：其中，为设定的第六判断阈值，为设定的第七判断阈值，为设定的第八判断阈值，为历史数据训练得到的第二修正常数。
[0036]
具体的，本技术实施例中，第六判断阈值、第七判断阈值和第八判断阈值是根据标准搬运行为数据设定的。
[0037]
进一步地，上述搬运货物异常检测方法中，确定货物放置得分，包括：获取货物放置的货物槽放置平面的坐标，其中，为货物槽放置平面的左顶点坐标，为货物槽放置平面的宽，为货物槽放置平面的高，每隔时间记录吸盘底部中央坐标得到吸盘的位置轨迹，所述吸盘的位置轨迹元素个数为，获取测试人员从完成货物移动操作到完成货物放置的时间；根据货物放置的货物槽放置平面的坐标、吸盘底部中央坐标、吸盘的位置轨迹、吸盘的位置轨迹元素个数为以及长方体货物的坐标通过如下公式计算货物的放置误差指数，其中,
ꢀ
表示吸盘底部中央的x轴的坐标，表示货物槽放置平面的x轴的坐标，表示吸盘底部中央的y轴的坐标，表示货物槽放置平面的y轴的坐标，表示长方体货物上表面的左顶点x轴坐标，表示长方体货物上表面的左顶点y轴坐标，为长方体货物上表面的宽，为长方体货物上表面的高，为设定的第九判断阈值，为设定的第十判断阈值,根据吸盘的位置轨迹和吸盘的位置轨迹元素个数为，计算货物的放置过程指数的放置过程指数 根据货物的放置误差指数、货物的放置过程指数和测试人员从完成货物移动操作到完成货物放置的时间确定货物放置得分，确定货物放置得分通过如下公式确定：其中，为设定的第十一判断阈值，为设定的第十二判断阈值，为设定的第十三判断阈值，为历史数据训练得到的第三修正常数。
[0038]
具体的，本技术实施例中，第九判断阈值、第十判断阈值、第十一判断阈值、第十二判断阈值和第十三判断阈值是根据标准搬运行为数据设定的。
[0039]
进一步地，上述搬运货物异常检测方法中，根据货物抓取异常得分、所述货物移动得分和货物放置得分确定测试人员在基于混合现实的测试环境中操作机械臂搬运货物的
操作异常得分，包括：根据货物抓取异常得分、货物移动得分和货物放置得分确定测试人员在基于混合现实的测试环境中操作机械臂搬运货物的操作异常得分，通过如下公式确定：其中，为历史数据训练得到的第四修正常数，为历史数据训练得到的第五修正常数，为历史数据训练得到的第六修正常数，为设定的第十四判断阈值。
[0040]
具体的，本技术实施例中，第十四判断阈值是根据标准搬运行为数据设定的。
[0041]
进一步地，上述搬运货物异常检测方法中，根据操作异常得分确定搬运货物是否异常，包括：判断操作异常得分和数字1的关系；当操作异常得分等于1时，确定搬运货物异常，当操作异常得分不等于1时，确定搬运货物合格。
[0042]
进一步地，上述搬运货物异常检测方法中，确定吸盘货物接触得分之前，还包括：确定基于混合现实的测试环境中的标准搬运行为数据；根据基于混合现实的测试环境中的标准搬运行为数据确定多个判断阈值。
[0043]
具体的，本技术实施例中，记录工人操作工业机器人使用吸盘搬运检测货物的完成动作流程作为标准搬运行为，对标准搬运行为的数据进行结构化储存并将结构化数据转化为基于混合现实建立的测试环境中的数据格式作为基于混合现实的测试环境中的标准搬运行为数据，根据标准搬运行为数据得到检测所需要的多个判断阈值，多个判断阈值包括上文提到的第一判断阈值、第二判断阈值
……
第十四判断阈值。
[0044]
第二方面，本发明实施例还提供了一种电子设备，包括：处理器和存储器；所述处理器通过调用所述存储器存储的程序或指令，用于执行如上所述任一项所述的所述一种搬运货物异常检测方法。
[0045]
第三方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如上所述任一项所述的所述一种搬运货物异常检测方法。
[0046]
图2是本公开实施例提供的一种电子设备的示意性框图。
[0047]
如图2所示，电子设备包括：至少一个处理器201、至少一个存储器202和至少一个通信接口203。电子设备中的各个组件通过总线系统204耦合在一起。通信接口203，用于与外部设备之间的信息传输。可理解，总线系统204用于实现这些组件之间的连接通信。总线系统204除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但为了清楚说明起见，在图2中将各种总线都标为总线系统204。
[0048]
可以理解，本实施例中的存储器202可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
[0049]
在一些实施方式中，存储器202存储了如下的元素，可执行单元或者数据结构，或
者他们的子集，或者他们的扩展集：操作系统和应用程序。
[0050]
其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序，包含各种应用程序，例如媒体播放器（media player）、浏览器（browser）等，用于实现各种应用业务。实现本技术实施例提供的一种搬运货物异常检测方法中任一方法的程序可以包含在应用程序中。
[0051]
在本技术实施例中，处理器201通过调用存储器202存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器201用于执行本技术实施例提供的一种搬运货物异常检测方法各实施例的步骤。
[0052]
当测试人员在基于混合现实的测试环境中使用搬运机器人进行搬运操作时，确定吸盘货物接触得分；当测试人员在基于混合现实的测试环境中完成货物抓取时，确定货物抓取异常得分和货物移动得分；当测试人员在基于混合现实的测试环境中完成货物移动操作时，确定货物放置得分；根据货物抓取异常得分、货物移动得分和货物放置得分确定测试人员在所述基于混合现实的测试环境中操作机械臂搬运货物的操作异常得分；根据操作异常得分确定搬运货物是否异常。
[0053]
本技术实施例提供的一种搬运货物异常检测方法中任一方法可以应用于处理器201中，或者由处理器201实现。处理器201可以是一种集成电路芯片，具有信号能力。在实现过程中，上述方法的各步骤可以通过处理器201中的硬件的集成逻辑电路或者软件形式的指令完成。上述器201可以是通用处理器、数字信号处理器（digital signal processor，dsp）、专用集成电路（application specific integrated circuit，asic）、现成可编程门阵列（field programmable gate array，fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规器等。
[0054]
本技术实施例提供的一种搬运货物异常检测方法中任一方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器202，处理器201读取存储器202中的信息，结合其硬件完成一种搬运货物异常检测方法的步骤。
[0055]
本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本技术的范围之内并且形成不同的实施例。
[0056]
本领域的技术人员能够理解，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0057]
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。