一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

料笼滑动检测方法和装置、计算机设备、存储介质与流程

2022-11-16 09:21:49 来源:中国专利 TAG:


1.本技术涉及图像识别技术领域,特别是涉及一种料笼滑动检测方法和装置、计算机设备、存储介质。


背景技术:

2.叉车,作为现代物流运输的重要搬运工具,是成件托盘货物进行装卸、堆垛和短距离运输、重物搬运作业的各种轮式搬运车辆。广泛应用于港口、车站、机场、货场、工厂车间、仓库、流通中心和配送中心等,并可进入船舱、车厢和集装箱内进行托盘货物的装卸、搬运作业,是托盘运输、集装箱运输中必不可少的设备。
3.叉车在搬运料笼时,遇到高低不平的地面很容易把震动传递给料笼,致使料笼在货叉上发生滑动,最终导致整个料笼从货叉上掉。因此如何实现对料笼的滑动检测是本领域技术人员亟需解决的技术问题。


技术实现要素:

4.基于此,有必要针对上述技术问题,提供一种能够实现对料笼进行滑动检测的料笼滑动检测方法和装置、计算机设备、存储介质。
5.第一方面,本技术提供了一种料笼滑动检测方法。所述方法包括:
6.获取对待测料笼拍摄得到的料笼图像或者料笼视频流;其中,所述待测料笼放置于叉车的货叉上,所述待测料笼包括脚杯;
7.将所述料笼图像标记为待测图像,或者对所述料笼视频流进行提取处理,得到所述待测图像;
8.根据预设的滑动检测模型对所述待测图像进行检测,得到所述待测图像中的脚杯的位置信息;其中,所述位置信息包括脚杯坐标;
9.判断所述脚杯坐标是否处于预设的坐标区间内,得到所述待测料笼的滑动检测结果。
10.在其中一个实施例中,所述料笼图像或者所述料笼视频流通过预安装于叉车上的相机拍摄所述待测料笼得到,所述料笼图像或者所述料笼视频流对应的显示界面上设有拍摄辅助线和感兴趣区域;
11.在所述获取对待测料笼拍摄得到的料笼图像或者料笼视频流之前,所述方法还包括:
12.对所述相机的角度进行调整处理,以使所述拍摄辅助线贯穿所述脚杯的中心,且所述脚杯处于所述感兴趣区域中。
13.在其中一个实施例中,所述感兴趣区域包括第一感兴趣区域和第二感兴趣区域,所述拍摄辅助线包括第一辅助线、第二辅助线和第三辅助线,所述第一辅助线分别与所述第二辅助线、第三辅助线相交,所述待测料笼包括两个脚杯,分别命名为第一脚杯和第二脚杯;
14.所述对所述相机的角度进行调整处理,以使所述拍摄辅助线贯穿所述脚杯的中心,且所述脚杯处于所述感兴趣区域中,包括:
15.调整所述相机的偏航角和俯仰角,以使所述第一辅助线和所述第二辅助线相交于所述第一脚杯的中心,且所述第一脚杯处于所述第一感兴趣区域中;
16.调整所述相机的横滚角,以使所述第一辅助线和所述第三辅助线相交于所述第二脚杯的中心,且所述第二脚杯处于所述第二感兴趣区域中。
17.在其中一个实施例中,所述根据预设的滑动检测模型对所述料笼图像进行检测,得到所述脚杯处于所述料笼图像的位置信息,包括:
18.将所述待测图像输入至训练完成的滑动检测模型,所述滑动检测模型用于对所述待测图像进行识别处理,得到所述待测图像中的所述脚杯的位置信息;
19.获取所述滑动检测模型输出的所述位置信息。
20.在其中一个实施例中,所述滑动检测模型是通过将标注处理的原始图像数据作为预设的原始检测算法模型的输入训练得到的。
21.在其中一个实施例中,所述判断所述脚杯坐标是否处于预设的坐标区间内,得到所述待测料笼的滑动检测结果,包括:
22.若所述脚杯坐标处于所述预设的坐标区间之中,则所述待测料笼和所述叉车的货叉之间未发生相对滑动;
23.若所述脚杯坐标处于所述预设的坐标区间之外,则所述待测料笼和所述叉车的货叉之间发生相对滑动。
24.第二方面,本技术还提供了一种料笼滑动检测装置。所述装置包括:
25.获取模块,用于获取对待测料笼拍摄得到的料笼图像或者料笼视频流;其中,所述待测料笼放置于叉车的货叉上,所述待测料笼包括脚杯;
26.处理模块,用于将所述料笼图像标记为待测图像,或者对所述料笼视频流进行提取处理,得到所述待测图像;
27.识别检测模块,用于根据预设的滑动检测模型对所述待测图像进行检测,得到所述待测图像中的脚杯的位置信息;其中,所述位置信息包括脚杯坐标;
28.滑动检测模块,用于判断所述脚杯坐标是否处于预设的坐标区间内,得到所述待测料笼的滑动检测结果。
29.第三方面,本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现第一方面实施例的料笼滑动检测方法。
30.第四方面,本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面实施例的料笼滑动检测方法。
31.第五方面,本技术还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现第一方面实施例的料笼滑动检测方法。
32.上述料笼滑动检测方法和装置、计算机设备、存储介质,通过获取对待测料笼拍摄得到的料笼图像或者料笼视频流,其中,该待测料笼放置于叉车上,待测料笼包括脚杯,然后将料笼图像标记为待测图像,或者对料笼视频流进行提取处理,得到待测图像。再根据预
设的滑动检测模型对待测图像进行检测,得到待测图像中脚杯的的位置信息,该位置信息包括脚杯坐标,最后再判断脚杯坐标是否处于预设的坐标区间,得到待测料笼的滑动检测结果。通过判断得到的脚杯坐标是否处于预设的坐标区间,实现了对待测料笼和叉车之间是否发生相对滑动的判断,从而有利于提高叉车运行的安全性。
附图说明
33.图1为一个实施例中料笼滑动检测方法的流程示意图;
34.图2为一个实施例中待测料笼的结构示意图;
35.图3为一个实施例中显示界面的示意图;
36.图4为另一个实施例中料笼滑动检测方法的流程示意图;
37.图5为另一个实施例中显示界面的示意图;
38.图6为另一个实施例中显示界面的示意图;
39.图7为图1中步骤106的具体方法的流程示意图;
40.图8为图1中步骤108的具体方法的流程示意图;
41.图9为另一个实施例中料笼滑动检测方法的流程示意图;
42.图10为一个实施例中料笼滑动检测装置的结构框图;
43.图11为一个实施例中计算机设备的内部结构图。
具体实施方式
44.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。
45.在一个实施例中,如图1所示,提供了一种料笼滑动检测方法,包括以下步骤:
46.步骤102,获取对待测料笼拍摄得到的料笼图像或者料笼视频流;其中,待测料笼放置于叉车的货叉上,待测料笼包括脚杯。
47.其中,在步骤102中的叉车可以是无人叉车,也可以是有人叉车,待测料笼放置于叉车的货叉上,在叉车上设置相机,用于对待测料笼进行拍摄,从而得到待测料笼对应的料笼图像。
48.如图2所示,在一些实施例中,本技术实施例提供了一种待测料笼的结构示意图。该待测料笼202包括脚杯204。
49.需要说明的是,相机可以安装于叉车的叉臂根部或者叉车的其他位置,相机通过网线和叉车的工控机相连,叉车的工控机中保存有相机的ip地址和端口号,以将相机拍摄得到的图像或者视频流传输至工控机中。相机可以设置多个,也可以设置一个。如设置两个相机,则这两个相机可以分别设置在叉臂根部的左右两端,左右两端的相机镜头对向设置,左端相机朝着右端相机所处的方向,右端相机朝向左端相机所处的方向,分别用来获取待测料笼对侧的前后脚杯对应的料笼图像,以监视待测料笼的脚杯是否发生滑动,从而实现对料笼的滑动检测。其中,夹臂根部指的是叉车的叉臂朝向叉车车身的一端。
50.步骤104,将料笼图像标记为待测图像,或者对料笼视频流进行提取处理,得到待测图像。
51.具体地,在一些实施例的步骤104中,当相机对待测料笼拍摄的为图像,则直接将拍摄得到的料笼图像标记为待测图像。当相机对待测料笼拍摄的为视频流时,则直接对拍摄得到的料笼视频流进行提取处理,以得到待测图像。
52.步骤106,根据预设的滑动检测模型对待测图像进行检测,得到待测图像中的脚杯的位置信息;其中,位置信息包括脚杯坐标。
53.在步骤106中,滑动检测模型是通过将标注处理的原始图像数据作为预设的原始检测算法模型的输入训练得到的。原始检测算法模型可以采取yolov5算法模型,具体的过程如下:
54.首先将大量采集到的原始图像数据通过图片标注工具(如labelimg)进行标注处理,将原始图像数据中的脚杯标注出来。
55.然后将原始图片数据和对脚杯进行标注处理后的原始图像数据都输入至yolov5模型中进行训练处理,训练生成.pt(基于pytorch的yolov5训练的模型的格式.pt)模型,即得到滑动检测模型。
56.得到滑动检测模型后,需要将滑动检测模型输入至工控机中进行执行,以输出待测图像中脚杯的位置信息,便于后续实现对料笼的滑动检测。具体为:
57.将.pt模型转换为onnx格式的文件,再将onnx(open neural network exchange,开放神经网格交换)格式的文件进一步生成openvino推理引擎支持的模型文件,然后将得到的模型文件导入至工控机中执行,以实现对料笼的滑动检测。当然,滑动检测模型也可以由服务器执行,服务器通过获取待测图像信息,然后,对待测图像进行处理,输出待测图像中脚杯的位置信息至叉车,也能够实现对料笼的滑动检测。
58.需要说明的是,原始图像数据可以是通过相机拍摄得到,也可以是通过服务器获取得到的,但是每一原始图像数据中都必须包括脚杯。如原始图像数据是通过相机拍摄得到的,则叉臂根部两端的左右相机每隔一段时间将自动采集图像,得到原始图像数据,并且,在拍摄的过程中,为了丰富原始图像数据的多样性,叉车需要叉取不同的料笼,且多更换场景,从而提高后续对待测料笼滑动检测的准确性。同时,即使在对料笼进行滑动检测状态时,叉车端部两端的左右相机也可以一直对料笼进行拍摄,以得到原始图像数据。
59.步骤108,判断脚杯坐标是否处于预设的坐标区间内,得到待测料笼的滑动检测结果。
60.在步骤108中,根据前述步骤得到的脚杯处于料笼图像中的位置信息来判断待测料笼和叉车之间是否发生了相对滑动,从而得到对应的滑动检测结果。
61.上述料笼滑动检测方法,通过获取对待测料笼拍摄得到的料笼图像或者料笼视频流,其中,该待测料笼放置于叉车上,待测料笼包括脚杯,然后将料笼图像标记为待测图像,或者对料笼视频流进行提取处理,得到待测图像。再根据预设的滑动检测模型对待测图像进行检测,得到待测图像中脚杯的的位置信息,该位置信息包括脚杯坐标,最后再判断脚杯坐标是否处于预设的坐标区间,得到待测料笼的滑动检测结果。通过判断得到的脚杯坐标是否处于预设的坐标区间,实现了对待测料笼和叉车之间是否发生相对滑动的判断,从而有利于提高叉车运行的安全性。
62.在一些实施例中,料笼图像或者料笼视频流通过预安装于叉车上的相机拍摄待测料笼得到,料笼图像或者料笼视频流对应的显示界面上设有拍摄辅助线和感兴趣区域。在
步骤102之前,料笼滑动检测方法还包括以下步骤:
63.对相机的角度进行调整处理,以使拍摄辅助线贯穿脚杯的中心,且脚杯处于感兴趣区域中。
64.在本实施例中,显示界面指的是滑动检测时的实时显示界面,该显示界面可以显示相机采集到的实时视频流或者采集得到的料笼图像。通过对相机的角度进行调整处理,以使拍摄辅助线贯穿脚杯中心,且将脚杯设置在感兴趣区域中。通过这样设置,能够避免滑动检测模型将其他料笼的脚杯识别出来,从而提高对料笼滑动检测的准确性。其中,显示界面可以是相机的显示界面,也可以是与相机相连的工控机的显示界面,或者其他与相机通信连接的设备的显示界面,该设备通过通信网络接收相机采集的实时视频流或者料笼图像,并进行显示。其他料笼指的是其他未放置在货叉上的料笼。
65.在一些实施例中,请参照图3至图6,感兴趣区域包括第一感兴趣区域308和第二感兴趣区域310,拍摄辅助线包括第一辅助线302、第二辅助线304和第三辅助线306,第一辅助线302分别与第二辅助线304、第三辅助线306相交,待测料笼包括两个脚杯,两个脚杯分别命名为第一脚杯2041和第二脚杯2042。其中,图3为调整前的显示界面的示意图。图5和图6为根据本实施例的技术方案进行调整后的显示界面示意图。
66.在一些实施例中,第一辅助线302分别与第二辅助线304、第三辅助线306相互垂直,第三辅助线306和第二辅助线304平行,第一辅助线302与第二辅助线304相交于第一感兴趣区域308的中央,第一辅助线302与第三辅助线306相交于第二感兴趣区域310的中央。
67.步骤“对相机的角度进行调整处理,以使拍摄辅助线贯穿脚杯的中心,且脚杯处于感兴趣区域中”具体包括:
68.步骤402,调整相机的偏航角和俯仰角,以使第一辅助线和第二辅助线相交于第一脚杯的中心,且第一脚杯处于第一感兴趣区域中。
69.步骤404,调整相机的横滚角,以使第一辅助线和第三辅助线相交于第二脚杯的中心,且第二脚杯处于第二感兴趣区域中。
70.具体地,在本实施例中,相机能够拍摄每一料笼的两个脚杯,通过设置第一感兴趣区域308和第二感兴趣区域310,并且通过调整相机的偏航角和俯仰角,使得第一辅助线302和第二辅助线304相交于第一脚杯2041的中心,且将第一脚杯2041设置于第一感兴趣区域308中;通过调整相机的横滚角,使得第一辅助线302和第三辅助线306相交于第二脚杯2042的中心,且将第二脚杯2042设置于第二感兴趣区域310中,能够避免滑动检测模型将其他料笼的脚杯识别出来,并且增加滑动检测模型对待测料笼脚杯的关注度,从而提高对料笼滑动检测的准确性。
71.需要说明的是,在本方案中调整相机的偏航角和俯仰角,以实现调整第一辅助线302和第二辅助线304的位置,并不是说第一辅助线302和第二辅助线304可调,而是通过调整相机的角度,实现辅助线位置的调整。类似于使用相机对人拍照时,预设一个框,需要将人头调整到框内,可以通过调整相机的拍摄角度,能够调整人的头部位置处于框内,而不是直接调整框的位置。
72.在一些实施例中,如图7所示,步骤106包括以下步骤:
73.步骤702,将待测图像输入至训练完成的滑动检测模型,滑动检测模型用于对待测图像中的脚杯进行识别处理,得到待测图像中的脚杯的位置信息。
74.步骤704,获取滑动检测模型输出的位置信息。
75.具体地,在本实施例中,将拍摄得到的待测图像输入至滑动检测模型中,以使滑动检测模型对待测图像中的脚杯进行识别处理,并且将识别出的脚杯处于待测图像的位置信息作为输出,再获取滑动检测模型输出的位置信息,以便于后续对待测料笼进行滑动检测。
76.请参照图8,在一些实施例中,步骤108包括以下步骤:
77.步骤802,若脚杯坐标处于预设的坐标区间之中,则待测料笼和叉车的货叉之间未发生相对滑动。
78.步骤804,若脚杯坐标处于预设的坐标区间之外,则待测料笼和叉车的货叉之间发生相对滑动。
79.具体地,脚杯坐标指的是料笼脚杯的中心横坐标,通过将脚杯坐标和预先设定的坐标区间进行比较,以判断待测料笼和叉车的货叉之间是否发生相对滑动。如果脚杯坐标处于预设的坐标区间之内,则说明待测料笼和叉车的货叉之间未发生相对滑动;而如果脚杯坐标处于坐标区间之外,则说明待测料笼和叉车的货叉之间已经发生了相对滑动。在这种情况下,如果叉车是无人叉车,则叉车需要急停,并且将待测料笼放置于临时库位中,然后重新叉取该待测料笼;如果叉车为有人叉车,则叉车触发声光报警器以提醒临近人员及时避让。
80.在一些实施例中,如图9所示,料笼滑动检测方法,包括以下步骤:
81.步骤902,获取待测料笼的实时视频流;其中,待测料笼放置于叉车的货叉上,待测料笼包括脚杯。
82.在步骤902中,可以在叉车的叉臂根部的左右两端安装两台相机,每个相机都与叉车的工控机网络连接,工控机中存储有每个相机的ip地址和端口号。相机能够拍摄到每个待测料笼的两个脚杯,用于监视脚杯和叉车是否发生了相对滑动。相机拍摄得到的实时视频流通过网络传输至叉车的工控机中。
83.步骤904,根据实时视频流得到待测料笼对应的待测图像。
84.在步骤904中,对前述步骤获取得到的实时视频流进行提取处理,得到待测料笼对应的待测图像。
85.需要说明的是,本技术实施例的料笼滑动检测方法是持续检测的,并不是针对某一帧特定的图像,因此,在对实时视频流进行提取处理,得到待测料笼对应的待测图像时,该待测图像为实时视频流中的任意一帧图像。
86.步骤906,根据预设的滑动检测模型对待测图像进行检测,得到脚杯处于料笼图像的脚杯坐标。
87.在步骤906中,滑动检测模型是通过将标注处理的原始图像数据作为预设的原始检测算法模型的输入训练得到的。原始检测算法模型可以采取yolov5算法模型,具体的过程如下:
88.首先将大量采集到的原始图像数据通过图片标注工具(如labelimg)进行标注处理,将原始图像数据中的脚杯标注出来。
89.然后将原始图片数据和对脚杯进行标注处理后的原始图像数据都输入至yolov5模型中进行训练处理,训练生成.pt(基于pytorch的yolov5训练的模型的格式.pt)模型,即得到滑动检测模型。
90.滑动检测模型对输入的待测图像进行识别处理,识别出脚杯处于料笼图像的位置信息(即脚杯坐标),并将脚杯处于待测图像的脚杯坐标作为输出,脚杯坐标指的是待测料笼的脚杯的中心横坐标。
91.步骤908,判断脚杯坐标是否处于预设的坐标区间内,得到待测料笼的滑动检测结果。
92.在步骤908中,如果脚杯坐标处于预设的坐标区间之中,则说明待测料笼和叉车之间未发生相对滑动,如果脚杯坐标处于预设的坐标区间之外,则说明待测料笼和叉车之间发生了相对滑动。
93.步骤910,若叉车属于无人叉车,且滑动检测结果为待测料笼和叉车之间发生相对滑动,则输出控制信号,以使无人叉车停车并将待测料笼放置于临时库位中,并输出警告信息;若叉车属于有人叉车,且滑动检测结果为待测料笼和叉车之间发生相对滑动,则输出警告信息。
94.在步骤910中,若叉车属于无人叉车,且滑动检测结果为待测料笼和叉车之间发生相对滑动,则输出警告信息和控制信号,以使无人叉车根据控制信号停车并将待测料笼放置于临时库位中,并且控制叉车重新叉取待测料笼,以提高叉车运行的安全性,根据警告信息,以使叉车触发声光报警器,从而提醒临近人员及时避让。若叉车属于有人叉车,且滑动检测结果为待测料笼和叉车之间发生相对滑动,则输出警告信息,以使叉车触发声光报警器,从而提醒临近人员及时避让。
95.应该理解的是,虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
96.基于同样的发明构思,本技术实施例还提供了一种用于实现上述所涉及的料笼滑动检测方法的料笼滑动检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个料笼滑动检测装置实施例中的具体限定可以参见上文中对于料笼滑动检测方法的限定,在此不再赘述。
97.在一些实施例中,如图10所示,提供了一种料笼滑动检测装置,包括:获取模块1002、处理模块1004、识别检测模块1006和滑动检测模块1008。
98.获取模块1002,用于获取对待测料笼拍摄得到的料笼图像或者料笼视频流;其中,待测料笼放置于叉车的货叉上,待测料笼包括脚杯。
99.处理模块1004,用于将料笼图像标记为待测图像,或者对料笼视频流进行提取处理,得到待测图像。
100.识别检测模块1006,用于根据预设的滑动检测模型对待测图像进行检测,得到待测图像中的脚杯的位置信息;其中,位置信息包括脚杯坐标。
101.滑动检测模块1008,用于判断脚杯坐标是否处于预设的坐标区间内,得到待测料笼的滑动检测结果。
102.在一些实施例中,料笼图像或者料笼视频流通过预安装于叉车上的相机拍摄待测料笼得到,料笼图像或者料笼视频流对应的显示界面上设有拍摄辅助线和感兴趣区域,滑动检测装置还包括相机调整模块:
103.相机调整模块,用于对相机的角度进行调整处理,以使拍摄辅助线贯穿脚杯的中心,且脚杯处于感兴趣区域中。
104.在一些实施例中,感兴趣区域包括第一感兴趣区域和第二感兴趣区域,拍摄辅助线包括第一辅助线、第二辅助线和第三辅助线,第一辅助线分别与第二辅助线、第三辅助线相交,脚杯包括第一脚杯和第二脚杯。
105.在一些实施例中,第一辅助线分别与第二辅助线、第三辅助线相互垂直,第三辅助线和第二辅助线平行。
106.相机调整模块包括第一相机调整单元和第二相机调整单元。
107.第一相机调整单元,用于调整相机的偏航角和俯仰角,以使第一辅助线和第二辅助线相交于第一脚杯的中心,且第一脚杯处于第一感兴趣区域中。
108.第二相机调整单元,用于调整相机的横滚角,以使第一辅助线和第三辅助线相交于第二脚杯的中心,且第二脚杯处于第二感兴趣区域中。
109.在一些实施例中,识别检测模块1006包括输入单元和获取单元。
110.输入单元,用于将待测图像输入至训练完成的滑动检测模型,滑动检测模型用于对待测图像进行识别处理,得到待测图像中的脚杯的位置信息。
111.获取单元,用于获取滑动检测模型输出的位置信息。
112.在一些实施例中,滑动检测模块1008包括第一检测单元和第二检测单元。
113.第一检测单元,用于若脚杯坐标处于预设的坐标区间之中,则待测料笼和叉车的货叉之间未发生相对滑动。
114.第二检测单元,用于若脚杯坐标处于预设的坐标区间之外,则待测料笼和叉车的货叉之间发生相对滑动。
115.上述料笼滑动检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
116.在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的通信接口、显示屏和输入装置通过i/o口与系统总线连接。该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种料笼滑动检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
117.本领域技术人员可以理解,图11中示出的结构,仅仅是与本技术方案相关的部分
结构的框图,并不构成对本技术方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
118.在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
119.步骤102,获取对待测料笼拍摄得到的料笼图像或者料笼视频流;其中,待测料笼放置于叉车上,待测料笼包括脚杯;
120.步骤104,将料笼图像标记为待测图像,或者对料笼视频流进行提取处理,得到待测图像;
121.步骤106,根据预设的滑动检测模型对待测图像进行检测,得到待测图像中的脚杯的位置信息;其中,位置信息包括脚杯坐标;
122.步骤108,判断脚杯坐标是否处于预设的坐标区间内,得到待测料笼的滑动检测结果。
123.在一个实施例中,处理器执行计算机程序时还实现以下步骤:
124.对相机的角度进行调整处理,以使拍摄辅助线贯穿脚杯的中心,且脚杯处于感兴趣区域中。
125.在一个实施例中,处理器执行计算机程序时还实现以下步骤:
126.步骤402,调整相机的偏航角和俯仰角,以使第一辅助线和第二辅助线相交于第一脚杯的中心,且第一脚杯处于第一感兴趣区域中。
127.步骤404,调整相机的横滚角,以使第一辅助线和第三辅助线相交于第二脚杯的中心,且第二脚杯处于第二感兴趣区域中。
128.在一个实施例中,处理器执行计算机程序时还实现以下步骤:
129.步骤702,将待测图像输入至训练完成的滑动检测模型,滑动检测模型用于对待测图像进行识别处理,得到待测图像中的脚杯的位置信息。
130.步骤704,获取滑动检测模型输出的位置信息。
131.在一个实施例中,处理器执行计算机程序时还实现以下步骤:
132.步骤802,若脚杯坐标处于预设的坐标区间之中,则待测料笼和叉车的货叉之间未发生相对滑动;
133.步骤804,若脚杯坐标处于预设的坐标区间之外,则待测料笼和叉车的货叉之间发生相对滑动。
134.在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
135.步骤102,获取对待测料笼拍摄得到的料笼图像或者料笼视频流;其中,待测料笼放置于叉车上,待测料笼包括脚杯;
136.步骤104,将料笼图像标记为待测图像,或者对料笼视频流进行提取处理,得到待测图像;
137.步骤106,根据预设的滑动检测模型对待测图像进行检测,得到待测图像中的脚杯的位置信息;其中,位置信息包括脚杯坐标;
138.步骤108,判断脚杯坐标是否处于预设的坐标区间内,得到待测料笼的滑动检测结果。
139.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
140.对相机的角度进行调整处理,以使拍摄辅助线贯穿脚杯的中心,且脚杯处于感兴趣区域中。
141.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
142.步骤402,调整相机的偏航角和俯仰角,以使第一辅助线和第二辅助线相交于第一脚杯的中心,且第一脚杯处于第一感兴趣区域中。
143.步骤404,调整相机的横滚角,以使第一辅助线和第三辅助线相交于第二脚杯的中心,且第二脚杯处于第二感兴趣区域中。
144.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
145.步骤702,将待测图像输入至训练完成的滑动检测模型,滑动检测模型用于对待测图像进行识别处理,得到待测图像中的脚杯的位置信息。
146.步骤704,获取滑动检测模型输出的位置信息。
147.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
148.步骤802,若脚杯坐标处于预设的坐标区间之中,则待测料笼和叉车的货叉之间未发生相对滑动;
149.步骤804,若脚杯坐标处于预设的坐标区间之外,则待测料笼和叉车的货叉之间发生相对滑动。
150.在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
151.步骤102,获取对待测料笼拍摄得到的料笼图像或者料笼视频流;其中,待测料笼放置于叉车上,待测料笼包括脚杯;
152.步骤104,将料笼图像标记为待测图像,或者对料笼视频流进行提取处理,得到待测图像;
153.步骤106,根据预设的滑动检测模型对待测图像进行检测,得到待测图像中的脚杯的位置信息;其中,位置信息包括脚杯坐标;
154.步骤108,判断脚杯坐标是否处于预设的坐标区间内,得到待测料笼的滑动检测结果。
155.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
156.对相机的角度进行调整处理,以使拍摄辅助线贯穿脚杯的中心,且脚杯处于感兴趣区域中。
157.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
158.步骤402,调整相机的偏航角和俯仰角,以使第一辅助线和第二辅助线相交于第一脚杯的中心,且第一脚杯处于第一感兴趣区域中。
159.步骤404,调整相机的横滚角,以使第一辅助线和第三辅助线相交于第二脚杯的中心,且第二脚杯处于第二感兴趣区域中。
160.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
161.步骤702,将待测图像输入至训练完成的滑动检测模型,滑动检测模型用于对待测图像进行识别处理,得到待测图像中的脚杯的位置信息。
162.步骤704,获取滑动检测模型输出的位置信息。
163.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
164.步骤802,若脚杯坐标处于预设的坐标区间之中,则待测料笼和叉车的货叉之间未发生相对滑动;
165.步骤804,若脚杯坐标处于预设的坐标区间之外,则待测料笼和叉车的货叉之间发生相对滑动。
166.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory,rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory,mram)、铁电存储器(ferroelectric random access memory,fram)、相变存储器(phase change memory,pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory,ram)或外部高速缓冲存储器等。作为说明而非局限,ram可以是多种形式,比如静态随机存取存储器(static random access memory,sram)或动态随机存取存储器(dynamic random access memory,dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
167.以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
168.以上实施例仅表达了本技术的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本技术专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本技术构思的前提下,还可以做出若干变形和改进,这些都属于本技术的保护范围。因此,本技术的保护范围应以所附权利要求为准。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献