一种装卸货距离估计方法、终端设备以及计算机存储介质与流程

1.本技术涉及图像处理技术领域，特别是涉及一种装卸货距离估计方法、终端设备以及计算机存储介质。


背景技术：

2.在物流领域，装卸货距离一般指车厢内所载总体货物到车厢门的距离。装卸货距离可分为静态装卸货距离和动态装卸货距离，静态装卸货距离是指车厢内货物静止状态下的装卸货距离，动态装卸货距离指的是货物装卸过程中车厢的实时动态装卸货距离。装卸货距离是一种评估营运效率的方法，可以用于反映物流中转场的工作情况。从而可以根据装卸货距离来合理调度车辆，以便充分利用车辆资源，降低物流成本且提高运行效率。
3.现有技术通常依据人工判断的结果来评估车厢装卸货距离，或者利用测量设备计算，人工判断的方法导致无法将信息及时反馈给管理系统，而测量设备需要单独的测量平台和设备且受外界影响计算不够准确。无论是依靠测量设备还是人工都需要较大的人力成本，导致成本高且测量速度慢。


技术实现要素：

4.本技术提供了一种装卸货距离估计方法、终端设备以及计算机存储介质。
5.本技术提供了一种装卸货距离估计方法，所述装卸货距离估计方法包括：
6.获取监控图像的分割预测图；
7.获取所述物流车厢在所述分割预测图上的直线像素距离；
8.基于所述分割预测图设置装卸货像素距离；
9.利用所述直线像素距离以及所述装卸货像素距离，估计所述监控图像对应的装卸货距离。
10.其中，所述利用所述直线像素距离以及所述装卸货像素距离，估计所述监控图像对应的装卸货距离，包括：
11.获取所述物流车厢在世界坐标系下的物理距离；
12.获取所述直线像素距离和所述装卸货像素距离的比值；
13.利用所述比值与所述物理距离获取所述监控图像对应的装卸货距离。
14.其中，所述利用所述比值与所述物理距离获取所述监控图像对应的装卸货距离，包括：
15.当所述比值小于等于预设阈值时，利用所述物理距离按照第一装卸货距离估算关系获取所述监控图像对应的装卸货距离；
16.当所述比值大于所述预设阈值时，利用所述物理距离按照第二装卸货距离估算关系获取所述监控图像对应的装卸货距离。
17.其中，所述估计所述监控图像对应的装卸货距离之后，所述装卸货距离估计方法还包括：
18.获取连续多帧的监控图像，及其对应的装卸货距离；
19.获取当前监控图像以及时序在所述当前监控图像之前预设数量的历史监控图像；
20.利用所述当前监控图像的当前装卸货距离以及所述预设数量的历史监控图像的历史装卸货距离，估计所述当前监控图像的动态装卸货距离。
21.其中，所述利用所述当前监控图像的当前装卸货距离以及所述预设数量的历史监控图像的历史装卸货距离，获取所述当前监控图像的动态装卸货距离，包括：
22.将所述当前装卸货距离以及预设数量的历史装卸货距离中的最大值和最小值去除；
23.将剩余装卸货距离的平均值，确定为所述当前监控图像的动态装卸货距离。
24.其中，所述基于所述分割预测图设置装卸货像素距离，包括：
25.基于所述分割预测图获取第一预设标签的像素点的第一水平投影图，以及第二预设标签的像素点的第二水平投影图；
26.获取所述第一水平投影图中从上往下像素值大于等于预设像素阈值的第一坐标位置；
27.获取所述第二水平投影图中从上往下像素值大于等于预设像素阈值的第二坐标位置；
28.利用所述第一坐标位置和所述第二坐标位置估计动态计算起点坐标位置；
29.将所述第二水平投影图中最大像素值对应的坐标位置，作为动态计算终点坐标位置；
30.基于所述动态计算起点坐标位置和所述动态计算终点坐标位置，获取所述装卸货像素距离。
31.其中，所述利用所述第一坐标位置和所述第二坐标位置获取动态计算起点坐标位置，包括：
32.获取所述第一坐标位置和所述第二坐标位置中的最小坐标位置；
33.利用预设指数平滑法对所述最小坐标位置进行平滑滤波，得到平滑坐标位置；
34.基于所述平滑坐标位置获取所述动态计算起点坐标位置；
35.其中，所述预设指数平滑法为霍尔特双参数线性指数平滑法。
36.本技术还提供了一种终端设备，所述终端设备包括：
37.预测模块，用于获取监控图像的分割预测图；
38.距离模块，用于获取所述物流车厢在所述分割预测图上的直线像素距离；
39.所述距离模块，用于基于所述分割预测图设置装卸货像素距离；
40.估计模块，用于利用所述直线像素距离以及所述装卸货像素距离，估计所述监控图像对应的装卸货距离。
41.本技术还提供了另一种终端设备，所述终端设备包括存储器和处理器，其中，所述存储器与所述处理器耦接；
42.其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述的装卸货距离估计方法。
43.本技术还提供了一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现上述的装卸货距离估计方法。
44.本技术的有益效果是：终端设备获取监控图像的分割预测图；获取物流车厢在所述分割预测图上的直线像素距离；基于分割预测图设置装卸货像素距离；利用直线像素距离以及装卸货像素距离，估计监控图像对应的装卸货距离。通过上述方式，本技术的装卸货距离估计方法能够实时估计物流车厢的装卸货距离，有效提高装卸货距离的估计效率以及准确度。
附图说明
45.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
46.图1是本技术提供的装卸货距离估计方法一实施例的流程示意图；
47.图2是本技术提供的装卸货监控图像的框架示意图；
48.图3是本技术提供的动态计算起点坐标位置估计方法一实施例的流程示意图；
49.图4是本技术提供的动态计算分割线以及水平投影图一实施例的示意图；
50.图5是本技术提供的动态计算分割线以及水平投影图另一实施例的示意图；
51.图6是本技术提供的终端设备一实施例的结构示意图；
52.图7是本技术提供的终端设备另一实施例的结构示意图；
53.图8是本技术提供的计算机存储介质一实施例的结构示意图。
具体实施方式
54.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
55.请参阅图1，图1是本技术提供的装卸货距离估计方法一实施例的流程示意图。
56.其中，本技术的装卸货距离估计方法应用于一种终端设备，其中，本技术的终端设备可以为服务器，也可以为由服务器和电子设备相互配合的系统。相应地，终端设备包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以分别设置于服务器和电子设备中。
57.进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。在一些可能的实现方式中，本技术实施例的装卸货距离估计方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
58.具体而言，如图1所示，本技术实施例的装卸货距离估计方法具体包括以下步骤：
59.步骤s11：获取监控图像的分割预测图。
60.在本技术实施例中，终端设备采用安装在工厂或者物流货车上方的监控摄像头，采集物流货车内部的装卸货视频，然后从装卸货视频中截取若干监控图像，用以分析物流
货车内部车厢装卸货距离。
61.具体地，终端设备提取装卸货视频中的监控图像，如图2所示，若监控图像的尺寸不满足本技术实施例的分割网络模型的预设尺寸，则将监控图像的大小放缩到预设尺寸。例如，预设尺寸可以设置为512
×
512，终端设备将监控图像的大小放缩为512
×
512，满足分割网络模型的尺寸要求。进一步地，终端设备还可以分别将监控图像的rgb三个通道除以255，以将监控图像进行归一化。归一化后的数据处理方式有利于分割网络模型的收敛，加快分割网络模型分割效率。
62.进一步地，终端设备将监控图像输入分割网络模型，得到监控图像每个像素的分割标签，组成分割预测图。
63.在分割网络模型的过程中，工作人员需要对车厢内的场景进行拟合标注，主要分割标签包括但不限于：包裹、车厢内侧壁、车厢内顶壁、车厢内底壁、传送带、物流人员及其他。经过拟合标注后，得到与原图大小一致的标签图，原图与标签图一一对应构成训练集，然后，利用分割网络模型的损失函数进行训练。
64.在实际应用中，终端设备将监控视频中的视频帧逐帧送到分割网络模型中，就可以得到每帧视频帧车厢内场景的预测图，该预测图的每个像素点由预测的不同标签构成。
65.由于车厢内场景各标签的差距比较大，为了使构建的分割网络模型能够更好地学习各个标签的特征，从而能够更准确地实现分割效果，本技术实施例提供了如下损失函数：
[0066][0067]
其中，m为分割网络模型的标签数量，wc为标签c的权重参数；yc为标签c的标签值，其中，是一个one-hot向量，标签值只有0和1两种取值；pc为预测样本属于标签c的概率。
[0068]
其中，权重参数wc的计算方式如下：
[0069][0070]
其中，n为监控图像的像素总数，nc为标签c的像素数。
[0071]
步骤s12：获取物流车厢在分割预测图上的直线像素距离。
[0072]
在本技术实施例中，为了更加准确地估算装卸货距离，终端设备需要在世界坐标系下在车位卸货区域配置一条规则直线，使其与车厢长度大体一致。
[0073]
具体地，终端设备获取规则直线在世界坐标系下的物理距离l，以及在分割预测图中识别中规则直线在图像中的起止点，获取起止点坐标，然后，基于起止点坐标计算出规则直线在分割预测图的图像坐标系下的直线像素距离ld。其中，直线像素距离ld与物理距离l具有对应关系，表征现实中的直线映射到图像中的变换关系。
[0074]
其中，当出现监控图像与分割预测图的图像坐标系不一致的情况下，还需要对两个图像坐标系进行坐标变换。例如，监控图像处于1024图像坐标系下，分割预测图处于512图像坐标系下。终端设备获取规则直线在1024图像坐标系下的起止点坐标，计算1024图像坐标系与512图像坐标系的坐标换算关系，然后，利用该坐标换算关系将1024图像坐标系下的起止点坐标映射到512图像坐标系的起止点坐标，最终利用512图像坐标系的起止点坐标计算直线像素距离ld。
[0075]
步骤s13：基于分割预测图设置装卸货像素距离。
[0076]
在本技术实施例中，终端设备通过步骤s11获取每个标签的像素分布，可以利用其中一种标签的像素点或者其中多种标签的像素点获取动态计算起点坐标位置。本技术实施例提供了一种利用传送带标签的像素和车厢内底壁标签的像素获取动态计算起点坐标位置的方法，具体请参阅图3，图3是本技术提供的动态计算起点坐标位置估计方法一实施例的流程示意图。在其他实施例中，也可以采用其他标签的像素获取动态计算起点坐标位置，在此不再赘述。
[0077]
具体而言，本技术的动态计算起点坐标位置估计方法具体包括以下步骤：
[0078]
步骤s131：基于分割预测图获取第一预设标签的像素点的第一水平投影图，以及第二预设标签的像素点的第二水平投影图。
[0079]
在本技术实施例中，终端设备根据分割预测图计算传送带标签的像素的水平投影，得到第一水平投影图；计算车厢内底壁标签的像素的水平投影，得到第二水平投影图，具体请参阅图4和图5。在图4和图5中，左侧图像为分割预测图及其动态计算分割线，中间图像为第二水平投影图，右侧图像为第一水平投影图。
[0080]
步骤s132：获取第一水平投影图中从上往下像素值大于等于预设像素阈值的第一坐标位置。
[0081]
步骤s133：获取第二水平投影图中从上往下像素值大于等于预设像素阈值的第二坐标位置。
[0082]
在本技术实施例中，由于物流包裹一般从车厢门口到车厢内部传输，即分割预测图中的下部区域为车厢门口区域，上部区域为车厢内部区域。因此，终端设备在第一水平投影图和第二水平投影图从上往下分别获取像素值大于等于预设像素阈值的第一坐标位置和第二坐标位置，即获取第一水平投影图和第二水平投影图首次达到预设像素阈值的投影位置。
[0083]
步骤s134：利用第一坐标位置以及第二坐标位置获取动态计算起点坐标位置。
[0084]
在本技术实施例中，终端设备可以取第一坐标位置和第二坐标位置中的最小坐标位置，按照最小坐标位置获取动态计算起点坐标位置；终端设备还可以取第一坐标位置和第二坐标位置中的平均坐标位置，按照平均坐标位置值获取动态计算起点坐标位置；终端设备还可以取第一坐标位置和第二坐标位置中的最大坐标位置，按照最大坐标位置获取动态计算起点坐标位置。
[0085]
进一步地，以最小坐标位置为例，终端设备还可以利用预设指数平滑法对最小坐标位置进行平滑滤波，得到平滑坐标位置，然后，按照平滑坐标位置获取动态计算起点坐标位置，能够有效避免货物运动造成的装卸货距离数值的偏差，为动态装卸货距离的计算提供了基础。
[0086]
其中，本技术实施例提供的预设指数平滑法为霍尔特双参数线性指数平滑法。霍尔特双参数线性指数平滑法的具体表达如下：
[0087]st
＝αc0 (1-α)(s
t-1
b
t-1
)
[0088]bt
＝γ(s
t-s
t-1
) (1-γ)b
t-1
[0089]ch
＝s
t
b
t
[0090]
其中，α和γ为平滑参数，在本技术实施例中，α可以为0.4，γ可以为0.1；c0为最小坐标位置值，ch为平滑坐标位置值，s
t
和b
t
为中间变量。
[0091]
步骤s135：将第二水平投影图中最大像素值对应的坐标位置，作为动态计算终点坐标位置。
[0092]
在本技术实施例中，终端设备计算车厢内底壁标签对应的第二水平投影图中的最大像素值作为动态计算终点坐标位置。
[0093]
步骤s136：基于动态计算起点坐标位置和动态计算终点坐标位置，获取装卸货像素距离。
[0094]
在本技术实施例中，终端设备基于动态计算起点坐标位置start和动态计算终点坐标位置end的差值，计算d＝end
–
start，作为监控图像的装卸货像素距离d。
[0095]
步骤s14：利用直线像素距离以及装卸货像素距离，估计监控图像对应的装卸货距离。
[0096]
在本技术实施例中，终端设备计算装卸货像素距离d与直线像素距离ld之间的比值关系记作r，并通过装卸货距离估算函数计算装卸货距离dist。
[0097]
具体地，本技术实施例提供的装卸货距离估算函数的表达式如下：
[0098][0099]
其中，l为物理距离。
[0100]
进一步地，终端设备还可以利用自适应中位值滑动平均滤波法对装卸货距离进行平滑，弥补货物运动引起的距离偏差，最后得到动态装卸货距离。
[0101]
具体地，终端设备将连续取得的n个装卸货距离看成一个队列，队列的长度固定为n，每次计算得到一个新数据按照先进先出原则放入队列队尾，并扔掉原来队列队首的一个数据。对于当前监控图像及其当前装卸货距离而言，终端设备将当前装卸货距离放入队列队尾，然后去掉当前队列中的装卸货距离最大值和最小值后，把当前队列中的装卸货距离进行算术平均运算，得到当前监控图像的动态装卸货距离。
[0102]
在实际应用中，终端设备将上述过程生成的动态装卸货距离发送到控制服务器，方便控制服务器对动态装卸货距离进行信息记录以及进一步分析，为合理车辆调度提供参考依据。
[0103]
具体地，控制服务器利用记录的动态装卸货距离，根据需求设置阈值，发出调度信息，合理调度车辆，以便充分利用车辆资源，降低物流成本且提供运行效率。
[0104]
本技术实施例的终端设备结合语义分割的卷积神经网络分析摄像头拍摄的物流货车装卸货视频，利用水平投影算法计算动态坐标，并通过滤波平滑算法和装卸货距离估算函数实时计算动态装卸货距离。装置不仅不需要复杂的标定过程，减小了货物运动造成的计算误差，而且可以直观地实时显示车厢装卸货距离，并把装卸货距离发送到中央服务器中，便于服务器记录和分析。本技术实施例的装卸货距离估计方法有助于合理调度车辆，以便充分利用车辆资源，降低物流成本且提高运行效率。
[0105]
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
[0106]
为实现上述实施例的装卸货距离估计方法，本技术还提出了一种终端设备，具体请参阅图6，图6是本技术提供的终端设备一实施例的结构示意图。
[0107]
如图6所示，本技术提供的终端设备400包括预测模块41、距离模块42以及估计模块43。
[0108]
其中，预测模块41，用于获取监控图像的分割预测图。
[0109]
距离模块42，用于获取所述物流车厢在所述分割预测图上的直线像素距离；还用于基于所述分割预测图设置装卸货像素距离。
[0110]
估计模块43，用于利用所述直线像素距离以及所述装卸货像素距离，估计所述监控图像对应的装卸货距离。
[0111]
为实现上述实施例的装卸货距离估计方法，本技术还提出了另一种终端设备，具体请参阅图7，图7是本技术提供的终端设备另一实施例的结构示意图。
[0112]
本技术实施例的终端设备500包括存储器51和处理器52，其中，存储器51和处理器52耦接。
[0113]
存储器51用于存储程序数据，处理器52用于执行程序数据以实现上述实施例所述的装卸货距离估计方法。
[0114]
在本实施例中，处理器52还可以称为cpu(central processing unit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(dsp，digital signal process)、专用集成电路(asic，application specific integrated circuit)、现场可编程门阵列(fpga，field programmable gate array)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器52也可以是任何常规的处理器等。
[0115]
本技术还提供一种计算机存储介质，如图8所示，计算机存储介质600用于存储程序数据61，程序数据61在被处理器执行时，用以实现如上述实施例所述的装卸货距离估计方法。
[0116]
本技术还提供一种计算机程序产品，其中，上述计算机程序产品包括计算机程序，上述计算机程序可操作来使计算机执行如本技术实施例所述的装卸货距离估计方法。该计算机程序产品可以为一个软件安装包。
[0117]
本技术上述实施例所述的装卸货距离估计方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在装置中，例如一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0118]
以上所述仅为本技术的实施方式，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。