一种基于关联图谱的自动化集装箱码头装卸时间预测方法

1.本发明属于码头数据挖掘领域，涉及一种基于关联图谱的自动化集装箱码头装卸时间预测方法。本发明是在中国专利申请cn113139022a(一种基于混合规则的企业物流数据按需融合方法)的进一步应用。


背景技术：

2.随着信息控制技术的不断发展，港口行业的自动化集装箱码头不断普及与建设。相比于传统码头，自动化集装箱码头采用了全自动化或可远程操作的装卸机械设备，实现全天候不间断地集装箱运输作业，并且由统一的码头管控系统进行调度管理。而管控大量的装卸设备并保证效率，对码头管控系统的智能化水平提出极高的要求。因此，如何精准预测装卸任务时间，以提高码头的运行效率，成为了码头管控系统中的关键任务。
3.传统的码头设备调度算法中，大多假设设备装卸时间服从正态分布，并简单地采用时间期望作为算法输入。显然地，这种估计方式存在误差，并会被进一步传递和放大，已经逐渐难以满足高精度的调度需求。另一类代表性的方法是利用物理模型计算设备装卸时间，常见于仿真模型中。这种方式强烈地依赖专家知识，并且在考虑多设备耦合协作时，模型将变得非常巨大复杂，不适宜在调度算法中大规模应用。
4.目前，针对集装箱码头装卸作业时间预测方法主要分为三类：物理模型、机器学习方法和深度学习方法。物理模型方法利用相关业务逻辑，通过仿真的形式进行建模，其特点是计算速度快，但对码头装卸流程建模要求高，无法处理码头装卸作业的突发情况，码头装卸时间预测误差较大。机器学习方法通过学习历史数据，利用优化算法处理码头装卸流程中出现的随机因素，不需要对码头装卸流程进行精准建模，但对历史数据的利用程度有限。深度学习方法除具备机器学习方法的优点外，模型的学习能力更为强大，可利用海量历史数据更为准确地预测码头装卸时间，但目前方法缺少码头装卸作业领域知识，也未能考虑装卸作业间的联系。
5.因此，如何有效利用集装箱码头装卸领域知识及其复杂的业务逻辑和关联流程，考虑设备在装卸过程中的承接、冲突关系，从而精准预测装卸任务的执行时间，是自动化集装箱码头装卸时间预测过程中急需解决的关键问题。


技术实现要素：

6.针对自动化集装箱码头装卸时间预测过程中，难以有效利用码头的专家知识和装卸流程的关联关系的问题，本发明提出一种基于关联图谱的自动化集装箱码头装卸时间预测方法，通过面向工业大数据的数据与知识自主融合研究范式，将多源码头大数据以图结构化地方式融合，建立码头关联图谱，同时引入结构化的语义信息以反映集装箱码头装卸领域知识，能够实现数值型的深度学习模型与领域知识的自主融合，实现码头装卸时间的精准预测。
7.所述基于关联图谱的自动化集装箱码头装卸时间预测方法，主要包括以下步骤：
8.步骤一：邻域子图构建，在既有码头关联图谱的基础上(相关技术公开于中国专利申请cn113139022a一种基于混合规则的企业物流数据按需融合方法)，划分邻域子图并构建训练样本，提供给步骤二；
9.步骤二：装卸时间预测模型前向传播，利用步骤一提供的邻域子图，通过异质图神经网络(hgnn)的方式融合节点间的关联关系和属性信息，预测设备的装卸时间，提供给步骤三；
10.步骤三：预测时间与真实时间误差计算，利用步骤二提供的预测装卸时间，通过均方误差损失函数计算与真实装卸时间的损失，提供给步骤四；
11.步骤四：网络参数更新，利用步骤三提供的损失，训练步骤二中装卸时间预测模型的参数；若模型未收敛，则执行步骤二；若模型已收敛，则将收敛后的模型提供给步骤五；
12.步骤五：模型保存与应用，保存步骤四中所提供的模型结构与参数，并利用该模型新样本的装卸时间并输出。
13.进一步地，步骤一中所述码头关联图谱由两个元素组成
14.其中o＝oe∪or∪o
p
为事理层，由三类事理三元组组成，
15.oe表示节点三元组集合，定义码头设备概念，包括agv动作、轨道吊动作、桥吊tp、堆场海侧tp、堆场路侧tp、堆场箱区、堆场箱位、堆场排位、堆场倍位、堆场海侧支架、自动运载车pb，
16.or表示关系三元组集合，表述概念与概念之间存在的业务联系，包括设备起始位置、设备结束位置、装卸集装箱、作业机械、所属堆场排位、所属堆场倍位，
17.o
p
表示属性三元组集合，表述所述码头设备概念具有的特定属性，包括agv编号、轨道吊编号、箱重、箱高、相对位置、相对角度、相对x/y坐标距离、计划上下档tp位、开始时间、开锁时间、结束时间等；
18.其中i＝ie∪ir∪i
p
为实例层，每个实例三元组是由事理三元组实例化生成。
19.ie为节点实例三元组，由oe实例化得到，形式为(实例iri,isa,概念名)，表示实例iri是某个概念的具体实例(如实例loc_302为堆场箱位的一个具体实例)；
20.ir为关系实例三元组，由or实例化得到，形式为(实例iri,关系名,实例iri)，表示实例之间的具有的关系；
21.i
p
为属性实例三元组，由o
p
实例化得到，形式为(实例iri,属性名,属性值)，表示实例的具体属性值。
22.进一步地，步骤一中所述邻域子图构建过程，包括事理层的路径搜索和实例层的节点搜索两个步骤：路径搜索从码头关联图谱的事理层中得到关联路径的集合，节点搜索从码头关联图谱的实例层邻域子图。
23.步骤1.1：所述的事理层的路径搜索，根据目标任务节点vc和搜索最大步长s，以目标任务为中心节点，通过限定步长的方式，利用sparql脚本从码头关联图谱的事理层中查询关联路径p。
24.p由包含s个顺次连接的关系三元组构成，形式化表述为p＝{(vc,e1|^e1,v1),(v1,e2|^e2,v2),
…
,(v
l-1
,e
l
|^e
l
,v
l
)}，其中符号|表示或关系，符号^表示交换关系三元组的头尾实体，即(v
i-1
,^ei,vi)＝(vi,ei,v
i-1
)。收集所有查询得到的关联路径，得到关联路径的集合
25.步骤1.2：所述的实例层节点搜索，根据关联路径通过sparql从码头关联图谱的实例层获取路径实例，每条路径实例中包含一个目标任务的实例节点vc，以及在该路径下关联的其他节点v1,
…
,v
n-1
，即所述目标任务节点的邻域节点，构建邻域子图其中v＝{vc,v1,
…
,v
n-1
}表示节点集合，e＝{(vi,e,vj)|vi,vj∈v}表示边集合，合，表示属性集集合，包括数值型、分类型、时间型和编号型四类属性。
26.进一步地，步骤二中，所述装卸时间预测模型前向传播将邻域子图输入到异质图神经网络(hgnn)中，得到该邻域子图的预测时间所述装卸时间预测模型，具体包括以下步骤：
27.步骤2.1：节点信息表示，利用节点信息表示模块，依据各节点的不同数量且不同语义的属性信息集合ai，得到反映节点信息的统一向量化表示xi，提供给步骤2.2，形式化描述为所述节点信息表示，首先为每一种属性构建一个独立的属性编码器，将节点的属性值转化为γ维的向量。数值型属性利用线性映射层将归一化后的实数值转化向量，q
i,k
＝w
kai,k
；分类型属性采用嵌入(embedding)的方式为该属性的每种取值赋予一个向量，q
i,k
＝embedding(wk,a
i,k
)。对于时间型属性，将其转化为时间戳后，按照数值型属性的方式进行编码；对于编号型属性，若设备数量较少，采用分类型属性的编码方式，若设备数量较多，采取式字符级编码并聚合的方式，其中为节点vi的属性k的属性值，为编号型k属性值的字符串中第j个字符，字符串长度为l，为属性k的嵌入表示向量，为属性编码器中可学习的参数。然后对节点vi的所有属性向量ai＝{q
i,1
,q
i,2
,
…
,q
i,k
}进一步聚合得到节点表示向量xi，其中其中其中为k属性的可学习属性类型向量，所有节点共享。
28.步骤2.2：节点特征融合，利用步骤2.1提供的邻域子图中所有节点的向量表示x＝{xc,x1,x2…
,x
n-1
}，根据邻域子图的边信息e，通过异质图神经网络(hgnn)融合节点的邻居信息，得到节点的隐层表示h＝{hc,h1,
…
,h
n-1
}，提供给步骤2.3，形式化描述为φ:(x,e)
→
h。节点的隐层表示通过全连接层初始化为j＝c,1,2,
…
n-1。异质图神经网络(hgnn)中第l层的具体计算方式如下所示：
[0029][0030][0031][0032][0033]
[0034]
其中，为节点vj的第l层的隐层向量，的第l层的隐层向量，的第l层的隐层向量，为节点特征融合中可学习的参数,ρ为非线性激活函数。重复迭代l次后分别得到将最后一次的迭代结果作为输出，即融合了邻居信息的节点隐层表示
[0035]
步骤2.3：信息聚合，包括图池化、任务节点属性映射和门控聚合三个部分，利用节点隐层表示h，得到邻域子图向量z，形式化描述为ψ:h
→
z。图池化利用步骤2.2提供的邻域子图中节点的隐层表示h，输出池化后的图结构向量表示os，计算方式如下：
[0036]
η
i，t
＝softmax(hi·ut
)
[0037][0038]ut 1
＝lstm(concat([u
t
；r
t
]))
[0039]os
＝u
t
[0040]
任务节点属性映射，利用步骤2.2提供的任务节点的隐层表示hc，使用多层感知机进行计算，得到图属性向量表示oa＝mlp(hc)；门控聚合将结构向量os和属性向量oa通过门控机制进行融合，得到最终的邻域子图向量z＝sigmoid(g)
⊙os
(1-sigmoid(g))
⊙
oa，提供给步骤2.4，其中，为可学习的门控向量。
[0041]
步骤2.4：时间预测，将步骤2.3提供的邻域子图向量z，通过全连接层进行计算，得到模型输出的预测装卸时间其中是时间预测步骤中可学习的参数。
[0042]
进一步地，步骤三中，所述预测时间与真实时间误差计算，利用装卸时间预测模型得到的预测装卸时间和真实装卸时间y，计算与y均方误差损失函数
[0043]
进一步地，步骤四所述网络参数θ更新，将所述装卸时间预测模型在训练数据上进行训练，根据均方误差损失调整预测模型中的训练参数。在模型收敛之前，重复步骤二；当模型收敛后，得到收敛后的模型m与参数
[0044]
进一步地，步骤五所述模型保存与应用，保存步骤四提供的模型m以及相关参数在应用时，对于新样本将其输入到训练好的装卸时间预测模型m中，利用步骤二的方式进行前向传播，得到的预测时间
附图说明
[0045]
图1示出了本发明方法流程示意图。
[0046]
图2示出了本发明的基于关联图谱的自动化集装箱码头装卸时间预测方法的总体结构示意图。
[0047]
图3示出了本发明步骤二中装卸时间预测模型的结构示意图(即图2中装卸时间预测模型m的详细结构)。
[0048]
图4示出了本发明步骤2.1中节点信息表示的示意图(即图3中节点表示模块的具
体结构图)。
[0049]
图5示出了本发明步骤2.3中信息聚合的示意图(即图3中信息聚合模块ψ的具体结构图)。
具体实施方式
[0050]
为更清楚地解释本发明要解决的技术问题、技术方案和优点，下面结合实施例对本发明进行进一步的详细阐述。
[0051]
本发明提出一种基于关联图谱的自动化集装箱码头装卸时间预测方法，探索了面向工业大数据的数据与知识自主融合研究范式，利用关联图谱中的码头知识自主地发现关联特征，构造以目标任务为中心的邻域子图，通过基于异质图神经网络(hgnn)的装卸时间预测模型自主地学习关联图谱中结构化的语义信息和业务联系，提高了码头装卸时间预测的性能，有利于自动化码头管控系统的调度管理。
[0052]
本发明的一种基于关联图谱的自动化集装箱码头装卸时间预测方法的基本流程如下：首先，针对关联知识挖掘的问题，基于关联图谱中富语义的结构化数据，通过限定步长的遍历搜索方式划分邻域子图，自主地挖掘与装卸时间关联的数据特征，子图中的信息即是关联知识；其次，为整合邻域子图中不同数量且不同语义的属性信息，采用节点编码器根据属性点类型分别进行编码；之后，通过异质图神经网络(hgnn)的方法融合邻域子图中的关联关系和码头知识；最后，综合邻域子图的结构信息和任务节点的属性信息，对装卸时间进行预测。
[0053]
本发明的一种基于关联图谱的自动化集装箱码头装卸时间预测方法的具体实施过程如下(如图1、图2所示)：
[0054]
步骤一：邻域子图构建
[0055]
根据既有码头关联图谱码头业务的关联关系可以通过节点之间的拓扑结构及其边上关系语义体现出来，数据则表达在节点的属性值上，所以装卸任务节点的邻域节点及其属性值即是关联数据。
[0056]
本发明通过限定步长的遍历搜索划分邻域子图，给定搜索步长为s＝4，以目标任务为中心节点，在4步内可达的节点即是与目标装卸任务关联的邻域节点。由于实例图谱的规模巨大，直接利用sparql命令进行遍历搜索效率较低，本发明首先在事理图谱中搜索到达邻域节点的关联路径，再以关联路径为约束在实例图谱中查询邻域关联节点。
[0057]
进一步地，关联路径搜索给定事理图谱o和目标任务节点vc(如轨道吊动作概念节点)，利用sparql查询命令搜索从vc出发，长度为l(1≤l≤4)的关联路径p＝{(vc，e1|^e1，v1)，(v1，e2|^e2，v2)，...，(v
l-1
，e
l
|^e
l
，v
l
)}，得到所有关联路径的集合)}，得到所有关联路径的集合邻域节点搜索给定实例图谱i和一个关联路径根据关联路径的语义，通过sparql获取实例图谱在该路径下的路径实例，每条路径实例中包含一个目标任务的实例节点，以及在该路径下关联的其他节点，包含这些节点的实例三元组即是组成邻域子图的一部分。将关联路径集合中的所有查询结果进行合并，得到目标任务节点的邻域子图由节点集合v、边集合e、属性集集合组成。
[0058]
进一步地，如图3、图4所示，节点集合v＝{vc，v1，
…
，v
n-1
}，包含中心节点vc和邻域
节点v
1：n-1
。边集合e＝{(vi，e，vj)|vi，vj∈v}，连接节点的边上语义用e表示。属性集集合每个节点vi都有对应的属性集ai，包含若干属性和属性值，即ai＝{(vi，k，a
i，k
)}，a
i，k
表示节点vi的k属性的属性值，包括数值型、分类型、时间型和编号型四类属性。
[0059]
步骤二：装卸时间预测模型前向传播
[0060]
如图3所示，所述装卸时间预测模型m采用异质图神经网络(hgnn)对邻域子图中的节点属性信息和节点间的关联交互信息进行融合，计算得到的邻域子图向量z。
[0061]
具体的，如图3所示，所述装卸时间预测模型m包括步骤2.1节点信息表示、步骤2.2节点特征融合、步骤2.3信息聚合、步骤2.4时间预测四个步骤。首先，输入节点v以及节点的属性信息通过节点信息表示得到节点的向量表示x；然后根据邻域子图提供的拓扑结构和边上语义，利用异质图神经网络(hgnn)进行信息传递，得到融合邻域信息的节点隐层向量表示h；接下来通过信息聚合模块得到邻域子图的整体表示，即输出层向量z，并利用时间预测模块中的线性映射层和sigmoid激活函数计算得到模型的装卸时间预测结果
[0062]
如图4所示：所述步骤2.1节点信息表示由于邻域子图中各节点可能具有不同数量且不同语义的属性，即|ai|≠|aj|，所以需要通过所述节点信息表示模块利用属性编码器将节点vi的属性集合ai中的属性值转化为相同维度的向量表示，形式化为节点信息表示包括属性信息编码和节点属性聚合两部分。
[0063]
所述属性信息编码将节点的属性值a
i，k
表示为γ＝50维的向量q
i，k
。由于不同的属性具有不同的语义信息，且呈现不同的数据状态，因此需要为每一种属性构建一个独立的属性编码器。根据属性值的类型不同，属性信息可以分为数值型(如抓箱后堆场高度)、分类型(如指令优先级)、时间型(如到达目的位置时间)，以及编号型(如agv编号)四类。对于数值型属性，利用线性映射层将归一化后的实数值转化向量，q
i，k
＝w
kai，k
；对于分类型属性，采用嵌入(embedding)的方式为该属性的每种取值赋予一个向量，q
i，k
＝embedding(wk，a
i，k
)；对于时间型属性，将其转化为时间戳后，按照数值型属性的方式进行编码；对于编号型属性，若设备数量较少，采用分类型属性的编码方式，若设备数量较多，采取式字符级编码并聚合的方式，其中为节点vi的属性k的属性值，为编号型k属性值的字符串中第j个字符，字符串长度为l，为属性k的嵌入表示向量，为属性编码器中可学习的参数。
[0064]
所述节点属性聚合对于节点vi的所有属性表示向量ai＝{q
i，1
，q
i，2
，
…
，q
i，k
}，采用注意力的思想聚合每一个节点的属性信息，其中为属性的注意力权重，其中为k属性的可学习属性类型向量，所有节点共享。
[0065]
所述步骤2.2节点特征融合，采用异质图神经网络(heterogeneous graph neural network，hgnn)，基于邻域子图中的边集合e融合节点的邻居信息，将邻域子图中所有节点的向量表示x＝{xc，x1，x2…
，x
n-1
}转化为节点隐层表示h＝{hc，h1，
…
，h
n-1
}，形式化为φ：(x，
e)
→
h。首先将γ＝50维的节点的向量表示xj通过全连接层转化为d＝60维的节点隐层表示通过全连接层转化为d＝60维的节点隐层表示j＝c，1，2，
…
n-1，c为中心节点vc的标号，1，2，
…
n-1为邻域节点v
1：n-1
的标号。然后采用异质图神经网络(hgnn)对节点进行l＝3次迭代，以融合节点的邻居信息，第l次迭代的具体计算方式如下所示：
[0066][0067][0068][0069][0070][0071]
其中，为节点vj的第l层的隐层向量，
[0072]
均为节点特征融合中可学习的参数，
[0073]
σ为非线性激活函数，均为hgnn计算过程中的中间变量。重复迭代l＝3次后分别得到将最后一次的迭代结果作为输出，即融合了邻居信息的节点隐层表示
[0074]
所述步骤2.3(如图5、图3所示)信息聚合包括图池化、任务节点属性映射和门控信息聚合三个组件。根据输入的节点隐层向量表示h，通过图池化得到邻域子图的结构向量表示os；通过mlp将任务节点的隐层表示hc转化为图结构向量表示os；通过门控机制进行聚合，得到输出层向量表示z，
[0075]
所述图池化组件采用set2set的池化方法，将邻域子图中的节点隐层表示h转化为图结构向量表示os。
[0076]
η
i，t
＝softmax(hi·ut
)
[0077][0078]ut 1
＝lstm(concat([u
t
；r
t
]))
[0079]os
＝u
t
[0080]
其中为set2set池化计算过程中的中间变量。
[0081]
所述任务节点属性映射组件通过mlp将中心节点的隐层表示hc转化到与结构表示向量os相同的空间中，oa＝mlp(hc)。
[0082]
由于结构向量表示os和属性向量表示oa反映了邻域子图的不同特征，所述门控机制通过一个可学习的门控集成函数对二者(os和oa)的每个维度赋予不同的权重，融
合后得到最终的邻域子图向量z。
[0083]
z＝sigmoid(g)
⊙os
(1-sigmoid(g))
⊙
oa[0084]
所述步骤2.4时间预测使用线性映射和sigmoid激活函数进行计算，得到最终模型输出的装卸时间预测结果其中是时间预测步骤中可学习的参数。
[0085]
步骤三：预测时间与真实时间误差计算
[0086]
利用步骤二种装卸时间预测模型得到的预测装卸时间通过均方误差mse计算预测装卸时间与真实装卸时间y的损失
[0087][0088]
其中为样本数量。
[0089]
步骤四：网络参数更新
[0090]
将所述装卸时间预测模型在训练数据上进行训练，根据均方误差调整预测模型中的训练参数θ。若模型未达到收敛，则重复步骤二；若模型收敛，则得到收敛后的模型m与参数
[0091]
步骤五：模型保存与应用
[0092]
该步骤首先保存步骤四提供的模型m以及相关参数在应用时，对于新样本在应用时，对于新样本将其输入到训练好的装卸时间预测模型m中，根据模型参数并使用步骤二中的前向传播方式进行计算，得到的预测装卸时间
[0093]
实验验证
[0094]
本发明在包含40余万条样本的自动化集装箱码头装卸记录数据上进行装卸时间预测实验以验证发明的有效性。实验以轨道吊装卸任务的开锁时间与闭锁时间为预测对象，数据集总节点数达到88万个，其中42万个为轨道吊任务对应的目标节点，包含约240万个三元组，拥有39种属性类型和6种关系类型。为从多维度验证本发明的有效性，采用6个指标对模型的性能进行评价：均方根误差(root mean squared error，rmse)、平均绝对误差(mean absolute error，mae)、均值平方对数误差(mean squared log error，msle)、平均绝对百分误差(mean absolute percentage error，mape)、平均相对误差(mean relative error，mre)以及r平方得分(r2-score)。计算方式如下所示：
[0095][0096]
[0097][0098][0099][0100][0101]
其中rmse、mae、msle、mape、mre指标越低说明预测误差越小，模型的性能越好；而r2指标越高则预测误差越小，模型的性能越好。对比模型选择了工业生产场景常用了历史期望，广泛使用的机器学习模型xgboost、lightgbm、svm，以及神经网络回归模型。
[0102]
从表1和
[0103]
表2可以看出本发明方法在各项指标上均优于其它方法，证明了本发明方法的有效性和先进性。
[0104]
表1不同模型开锁时间预测性能
[0105][0106]
表2不同模型闭锁时间预测性能
[0107]