一种基于图神经网络的图像生成方法

技术特征：
1.一种基于图神经网络的图像生成方法，其特征在于，包括：（1）获得多张真实图像，基于所述真实图像中的物体构建场景拓扑图，将真实图像输入vqgan系统得到真实图像编码和图像特征节点集合，通过图像特征节点集合和对应的场景拓扑图构建超图，多个超图构建训练样本集；（2）构建训练网络模型，所述训练网络模型包括消息传递函数、注意力机制单元、全连接层和归一化指数函数，其中：场景拓扑图上的语义特征消息传递方式：在场景拓扑图中，通过消息传递函数将场景拓扑图节点的每个邻居节点的语义特征和连边特征进行融合得到第一邻居节点消息，将每个第一邻居节点消息通过注意力机制单元进行聚合，将聚合结果作为更新的场景拓扑图节点语义特征；全局消息传递方式：当图像特征节点的邻居节点为场景拓扑图节点时，采用回归网络方法基于场景拓扑图的每个节点构建矩形框，矩形框内为物体的图像特征节点，场景拓扑图的每个节点指向对应矩形框，通过消息传递函数将更新的场景拓扑图节点语义特征与对应的矩形框连接的全局连边特征进行融合，将融合结果通过注意力机制得到的聚合特征作为采用全局消息传递方式更新的图像特征；局部消息传递方式：当图像特征节点的邻居节点在当前矩形框内或其他矩形框内时，通过消息传递函数将矩形框内图像特征节点的邻居节点的图像特征和相应连边特征进行融合得到第二邻居节点信息，将每个第二邻居节点信息通过注意力机制单元进行聚合，将聚合结果作为采用局部消息传递方式更新的图像特征；将基于全局消息传递方式和局部消息传递方式更新得到的图像特征集合依次输入全连接层和归一化指数函数得到生成图像编码；（3）基于训练样本集对训练网络模型进行训练，通过生成图像编码和真实图像编码采用损失函数训练训练网络模型得到图神经网络模型；（4）应用时，将场景拓扑图输入至图神经网络模型中得到生成图像编码，将生成图像编码输入至vqgan系统的解码器生成图像。2.根据权利要求1所述的基于图神经网络的图像生成方法，其特征在于，将真实图像输入vqgan系统得到真实图像编码，包括：先将真实图像通过vqgan系统的编码器得到初始潜在向量组合，基于距离最近原理将初始潜在向量组合中的初始潜在向量与向量字典进行比对得到潜在向量组合，潜在向量组合的下标为真实图像编码，其中：所述潜在向量为：其中， 为初始潜在向量组合， q（﹒）为距离最近函数， z
k
为向量字典中的第k个向量，n为向量的维度，h和w分别为潜在向量的高度和宽度。3.根据权利要求1所述的基于图神经网络的图像生成方法，其特征在于，所述基于所述真实图像中的物体构建的场景拓扑图，场景拓扑图节点表示真实图像中的物体，连边表示物体之间的关系，场景拓扑图由元祖组成，其中：场景拓扑图节点的集合o为：
其中， o
i
为第i个场景拓扑图节点，n为场景拓扑图节点的个数， 为一组物体类别；场景拓扑图连边的集合，为一组关系类别，每条边表示为，为的第个邻居节点，，为由第i个场景拓扑图节点指向第
ꢀꢀ
个场景拓扑图节点的连边。4.根据权利要求1所述的基于图神经网络的图像生成方法，其特征在于，将场景拓扑图输入嵌入层网络中得到场景拓扑图节点的语义特征和连边特征。5.根据权利要求3所述的基于图神经网络的图像生成方法，其特征在于，通过消息传递函数将场景拓扑图节点的每个邻居节点语义特征和连边特征进行融合得到第一邻居节点消息 为：其中， 为第个邻居节点语义特征，为连边特征，为场景拓扑图内信息传递参数矩阵，，d1为邻居节点的语义特征的维度，d2为连边特征的维度。6.根据权利要求3所述的基于图神经网络的图像生成方法，其特征在于，通过融合结果更新图像特征节点对应的图像特征
ꢀꢀ
为：其中， 为节点特征v
i
的邻居节点集合， 为归一化后的节点到节点 的注意力系数，w1和w2分别为参数矩阵，gelu为激活函数。7.根据权利要求1所述的基于图神经网络的图像生成方法，其特征在于，基于全局消息传递方式更新得到的图像特征
ꢀꢀ
为：为：其中，为第i已更新的语义节点特征传递给第j个图像节点特征的消息， r
g
为第g个全局连边类型，为全局连边类型的参数矩阵，为全局连边特征，为第i个已更新的语义节点特征到图像节点特征
ꢀꢀ
的注意力系数，w1和w2分别为参数矩阵，
为图像节点特征的语义特征邻居节点集合。8.根据权利要求1所述的基于图神经网络的图像生成方法，其特征在于，将基于全局消息传递方式和局部消息传递方式更新得到的图像特征依次进行前馈神经网络和规范化操作得到最终的图像特征；将基于场景拓扑图上的语义特征消息传递方式更新得到的场景拓扑图节点语义特征依次进行前馈神经网络和规范化操作得到最终的语义特征消息。9.根据权利要求1所述的基于图神经网络的图像生成方法，其特征在于，当图像特征节点的邻居节点在当前矩形框内时，矩形框内的每个图像特征节点指向其他图像特征节点，这些节点之间通过特定的局部边r
l
进行连接，l表示局部边的索引，为第一局部连边特征，为图像特征节点的在同一矩形框内的邻居节点集合，通过其消息传递函数、注意力机制得到更新的图像特征节点为：为：其中，为j个图像特征节点到第
ꢀꢀ
个邻居节点特征
ꢀꢀ
的注意力系数，w1和w2分别为参数矩阵，为第一局部连边类型的参数矩阵。10.根据权利要求1所述的基于图神经网络的图像生成方法，其特征在于，当图像特征节点的邻居节点在其他矩形框内时，在场景拓扑图中，表示物体节点通过边与物体节点进行连接，物体节点
ꢀꢀ
和物体节点
ꢀꢀ
分别对应了位置矩形框
ꢀꢀ
和，在矩形框
ꢀꢀ
中的图像特征节点将会与矩形框
ꢀꢀ
中的图像特征节点同样以边
ꢀꢀ
进行连接以实现图像层面的关系消息传递，定义
ꢀꢀ
为和中所有图像特征节点有边连接的其他矩形框中的图像特征节点，通过其消息传递函数、注意力机制得到更新的图像特征节点为：
其中， 为j个图像特征节点到第
ꢀꢀ
个邻居节点特征
ꢀꢀ
的注意力系数，w1和w2分别为参数矩阵， 为第二局部连边类型的参数矩阵， 为第j个图像特征节点
ꢀꢀ
到第
ꢀꢀ
个邻居节点特征
ꢀꢀ
的连边特征。

技术总结
本发明公开了一种基于图神经网络的图像生成方法，包括通过图像特征节点集合和对应的场景拓扑图构建超图，在超图上构建一个图神经网络来同时学习场景拓扑图中的语义特征以及图像的潜在特征；通过四种在图神经网络上的消息传递方式来模拟真实场景中的物体交互，将基于全局消息传递方式和局部消息传递方式更新得到的图像特征集合依次输入全连接层和归一化指数函数得到生成图像编码；基于训练样本集对训练网络模型进行训练，通过生成图像编码和真实图像编码采用损失函数训练训练网络模型得到图神经网络模型；该方法能够高效的生成具有较高视觉质量和较为正确物体之间关系的图像。像。像。


技术研发人员：陈培 张杨康 李泽健 孙凌云
受保护的技术使用者：浙江大学
技术研发日：2022.11.29
技术公布日：2022/12/30