轨道交通场景图生成方法、装置、设备及存储介质

1.本发明涉及轨道交通系统技术领域，尤其涉及一种轨道交通场景图生成方法、装置、设备及存储介质。


背景技术：

2.随着计算能力和模型能力的提高，人们对场景的认知理解不再局限于物体检测，近年来一些研究关注整个图像的视觉知识描述，它不仅是物体、物体属性和图像属性的集合，也是物体之间关系的表示。轨道交通场景视觉认知是轨道交通系统领域的核心技术之一。对于轨道交通场景，如果了解图像中物体之间的相互作用，就能达到更高层次的场景理解。
3.现有技术中忽略了轨道交通场景下对象本身的一些特性，也没有利用对象之间本身存在的相关性质，因而导致生成的场景图存在不全面、不准确的问题。


技术实现要素：

4.本发明提供一种轨道交通场景图生成方法、装置、设备及存储介质，用以解决现有技术中道交通场景下场景图不全面且不准确的缺陷，获得表征轨道交通场景的视觉态势的轨道交通场景图。
5.本发明提供一种轨道交通场景图生成方法，包括：
6.获取轨道交通图像，根据注意力机制标注轨道交通图像中的目标区域；
7.将标注目标区域后的轨道交通图像输入生成模型，获得所述生成模型输出的轨道交通场景图；
8.其中，所述生成模型用于根据所述标注的目标区域中的节点和节点之间的视觉关系构建所述轨道交通场景图，所述轨道交通场景图包括多层有向图且每层存储多个节点，所述层内或层间的节点之间的连接有边，所述节点用于描述不同语义类别的轨道交通场景信息，所述边用于描述所述节点之间的视觉关系。
9.根据本发明提供的一种轨道交通场景图生成方法，所述根据注意力机制标注轨道交通图像中的目标区域，包括：
10.获取轨道交通图像中存在实体对象的区域，并根据注意力机制获取所述轨道交通图像中的轨道－视觉区域；
11.将所述存在实体对象的区域和轨道－视觉区域标注为目标区域。
12.根据本发明提供的一种轨道交通场景图生成方法，所述轨道－视觉区域包括轨道上视区、轨道左视区和轨道右视区。
13.根据本发明提供的一种轨道交通场景图生成方法，所述节点之间的视觉关系包括轨道拓扑关系、空间关系、遮挡关系和从属关系。
14.根据本发明提供的一种轨道交通场景图生成方法，所述轨道交通场景图包括源图像层、轨道层、前景层、背景层和场景层。
15.根据本发明提供的一种轨道交通场景图生成方法，所述源图像层的节点用于存储轨道交通图像；
16.所述轨道层的节点用于存储轨道路基，轨道下的桥隧建筑物和轨道路堤上的语义信息；
17.所述前景层的节点用于存储前景对象的语义信息；
18.所述背景层的节点用于存储地面和结构的语义信息；
19.所述场景层的节点用于存储场景的整体属性。
20.本发明还提供一种轨道交通场景图生成装置，包括：
21.采集模块，用于获取轨道交通图像，根据注意力机制标注轨道交通图像中的目标区域；
22.生成模块，用于将标注目标区域后的轨道交通图像输入生成模型，获得所述生成模型输出的轨道交通场景图；
23.其中，所述生成模型用于根据所述标注的目标区域中的节点和节点之间的视觉关系构建所述轨道交通场景图，所述轨道交通场景图包括多层且每层存储多个节点，所述层内或层间的节点之间的连接有边，所述节点用于描述不同语义类别的轨道交通场景信息，所述边用于描述所述节点之间的视觉关系。
24.根据本发明提供的一种轨道交通场景图生成装置，所述采集模块包括标注子模块，所述标注子模块用于获取轨道交通图像中存在实体对象的区域，并根据注意力机制获取所述轨道交通图像中的轨道－视觉区域；
25.所述标注子模块还用于将所述存在实体对象的区域和轨道－视觉区域标注为目标区域。
26.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述轨道交通场景图生成方法的步骤。
27.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述轨道交通场景图生成方法的步骤。
28.本发明提供的一种轨道交通场景图生成方法、装置、设备及存储介质，首先，与一般的视觉轨道交通场景相比，本发明使用的轨道交通场景元素的类别更少。其次，本发明提出了有效的生成模型，适合于分层多模式轨道交通场景框架。最后，本发明基于轨道交通场景的结构和人的注意力特征，对现有的场景数据集标注方法进行了改进，以此来更好地描述该区域的视觉知识，为轨道交通场景的辨识提供了更加有效的解决方案。
附图说明
29.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
30.图1是本发明实施例提供的轨道交通场景图生成方法的流程示意图；
31.图2是本发明实施例提供的场景层次框架示意图；
32.图3是本发明实施例提供的目标区域定位示意图；
33.图4是本发明实施例提供的轨道交通场景图；
34.图5是本发明实施例提供的轨道交通场景图生成装置的结构示意图；
35.图6是本发明实施例提供的电子设备的结构示意图。
具体实施方式
36.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
37.下面结合图1-图4描述本发明的轨道交通场景图生成方法，包括：
38.步骤101、获取轨道交通图像，根据注意力机制标注轨道交通图像中的目标区域；
39.步骤102、将标注目标区域后的轨道交通图像输入生成模型，获得所述生成模型输出的轨道交通场景图；
40.其中，所述生成模型用于根据所述标注的目标区域中的节点和节点之间的视觉关系构建所述轨道交通场景图，所述轨道交通场景图包括多层有向图且每层存储多个节点，所述层内或层间的节点之间的连接有边，所述节点用于描述不同语义类别的轨道交通场景信息，所述边用于描述所述节点之间的视觉关系。
41.需要说明的是，所述生成模型是提前构建好的用于生产成轨道交通场景图的标准，在本实施例中该标准为如图2所示的场景层次框架。所述场景层次框架由多层有向图组成，有向图中节点表示不同语义类别场景信息，边表示节点之间的视觉关系。
42.本发明实施例的轨道交通场景图生成方法使用的轨道交通场景元素的类别少，方法简洁。本发明通过生成模型，适合应用于分层多模式轨道交通场景框架。本发明基于轨道交通场景的结构和人的注意力特征，对现有的场景数据集标注方法进行了改进，以此来更好地描述该区域的视觉知识，为轨道交通场景的辨识提供了更加有效的解决方案。
43.在本发明的至少一个实施例中，所述根据注意力机制标注轨道交通图像中的目标区域，包括：
44.步骤201、获取轨道交通图像中存在实体对象的区域，并根据注意力机制获取所述轨道交通图像中的轨道－视觉区域；
45.步骤202、将所述存在实体对象的区域和轨道－视觉区域标注为目标区域。
46.需要说明的是，步骤201中具体包括如下子步骤：
47.1.1)针对铁路轨道，建筑，天空，地面等几类，提出一种“轨道－视觉区域联合定位法”如步骤1.2。
48.1.2)从图像中最突出的部分开始，逐个描述图像并获得区域描述，并绘制覆盖描述中提到的所有对象的边界框。为了不让区域关系出现丢失，在轨道区域定位基础上，按不同轨道条数定位为轨道1，轨道2等，针对轨道交通场景的人类视觉注意机制，增加了轨道上视区(主要指整个轨道区域的上方存在实体的区域)，轨道左视区(主要指整个轨道区域的最左边存在实体的区域)，轨道右视区(主要指整个轨道区域的最右边存在实体的区域)来用于区域定位。
49.1.3)通过描述所定位区域中的关系以及对象，属性，与数据的关系的编码信息，将其用于之后的场景图生成中。
50.在本发明的至少一个实施例中，所述轨道－视觉区域包括轨道上视区、轨道左视区和轨道右视区。
51.在本发明的至少一个实施例中，所述节点之间的视觉关系包括轨道拓扑关系、空间关系、遮挡关系和从属关系。
52.需要说明的是，所述边的关系通过以下步骤建立：
53.3.1)在场景图中选择了关键类来描述轨道交通场景，根据各种轨道数据集中每个类别的出现频率，选择出现频率最高的类别作为这项工作的语义对象类别，并将其进行分组，如：机车，轨道，自然，建筑物，地面，天空等，将其存储在不同的层中，关键类即为语义频率最高的类别。
54.3.2)将底层中的节点与前景层和背景层中的节点连接；由于轨道层是其他层的基础，将轨道层的节点与前景层和背景层分别连接来表示空间关系；将背景层中的结构节点连接到地面节点来表示邻接关系，也将其与前景层中的节点连接表示接触关系。实现节点在不同层之间或跨不同层之间的相互连接，以实现多模式数据的统一。
55.3.3)构建适合于轨道交通场景图的关系列表和适用于每一层的关系子列表：从视觉基因组中最常见的50个关系中去除与轨道交通场景无关的关系，并基于轨道语义图补充定义轨道交通场景中的常见关系。不同轨道之间的关系主要被定义了五种：平行关系、相交关系、从视觉近端到视觉远端的平行且相交关系、从视觉近端到视觉远端的相交且平行关系和空间上的上下关系。
56.3.4)通过关系在层内或跨层彼此连接来形成场景图。
57.在本发明的至少一个实施例中，所述轨道交通场景图包括源图像层、轨道层、前景层、背景层和场景层。
58.在本发明的至少一个实施例中，所述源图像层的节点用于存储轨道交通图像；
59.需要说明的是，将底层的语义信息存储在源图像层上，该层的节点用来表示整个源图像；
60.所述轨道层的节点用于存储轨道路基，轨道下的桥隧建筑物和轨道路堤上的语义信息；
61.需要说明的是，该层是场景图中最基础和重要的一层；
62.所述前景层的节点用于存储前景对象的语义信息；
63.需要说明的是，前景层的节点是在轨道交通场景中需要注意的部分，将其称为“前景对象”，主要指轨道场景中一些动态的物体，例如轨道上行驶的机车、人等；
64.所述背景层的节点用于存储地面和结构的语义信息；
65.需要说明的是，背景层包含两种类型的节点：地面和结构，代表轨道交通场景中的背景结构，主要指轨道场景中一些静态的物体，例如轨道所在的地面、轨道周围的建筑物、自然和天空等；
66.所述场景层的节点用于存储场景的整体属性；
67.需要说明的是，场景层的节点例如城市、山区、大桥、隧道等反映其地理位置的属性。当需要建立不同图像之间的视觉场景联系时，可将整张图像所反映的场景视为一个节
点。
68.在本发明的至少一个实施例中，提出一种完整轨道交通场景图的生成流程。如图3所示，首先将选择好的图片进行图像分割得到细粒度实例分割图像，之后将两种图像区域定位，再将不同区域中的关系进行标注，最后编码数据输入生成模型，得到轨道交通场景图，即节点通过语义分割识别获得，目标区域通过人为筛选和注意力机制获得，关系通过人为标注，如图4所示。
69.需要说明的是，最终得到的轨道交通场景图中边的关系分为：“前景层内的实例”，“轨道层内的实例”，“前景层与轨道层中的实例”，“前景层与背景层中的实例”，“轨道层与背景层中的实例”和“背景层内的实例”。所有区域均由每一层描述。
70.下面对本发明提供的轨道交通场景图生成装置进行描述，下文描述的轨道交通场景图生成装置与上文描述的轨道交通场景图生成方法可相互对应参照。如图5所示的轨道交通场景图生成装置，包括：
71.采集模块501，用于获取轨道交通图像，根据注意力机制标注轨道交通图像中的目标区域；
72.生成模块502，用于将标注目标区域后的轨道交通图像输入生成模型，获得所述生成模型输出的轨道交通场景图；
73.其中，所述生成模型用于根据所述标注的目标区域中的节点和节点之间的视觉关系构建所述轨道交通场景图，所述轨道交通场景图包括多层且每层存储多个节点，所述层内或层间的节点之间的连接有边，所述节点用于描述不同语义类别的轨道交通场景信息，所述边用于描述所述节点之间的视觉关系。
74.在本发明的至少一个实施例中，所述采集模块包括标注子模块，所述标注子模块用于获取轨道交通图像中存在实体对象的区域，并根据注意力机制获取所述轨道交通图像中的轨道－视觉区域；
75.所述标注子模块还用于将所述存在实体对象的区域和轨道－视觉区域标注为目标区域。
76.在本发明的至少一个实施例中，所述轨道－视觉区域包括轨道上视区、轨道左视区和轨道右视区。
77.在本发明的至少一个实施例中，所述节点之间的视觉关系包括轨道拓扑关系、空间关系、遮挡关系和从属关系。
78.在本发明的至少一个实施例中，所述轨道交通场景图包括源图像层、轨道层、前景层、背景层和场景层。
79.在本发明的至少一个实施例中，所述源图像层的节点用于存储轨道交通图像；
80.所述轨道层的节点用于存储轨道路基，轨道下的桥隧建筑物和轨道路堤上的语义信息；
81.所述前景层的节点用于存储前景对象的语义信息；
82.所述背景层的节点用于存储地面和结构的语义信息；
83.所述场景层的节点用于存储场景的整体属性。
84.图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(communications interface)620、存储器(memory)630和
通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行轨道交通场景图生成方法，该方法包括：
85.获取轨道交通图像，根据注意力机制标注轨道交通图像中的目标区域；
86.将标注目标区域后的轨道交通图像输入生成模型，获得所述生成模型输出的轨道交通场景图；
87.其中，所述生成模型用于根据所述标注的目标区域中的节点和节点之间的视觉关系构建所述轨道交通场景图，所述轨道交通场景图包括多层有向图且每层存储多个节点，所述层内或层间的节点之间的连接有边，所述节点用于描述不同语义类别的轨道交通场景信息，所述边用于描述所述节点之间的视觉关系。
88.此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
89.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的轨道交通场景图生成方法，该方法包括：
90.获取轨道交通图像，根据注意力机制标注轨道交通图像中的目标区域；
91.将标注目标区域后的轨道交通图像输入生成模型，获得所述生成模型输出的轨道交通场景图；
92.其中，所述生成模型用于根据所述标注的目标区域中的节点和节点之间的视觉关系构建所述轨道交通场景图，所述轨道交通场景图包括多层有向图且每层存储多个节点，所述层内或层间的节点之间的连接有边，所述节点用于描述不同语义类别的轨道交通场景信息，所述边用于描述所述节点之间的视觉关系。
93.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
94.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
95.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。