全景图像的图像分割方法、装置、计算机设备和存储介质与流程

1.本技术涉及计算机领域，特别是涉及一种全景图像的图像分割方法、装置、计算机设备和存储介质。


背景技术：

2.随着人工智能技术的发展，计算机视觉技术也得到了越来越广泛的应用。计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。实例分割是计算机视觉中的一种，实例分割是在目标检测的基础上，检测出目标所在位置的所有像素。即，它要求同时输出目标(也即实例)所在的区域以及该区域内属于该目标的所有像素点。
3.全景图像是一种特殊的图像，宽高比一般为2:1，由多张图像拼接而成。它按照经纬展开法，图像的宽就是纬度0-2π，图像的高就是经度0-π。所以，它能记录水平360度，俯仰180度的全部信息。目前，对全景图像进实例分割时，一般是对全景图像的平面展开图像进行实例分割，所以全景图像中部分物体会发生畸变，导致检测结果的矩形框并不能合理地框住发生形变和延展的目标，从而导致检测结果出现偏差。
4.目前的实例分割算法一般采用目标的预选矩形框(bounding-box)来进行实例分割，在实例分割过程中采用卷积神经网络(cnn)构建检测模型，对每个目标的矩形框表示，回归它的矩形框坐标，同时预测它的类别。然而这种检测方法更适合用在没有畸变的普通平面图像，在全景图像中，由于全景畸变的存在，上述检测方式无法实现准确地全景图像中的实例分割。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种准确的全景图像的图像分割方法、装置、计算机设备和存储介质。
6.一种全景图像的图像分割方法，所述方法包括：
7.获取全景图像，提取所述全景图像的图像特征；
8.基于所述图像特征，识别所述全景图像中检测目标对应的视场角边框；
9.基于所述图像特征，获取所述视场角边框对应的局部图像特征；
10.通过基于球面投影的池化处理算子对所述局部图像特征进行池化处理后，基于池化处理的结果获取所述局部图像特征对应的局部图像分割结果；
11.根据所述局部图像特征对应的局部图像分割结果，获取所述全景图像对应的全景图像分割结果。
12.在其中一个实施例中，所述图像特征包括非边界区域图像特征以及边界区域图像特征；
13.所述提取所述全景图像的图像特征包括：
14.通过预设常规卷积算子提取所述全景图像的非边界区域图像特征；
15.通过预设目标形变适应算子提取所述全景图像的边界区域图像特征。
16.在其中一个实施例中，所述检测目标包括非边界位置目标；
17.所述基于所述图像特征，识别所述全景图像中检测目标对应的视场角边框包括：
18.基于所述非边界图像特征，识别所述全景图像中非边界位置目标对应的视场角边框。
19.在其中一个实施例中，所述检测目标包括边界位置目标；
20.所述基于所述图像特征，识别所述全景图像中检测目标对应的视场角边框包括：
21.基于所述边界区域图像特征，识别所述全景图像中边界位置目标；
22.基于所述边界区域图像特征识别第一检测目标与第二检测目标之间的目标属性，所述第一检测目标与所述第二检测目标为所述全景图像中处于相对位置的边界位置目标；
23.当所述目标属性表征所述第一检测目标与所述第二检测目标为同一检测目标时，获取所述第一检测目标与所述第二检测目标对应的初始视场角边框，所述视场角边框包括所述全景图像边界范围外区域；
24.根据所述第一检测目标与所述第二检测目标对应的初始视场角边框，获取所述全景图像中边界位置目标对应的视场角边框。
25.在其中一个实施例中，所述根据所述第一检测目标与所述第二检测目标对应的初始视场角边框，获取所述全景图像中边界位置目标对应的视场角边框包括：
26.根据所述初始视场角边框的位置，将所述全景图像中任意一个边界的初始视场角边框映射至所述初始视场角边框所在边界的对应边界；
27.通过非极大值过滤算法对所述对应边界中的初始视场角边框进行过滤，获取所述全景图像中边界位置目标对应的视场角边框。
28.在其中一个实施例中，所述根据所述局部图像特征对应的局部图像分割结果，基于池化处理的结果获取所述全景图像对应的全景图像分割结果之后，还包括：
29.获取所述全景图像对应的旋转全景图像；
30.提取所述旋转全景图像对应的旋转图像分割结果；
31.根据所述旋转图像分割结果更新所述全景图像分割结果。
32.一种全景图像的图像分割装置，所述装置包括：
33.数据获取模块，用于获取全景图像，提取所述全景图像的图像特征；
34.视场角处理模块，用于基于所述图像特征，识别所述全景图像中检测目标对应的视场角边框；
35.分支检测模块，用于基于所述图像特征，获取所述视场角边框对应的局部图像特征；
36.区域处理模块，用于通过基于球面投影的池化处理算子对所述局部图像特征进行池化处理后，基于池化处理的结果获取所述局部图像特征对应的局部图像分割结果；
37.结果获取模块，用于根据所述局部图像特征对应的局部图像分割结果，获取所述全景图像对应的全景图像分割结果。
38.在其中一个实施例中，所述图像特征包括非边界区域图像特征以及边界区域图像
特征，所述数据获取模块具体用于：通过预设常规卷积算子提取所述全景图像的非边界区域图像特征；通过预设目标形变适应算子提取所述全景图像的边界区域图像特征。
39.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
40.获取全景图像，提取所述全景图像的图像特征；
41.基于所述图像特征，识别所述全景图像中检测目标对应的视场角边框；
42.基于所述图像特征，获取所述视场角边框对应的局部图像特征；
43.通过基于球面投影的池化处理算子对所述局部图像特征进行池化处理后，基于池化处理的结果获取所述局部图像特征对应的局部图像分割结果；
44.根据所述局部图像特征对应的局部图像分割结果，获取所述全景图像对应的全景图像分割结果。
45.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
46.获取全景图像，提取所述全景图像的图像特征；
47.基于所述图像特征，识别所述全景图像中检测目标对应的视场角边框；
48.基于所述图像特征，获取所述视场角边框对应的局部图像特征；
49.通过基于球面投影的池化处理算子对所述局部图像特征进行池化处理后，基于池化处理的结果获取所述局部图像特征对应的局部图像分割结果；
50.根据所述局部图像特征对应的局部图像分割结果，获取所述全景图像对应的全景图像分割结果。
51.上述全景图像的图像分割方法、装置、计算机设备和存储介质，通过获取全景图像，提取全景图像的图像特征；基于图像特征，识别全景图像中检测目标对应的视场角边框；基于图像特征，获取视场角边框对应的局部图像特征；通过基于球面投影的池化处理算子对局部图像特征进行池化处理后，基于池化处理的结果获取局部图像特征对应的局部图像分割结果；根据局部图像特征对应的局部图像分割结果，获取全景图像对应的全景图像分割结果。本技术在对全景图像检测时，通过视场角边框来进行局部图像特征的提取，基于定义于球面的视场角边框来对全景图像进行处理，能获得更好的特征提取效果，同时通过基于球面投影的池化处理算子对局部图像特征进行池化处理后，可以有效对视场角边框形式的局部图像特征进行池化处理，来得到局部图像特征对应的局部图像分割结果，进而得到最终的实例分割结果，保证实例分割的准确性。
附图说明
52.图1为一个实施例中全景图像的图像分割方法的应用环境图；
53.图2为一个实施例中全景图像的图像分割方法的流程示意图；
54.图3为一个实施例中全景图像目标检测中的矩形边框示意图；
55.图4为一个实施例中全景图像目标检测中的视场角边框示意图；
56.图5为一个实施例中图2中步骤203的子流程示意图；
57.图6为一个实施例中图5中步骤508的子流程示意图；
58.图7为一个实施例中更新全景图像分割结果步骤的流程示意图；
59.图8为一个实施例中全景图像的图像分割装置的结构框图；
60.图9为一个实施例中计算机设备的内部结构图。
具体实施方式
61.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
62.申请人发现，目前存在的全景图像中一般存在全景畸变的现象，全景畸变是指在全景图像的扫描成像过程中，由于像距保持不变，物距随扫描角度的增大而增大，从而导致图像上从中心到两边比例尺逐渐缩小。现有针对全景图像的实例分割算法大多数都采用目标的bounding-box(bbox)。然而在全景图像中，由于畸变的存在，采用bbox的图像分割方法中，检测出的矩形框并不能合理地框住发生形变和延展的检测目标，从而导致实例分割效果不佳。针对此情况，申请人提出了本技术的图像分割方法。
63.本技术提供的全景图像的图像分割方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。其中，当终端102方的数据处理工作人员需要对全景图像中的目标进行实例分割时，可以将全景图像发送至服务器104，由服务器104来对终端102所提交的全景图像进行实例分割。服务器104获取全景图像，提取全景图像的图像特征；基于图像特征，识别全景图像中检测目标对应的视场角边框；基于图像特征，获取视场角边框对应的局部图像特征；通过基于球面投影的池化处理算子对局部图像特征进行池化处理后，基于池化处理的结果获取局部图像特征对应的局部图像分割结果；根据局部图像特征对应的局部图像分割结果，获取全景图像对应的全景图像分割结果。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
64.在一个实施例中，如图2所示，提供了一种全景图像的图像分割方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
65.步骤201，获取全景图像，提取全景图像的图像特征。
66.其中，全景图像是一种特殊的图像，宽高比一般为2:1，由多张图像拼接而成。它按照经纬展开法，图像的宽就是纬度0-2π，图像的高就是经度0-π。所以，它能记录水平360度，俯仰180度的全部信息。目前，对全景图像进行全景图像的实例分割的话，由于全景图像中部分物体会被分割到图像水平方向的左右两边，导致无法将其检测为同一物体，同时因为全景畸变的存在，通过矩形框来进行实例分割的检测方法无法有效地框住检测目标，从而影响全景图像的实例分割的准确率。可以通过本技术的全景图像的图像分割方法来实现针对全景图像精准的实例分割。图像特征主要有图像的颜色特征、纹理特征、形状特征和空间关系特征。其中，颜色特征是一种全局特征，描述了图像或图像区域所对应的景物的表面性质；纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质；形状特征有两类表示方法，一类是轮廓特征，另一类是区域特征，图像的轮廓特征主要针对物体的外边界，而图像的区域特征则关系到整个形状区域；空间关系特征，是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系，这些关系也可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等。本技术具体可以通过预先构建的卷积神经网络来提取全
景图像的图像特征，从而实现全景图像的实例分割。卷积神经网络具体包括了一个主干网络、一个检测分支以及一个分割分支，输入的全景图像先通过主干网络中提取特征，之后分别通过一个检测分支和一个分割分支来进行实例分割。本实施例的卷积神经网络具体可以通过对mask r-cnn， cascademask r-cnn等平面图实例分割卷积网络进行改造实现。
67.具体地，当终端102方需要进行全景图像的实例分割时，可以通过终端 102向服务器104提交全景图像，以通过服务器104进行全景图像对应的实例分割，确定全景图像内的检测目标的类型以及检测目标的位置。服务器104接收该全景图像。即可通过预设的卷积神经网络对全景图像进行卷积处理，首先可以通过卷积神经网络中的主干网络来提取全景图像的图像特征。而后基于提取的图像特征来进行后续处理。
68.步骤203，基于图像特征，识别全景图像中检测目标对应的视场角边框。
69.步骤205，基于图像特征，获取视场角边框对应的局部图像特征。
70.其中，视场角边框即bfov(bounding field-of-view)，bfov把全景图像视为一个球面，用目标所在的纬经度坐标表示其中心点，用它水平和竖直方向上的两个视场角(field-of-views)表示它所占的空间。bfov具体定义为(φ, θ,h,w)。φ和θ分别是目标在球面上的纬度和经度坐标；h和w表示目标在水平和竖直方向上的两个视场角，类似于高和宽。而局部图像特征是指从全景图像中分割出的视场角边框部分所对应的图像特征。
71.具体地，在通过卷积神经网络的主干网络提取全景图像的图像特征后。现有技术中是通过检测分支来提取全景图像中检测目标对应的矩形边框，而本技术的方案中，可以把检测分支修改为提取目标的视场角边框。在全景图像中，矩形框对全景畸变的畸变目标而言，它框入的区域除了检测到的畸变目标之外，还包括不规则的畸变目标周围的全景图像背景内容。因此，在输入是全景图像的情况下矩形边框引入了更多的背景干扰信息，影响了后续分割分支的效果。而使用视场角边框替换掉矩形边框后，如图3所示，基于矩形边框(bbox) 的目标检测方法，在检测的矩形框中框入了全景图像中左右两侧的检测目标 (带绿植的墙面)，然而在左边的边框内，除了检测目标外，由于检测目标的全景畸变，还包括了背景部分的天空。而如图4所示，使用视场角边框后，视场角边框对上下区域的畸变能延展开来包含住检测目标，从而减少框入的背景内容，提高实例分割的准确率。而在识别全景图像中检测目标对应的视场角边框后，即可基于图像特征，对全景图像进行分割，得到视场角边框部分所对应的局部图像特征。具体地，当得到全景图像中检测目标对应的视场角边框后，即可进一步确定视场角边框对应图像范围，将图像范围内的图像特征，作为视场角边框对应的局部图像特征。
72.步骤207，通过基于球面投影的池化处理算子对局部图像特征进行池化处理后，基于池化处理的结果获取局部图像特征对应的局部图像分割结果。
73.步骤209，根据局部图像特征对应的局部图像分割结果，获取全景图像对应的全景图像分割结果。
74.其中，池化处理即pooling，是卷积神经网络处理中对信息抽象的过程，主要用于降低计算的复杂度。
75.具体地，由于在检测分支时，将矩形边框替换为了基于球面的视场角边框，因此，为了保证后续识别的准确率，可以用基于球面投影设计的池化处理算子，来代替原本卷积神经网络中用于矩形框检测的roi align/roi pooling算子，使得卷积神经网络可以处理
视场角边框内的检测目标。在基于球面投影的池化处理算子对局部图像特征进行池化处理后，可以通过卷积神经网络的分割分支来对各个局部图像特征对应的局部图像分割结果进行处理，从而得到各个视场角边框所对应的实例分割结果，实例分割结果具体包括了视场角边框的位置以及视场角边框内检测目标的分类结果。而后综合各个视场角边框所对应的实例分割结果，即可得到全景图像所对应的完整实例分割结果。
76.上述全景图像的图像分割方法，通过获取全景图像，提取全景图像的图像特征；基于图像特征，识别全景图像中检测目标对应的视场角边框；基于图像特征，获取视场角边框对应的局部图像特征；通过基于球面投影的池化处理算子对局部图像特征进行池化处理后，获取局部图像特征对应的局部图像分割结果；根据局部图像特征对应的局部图像分割结果，获取全景图像对应的全景图像分割结果。本技术在对全景图像检测时，通过视场角边框来进行局部图像特征的提取，基于定义于球面的视场角边框来对全景图像进行处理，能获得更好的特征提取效果，同时通过基于球面投影的池化处理算子对局部图像特征进行池化处理后，可以有效对视场角边框形式的局部图像特征进行池化处理，来得到局部图像特征对应的局部图像分割结果，进而得到最终的实例分割结果，保证实例分割的准确性。
77.在其中一个实施例中，图像特征包括非边界区域图像特征以及边界区域图像特征；步骤201包括：通过预设常规卷积算子提取全景图像的非边界区域图像特征；通过预设目标形变适应算子提取全景图像的边界区域图像特征。
78.其中，算子是神经网络计算的基本单元，而卷积操作是对图像处理时，经常用到的一种操作。它具有增强原信号特征，并且能降低噪音的作用。而预设目标形变适应卷积算子是指本技术通过对现有的实例分割的卷积神经网络模型进行改性，将部分常规的卷积算子替换为能适应目标形变的卷积算子，如可变形卷积、等矩形投影卷积以及球面卷积等类型的卷积算子，这些预设目标形变适应卷积算子通过使用全景图片训练得到。
79.具体地，当终端102方需要进行全景图像的实例分割时，可以通过终端 102向服务器104提交全景图像，以通过服务器104进行全景图像对应的实例分割，确定全景图像内的检测目标的类型以及检测目标的位置。服务器104接收该全景图像。即可通过包含预设目标形变适应卷积算子的卷积神经网络对全景图像进行卷积处理。
80.具体地，本技术具体通过把部分传统卷积算子替换为预设目标形变适应卷积算子，构建一个更适应全景图像的卷积模型。通过预设目标形变适应卷积算子对全景图像的边界处检测目标的形变有更好的适应能力。通过预设目标形变适应卷积算子来全景图像边界部分进行卷积处理，获取相应的边界区域图像特征。而对于非边界位置的目标，则可以通过卷积神经网络的其他常规目标检测卷积算子来进行检测。本实施例中，通过预设目标形变适应算子来提取全景图像的图像特征，可以有效保证特征提取的准确性。
81.在其中一个实施例中，检测目标包括非边界位置目标，步骤203包括：基于非边界图像特征，识别全景图像中非边界位置目标对应的视场角边框。
82.其中，非边界位置目标是指未被分割至全景图像两端的初始检测目标，非边界目标为一个完整的目标，一般位于全景图像的中间位置。可以基于图像特征，确定全景图像中的检测目标所在位置，从而确定全景图像中哪些初始检测目标属于非边界位置目标。
83.具体地，可以先确定全景图像中的非边界图像特征，而后基于这些非边界图像特征确定全景图像中哪些检测目标数据非边界位置目标，进而识别这些非边界位置目标对应
的视场角边框。其中检测视场角边框的过程具体可以基于热力图来实现，通过卷积神经网络提取出全景图像中检测目标的热力图，检测目标的偏移量数据以及检测目标的视场角等相关数据，其中热力图中标注有每个位置上存在目标的置信度，先通过热力图过滤掉低置信度的检测目标，根据检测目标的偏移量数据确定出检测目标的位置，而后根据检测目标的视场角相关数据，构建出检测目标对应的视场角边框。本实施例中，通过非边界图像特征，可以有效确定非边界位置目标，并识别非边界位置目标对应的视场角边框，保证实例分割的检测效果。
84.在其中一个实施例中，检测目标包括边界位置目标；如图5所示，步骤 203包括：
85.步骤502，基于边界区域图像特征，识别全景图像中边界位置目标。
86.步骤504，基于边界区域图像特征识别第一检测目标与第二检测目标之间的目标属性，第一检测目标与第二检测目标为全景图像中处于相对位置的边界位置目标。
87.步骤506，当目标属性表征第一检测目标与第二检测目标为同一检测目标时，获取第一检测目标与第二检测目标对应的初始视场角边框，视场角边框包括全景图像边界范围外区域。
88.步骤508，根据第一检测目标与第二检测目标对应的初始视场角边框，获取全景图像中边界位置目标对应的视场角边框。
89.其中，边界位置目标是指全景图像中被分割至左右两端的检测目标，一个完整的边界位置目标一般分列在全景图像的左右两端。通过预设目标形变适应卷积算子对全景图像提取特征，能有效地从全景图像中提取出边界位置目标对应的边界区域图像特征。目标属性具体用于判断处于相对位置的两个检测目标，即第一检测目标与第二检测目标是否为同一个目标，当处于相对位置的两个检测目标为同一目标时，这两个检测目标的目标属性为相同。而处于相对位置的两个检测目标不为同一目标时，这两个检测目标的目标属性为不同。
90.具体地，在识别边界位置处的视场角边框时，由于目标已经可能已经被分割在了全景图像中相对的两个边界，产生了目标的形变。因此，此时可以通过预设目标形变适应卷积算子来提取这些目标对应的边界区域图像特征。基于提取出的全景图像特征，来进一步地确定中哪些目标属于检测目标，并识别出处于相对位置处的两个检测目标所对应的目标属性。如对于一个图像的宽为纬度 0-2π，图像的高为经度0-π的全景图像。可以在图像的左下端点为原点、以图像的宽度方向为x轴，以图像的高度方向为y轴，建立二维平面坐标系。则该全景图像中边界位置为x＝0的左边界以及x＝2π的右边界。而对于处于相对位置的检测目标，具体是指包含相同y轴坐标的检测目标。如识别出一个检测目标a的坐标包括(0,0.5π)，从而可以确定包含坐标(2π,0.5π)的检测目标 b是检测目标a相对位置的边界位置目标。而后即可基于卷积神经网络提取出的边界区域图像特征来进一步地识别判断，确定两个处于相对位置的检测目标是否相同的检测目标。而在当目标属性表征处于相对位置的检测目标为同一目标时，即可根据第一检测目标与第二检测目标对应的初始视场角边框，获取全景图像中边界位置目标对应的视场角边框。由于两端的目标为同一个目标，需要去除其中一个边界位置目标对应的初始视场角边框。而将另外一个边界位置目标对应的初始视场角边框作为最终的视场角边框。本实施例中，通过边界区域图像特征，可以有效对边界位置目标对应的视场角边框进行有效检测，保证实例分割的检测效果。
91.在其中一个实施例中，如图6所示，步骤508包括：
92.步骤601，根据初始视场角边框的位置，将全景图像中任意一个边界的初始视场角边框映射至初始视场角边框所在边界的对应边界。
93.步骤603，通过非极大值过滤算法对对应边界中的初始视场角边框进行过滤，获取全景图像中边界位置目标对应的视场角边框。
94.其中，非极大值过滤算法又称非极大值抑制，顾名思义就是抑制不是极大值的元素，可以理解为局部最大搜索。
95.具体地，在初始视场角边框提取完成后，由于处于相对位置的左右两边的边界位置目标都各自带有一个初始视场角边框，而这两个边界位置目标实际上是同一个检测目标，此时为了保证实例分割的准确性，需要排除重复的视场角边框。因此，可以将其中一个边界上的初始视场角边框全部映射到另外一个边界。可以把左边界的始视场角边框全部映射到右边界，也可以把右边界的始视场角边框全部映射到左边界，如此，同一个检测目标的初始视场角边框就会重叠。而后通过非极大值过滤算法对对应边界中的初始视场角边框进行过滤，即可过滤掉重复的边框，直接获取全景图像中边界位置目标对应的视场角边框。本实施例，通过非极大值过滤来过滤掉相同检测对应的重复视场角边框，可以保证实例分割的准确性。
96.在其中一个实施例中，如图7所示，步骤209之后，还包括：
97.步骤702，获取全景图像对应的旋转全景图像。
98.步骤704，提取旋转全景图像对应的旋转图像分割结果。
99.步骤706，根据旋转图像分割结果更新全景图像分割结果。
100.其中，旋转全景图像是指将全景图像正投影回球面，而后对球面进行旋转后，再逆投影得到的全景图像。
101.具体地，为了提高实例分割的准确率，还可以通过结果叠加来更新全景图像分割结果。首先将原先的全景图像正投影回球面，进行旋转后，再用逆投影得到旋转全景图像。把这张旋转全景图像再次输入模型，获得新的输出结果，即旋转图像的图像分割结果。而后将该结果和之前的图像分割结果叠加求平均值，从而更新图像分割结果，得到精度更好的最终输出结果。本实施例，通过旋转全景图像的再次分割，可以有效对图像分割结果进行优化，从而提高图像分割结果的准确率。
102.应该理解的是，虽然图2-7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-7中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
103.在一个实施例中，如图8所示，提供了一种全景图像的图像分割装置，包括：
104.数据获取模块801，用于获取全景图像，提取全景图像的图像特征。
105.视场角处理模块803，用于基于图像特征，识别全景图像中检测目标对应的视场角边框。
106.分支检测模块805，用于基于图像特征，获取视场角边框对应的局部图像特征。
107.区域处理模块807，用于通过基于球面投影的池化处理算子对局部图像特征进行池化处理后，基于池化处理的结果获取局部图像特征对应的局部图像分割结果。
108.结果获取模块809，用于根据局部图像特征对应的局部图像分割结果，获取全景图像对应的全景图像分割结果。
109.在其中一个实施例中，数据获取模块801具体用于：通过预设常规卷积算子提取全景图像的非边界区域图像特征；通过预设目标形变适应算子提取全景图像的边界区域图像特征。
110.在其中一个实施例中，检测目标包括非边界位置目标；视场角处理模块 803具体用于：基于非边界图像特征，识别全景图像中非边界位置目标对应的视场角边框。
111.在其中一个实施例中，检测目标包括边界位置目标；视场角处理模块803 具体用于：基于边界区域图像特征，识别全景图像中边界位置目标；基于边界区域图像特征识别第一检测目标与第二检测目标之间的目标属性，第一检测目标与第二检测目标为全景图像中处于相对位置的边界位置目标；当目标属性表征第一检测目标与第二检测目标为同一检测目标时，获取第一检测目标与第二检测目标对应的初始视场角边框，视场角边框包括全景图像边界范围外区域；根据第一检测目标与第二检测目标对应的初始视场角边框，获取全景图像中边界位置目标对应的视场角边框。
112.在其中一个实施例中，视场角处理模块803还用于：根据初始视场角边框的位置，将全景图像中任意一个边界的初始视场角边框映射至初始视场角边框所在边界的对应边界；通过非极大值过滤算法对对应边界中的初始视场角边框进行过滤，获取全景图像中边界位置目标对应的视场角边框。
113.在其中一个实施例中，还包括检测结果更新模块，用于：获取全景图像对应的旋转全景图像；提取旋转全景图像对应的旋转图像分割结果；根据旋转图像分割结果更新全景图像分割结果。
114.关于全景图像的图像分割装置的具体限定可以参见上文中对于全景图像的图像分割方法的限定，在此不再赘述。上述全景图像的图像分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
115.在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储流量转发数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种全景图像的图像分割方法。
116.本领域技术人员可以理解，图9中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
117.在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有
计算机程序，该处理器执行计算机程序时实现以下步骤：
118.获取全景图像，提取全景图像的图像特征；
119.基于图像特征，识别全景图像中检测目标对应的视场角边框；
120.基于图像特征，获取视场角边框对应的局部图像特征；
121.通过基于球面投影的池化处理算子对局部图像特征进行池化处理后，获取局部图像特征对应的局部图像分割结果；
122.根据局部图像特征对应的局部图像分割结果，基于池化处理的结果获取全景图像对应的全景图像分割结果。
123.在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过预设常规卷积算子提取全景图像的非边界区域图像特征；通过预设目标形变适应算子提取全景图像的边界区域图像特征。
124.在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于图像特征，识别全景图像中检测目标对应的视场角边框包括：基于非边界图像特征，识别全景图像中非边界位置目标对应的视场角边框。
125.在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于边界区域图像特征，识别全景图像中边界位置目标；基于边界区域图像特征识别第一检测目标与第二检测目标之间的目标属性，第一检测目标与第二检测目标为全景图像中处于相对位置的边界位置目标；当目标属性表征第一检测目标与第二检测目标为同一检测目标时，获取第一检测目标与第二检测目标对应的初始视场角边框，视场角边框包括全景图像边界范围外区域；根据第一检测目标与第二检测目标对应的初始视场角边框，获取全景图像中边界位置目标对应的视场角边框。
126.在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据初始视场角边框的位置，将全景图像中任意一个边界的初始视场角边框映射至初始视场角边框所在边界的对应边界；通过非极大值过滤算法对对应边界中的初始视场角边框进行过滤，获取全景图像中边界位置目标对应的视场角边框。
127.在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取全景图像对应的旋转全景图像；提取旋转全景图像对应的旋转图像分割结果；根据旋转图像分割结果更新全景图像分割结果。
128.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
129.获取全景图像，提取全景图像的图像特征；
130.基于图像特征，识别全景图像中检测目标对应的视场角边框；
131.基于图像特征，获取视场角边框对应的局部图像特征；
132.通过基于球面投影的池化处理算子对局部图像特征进行池化处理后，获取局部图像特征对应的局部图像分割结果；
133.根据局部图像特征对应的局部图像分割结果，基于池化处理的结果获取全景图像对应的全景图像分割结果。
134.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过预设常规卷积算子提取全景图像的非边界区域图像特征；通过预设目标形变适应算子提取全景图像的
边界区域图像特征。
135.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于图像特征，识别全景图像中检测目标对应的视场角边框包括：基于非边界图像特征，识别全景图像中非边界位置目标对应的视场角边框。
136.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于边界区域图像特征，识别全景图像中边界位置目标；基于边界区域图像特征识别第一检测目标与第二检测目标之间的目标属性，第一检测目标与第二检测目标为全景图像中处于相对位置的边界位置目标；当目标属性表征第一检测目标与第二检测目标为同一检测目标时，获取第一检测目标与第二检测目标对应的初始视场角边框，视场角边框包括全景图像边界范围外区域；根据第一检测目标与第二检测目标对应的初始视场角边框，获取全景图像中边界位置目标对应的视场角边框。
137.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据初始视场角边框的位置，将全景图像中任意一个边界的初始视场角边框映射至初始视场角边框所在边界的对应边界；通过非极大值过滤算法对对应边界中的初始视场角边框进行过滤，获取全景图像中边界位置目标对应的视场角边框。
138.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取全景图像对应的旋转全景图像；提取旋转全景图像对应的旋转图像分割结果；根据旋转图像分割结果更新全景图像分割结果。
139.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-onlymemory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器 (randomaccessmemory，ram)或外部高速缓冲存储器。作为说明而非局限， ram可以是多种形式，比如静态随机存取存储器 (staticrandomaccessmemory，sram)或动态随机存取存储器 (dynamicrandomaccessmemory，dram)等。
140.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
141.以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。