一种图像场景分割方法、装置、设备及存储介质与流程

1.本公开实施例涉及图像处理技术领域，尤其涉及一种图像场景分割方法、装置、设备及存储介质。


背景技术：

2.图像场景分割，作为图像处理的其中一个处理研究方向，主要用来对图像中包括的场景按照场景类别进行场景分离。目前，基于深度学习技术的场景、物体分割近年来取得了比较大的突破。
3.现有的用于图像场景分割的深度学习网络，在对单类别或者少类别场景、物体进行分割时有明显效果，技术也相对成熟。然而，对于存在多类别场景的图像还无法做到精准分割，往往会产生碎片化的分割结果，如果直接将分割结果应用于下游业务实现，将会影响下游业务的执行效果。
4.现有的改进方式主要考虑直接对深度学习网络进行优化，以此来优化场景分割结果，但是深度学习网络过度依赖于训练数据集，由于较多的场景类别之间往往存在歧义，导致无法提供精准的样本数据用于网络训练；另外，更精细的深度学习网络网络本身的学习能力以及设备的运算能力都提出了更苛刻的要求，很难做到计算和精度上的平衡。


技术实现要素：

5.本公开实施例提供了一种一种图像场景分割方法、装置、设备及存储介质，以实现对场景分割结果的优化处理，减少场景分割结果的碎片化。
6.第一方面，本公开实施例提供了一种图像场景分割方法，该方法
7.通过对所获取目标图像进行场景初始分割及场景初始融合处理，获得中间场景分割图；
8.从所述中间场景分割图中检测待处理分割块；
9.通过对各所述待处理分割块进行分割校正，获得所述目标图像的目标场景分割图。
10.第二方面，本公开实施例还提供了一种图像场景分割装置，该装置包括：
11.初始处理模块，用于通过对所获取目标图像进行场景初始分割及场景初始融合处理，获得中间场景分割图；
12.信息确定模块，用于从所述中间场景分割图中检测待处理分割块；
13.分割校正模块，用于通过对各所述待处理分割块进行分割校正，获得所述目标图像的目标场景分割图。
14.第三方面，本公开实施例还提供了一种电子设备，该电子设备包括：
15.一个或多个处理器；
16.存储装置，用于存储一个或多个程序，
17.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理
器实现本公开任意实施例所提供的图像场景分割方法方法。
18.第四方面，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本公开任意实施例所提供的图像场景分割方法方法。
19.本公开实施例的技术方案，首先通过对所获取目标图像进行场景初始分割集场景初始融合的处理，获得中间场景分割图；之后可以从中间场景分割图中确定出待优化处理的分割块，最终可以对各待处理分割块进行分割校正，从而获得该目标图像的目标场景分割图。上述技术方案解决了现有图像场景分割方法无法实现精准分割，产生较多碎片化分割结果的问题。区别于传统的改进方案，本实施例所提供方案的关键在于对图像场景分割后的分割结果进行碎片化检测，并检测出碎片化分割块进行分割校正，校正后的分割结果实现了对目标图像中同一场景类别下图像内容的统一性分割，减少了分割块的碎片化，达到了有效提升分割结果精准性的有益效果。
附图说明
20.为了更加清楚地说明本公开示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本实用新型所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。
21.图1为本公开实施例一所提供的一种图像场景分割方法的流程示意图；
22.图2为本公开实施例二提供的一种图像场景分割方法的流程示意图；
23.图2a给出了本公开实施例二所提供一种图像场景分割方法中场景初始分割所采用场景分割网络模型的结构示意图；
24.图2b为本公开实施例二所提供图像场景分割方法中图像融合处理的实现流程图；
25.图2c给出了本实施例所提供图像场景分割方法中所确定中间场景分割图的效果展示图；
26.图2d给出了本实施例二所提供图像场景分割方法中待处理分割块确定的实现流程图；
27.图2e给出了本实施例在同一图像中对所确定各待处理分割块进行展示的效果示例图；
28.图2f给出了本实施例二所提供图像场景分割方法中确定待处理分割块所归属分割图层的实现流程图；
29.图2g给出了本实施例所提供图像场景分割方法中目标场景分割图的效果展示图；
30.图3为本公开实施例三提供的一种图像场景分割装置的结构示意图；
31.图4为本公开实施例七所提供的一种电子设备的结构示意图。
具体实施方式
32.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的
是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
33.应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
34.本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
35.需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
36.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
37.实施例一
38.图1为本公开实施例一所提供的一种图像场景分割方法的流程示意图，本实施例可适用于对所获取的图像进行图像分割的情况，该方法可以由图像场景分割装置来执行，该装置可以通过软件和/或硬件来实现，可配置于终端和/或服务器中来实现本公开实施例中的图像场景分割方法。
39.如图1所示，本实施例一提供的一种图像场景分割方法具体可包括：
40.s101、通过对所获取目标图像进行场景初始分割及场景初始融合处理，获得中间场景分割图。
41.在本实施例中，所述目标图像具体可理解为待进行图像场景分割处理的图像，其可以为实时捕获的场景图像，也可以是所捕获视频流中截取的图像帧。本步骤中首先可以对目标图像进行场景初始分割。需要说明的是，对于图像的场景分割，其相当于将图像中所包含的各图像内容按照所归属的场景类别进行分割，从而将同一场景类别的图像内容分割在同一场景图层内，示例性的，如可以将图像中出现的门或窗户都分割至场景类别为门窗的分割图层内，可以将图像中出现的车辆分割至场景类别为车辆的分割图层内。
42.在本实施例中，可以采用预先构建的场景分割网络模型对目标图像进行初始的场景分割。需要知道的是，预先构建的场景分割网络模型可看做一个通用场景分割模型，其可用于多种不同场景类别的场景分割，但对可分割场景类别的粗细粒度可能并没有一个合适的设定，也并没有专门针对适用的应用场景进行限定，因此，通过场景分割网络模型获得的场景初始分割结果，可能并不是下游业务应用所所需要的场景分割结果。
43.示例性的，假设下游业务应用所要处理的对象是图像中的建筑物群，在此之前需要获得仅包含建筑物群的场景分割图，然而，本步骤进行场景初始分割后的场景分割结果还包含有其他场景分割块，或者，具备较小图像区域的碎片化分割块，如，建筑物上的门窗可能进行了独立分割，并没有和楼房分割在同一场景中，无法获得精准的建筑物群分割图。因此，若只进行目标图像的初始场景分割，下游业务应用并不能获得有效的图像信息。
44.基于此，本步骤在对目标图像进行场景初始分割后，还需要对所获得的初始场景
分割结果进行图像的场景融合，该场景融合可看做本实施例中的场景初始融合，并且将进行场景初始融合后的场景分割结果记为中间场景分割图。在本实施例中，可以通过对初始场景分割图中所包括各场景类别下的分割图层采用一定的融合规则来实现图像的初始融合。其中，所采用的融合规则可以是将场景类别范围较小的分割图层融合到较大范围场景类别所对应的分割图层中。
45.示例性的，在进行初始场景分割后，可以获得到初始场景分割图，由此可以获取到初始场景分割图中所包括各分割图层对应的场景标签，之后可以分析各场景标签之间是否存在归属关联，并将存在归属关联的场景分割图进行融合。如，分割出的楼层分割图层，其场景标签可以是建筑楼层，分割出的门窗分割图层，其场景标签可以是门窗，分析建筑楼层与门窗直接的归属关联，就可以发现门窗往往是依赖于建筑物的，即门窗的类别范围小于建筑楼层的类别范围，由此可以将门窗分割图层与建筑楼层分割图层进行融合，形成新的建筑分割图层。
46.在本实施例中，相对于后续步骤中对场景分割图进一步的处理，本步骤对初始的场景分割结果进行的场景融合，可认为是场景分割结果的一次场景初始融合处理，且场景融合后重新形成的各分割图层可以构成新的场景分割图，本实施例记该场景分割图为中间场景分割图，且相对后续步骤对场景分割图的处理。
47.s102、从所述中间场景分割图中检测待处理分割块。
48.在本实施例中，本步骤的中间场景分割图可认为是对目标图像所对应的初始分割结果进行初始融合处理后的场景分割结果，其中主要包含了按照场景类别进行图像内容分割的分割图层，即，可认为每个分割图层中所包括的图像内容归属于同一场景类别，且所归属的场景类别可认为其具备较大场景类别划分范围。
49.可以知道的是，对目标图像进行场景初始分割所采用的场景分割算法，并不能保证场景分割的准确性。由此存在图像内容分割至错误场景类别的情况，而通过上述初始融合处理，并不能消除图像内容所属场景类别的错误分割。
50.对于中间场景分割图中包含的分割图层而言，在场景分割正确的情况下，其所具备的图像内容区域应该是区域面积较大的连通区域；如果在区域面积较大的连通区域中存在孤立的其他图像内容区域，则该孤立存在的其它图像内容区域大概率可能为一个场景分割异常的区域，即相当于该分割图层中存在错误的场景分割。
51.本实施例可以将上述错误的场景分割区域记为待处理分割块，而对待检测处理分割块的检测可以通过对中间场景分割图中各分割图层进行连通区域检测来确定。示例性的，在包含了同一场景类别图像内容的分割图层中，通过对于分割图层中各像素点的扫描，可以实现图像连通区域的检测，且可以确定出每个连通区域的区域面积，如果存在区域面积小于一定阈值的连通区域，本实施例就可以将该连通区域作为一个待处理分割块。
52.s103、通过对各所述待处理分割块进行分割校正，获得所述目标图像的目标场景分割图。
53.在本实施例中，上述检测出的待处理分割块相当于场景分割错误的分割块，可以通过本步骤对待处理分割块进行分割校正，确定出待处理分割块应该归属的正确分割图层，并将待处理分割块融合至正确的分割图层中。当所有的待处理分割块都通过上述逻辑实现了到所归属正确场景分割图的融合后，所获得的各分割图层构成了目标图像的目标场
景分割图。
54.示例性的，对待处理分割块进行分割校正，确定待处理分割块实际应该归属的分割图层的其中一种实现方式可以描述为：对待处理分割块进行区域扩展，获得待处理分割块的分割扩展区域，分割扩展区域中存在与各分割图层上其他已确定连通区域相重叠的重叠区域；本实施例可以通过其他已确定连通区域在重叠区域中的重叠占比，来确定待处理分割块应该归属于哪个连通区域，进而可以确定出所归属连通区域所在的分割图层，就可以作为待处理分割块实际应该归属的分割图层。
55.本实施例一提供的图像场景分割方法，首先通过对所获取目标图像进行场景初始分割集场景初始融合的处理，获得中间场景分割图；之后可以从中间场景分割图中确定出待优化处理的分割块，最终可以对各待处理分割块进行分割校正，从而获得该目标图像的目标场景分割图。上述技术方案解决了现有图像场景分割方法无法实现精准分割，产生较多碎片化分割结果的问题。区别于传统的改进方案，本实施例所提供方案的关键在于对图像场景分割后的分割结果进行碎片化检测，并检测出碎片化分割块进行分割校正，校正后的分割结果实现了对目标图像中同一场景类别下图像内容的统一性分割，减少了分割块的碎片化，达到了有效提升分割结果精准性的有益效果。
56.实施例二
57.图2为本公开实施例二提供的一种图像场景分割方法的流程示意图，本实施例在本公开实施例中任一可选技术方案的基础上，可选地，可以将通过对所获取目标图像进行场景初始分割及场景初始融合处理，获得中间场景分割图具体优化为将获取的目标图像作为输入数据，输入至预设的场景分割网络模型，获得输出的初始场景分割图，所述初始场景分割图中包括至少一个初始分割图层；基于各所述初始分割图层对应的内容标签，对各所述初始分割图层进行场景初始融合，获得中间场景分割图。
58.同时，本实施例还可以将从所述中间场景分割图中检测待处理分割块具体优化为提取所述中间场景分割图中包括的各中间分割图层；通过对各所述中间分割图层进行连通域检测，确定所述中间场景分割图的待处理分割块。
59.此外，本实施例也可以将通过对各所述待处理分割块进行分割结果校正，获得所述目标图像的目标场景分割图具体优化为针对每个待处理分割块，按照设定的膨胀系数对所述待处理分割块进行区域膨胀处理，获得相应的分割膨胀区域；基于所述分割膨胀区域，从所述中间场景分割图中确定所述待处理分割块归属的目标分割图层；将所述待处理分割块与所述目标分割图层进行图像融合；将融合处理后的中间场景分割图作为所述目标图像的目标场景分割图。
60.如图2所示，本实施例二提供的一种图像场景分割方法，具体可以包括如下步骤：
61.s201、将获取的目标图像作为输入数据，输入至预设的场景分割网络模型，获得输出的初始场景分割图，初始场景分割图中包括至少一个初始分割图层。
62.在本实施例中，本步骤给出了场景初始分割的逻辑实现。具体的，本步骤主要通过给定的场景分割网络模型来进行场景初始分割，其中，目标图像可以直接作为输入数据输入场景分割网络模型，而场景分割网络模型可认为是预先构建的具备特定网络结构的神经网络模型，通过预先设置的训练样本集对神经网络模型进行迭代学习和训练后，就可以形成本步骤所采用的场景分割网络模型。场景分割网络模型对所输入的目标图像进行特征提
取以及基于网络参数的运算处理，可以输出包含至少一个初始分割图层的初始场景分割图。
63.可以知道的是，初始场景分割图中的初始分割图层中包括了属于同一场景类别的图像内容，为更好区初始场景分割图中包括的各初始分割图层，可以为不同分割图层进行不同的颜色赋值。
64.在本实施例中，所述场景分割网络模型可以看作一个通用的场景分割模型，即，可适用于业务应用中出现的各种应用场景。该场景分割网络模型中除输入层和输出层，还包括实际参与场景分割处理的隐藏层。可选的，所述场景分割网络模型的隐藏层包括设定数量的残差子网络模型；各所述残差子网络模型之间按照层级顺序依次连接，同时存在一个残差子网络模型到另一个非邻接残差子网络模型的残差连接；每个残差子网络模型由一个卷积层、批量归一化层以及非线性激活函数层组成。
65.在本实施例中，残差子网络模型中的卷积层所采用的卷积核可以是3*3卷积核；所采用的非线性激活函数可以是relu函数；同时，残差子网络模型之间顺序连接外，还存在残差连接。当场景分割网络模型的网络结构相对较深时，通过上述连接，就更有利于网络模型的训练。
66.示例性的，图2a给出了本公开实施例二所提供一种图像场景分割方法中场景初始分割所采用场景分割网络模型的结构示意图。如图2a所示，该场景分割网络模型的包括若干个残差网络resnet基本单元，而每个resnet基本单元都是由3x3卷积核的卷积层，批归一化(bn batchnorm)层，relu(一种非线性激活函数)层构成，各resnet基本单元之间存在一条直路连接路径21，此外，还有额外的残差连接路径22。本实施例采用该resnet基本单元构成的网络模型，相当于作为了图像场景分割的主干部分，通过特征提取就可以计算出目标图像中的场景分割图。
67.s202、基于各初始分割图层对应的内容标签，对各初始分割图层进行场景初始融合，获得中间场景分割图。
68.在本实施例中，本步骤给出了场景初始融合的逻辑实现。其中，所述初始分割图层可认为是上述s201所获得初始场景分割图中的分割图层；各所述初始分割图层中包含了处于同一场景类别的图像内容；所述内容标签可以看作该初始分割图层的场景类别标签，用于标识场景分割图像所包括图像内容的场景类别；该内容标签可以在获得初始场景分割图时一并获得。
69.基于本实施例的上述分析，可知初始场景分割图中可分割出的场景类别比较多样化，场景类别粗细粒度并不相同，存在某个场景类别实际可归属于另一个场景类别的情况，而场景类别的过细划分，所对应的分割结果可能与图像场景分割所对应的应用场景并不匹配，从而无法保证所获得分割结果的有效性。
70.示例性的，假设业务应用中实际的应用分割场景为进行建筑群与地面和天空的分割，而所获得的初始场景分割图中分别存在内容标签为花、草、树木的分割图层，此时就相当于分割结果与所需的应用分割场景不匹配。进一步分析可知，花、草、树木实则都为长在地面上的植物，其应该属于地面的一部分，为得到更匹配的分割结果，需要通过本步骤进行场景融合处理。
71.本步骤中的场景融合处理可以基于各初始分割图层的内容标签来实现。具体的，
执行逻辑中可相对应用场景设定相应的场景类别融合规则，之后可以确定出满足场景类别融合规则的多个内容标签，并对其所对应的分割图层进行融合，从而形成新的分割图层，完成场景融合后，可以基于融合处理后形成的各分割图层构成中间场景分割图。
72.可选的，图2b为本公开实施例二所提供图像场景分割方法中图像融合处理的实现流程图。如图2b所示，在上述实施例的基础上，本实施例进一步将基于各初始分割图层对应的内容标签，对各初始分割图层进行场景初始融合，获得中间场景分割图具体化为下述步骤：
73.s2021、获取各所述初始分割图层的内容标签。
74.在本实施例中，可以从所获得的初始场景分割图中提取各初始分割图层的内容标签。
75.s2022、查找预先设定的标签类别关联表，确定各所述内容标签归属的场景分支。
76.在本实施例中，所述标签类别关联表为一个预先设定的信息规则表，其具体可依赖当前所面向的应用场景设定。相关技术人员通过对应用场景需求的分析，可以确定出匹配该应用场景的多个场景分支，而不同场景分支下可以存在多个存在归属关系或并列关系的内容标签。
77.示例性的，假设一个场景分支为地面，在一个应用场景中，可认为该场景分支下关联的内容标签至少包括：地面、花、草及树木等，由此，相对该应用场景设定的标签类别关联表中，其中一条记录就可以表示为花、草、树木以及地面这类的内容标签均分别归属于地面这个场景分支。在本实施例中，在获取各初始分割图层的内容标签后，通过本步骤对标签类别关联表的查找，就可以获得的每个内容标签所关联的场景分支。
78.s2023、将属于同一场景分支的初始分割图层进行图像内容融合，获得融合后的中间场景分割图。
79.接上述示例描述，假设确定出地面、花、草和树木均归属于地面这个场景分支，那么就可以将初始场景分割图中地面、花、草和树木分别对应的初始分割图层进行场景初始融合，最终通过本步骤获得中间场景分割图。
80.本实施例下述s203和s204给出了检测待处理分割块的逻辑实现。
81.示例性的，图2c给出了本实施例所提供图像场景分割方法中所确定中间场景分割图的效果展示图。如图2c所示，为便于更好了解中间场景分割图的细节，图2c中即展示了中间场景分割图23，还具体展示了中间场景分割图23包括的各中间分割图层，可以看出所展示的第一图层231中主要呈现了建筑群；所展示的第二图层232中主要呈现了地面，而所展示的第三图层233中主要呈现了天空。
82.s203、提取中间场景分割图中包括的各中间分割图层。
83.通过上述s202获得中间场景分割图后，相当于已知了所包括的中间分割图层，本步骤提取各中间分割图层。
84.s204、通过对各中间分割图层进行连通域检测，确定中间场景分割图的待处理分割块。
85.在本实施例中，本步骤的连通域检测可以通过设定的连通域检测算法实现，其中，连通域检测算法的核心可以是对二值化处理后的图像进行像素点扫描，以此来确定像素点是否处于同一区域，进而可以确定出中间分割图层中的各连通区域；之后还可以根据各连
通区域的面积查找出分割异常的待处理分割块。
86.具体的，图2d给出了本实施例二所提供图像场景分割方法中待处理分割块确定的实现流程图。如图2d所示，在上述实施例的基础上，本实施例进一步将通过对各所述中间分割图层进行连通域检测，确定所述中间场景分割图的待处理分割块具体优选为下述步骤：
87.s2041、对各所述中间分割图层进行二值化处理，获得相应的二值化分割图层。
88.示例性的，二值化处理可以是将中间分割图层中各像素点进行像素值为0或1的赋值。
89.s2042、针对每个二值化分割图层，对所述二值化分割图层按照设定扫描顺序进行像素值扫描。
90.示例性的，像素点的扫描顺序可以是从左到右以及从上到下；通过该扫描步骤，可以确定出个像素点的像素值。
91.s2043、根据各所述像素值扫描结果，确定所述二值化分割图层中包括的各连通区域。
92.示例性的，本实施例基于像素值进行连通区域检测的过程可以在像素值扫描过程中实时进行，具体的，连通区域的检测可以描述为：假如所扫描当前像素点的像素值为0，就按照扫描顺序移动到下一个像素点；假如所扫描当前像素点的像素值为1，就检测该当前像素点左边和上边的两个邻接像素点，之后，根据这两个邻接像素点的像素值和检测标记，进行下述4中情况的考虑：
93.1)两邻接像素点的像素值都为0。此时给该当前像素点一个新的标记(表示一个新的连通域的开始)。
94.2)两邻接像素点的像素值只有一个为1。此时当前像素点的标记与两邻接像素点中像素值为1的标记相同。
95.3)两邻接像素点的像素值都为1且标记相同。此时当前像素点的标记也为该标记。
96.4)两邻接像素点的像素值都为1且标记不同。将两邻接像素点所对应标记中较小标记赋值给当前像素点。
97.接上述描述，结束像素点扫描后，通过各像素点对应的标记，就可以将标记相同的区域看作一个连通区域，本实施例通过上述操作可以确定出所包括的各连通区域。
98.s2044、将区域面积小于设定面积阈值的连通区域作为待处理分割块。
99.本实施例可以确定各连通区域的区域面积，该区域面积可以采用像素值数量表征。通过上述描述，场景分割中，分割异常的分割块往往表现为区域面积较小的独立分割块，由此，本步骤可以将区域面积小于设定面积阈值的连通区域作为待处理分割块。
100.示例性的，接上述图2c的描述，所展示的各中间分割图层中经过连通域检测也确定出待处理分割块，如第一图层231中第一矩形框234内的连通区域；第二图像232中第二矩形框235内的连通区域，均可相当于确定出的待处理分割块。
101.同时，图2e给出了本实施例在同一图像中对所确定各待处理分割块进行展示的效果示例图；如图2e所示，图2e中图像24包括了从上述图2c所对应中间场景分割图23中检测出的各待处理分割块，为便于更好识别各待处理分割块，可以采用不同的颜色值为待处理分割块中像素点进行填色。
102.本实施例下述s205和s206给出了对待处理分割块进行分割校正的具体实现。
103.s205、针对每个待处理分割块，按照设定的膨胀系数对待处理分割块进行区域膨胀处理，获得相应的分割膨胀区域。
104.在本实施例中，所设定的膨胀系数可以是一个卷积核为3*3的全1矩阵，参与膨胀的待处理分割块为膨胀中心，然后对待处理分割块向四周以3*3的全1矩阵进行膨胀，本实施例可以将膨胀后的区域记为分割膨胀区域。其中，分割膨胀区域可以仅是向四周膨胀的不包含待处理分割块的外围膨胀区域；也可以是包括了待处理分割块和外围膨胀区域的融合。
105.s206、基于分割膨胀区域，从中间场景分割图中确定待处理分割块归属的目标分割图层。
106.需要理解的是，检测出的待处理分割块，其所对应的分割膨胀区域可以与中间场景分割图中的任意中间分割图层存在交叠，本步骤基于分割膨胀区域与任意中间分割图层的交叠占比，就可以确定出待处理分割块归属于哪个中间分割图层。
107.具体的，图2f给出了本实施例二所提供图像场景分割方法中确定待处理分割块所归属分割图层的实现流程图。如图2f所示，在上述实施例的基础上，本实施例进一步将基于所述分割膨胀区域，从所述中间场景分割图中确定所述待处理分割块归属的目标分割图层具体化为下述步骤：
108.s2061、获取所述中间场景分割图中包括的各中间分割图层，确定与所述分割膨胀区域存在重叠的候选分割图层。
109.示例性的，通过分割膨胀区域所包括各像素点的像素点位置，以及各中间分割图层中所包括图像内容的像素点位置，就可以确定分割膨胀区域与哪些中间分割图层存在交叠，由此将存在交叠的中间分割图层记为候选分割图层。
110.s2062、统计与各所述候选分割图层相重叠区域的像素点数量。
111.s2063、将最大像素点数量对应的候选分割图层，作为所述待处理分割块归属的目标分割图层。
112.在本实施例中，最大像素点数量相当于分割膨胀区域在目标分割图层中存在交叠的像素点数量最多。
113.s207、将待处理分割块与目标分割图层进行图像融合。
114.可以知道的是，本实施例可以优选同一个分割图层中各图像内容所对应像素点的像素值相同。示例性的，其中一种图像融合方式可描述为将待处理分割块中各像素点的像素值等同于目标分割图层中像素点所具备的像素值。
115.s208、将融合处理后的中间场景分割图作为目标图像的目标场景分割图。
116.在本实施例中，本步骤中的融合处理相当于上述待处理分割块进行分割校正时与目标分割图层的场景融合。由此实现了各待处理分割块的异常分割修复，最终获得的目标场景分割图中各分割图层上的碎片化分割块数量明显减少。
117.示例性的，图2g给出了本实施例所提供图像场景分割方法中目标场景分割图的效果展示图。如图2g所示，为便于更好了解目标场景分割图的细节，其所呈现的效果图与上述图2c相互对应，其中，图2g中即展示了目标场景分割图25，还展示了目标场景分割图25中包括的各目标分割图层，可以看出所展示的第四图层251中主要呈现了的建筑群；所展示的第五图层252中主要呈现了地面，而所展示的第六图层253中主要呈现了天空。
118.将图2g与图2c进行比对，可以发现，图2c所呈现第二图层232中第二矩形框235内的碎片化分割块，通过分割校正最终融合至图2g所呈现的第四图层251中，从而实现了建筑群场景的完整化，进而也实现了图2g中所呈现第五图层235内地面场景的准确化。
119.本实施例二提供的一种图像场景分割方法，给出了通过场景分割网络模块对图像进行场景初始分割以及对初始分割结果通过场景初始融合来实现第一次分割结果处理；同时，还给出了检测待处理分割块具体实现，也给出了对待处理分割块进行分割校正的具体实现。通过本实施例提供的方法，解决了现有图像场景分割方法无法实现精准分割，产生较多碎片化分割结果的问题。区别于传统的改进方案，本实施例所提供方案的关键在于对图像场景分割后的分割结果进行碎片化检测，并检测出碎片化分割块进行分割校正，校正后的分割结果实现了对目标图像中同一场景类别下图像内容的统一性分割，减少了分割块的碎片化，达到了有效提升分割结果精准性的有益效果。
120.实施例三
121.图3为本公开实施例三提供的一种图像场景分割装置的结构示意图，本实施例可适用于对所获取的图像进行图像分割的情况，该装置可以通过软件和/或硬件来实现，可配置于终端和/或服务器中来实现本公开实施例中的图像场景分割方法。该装置具体可包括：初始处理模块31、信息确定模块32以及分割校正模块33。
122.其中，初始处理模块31，用于通过对所获取目标图像进行场景初始分割及场景初始融合处理，获得中间场景分割图；
123.信息确定模块32，用于从所述中间场景分割图中检测待处理分割块；
124.分割校正模块33，用于通过对各所述待处理分割块进行分割校正，获得所述目标图像的目标场景分割图。
125.本实施例三提供的一种图像场景分割装置，解决了现有图像场景分割方法无法实现精准分割，产生较多碎片化分割结果的问题。区别于传统的改进方案，本实施例所提供方案的关键在于对图像场景分割后的分割结果进行碎片化检测，并检测出碎片化分割块进行分割校正，校正后的分割结果实现了对目标图像中同一场景类别下图像内容的统一性分割，减少了分割块的碎片化，达到了有效提升分割结果精准性的有益效果。
126.在本公开实施例中任一可选技术方案的基础上，可选地，初始处理模块31包括：
127.初始分割单元，用于将获取的目标图像作为输入数据，输入至预设的场景分割网络模型，获得输出的初始场景分割图，所述初始场景分割图中包括至少一个初始分割图层；
128.初始融合单元，用于基于各所述初始分割图层对应的内容标签，对各所述初始分割图层进行场景初始融合，获得中间场景分割图。
129.在本公开实施例中任一可选技术方案的基础上，可选地，所述初始融合单元，具体可以用于：
130.获取各所述初始分割图层的内容标签；查找预先设定的标签类别关联表，确定各所述内容标签归属的场景分支；将属于同一场景分支的初始分割图层进行图像内容融合，获得融合后的中间场景分割图。
131.在本公开实施例中任一可选技术方案的基础上，可选地，所述所述场景分割网络模型的隐藏层包括设定数量的残差子网络模型；各所述残差子网络模型之间按照层级顺序依次连接，同时存在一个残差子网络模型到另一个非邻接残差子网络模型的残差连接；每
个残差子网络模型由一个卷积层、批量归一化层以及非线性激活函数层组成。
132.在本公开实施例中任一可选技术方案的基础上，可选地，信息确定模块32具体可以包括：
133.信息提取单元，用于提取所述中间场景分割图中包括的各中间分割图层；
134.信息确定单元，用于通过对各所述中间分割图层进行连通域检测，确定所述中间场景分割图的待处理分割块。
135.在本公开实施例中任一可选技术方案的基础上，可选地，所述信息确定单元具体可以用于：对各所述中间分割图层进行二值化处理，获得相应的二值化分割图层；针对每个二值化分割图层，对所述二值化分割图层按照设定扫描顺序进行像素值扫描；根据各所述像素值扫描结果，确定所述二值化分割图层中包括的各连通区域；将区域面积小于设定面积阈值的连通区域作为待处理分割块。
136.在本公开实施例中任一可选技术方案的基础上，可选地，分割校正模块具体可以包括：
137.区域确定单元，用于针对每个待处理分割块，按照设定的膨胀系数对所述待处理分割块进行区域膨胀处理，获得相应的分割膨胀区域；
138.第一校正单元，用于基于所述分割膨胀区域，从所述中间场景分割图中确定所述待处理分割块归属的目标分割图层；
139.第二校正单元，用于将所述待处理分割块与所述目标分割图层进行图像融合；
140.目标确定单元，用于将融合处理后的中间场景分割图作为所述目标图像的目标场景分割图。
141.在本公开实施例中任一可选技术方案的基础上，可选地，所述第二校正单元具体可以用于：
142.获取所述中间场景分割图中包括的各中间分割图层，确定与所述分割膨胀区域存在重叠的候选分割图层；统计与各所述候选分割图层相重叠区域的像素点数量；将最大像素点数量对应的候选分割图层，作为所述待处理分割块归属的目标分割图层。
143.上述装置可执行本公开任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
144.值得注意的是，上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本公开实施例的保护范围。
145.实施例四
146.图4为本公开实施例七所提供的一种电子设备的结构示意图。下面参考图4，其示出了适于用来实现本公开实施例的电子设备(例如图4中的终端设备或服务器)40的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图4示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
147.如图4所示，电子设备40可以包括处理装置(例如中央处理器、图形处理器等)41，其可以根据存储在只读存储器(rom)42中的程序或者从存储装置48加载到随机访问存储器
protocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“lan”)，广域网(“wan”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
156.上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
157.上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：
158.可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
159.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
160.描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
161.本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。
162.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或
上述内容的任何合适组合。
163.根据本公开的一个或多个实施例，【示例一】提供了一种图像场景分割方法，该方法包括：通过对所获取目标图像进行场景初始分割及场景初始融合处理，获得中间场景分割图；从所述中间场景分割图中检测待处理分割块；通过对各所述待处理分割块进行分割校正，获得所述目标图像的目标场景分割图。
164.根据本公开的一个或多个实施例，【示例二】提供了一种图像场景分割方法，该方法中的步骤：通过对所获取目标图像进行场景初始分割及场景初始融合处理，获得中间场景分割图，可优选包括：将获取的目标图像作为输入数据，输入至预设的场景分割网络模型，获得输出的初始场景分割图，所述初始场景分割图中包括至少一个初始分割图层；基于各所述初始分割图层对应的内容标签，对各所述初始分割图层进行场景初始融合，获得中间场景分割图。
165.根据本公开的一个或多个实施例，【示例三】提供了一种图像场景分割方法，该方法中的步骤：基于各所述初始分割图层对应的内容标签，对各所述初始分割图层进行场景初始融合，获得中间场景分割图，可优化包括：获取各所述初始分割图层的内容标签；查找预先设定的标签类别关联表，确定各所述内容标签归属的场景分支；将属于同一场景分支的初始分割图层进行图像内容融合，获得融合后的中间场景分割图。
166.根据本公开的一个或多个实施例，【示例四】提供了一种图像场景分割方法，该方法中优选场景分割网络模型的隐藏层包括设定数量的残差子网络模型；各所述残差子网络模型之间按照层级顺序依次连接，同时存在一个残差子网络模型到另一个非邻接残差子网络模型的残差连接；每个残差子网络模型由一个卷积层、批量归一化层以及非线性激活函数层组成。
167.根据本公开的一个或多个实施例，【示例五】提供了一种图像场景分割方法，该方法中的步骤：从所述中间场景分割图中检测待处理分割块，可优选包括：提取所述中间场景分割图中包括的各中间分割图层；通过对各所述中间分割图层进行连通域检测，确定所述中间场景分割图的待处理分割块。
168.根据本公开的一个或多个实施例，【示例六】提供了一种图像场景分割方法，该方法中的步骤：通过对各所述中间分割图层进行连通域检测，确定所述中间场景分割图的待处理分割块，具体可以包括：对各所述中间分割图层进行二值化处理，获得相应的二值化分割图层；针对每个二值化分割图层，对所述二值化分割图层按照设定扫描顺序进行像素值扫描；根据各所述像素值扫描结果，确定所述二值化分割图层中包括的各连通区域；将区域面积小于设定面积阈值的连通区域作为待处理分割块。
169.根据本公开的一个或多个实施例，【示例七】提供了一种图像场景分割方法，该方法中的步骤：通过对各所述待处理分割块进行分割结果校正，获得所述目标图像的目标场景分割图，具体可优化为：针对每个待处理分割块，按照设定的膨胀系数对所述待处理分割块进行区域膨胀处理，获得相应的分割膨胀区域；基于所述分割膨胀区域，从所述中间场景分割图中确定所述待处理分割块归属的目标分割图层；将所述待处理分割块与所述目标分割图层进行图像融合；将融合处理后的中间场景分割图作为所述目标图像的目标场景分割图。
170.根据本公开的一个或多个实施例，【示例八】提供了一种图像场景分割方法，该方
法中的步骤：基于所述分割膨胀区域，从所述中间场景分割图中确定所述待处理分割块归属的目标分割图层，具体可优化包括：获取所述中间场景分割图中包括的各中间分割图层，确定与所述分割膨胀区域存在重叠的候选分割图层；统计与各所述候选分割图层相重叠区域的像素点数量；将最大像素点数量对应的候选分割图层，作为所述待处理分割块归属的目标分割图层。
171.以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
172.此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了如果干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
173.尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。