显著性目标检测模型的确定方法、装置、设备和介质与流程

1.本公开实施例涉及计算机技术，尤其涉及一种显著性目标检测模型的确定方法、装置、设备和介质。


背景技术：

2.随着计算机技术的快速发展，可以利用神经网络模型对图像中的显著性目标进行检测。现有的用于检测显著性目标的神经网络模型通常是基于专家经验手动设计出网络架构。可见，这种手动设计网络模型费时费力，并且设计出的网络模型也会存在较多的计算冗余，无法有效保证显著性目标检测的准确性和效率。


技术实现要素：

3.本公开实施例提供了一种显著性目标检测模型的确定方法、装置、设备和介质，以自动搜索确定出显著性目标检测模型，无需人工参与，并且可以有效保证显著性目标检测的准确性和效率。
4.第一方面，本公开实施例提供了一种显著性目标检测模型的确定方法，包括：
5.构建具有u型搜索结构的图像检测网络模型，所述图像检测网络模型包括：编码网络、解码网络、用于连接所述编码网络与所述解码网络的池化模块、位于所述编码网络与所述解码网络之间的第一中间网络以及位于所述池化模块与所述解码网络之间的第二中间网络；
6.以检测图像中的显著性目标为搜索目标，基于样本数据对所述图像检测网络模型进行搜索训练，确定显著性目标检测模型。
7.第二方面，本公开实施例还提供了一种显著性目标检测模型的确定装置，包括：
8.图像检测网络模型构建模块，用于构建具有u型搜索结构的图像检测网络模型，所述图像检测网络模型包括：编码网络、解码网络、用于连接所述编码网络与所述解码网络的池化模块、位于所述编码网络与所述解码网络之间的第一中间网络以及位于所述池化模块与所述解码网络之间的第二中间网络；
9.显著性目标检测模型确定模块，用于以检测图像中的显著性目标为搜索目标，基于样本数据对所述图像检测网络模型进行搜索训练，确定显著性目标检测模型。
10.第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：
11.一个或多个处理器；
12.存储器，用于存储一个或多个程序；
13.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开任意实施例提供的显著性目标检测模型的确定方法。
14.第四方面，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开任意实施例提供的显著性目标检测模型的确定方法。
15.本公开实施例通过构建具有u型搜索结构的图像检测网络模型，该图像检测网络模型包括：编码网络、解码网络、用于连接编码网络与解码网络的池化模块、位于编码网络与解码网络之间的第一中间网络以及位于池化模块与解码网络之间的第二中间网络。以检测图像中的显著性目标为直接的搜索目标，基于样本数据对图像检测网络模型进行搜索训练，从而可以自动搜索确定出显著性目标检测模型，无需人工参与，并且在搜索训练过程中可以去除冗余计算，有效保证搜索出的显著性目标检测模型的检测准确性和检测效率。
附图说明
16.结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
17.图1是本公开实施例一提供的一种显著性目标检测模型的确定方法的流程图；
18.图2是本公开实施例一所涉及的一种图像检测网络模型的网络结构示例；
19.图3(a)是本公开实施例一所涉及的另一种图像检测网络模型的网络结构示例；
20.图3(b)是本公开实施例一所涉及的又一种图像检测网络模型的网络结构示例；
21.图4是本公开实施例二提供的一种显著性目标检测模型的确定方法的流程图；
22.图5是本公开实施例三提供的一种显著性目标检测模型的确定装置的结构示意图；
23.图6是本公开实施例四提供的一种电子设备的结构示意图。
具体实施方式
24.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
25.应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
26.本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
27.需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
28.需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
29.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
30.实施例一
31.图1为本公开实施例一提供的一种显著性目标检测模型的确定方法的流程图，本实施例可适用于确定出用于检测图像中的显著性目标的网络模型的情况。该方法可以由显著性目标检测模型的确定装置来执行，该装置可以由软件和/或硬件的方式来实现，集成于电子设备中。如图1所示，该方法具体包括以下步骤：
32.s110、构建具有u型搜索结构的图像检测网络模型，图像检测网络模型包括：编码网络、解码网络、用于连接编码网络与解码网络的池化模块、位于编码网络与解码网络之间的第一中间网络以及位于池化模块与解码网络之间的第二中间网络。
33.其中，图像检测网络模型可以是针对显著性目标检测任务构建出的u型搜索空间。图像检测网络模型关注的是图像中的显著性目标的位置信息，而非图像中显著性目标的类别信息。编码网络可以是指图像检测网络模型中用于特征提取的可搜索的网络结构，其可以对图像特征进行下采样获得低分辨率的特征图。解码网络可以是指与编码网络相反的可搜索的网络结构，即可以对低分辨率的特征图进行上采样获得高分辨率的特征图。池化模块可以是对编码网络所输出的特征图进行池化操作的可搜索的网络结构。示例性地，池化模块可以为lppm(light pyramid pooling module)轻量级金字塔池化模块，以便进一步增加网络的整体感受野并且可以有效地收集全局信息，提高全局信息的利用效率。第一中间网络可以是指将编码网络中的特征信息聚合到解码网络中的可搜索的网络结构，以便还原特征细节。第二中间网络可以是指将池化模块输出的特征信息引入到解码网络中的可搜索的网络结构，以便确保在特征上采样过程中全局信息的引导，避免全局信息的淡化。
34.具体地，图2给出了一种图像检测网络模型的网络结构示例。如图2所示，构建出的具有u型搜索结构的图像检测网络模型可以包括：可搜索的编码网络(即一条自底向上(bottom-up)路径)、可搜索的解码网络(即一条自顶向下(top-down)路径)以及用于连接编码网络与解码网络这两条可搜索路径的池化模块，从而构建出u型搜索空间，并且在这两条可搜索路径之间还包括用于还原细节的第一中间网络以及将池化模块输出的全局信息引导到自顶向下路径中的第二中间网络(即global guidance全局引导路径)。
35.示例性地，图3(a)给出了又一种图像检测网络模型的示例。如图3(a)所示，编码网络可以包括：stem卷积模块和预设数量的下采样模块；解码网络可以包括：目标检测模块和预设数量的上采样模块；第一中间网络可以包括：预设数量的第一短连接模块；第二中间网络可以包括：预设数量的第二短连接模块；其中，下采样模块、上采样模块、第一短连接模块和第二短连接模块均一一对应。
36.其中，stem卷积模块可以是指一个标准的3
×
3卷积层，其输入通道为3。预设数量n可以基于业务需求和实际场景进行设置。例如，预设数量可以设置为4，以权衡检测精度和检测效率。编码网络可以包括四个顺序排列的下采样模块，下采样率分别为2、4、8和16。为了保持深层特征图的高空间分辨率，本实施例未使用具有较大下采样率(比如32)的下采样模块。每个下采样模块的第一个网络层的卷积步幅s可以设置为大于等于2的数值，以便实现空间下采样的效果。上采样模块与下采样模块一一对应，具有相同的采样率并且索引顺序相反。第一个上采样模块以池化模块的输出作为输入，并依次传递到后面的上采样模块，直到目标检测模块将最后一个上采样模块输出的特征图转换为单通道特征图，并通过sigmoid激活函数处理操作，获得最终的输出结果。在每个上采样模块的采样过程中，相应的下采样模块输出的特征图通过相应的第一短连接模块逐渐聚合，以便还原细节。同时，将
池化模块输出的全局信息通过每个第二短连接模块被引导至相应的上采样模块中，以保证在特征上采样过程中全局信息的引导，避免全局信息的淡化。
37.s120、以检测图像中的显著性目标为搜索目标，基于样本数据对图像检测网络模型进行搜索训练，确定显著性目标检测模型。
38.具体地，本实施例可以以检测图像中的显著性目标(salient object detection，sod)为直接搜索目标，基于预设搜索方式和样本数据对图像检测网络模型进行搜索训练，自动搜索确定出网络架构和网络权重，从而获得性能最优的显著性目标检测模型。其中，预设搜索方式可以是预先设置的任意一种神经网络架构搜索方式。例如，预设搜索方式可以是但不限于：darts(differentiable architecture search)可微结构搜索方式，也juice是将搜索空间连续化处理，以便利用梯度下降等连续优化方式求解最优网络结构的搜索方式。本实施例中的架构搜索过程可以是指路径级剪枝过程，即直接训练一个包含所有备选路径的过参数化网络，即图像检测网络模型。除了网络权重参数之外，还需要引入了网络架构参数，以便确定训练期间的冗余路径。由于网络架构参数不直接参与计算图，从而可以将所有备选路径二值化的方式更新实值权重。网络权重参数和网络架构参数可以分别在训练集和验证集上交替更新。在训练结束时，通过修剪冗余路径获得紧凑的优化网络架构，从而确定出性能最优的显著性目标检测模型，有效保证搜索出的显著性目标检测模型的检测准确性和检测效率。
39.示例性地，在步骤s120之后还可以包括：获取待检测图像；将待检测图像输入至显著性目标检测模型中，并根据显著性目标检测模型的输出，获得待检测图像中的显著性目标。
40.其中，显著性目标可以是指待检测图像中视觉信息最突出的物体。具体地，在确定出显著性目标检测模型之后，可以直接利用该显著性目标检测模型对待检测图像进行显著性目标检测，突出待检测图像中显著的目标区域，从而更加快速地获得待检测图像中的更加准确的显著性目标，提高显著性目标检测准确性和检测效率，进而在大规模视频图像处理计算中，可以节省计算和分析资源。本实施例中的显著性目标检测方式可以应用到主体目标分割、背景虚化、智能弹幕生成等应用场景中。
41.本公开实施例的技术方案，通过构建具有u型搜索结构的图像检测网络模型，该图像检测网络模型包括：编码网络、解码网络、用于连接编码网络与解码网络的池化模块、位于编码网络与解码网络之间的第一中间网络以及位于池化模块与解码网络之间的第二中间网络。以检测图像中的显著性目标为直接的搜索目标，基于样本数据对图像检测网络模型进行搜索训练，从而可以自动搜索确定出显著性目标检测模型，无需人工参与，并且在搜索训练过程中可以去除冗余计算，有效保证搜索出的显著性目标检测模型的检测准确性和检测效率。
42.在上述技术方案的基础上，每个下采样模块包括：第一操作数量的下采样操作；下采样操作对应的备选搜索空间是：由第一预设个数的各个预设卷积核大小和第二预设个数的各个预设扩展比进行组合获得的各个mbconv倒瓶颈卷积层；每个上采样模块包括：第二操作数量的上采样操作；上采样操作对应的备选搜索空间是：由第三预设个数的各个预设卷积核大小和第四预设个数的各个预设扩展比进行组合获得的各个mbconv倒瓶颈卷积层；每个第一短连接模块包括：第三操作数量的第一短连接操作；第一短连接操作对应的备选
搜索空间是：由第五预设个数的各个预设卷积核大小和第六预设个数的各个预设扩展比进行组合获得的各个mbconv倒瓶颈卷积层；每个第二短连接模块包括：第四操作数量的第二短连接操作；第二短连接操作对应的备选搜索空间是：由第七预设个数的各个预设卷积核大小和第八预设个数的各个预设扩展比进行组合获得的各个mbconv倒瓶颈卷积层。
43.具体地，图3(b)给出了一种预设数量n为4的图像检测网络模型的示例。如图3(b)所示，编码网络中的第一个下采样模块、第三个下采样模块和第四个下采样模块均可以包括4个重复的下采样操作；第二个下采样模块可以包括6个重复的下采样操作。每个下采样操作均可以是由多个备选路径组成的mixed operation混合操作。解码网络中的第一个上采样模块、第三个上采样模块和第四个上采样模块均可以包括2个重复的上采样操作；第二个上采样模块可以包括3个重复的上采样操作。每个上采样操作均可以是由多个备选路径组成的mixed operation混合操作。第一中间网络中的每个第一短连接模块均可以包括1个第一短连接操作，即1个由多个备选路径组成的mixed operation混合操作。第二中间网络中的每个第二短连接模块均可以包括1个第二短连接操作，即1个由多个备选路径组成的mixed operation混合操作。
44.需要说明的是，图像检测网络模型中的每个混合操作均是可搜索学习并且可以被单独定义的。为了提高搜索效率，本实施例可以仅对各个下采样模块、各个上采样模块、各个第一短连接模块和各个第二短连接模块进行搜索，而对stem卷积模块、池化模块和目标检测模块不进行搜索。例如，图3(b)中给出了一种lppm池化模块的网络结构，即lppm池化模块可以由三个池化层和一个identity激活函数层组成。本实施例中图像检测网络模型的搜索空间可以如表1所示。图像检测网络模型中的各个下采样模块和各个上采样模块中的所有可学习的混合操作可以共享相同的备选搜索空间：内核大小k为{3,5,7}集合中的任一k和扩展比e为{3,6}集合中的任一e组合的mbconv倒瓶颈卷积层。mbconv倒瓶颈卷积层可以由1x1升维卷积操作、depthwise卷积操作、特征通道的权重分配senet操作和1x1降维卷积操作组成。扩展比e可以是指mbconv中的第一个1x1升维卷积操作的输出通道数与输入通道数的比值。块数n可以是指每个模块包括的混合操作的数量。本实施例可以将各个第一短连接模块和各个第二短连接模块中的可学习块的备选扩展比e缩小到1和3，以降低不必要的复杂度。对于第二短连接模块，当扩展比e等于0时，表示零操作，即允许使用残差连接跳过相应的可学习块。需要注意的是，本实施例不允许跳过具有采样操作(即s》1)的可学习块。为了保持基本的u型搜索结构，不允许跳过各个第一短连接模块中的可学习块。通过这种方式，图像检测网络模型可以通过保留或跳过更多块以及使用更大或更小的mbconv层来相应地调整其深度和宽度。
45.表1图像检测网络模型中的各个操作的备选搜索空间信息
[0046][0047][0048]
在上述各技术方案的基础上，如图3(a)和3(b)所示，每个下采样模块可以用于：对上一下采样模块输出的特征信息进行下采样，确定当前下采样模块输出的特征信息。其中，第一个下采样模块用于：对stem卷积模块输出的特征信息进行下采样，确定第一个下采样模块输出的特征信息。相应地，池化模块用于：对最后一个下采样模块输出的特征信息进行池化操作，确定池化模块输出的特征信息。
[0049]
每个第一短连接模块可以用于：对上一下采样模块输出的特征信息进行短连接处理，确定当前第一短连接模块输出的特征信息。其中，第一个第一短连接模块用于：对stem卷积模块输出的特征信息进行短连接处理，确定第一个第一短连接模块输出的特征信息。每个第二短连接模块可以用于：对池化模块输出的特征信息进行短连接处理，确定当前第二短连接模块输出的特征信息。
[0050]
每个上采样模块可以用于：对上一上采样模块输出的特征信息进行上采样，并将上采样后的特征信息、与当前上采样模块对应的第一短连接模块输出的特征信息以及与当前上采样模块对应的第二短连接模块输出的特征信息进行相加处理，确定当前上采样模块输出的特征信息。其中，第一个上采样模块用于：对池化模块输出的特征信息进行上采样，并将上采样后的特征信息、与最后一个第一短连接模块输出的特征信息以及第一个第二短连接模块输出的特征信息进行相加处理，确定第一个上采样模块输出的特征信息。目标检测模块用于：将最后一个上采样模块输出的特征信息转换为单通道特征图，并通过sigmoid
激活函数处理操作，获得最终的输出结果并进行输出，从而实现显著性目标检测过程。
[0051]
实施例二
[0052]
图4为本公开实施例二提供的一种显著性目标检测模型的确定方法的流程图，本实施例在上述实施例的基础上，对步骤“以检测图像中的显著性目标为搜索目标，基于样本数据对图像检测网络模型进行搜索训练，确定显著性目标检测模型”进行了进一步优化。其中与上述各实施例相同或相应的术语的解释在此不再赘述。
[0053]
参见图4，本实施例提供的显著性目标检测模型的确定方法具体包括以下步骤：
[0054]
s410、构建具有u型搜索结构的图像检测网络模型。
[0055]
s420、基于预设搜索损失函数和第一样本数据，对图像检测网络模型中的网络架构参数进行搜索训练，获得搜索训练结束后的目标网络模型，其中，预设搜索损失函数是基于图像检测网络模型中可学习的每个混合操作的复杂度重要性进行构建的。
[0056]
其中，第一样本数据可以包括用于训练网络架构的第一样本图像和第一样本图像对应的标准显著性目标图像。具体地，通过基于预先基于复杂度重要性构建的预设搜索损失函数，利用第一样本数据对图像检测网络模型中的网络架构参数进行搜索训练，获得搜索好的目标网络模型，从而在实现高质量目标提取的同时，可以有效降低搜索过程的计算量。
[0057]
示例性地，s420可以包括：将第一样本数据输入至图像检测网络模型中，基于梯度下降方式对图像检测网络模型的网络架构参数进行搜索训练；在预设搜索损失函数达到最小值时停止训练，获得训练结束后的目标网络模型。
[0058]
需要说明的是，相比于将整体复杂性作为统一的优化目标而言，本实施例将复杂度重要性引入到架构搜索阶段的整体复杂度计算过程中，重新校准每个混合操作的复杂度的重要性，从而可以搜索出性能更佳的网络架构。
[0059]
s430、基于预设训练损失函数和第二样本数据，对目标网络模型中的网络权重参数进行训练，获得训练结束后的显著性目标检测模型。
[0060]
其中，第二样本数据可以包括用于训练网络权重的第二样本图像和第二样本图像对应的标准显著性目标图像。示例性地，预设训练损失函数可以是但不限于：bce(binary cross entropy)二分类交叉熵函数，以便通过在图像中累积每个像素的bce损失，提高显著性目标检测的鲁棒性。
[0061]
示例性地，s430可以包括：将第二样本数据输入至目标网络模型中，基于梯度下降方式对目标网络模型的网络权重参数进行训练，并在预设训练损失函数达到最小值时停止训练，获得训练结束后的显著性目标检测模型。
[0062]
本实施例的技术方案，通过预先基于图像检测网络模型中可学习的每个混合操作的复杂度重要性构建出预设搜索损失函数，并基于预设搜索损失函数和第一样本数据，对图像检测网络模型中的网络架构参数进行搜索训练，获得搜索训练结束后的目标网络模型，从而将复杂度重要性引入到架构搜索阶段的整体复杂度计算过程中，重新校准每个混合操作的复杂度的重要性，从而可以搜索出性能更佳的网络架构。
[0063]
在上述技术方案的基础上，步骤s420中的预设搜索损失函数的构建过程，可以包括如下步骤s421-s424：
[0064]
s421、在搜索训练过程中，获取图像检测网络模型中可学习的每个混合操作的备
选路径集合中的每个备选路径对应的路径权重和路径复杂度，其中，路径权重用于表征混合操作选择该备选路径的概率。
[0065]
具体地，图像检测网络模型的过参数化网络o可以表示如下：
[0066]
o＝编码网络∪解码网络∪池化模块∪第一中间网络∪第二中间网络
[0067]
其中，图像检测网络模型中的每个混合操作oi∈o都是可学习的。第i个混合操作oi具有一个备选路径集合且每个备选路径均对应一个路径权重来表征出选择这个备选路径的可能性。其中，j表示第i个混合操作oi对应的备选路径数量。本实施例可以利用flops(floating point operations)浮点运算数来表征每个备选路径对应的路径复杂度
[0068]
s422、基于每个混合操作对应的各个路径权重和各个路径复杂度，确定每个混合操作对应的目标路径复杂度。
[0069]
具体地，针对每个混合操作，可以将混合操作对应的各个备选路径对应的各个路径复杂度的期望值作为该混合操作对应的目标路径复杂度。
[0070]
示例性地，s422可以包括：将当前混合操作对应的每个路径权重和路径复杂度进行相乘，并将当前混合操作对应的各个相乘结果进行相加，获得的相加结果作为当前混合操作对应的目标路径复杂度。例如，混合操作oi对应的目标路径复杂度e
flops
[oi]可以基于如下公式进行确定：
[0071][0072]
s423、确定每个混合操作对应的复杂度权重，复杂度权重用于表征混合操作的目标路径复杂度的重要性。
[0073]
具体地，现有技术中每个混合操作具有相同的复杂度重要性，即复杂度权重均相等，而本实施例通过对每个混合操作属于的路径进行复杂度重要性校正，可以提高重要混合操作的复杂度，降低非重要混合操作的复杂度，从而可以搜索出性能更好的网络架构。本实施例可以将损失函数中的惩罚权重作为复杂度权重，例如，混合操作对应的复杂度权重越小，则表明惩罚权重越小，即混合操作的目标路径复杂度的重要性越高。
[0074]
示例性地，s423可以包括：检测当前混合操作是否为图像检测网络模型中的预设重要网络中的混合操作；若是，则确定当前混合操作对应的复杂度权重为第一预设数值；若否，则确定当前混合操作对应的复杂度权重为第二预设数值；其中，第一预设数值小于第二预设数值。
[0075]
其中，预设重要网络可以是指图像检测网络模型中的复杂度重要性高的网络模块。例如，预设重要网络可以包括但不限于编码网络和池化模块，即编码网络和池化模块中的混合操作比其他网络模块具有更大的复杂度重要性，从而可以倾向于搜索出一条编码网络和池化模块的复杂度更大的网络架构。第一预设数值和第二预设数值的总和可以设置为1，此时可以将第一预设数值设置于小于0.5的数值，第二预设数值设置为大于0.5的数值。例如，混合操作oi对应的复杂度权重βi可以基于如下公式进行确定：
[0076][0077]
s424、基于每个混合操作对应的目标路径复杂度和复杂度权重，构建出预设搜索损失函数。
[0078]
具体地，过参数化网络o对应的预设搜索损失函数可以利用所有混合操作的flops进行表征。
[0079]
示例性地，s424可以包括：将每个混合操作对应的目标路径复杂度和复杂度权重进行相乘，并将各个混合操作对应的相乘结果进行相加，构建出预设搜索损失函数。例如，构建出的预设搜索损失函数e
flops
[o]可以表示如下：
[0080][0081]
本实施例通过利用简便的复杂度重要性校正方式，可以搜索出性能更佳的网络架构，从而可以进一步提高搜索出的显著性目标检测模型的检测准确性和检测效率。
[0082]
以下是本公开实施例提供的显著性目标检测模型的确定装置的实施例，该装置与上述实施例的显著性目标检测模型的确定方法属于同一个发明构思，在显著性目标检测模型的确定装置的实施例中未详尽描述的细节内容，可以参考上述实施例的显著性目标检测模型的确定方法。
[0083]
实施例三
[0084]
图5为本公开实施例三提供的一种显著性目标检测模型的确定装置的结构示意图，本实施例可适用于确定出用于检测图像中的显著性目标的网络模型的情况。如图5所示，该装置具体包括：图像检测网络模型构建模块510和显著性目标检测模型确定模块520。
[0085]
其中，图像检测网络模型构建模块510，用于构建具有u型搜索结构的图像检测网络模型，图像检测网络模型包括：编码网络、解码网络、用于连接编码网络与解码网络的池化模块、位于编码网络与解码网络之间的第一中间网络以及位于池化模块与解码网络之间的第二中间网络；显著性目标检测模型确定模块520，用于以检测图像中的显著性目标为搜索目标，基于样本数据对图像检测网络模型进行搜索训练，确定显著性目标检测模型。
[0086]
本公开实施例的技术方案，通过构建具有u型搜索结构的图像检测网络模型，该图像检测网络模型包括：编码网络、解码网络、用于连接编码网络与解码网络的池化模块、位于编码网络与解码网络之间的第一中间网络以及位于池化模块与解码网络之间的第二中间网络。以检测图像中的显著性目标为直接的搜索目标，基于样本数据对图像检测网络模型进行搜索训练，从而可以自动搜索确定出显著性目标检测模型，无需人工参与，并且在搜索训练过程中可以去除冗余计算，有效保证搜索出的显著性目标检测模型的检测准确性和检测效率。
[0087]
在上述技术方案的基础上，显著性目标检测模型确定模块520，包括：
[0088]
网络架构搜索单元，用于基于预设搜索损失函数和第一样本数据，对图像检测网络模型中的网络架构参数进行搜索训练，获得搜索训练结束后的目标网络模型，其中，预设搜索损失函数是基于图像检测网络模型中可学习的每个混合操作的复杂度重要性进行构建的；
[0089]
网络权重训练单元，用于基于预设训练损失函数和第二样本数据，对目标网络模型中的网络权重参数进行训练，获得训练结束后的显著性目标检测模型。
[0090]
在上述各技术方案的基础上，网络架构搜索单元，具体用于：将第一样本数据输入至图像检测网络模型中，基于梯度下降方式对图像检测网络模型的网络架构参数进行搜索训练；在预设搜索损失函数达到最小值时停止训练，获得训练结束后的目标网络模型。
[0091]
在上述各技术方案的基础上，该装置还包括：预设搜索损失函数构建模块，包括：
[0092]
备选路径信息获取单元，用于在搜索训练过程中，获取图像检测网络模型中可学习的每个混合操作的备选路径集合中的每个备选路径对应的路径权重和路径复杂度，其中，路径权重用于表征混合操作选择该备选路径的概率；
[0093]
目标路径复杂度确定单元，用于基于每个混合操作对应的各个路径权重和各个路径复杂度，确定每个混合操作对应的目标路径复杂度；
[0094]
复杂度权重确定单元，用于确定每个混合操作对应的复杂度权重，复杂度权重用于表征混合操作的目标路径复杂度的重要性；
[0095]
预设搜索损失函数构建单元，用于基于每个混合操作对应的目标路径复杂度和复杂度权重，构建出预设搜索损失函数。
[0096]
在上述各技术方案的基础上，目标路径复杂度确定单元，具体用于：将当前混合操作对应的每个路径权重和路径复杂度进行相乘，并将当前混合操作对应的各个相乘结果进行相加，获得的相加结果作为当前混合操作对应的目标路径复杂度。
[0097]
在上述各技术方案的基础上，复杂度权重确定单元，具体用于：检测当前混合操作是否为图像检测网络模型中的预设重要网络中的混合操作；若是，则确定当前混合操作对应的复杂度权重为第一预设数值；若否，则确定当前混合操作对应的复杂度权重为第二预设数值；其中，第一预设数值小于第二预设数值。
[0098]
在上述各技术方案的基础上，预设搜索损失函数构建单元，具体用于：将每个混合操作对应的目标路径复杂度和复杂度权重进行相乘，并将各个混合操作对应的相乘结果进行相加，构建出预设搜索损失函数。
[0099]
在上述各技术方案的基础上，预设训练损失函数为：bce二分类交叉熵函数。
[0100]
在上述各技术方案的基础上，编码网络包括：stem卷积模块和预设数量的下采样模块；解码网络包括：目标检测模块和预设数量的上采样模块；第一中间网络包括：预设数量的第一短连接模块；第二中间网络包括：预设数量的第二短连接模块；其中，下采样模块、上采样模块、第一短连接模块和第二短连接模块均一一对应。
[0101]
在上述各技术方案的基础上，每个下采样模块包括：第一操作数量的下采样操作；下采样操作对应的备选搜索空间是：由第一预设个数的各个预设卷积核大小和第二预设个数的各个预设扩展比进行组合获得的各个mbconv倒瓶颈卷积层；
[0102]
每个上采样模块包括：第二操作数量的上采样操作；上采样操作对应的备选搜索空间是：由第三预设个数的各个预设卷积核大小和第四预设个数的各个预设扩展比进行组合获得的各个mbconv倒瓶颈卷积层；
[0103]
每个第一短连接模块包括：第三操作数量的第一短连接操作；第一短连接操作对应的备选搜索空间是：由第五预设个数的各个预设卷积核大小和第六预设个数的各个预设扩展比进行组合获得的各个mbconv倒瓶颈卷积层；
[0104]
每个第二短连接模块包括：第四操作数量的第二短连接操作；第二短连接操作对应的备选搜索空间是：由第七预设个数的各个预设卷积核大小和第八预设个数的各个预设扩展比进行组合获得的各个mbconv倒瓶颈卷积层。
[0105]
在上述各技术方案的基础上，每个下采样模块用于：对上一下采样模块输出的特征信息进行下采样，确定当前下采样模块输出的特征信息；
[0106]
每个第一短连接模块用于：对上一下采样模块输出的特征信息进行短连接处理，确定当前第一短连接模块输出的特征信息；
[0107]
每个第二短连接模块用于：对池化模块输出的特征信息进行短连接处理，确定当前第二短连接模块输出的特征信息；
[0108]
每个上采样模块用于：对上一上采样模块输出的特征信息进行上采样，并将上采样后的特征信息、与当前上采样模块对应的第一短连接模块输出的特征信息以及与当前上采样模块对应的第二短连接模块输出的特征信息进行相加处理，确定当前上采样模块输出的特征信息。
[0109]
在上述各技术方案的基础上，池化模块为轻量级金字塔池化模块。
[0110]
在上述各技术方案的基础上，该装置还包括：
[0111]
显著性目标检测模块，用于：在确定显著性目标检测模型之后，获取待检测图像；将待检测图像输入至显著性目标检测模型中，并根据显著性目标检测模型的输出，获得待检测图像中的显著性目标。
[0112]
本公开实施例所提供的显著性目标检测模型的确定装置可执行本发明任意实施例所提供的显著性目标检测模型的确定方法，具备执行显著性目标检测模型的确定方法相应的功能模块和有益效果。
[0113]
值得注意的是，上述显著性目标检测模型的确定装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
[0114]
实施例四
[0115]
下面参考图6，其示出了适于用来实现本公开实施例的电子设备900的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
[0116]
如图6所示，电子设备900可以包括处理装置(例如中央处理器、图形处理器等)901，其可以根据存储在只读存储器(rom)902中的程序或者从存储装置908加载到随机访问存储器(ram)903中的程序而执行各种适当的动作和处理。在ram 903中，还存储有电子设备900操作所需的各种程序和数据。处理装置901、rom 902以及ram 903通过总线904彼此相连。输入/输出(i/o)接口905也连接至总线904。
[0117]
通常，以下装置可以连接至i/o接口905：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置906；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置907；包括例如磁带、硬盘等的存储装置908；以及通信装置909。通信装置909可以允许电子设备900与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备900，但是应理解的是，并不要求实施或具备所有示出的装置。可以
替代地实施或具备更多或更少的装置。
[0118]
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置909从网络上被下载和安装，或者从存储装置908被安装，或者从rom 902被安装。在该计算机程序被处理装置901执行时，执行本公开实施例的方法中限定的上述功能。
[0119]
本公开实施例提供的电子设备与上述实施例提供的显著性目标检测模型的确定方法属于同一发明构思，未在本公开实施例中详尽描述的技术细节可参见上述实施例，并且本公开实施例与上述实施例具有相同的有益效果。
[0120]
实施例五
[0121]
本公开实施例提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例所提供的显著性目标检测模型的确定方法。
[0122]
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
[0123]
在一些实施方式中，客户端、服务器可以利用诸如http(hypertext transfer protocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“lan”)，广域网(“wan”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
[0124]
上述计算机可读介质可以是上述服务器中所包含的；也可以是单独存在，而未装配入该服务器中。
[0125]
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该服务器执行时，使得该服务器：构建具有u型搜索结构的图像检测网络模型，图像检测网络模型包括：编码网络、解码网络、用于连接编码网络与解码网络的池化模块、位于编码网络与解码网络之间的第一中间网络以及位于池化模块与解码网络之间的第二中间网络；以检测
图像中的显著性目标为搜索目标，基于样本数据对图像检测网络模型进行搜索训练，确定显著性目标检测模型。
[0126]
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0127]
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0128]
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，可编辑内容显示单元还可以被描述为“编辑单元”。
[0129]
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。
[0130]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0131]
根据本公开的一个或多个实施例，【示例一】提供了一种显著性目标检测模型的确定方法，包括：
[0132]
构建具有u型搜索结构的图像检测网络模型，所述图像检测网络模型包括：编码网络、解码网络、用于连接所述编码网络与所述解码网络的池化模块、位于所述编码网络与所述解码网络之间的第一中间网络以及位于所述池化模块与所述解码网络之间的第二中间
网络；
[0133]
以检测图像中的显著性目标为搜索目标，基于样本数据对所述图像检测网络模型进行搜索训练，确定显著性目标检测模型。
[0134]
根据本公开的一个或多个实施例，【示例二】提供了一种显著性目标检测模型的确定方法，还包括：
[0135]
可选的，所述以检测图像中的显著性目标为搜索目标，基于样本数据对所述图像检测网络模型进行搜索训练，确定显著性目标检测模型，包括：
[0136]
基于预设搜索损失函数和第一样本数据，对所述图像检测网络模型中的网络架构参数进行搜索训练，获得搜索训练结束后的目标网络模型，其中，所述预设搜索损失函数是基于所述图像检测网络模型中可学习的每个混合操作的复杂度重要性进行构建的；
[0137]
基于预设训练损失函数和第二样本数据，对所述目标网络模型中的网络权重参数进行训练，获得训练结束后的显著性目标检测模型。
[0138]
根据本公开的一个或多个实施例，【示例三】提供了一种显著性目标检测模型的确定方法，还包括：
[0139]
可选的，所述基于预设搜索损失函数和第一样本数据，对所述图像检测网络模型中的网络架构参数进行搜索训练，获得搜索训练结束后的目标网络模型，包括：
[0140]
将第一样本数据输入至所述图像检测网络模型中，基于梯度下降方式对所述图像检测网络模型的网络架构参数进行搜索训练；
[0141]
在预设搜索损失函数达到最小值时停止训练，获得训练结束后的目标网络模型。
[0142]
根据本公开的一个或多个实施例，【示例四】提供了一种显著性目标检测模型的确定方法，还包括：
[0143]
可选的，所述预设搜索损失函数的构建过程，包括：
[0144]
在搜索训练过程中，获取所述图像检测网络模型中可学习的每个混合操作的备选路径集合中的每个备选路径对应的路径权重和路径复杂度，其中，所述路径权重用于表征混合操作选择该备选路径的概率；
[0145]
基于每个所述混合操作对应的各个所述路径权重和各个所述路径复杂度，确定每个所述混合操作对应的目标路径复杂度；
[0146]
确定每个混合操作对应的复杂度权重，所述复杂度权重用于表征混合操作的目标路径复杂度的重要性；
[0147]
基于每个所述混合操作对应的所述目标路径复杂度和所述复杂度权重，构建出所述预设搜索损失函数。
[0148]
根据本公开的一个或多个实施例，【示例五】提供了一种显著性目标检测模型的确定方法，还包括：
[0149]
可选的，所述基于每个所述混合操作对应的各个所述路径权重和各个所述路径复杂度，确定每个所述混合操作对应的目标路径复杂度，包括：
[0150]
将当前混合操作对应的每个所述路径权重和所述路径复杂度进行相乘，并将当前混合操作对应的各个相乘结果进行相加，获得的相加结果作为当前混合操作对应的目标路径复杂度。
[0151]
根据本公开的一个或多个实施例，【示例六】提供了一种显著性目标检测模型的确
定方法，还包括：
[0152]
可选的，所述确定每个混合操作对应的复杂度权重，包括：
[0153]
检测当前混合操作是否为所述图像检测网络模型中的预设重要网络中的混合操作；
[0154]
若是，则确定当前混合操作对应的复杂度权重为第一预设数值；
[0155]
若否，则确定当前混合操作对应的复杂度权重为第二预设数值；
[0156]
其中，所述第一预设数值小于所述第二预设数值。
[0157]
根据本公开的一个或多个实施例，【示例七】提供了一种显著性目标检测模型的确定方法，还包括：
[0158]
可选的，所述基于每个所述混合操作对应的目标路径复杂度和所述复杂度权重，构建出所述预设搜索损失函数，包括：
[0159]
将每个所述混合操作对应的所述目标路径复杂度和所述复杂度权重进行相乘，并将各个所述混合操作对应的相乘结果进行相加，构建出所述预设搜索损失函数。
[0160]
根据本公开的一个或多个实施例，【示例八】提供了一种显著性目标检测模型的确定方法，还包括：
[0161]
可选的，所述预设训练损失函数为：bce二分类交叉熵函数。
[0162]
根据本公开的一个或多个实施例，【示例九】提供了一种显著性目标检测模型的确定方法，还包括：
[0163]
可选的，所述编码网络包括：stem卷积模块和预设数量的下采样模块；
[0164]
所述解码网络包括：目标检测模块和所述预设数量的上采样模块；
[0165]
所述第一中间网络包括：所述预设数量的第一短连接模块；
[0166]
所述第二中间网络包括：所述预设数量的第二短连接模块；
[0167]
其中，所述下采样模块、所述上采样模块、所述第一短连接模块和所述第二短连接模块均一一对应。
[0168]
根据本公开的一个或多个实施例，【示例十】提供了一种显著性目标检测模型的确定方法，还包括：
[0169]
可选的，每个所述下采样模块包括：第一操作数量的下采样操作；所述下采样操作对应的备选搜索空间是：由第一预设个数的各个预设卷积核大小和第二预设个数的各个预设扩展比进行组合获得的各个mbconv倒瓶颈卷积层；
[0170]
每个所述上采样模块包括：第二操作数量的上采样操作；所述上采样操作对应的备选搜索空间是：由第三预设个数的各个预设卷积核大小和第四预设个数的各个预设扩展比进行组合获得的各个mbconv倒瓶颈卷积层；
[0171]
每个所述第一短连接模块包括：第三操作数量的第一短连接操作；所述第一短连接操作对应的备选搜索空间是：由第五预设个数的各个预设卷积核大小和第六预设个数的各个预设扩展比进行组合获得的各个mbconv倒瓶颈卷积层；
[0172]
每个所述第二短连接模块包括：第四操作数量的第二短连接操作；所述第二短连接操作对应的备选搜索空间是：由第七预设个数的各个预设卷积核大小和第八预设个数的各个预设扩展比进行组合获得的各个mbconv倒瓶颈卷积层。
[0173]
根据本公开的一个或多个实施例，【示例十一】提供了一种显著性目标检测模型的
确定方法，还包括：
[0174]
可选的，每个所述下采样模块用于：对上一下采样模块输出的特征信息进行下采样，确定当前下采样模块输出的特征信息；
[0175]
每个所述第一短连接模块用于：对上一下采样模块输出的特征信息进行短连接处理，确定当前第一短连接模块输出的特征信息；
[0176]
每个所述第二短连接模块用于：对所述池化模块输出的特征信息进行短连接处理，确定当前第二短连接模块输出的特征信息；
[0177]
每个所述上采样模块用于：对上一上采样模块输出的特征信息进行上采样，并将上采样后的特征信息、与当前上采样模块对应的第一短连接模块输出的特征信息以及与当前上采样模块对应的第二短连接模块输出的特征信息进行相加处理，确定当前上采样模块输出的特征信息。
[0178]
根据本公开的一个或多个实施例，【示例十二】提供了一种显著性目标检测模型的确定方法，还包括：
[0179]
可选的，所述池化模块为轻量级金字塔池化模块。
[0180]
根据本公开的一个或多个实施例，【示例十三】提供了一种显著性目标检测模型的确定方法，还包括：
[0181]
可选的，在所述确定显著性目标检测模型之后，还包括：
[0182]
获取待检测图像；
[0183]
将所述待检测图像输入至所述显著性目标检测模型中，并根据所述显著性目标检测模型的输出，获得所述待检测图像中的显著性目标。
[0184]
根据本公开的一个或多个实施例，【示例十四】提供了一种显著性目标检测模型的确定装置，包括：
[0185]
图像检测网络模型构建模块，用于构建具有u型搜索结构的图像检测网络模型，所述图像检测网络模型包括：编码网络、解码网络、用于连接所述编码网络与所述解码网络的池化模块、位于所述编码网络与所述解码网络之间的第一中间网络以及位于所述池化模块与所述解码网络之间的第二中间网络；
[0186]
显著性目标检测模型确定模块，用于以检测图像中的显著性目标为搜索目标，基于样本数据对所述图像检测网络模型进行搜索训练，确定显著性目标检测模型。
[0187]
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
[0188]
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
[0189]
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。