显著性目标检测方法及系统

1.本发明涉及图像目标检测技术领域，特别是涉及显著性目标检测方法及系统。


背景技术：

2.本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。
3.现有的显著性目标检测所采用的方法包括：基于手工设计特征的传统显著性目标检测方法和基于机器学习的显著性目标检测方法。目前流行的大多数方法通常基于特征金字塔的深度学习模型。
4.现有的显著性目标检测所采用的方法存在的技术缺陷是：没有针对显著目标的尺度变化问题和难样本处理问题进行充分的探索。通常来说，自然图像中的显著目标尺度不一，尺寸变化剧烈。现有方法没有针对不同尺度设计随尺度变化自适应变化的特征融合与定位模型。同时，大多数方法都忽略了显著性目标检测中(像素级)难样本的判别性特征生成问题。


技术实现要素：

5.为了解决现有技术的不足，本发明提供了显著性目标检测方法及系统；按照人工标注真值图的思路，首先定位显著目标，其次处理难样本问题。
6.第一方面，本发明提供了显著性目标检测方法；
7.显著性目标检测方法，包括：
8.获取待处理的原始图像；
9.对待处理的原始图像进行特征提取；
10.将特征提取结果输入到训练后的显著性目标检测模型中，输出最终的显著性目标预测结果；
11.其中，显著性目标检测模型的工作原理包括：对提取的特征进行动态尺度感知，得到显著目标的初始预测显著图；基于待处理原始图像和显著目标的初始预测显著图，利用难样本采样优化模块进行优化，得到显著目标的最终预测结果。
12.第二方面，本发明提供了显著性目标检测系统；
13.显著性目标检测系统，包括：
14.获取模块，其被配置为：获取待处理的原始图像；
15.特征提取模块，其被配置为：对待处理的原始图像进行特征提取；
16.输出模块，其被配置为：将特征提取结果输入到训练后的显著性目标检测模型中，输出最终的显著性目标预测结果；
17.其中，显著性目标检测模型的工作原理包括：对提取的特征进行动态尺度感知，得到显著目标的初始预测显著图；基于待处理原始图像和显著目标的初始预测显著图，利用难样本采样优化模块进行优化，得到显著目标的最终预测结果。
18.第三方面，本发明还提供了一种电子设备，包括：
19.存储器，用于非暂时性存储计算机可读指令；以及
20.处理器，用于运行所述计算机可读指令，
21.其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。
22.第四方面，本发明还提供了一种存储介质，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。
23.第五方面，本发明还提供了一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现上述第一方面所述的方法。
24.与现有技术相比，本发明的有益效果是：
25.(1)提出了一种基于动态路由的显著目标定位方法，称为动态尺度感知(dynamic scale-aware learning,dsl)。针对不同场景下不同大小的显著目标，将动态路由思想引入到单级特征增强和多级特征融合中，实现显著目标的准确识别和定位。
26.(2)针对显著性目标检测中像素级的难样本问题，提出了难样本采样优化方法(hard-sample refinement,hsr)。该方法根据置信水平和预测类别进行像素采样，然后使用图注意力机制进行信息传输和融合，这有效增强了难样本特征的判别性。
27.(3)最终，融合了上述方法，提出了基于动态尺度感知学习和难样本采样优化的显著目标检测方法。它解决了两个主要问题，并提供了不同视角的思考。在大型公开数据集上使用多个评估指标对其进行评估，充分的实验表明，该方法效果优于目前最先进的方法。
附图说明
28.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
29.图1为实施例一的方法流程图；
30.图2(a)和图2(b)为实施例一的网络结构示意图；
31.图3为实施例一的第一自适应尺度模块内部结构示意图；
32.图4为实施例一的采样过程示意图。
具体实施方式
33.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
34.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
35.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
36.本实施例所有数据的获取都在符合法律法规和用户同意的基础上，对数据的合法应用。
37.实施例一
38.本实施例提供了显著性目标检测方法；
39.如图1所示，显著性目标检测方法，包括：
40.s101：获取待处理的原始图像；
41.s102：对待处理的原始图像进行特征提取；
42.s103：将特征提取结果输入到训练后的显著性目标检测模型中，输出最终的显著性目标预测结果；
43.其中，显著性目标检测模型的工作原理包括：对提取的特征进行动态尺度感知，得到显著目标的初始预测显著图；基于待处理原始图像和显著目标的初始预测显著图，利用难样本采样优化模块进行优化，得到显著目标的最终预测结果。
44.进一步地，如图2(a)和图2(b)所示，所述显著性目标检测模型，包括：动态尺度感知模块和难样本采样优化模块；
45.其中，动态尺度感知模块，包括：从左到右依次连接的第一残差神经网络、第二残差神经网络、第三残差神经网络、第四残差神经网络和第五残差神经网络；
46.从右到左依次连接的第一自适应尺度模块、第二自适应尺度模块、第三自适应尺度模块、第四自适应尺度模块和第五自适应尺度模块；
47.其中，第一残差神经网络的输出端通过第一卷积模块与第五自适应尺度模块的输入端连接；第二残差神经网络的输出端通过第二卷积模块与第四自适应尺度模块的输入端连接；第三残差神经网络的输出端通过第三卷积模块与第三自适应尺度模块的输入端连接；第四残差神经网络的输出端通过第四卷积模块与第二自适应尺度模块的输入端连接；第五残差神经网络的输出端通过第五卷积模块与第一自适应尺度模块的输入端连接；
48.其中，第一卷积模块的输出端还与第四自适应尺度模块的输入端连接；第二卷积模块的输出端还与第三自适应尺度模块的输入端连接；第三卷积模块的输出端还与第二自适应尺度模块的输入端连接；第四卷积模块的输出端还与第一自适应尺度模块的输入端连接；
49.其中，第一残差神经网络的输入端用于输入待处理的原始图像；第五自适应尺度模块的输出端用于输出显著目标的初始预测显著图。
50.进一步地，所述难样本采样优化模块，包括：
51.依次连接的编码器和采样单元；
52.所述采样单元的输出端与若干个并联分支连接；
53.所有并联分支的输出端均与第六卷积模块的输入端连接；
54.第六卷积模块的输出端用于输出显著目标的最终预测结果。
55.其中，每个并联分支，包括依次连接的图注意力gal模块和第七卷积模块。图注意力gal模块(graph attention layer，图注意力层)由自注意力机制层、卷积层和图卷积神经网络层组成。
56.进一步地，所述第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块、第五卷积模块、第六卷积模块和第七卷积模块的内部结构是一致的。
57.进一步地，所述第一卷积模块，包括依次连接的卷积层、批量归一化层和激活函数层。
58.进一步地，所述第一自适应尺度模块、第二自适应尺度模块、第三自适应尺度模块、第四自适应尺度模块和第五自适应尺度模块的内部结构是一致的。
59.进一步地，如图3所示，所述第一自适应尺度模块，包括：
60.依次连接的第一加法器、第八卷积模块、并联的若干支路、第二加法器和第九卷积模块；
61.所述并联的若干支路包括n 2个支路；
62.其中，第一个支路，为gate_conv模块，该模块根据尺度变化的不同目标生成不同的特征融合权重，其中包括依次连接的卷积层、自适应池化层、tanh激活函数层和relu激活函数层；
63.其中，第二个支路，包括：依次连接的平均池化层、第十卷积模块和乘法器；
64.其中，第三个支路到第n 1个支路均包括：依次连接的平均池化层、第十一卷积模块和乘法器；
65.每个乘法器的输入端均与gate_conv模块的输出端连接；
66.其中，第n 2个支路，包括identity分支，该分支将特征图恒等映射，保留原特征图的语义信息。
67.进一步地，所述第八卷积模块、第九卷积模块、第十卷积模块和第十一卷积模块的内部结构是一致的；
68.其中，第八卷积模块，包括：依次连接的卷积层、批量归一化层和激活函数层。
69.进一步地，所述动态尺度感知模块，工作原理包括：为不同尺寸的显著目标生成相应的特征融合权重，根据自适应生成的权重系数，指导同一特征生成不同尺度视角并进行多尺度信息聚合，得到在相应尺度判别性更强的特征映射。
70.如图2(a)和图2(b)所示，所述动态尺度感知模块，提出了自适应尺度模块(asm)和动态定位方法(dpm)，动态定位方法(dpm)见图2(a)中上半部分的四条斜线。其中，自适应尺度模块asm可以学习自适应权重来选择不同池化核大小的分支。动态定位方法dpm动态引入底层特征作为补充，从而优化传统特征金字塔网络fpn的特征融合过程。
71.进一步地，所述动态尺度感知模块，包括：单层特征内多尺度增强和多级特征融合；
72.其中，单层特征内多尺度增强，是通过第一自适应尺度模块、第二自适应尺度模块、第三自适应尺度模块、第四自适应尺度模块和第五自适应尺度模块来实现的；
73.如图3所示，首先，将输入特征相加，然后馈入动态路由分支、恒等映射分支和s个池化分支中，以实现不同尺度下的特征增强。
74.动态路由分支生成随图像变化的尺度权重的过程如公式所示：
[0075][0076]
其中，conv1(
·
,
·
)表示卷积核大小为1的卷积层，ω和β表示卷积层中的可学习参数和偏置，表示全局平均池化操作，表示输入特征的和；
[0077][0078]
其中，conv3表示卷积核大小为3x3的卷积层。
[0079]
同时，使用相同的非线性激活函数δ来激活尺度权重：
[0080]
δ(x)＝max(0,tanh(x)).
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1.2)
[0081]
其中tanh表示tanh激活函数，max代表最大值函数。
[0082]
这样可以得到随着不同输入而变化的尺度权重w
scale
∈[0,1)，将其与对应的池化分支相乘，以获得最终增强后的特征
[0083][0084]
其中k表示平均池化层中不同池化核的尺寸的集合，例如k＝{2,4,8}，代表不同大小池化核的平均池化层。
[0085]
其中，多级特征融合，是指：在提升特征金字塔中特征分辨率的过程中，使用了一种退化的动态路由(即简单的单分支权重)来控制补充的低级信息。具体而言，通过动态路由函数，为每个asm(顶层asm除外)的低级特征输入流学习权重w
low
，以辅助多层特征融合。公式如下：
[0086]f′
i,low
＝δ(w
low
)resiꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1.4)
[0087]
因此，第i个asm的变换可以表示为：
[0088][0089]
其中，表示由1
×
1卷积层、relu和激活函数组成的通道转换层，resi表示由骨干网络resnet50提取出的第i层特征。
[0090]
应理解地，当显著目标的位置被确定时，需要注意的信息已经从区域级变化到像素级，将难样本定义为在预测中难以区分的像素，即具有强不确定性的像素。
[0091]
进一步地，如图4所示，所述难样本采样优化模块，工作原理包括：
[0092]
(41)假设确定性误差设置为e
ce
，对于显著性目标检测任务来说，显著值为[0,e
ce
)和(1-e
ce
,1]的像素为置信的易分样本，其他显著值为[e
ce
,1-e
ce
]的像素则为难样本；
[0093]
(42)通过对难样本以及设定范围内的置信度高于设定阈值的显著样本和置信度高于设定阈值的背景样本进行随机采样；
[0094]
(43)使用残差神经网络提取对应位置在原始图像和显著图中的特征；根据位置信息利用图注意力机制对采样得到的样本建立图表示，并在图上传播和融合特征；
[0095]
(44)对融合特征进行分类，得到显著目标的最终预测结果。
[0096]
进一步地，所述(42)通过对难样本以及设定范围内的置信度高于设定阈值的显著样本和置信度高于设定阈值的背景样本进行随机采样；具体包括：
[0097]
(421)首先将初始预测显著图分解为可信背景图、可信显著图和难样本图。
[0098]
(422)为了使高置信度样本接近不确定区域，对初始预测显著图中的不确定区域执行平均池化操作，得到的图像称为引导图。并将引导图乘以高置信区域，以增加在不确定区域附近的采样概率。
[0099]
假设输入初始预测显著图中所有像素的数量为：
[0100]nnode
＝h
×
w，
[0101]
其中，h和w表示初始预测显著图的高度和宽度。
[0102]
(423)根据可信背景的引导图、可信显著目标的引导图和难样本图，对样本像素进行随机采样，得到n
cb
个可信背景样本、n
cs
个可信显著样本和n
hard
个难样本的空间位置索引，
所以采样得到的样本总数为：
[0103]nsampled
＝n
hard
n
cs
n
cb
。
[0104]
通过多次采样以获得不同的结果。
[0105]
应理解地，对难样本密集随机抽样是为了增加难样本在信息处理中的比例，从而提高模型对难样本的关注度。
[0106]
进一步地，所述(43)使用残差神经网络提取对应位置在原始图像和显著图中的特征；根据位置信息利用图注意力机制对采样得到的样本建立图表示，并在图上传播和融合特征；具体包括：
[0107]
(431)使用残差神经网络提取对应位置在原始图像和显著图中的特征；
[0108]
(432)建立图表示：首先将所有像素视为节点，并展平空间维度。
[0109]
在图表示中，输入特征从c
×h×
w转换为c
×nnode
，其中每个节点具有c维特征。
[0110]
对于每个采样得到的节点，找到其k个最近的采样得到的节点，并生成从邻居节点到中心节点的有向边，同时为每个节点添加自环。
[0111]
因此，图中的边表示为
[0112]
由此，获得图表示g＝(n,e)。
[0113]
这为难样本生成更具判别性的特征提供了高效的途径。
[0114]
(433)图推理：通过图注意层(graph attention layer)中的自注意力机制，根据两个节点的特征动态地学习权重向量。
[0115]
gal利用带掩码的自注意力层，隐含地学习邻域中不同节点的不同权重，这解决了之前图卷积方法的固定边权的缺点。同时，它不需要预先建立图。
[0116]
假设h＝{h1,h2,...,h
nnode
}是节点n的特征。
[0117]
对于特征h，图注意力层首先引入共享权重的自注意力机制a来计算一阶邻域中节点j到节点i的注意力系数α
ij
，并使用softmax操作进行归一化。
[0118]
上述操作表示为：
[0119]eij
＝leakyrelu(a(concat(whi,whj)))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1.6)
[0120]
α
ij
＝softmax(e
ij
),
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1.7)
[0121]
其中e
ij
表示节点j对节点i的重要性，leakyrelu和softmax代表不同的激活函数，w表示共享参数的线性变换矩阵。
[0122]
然后，归一化注意系数可直接用于计算最终特征组合，如下所示：
[0123][0124]
其中σ是非线性激活函数，h
′
为最终的特征组合。α
ij
是自注意力机制得到的注意力系数；
[0125]
最后，将特征组合转换回常用的表示形式c
×h×
w。
[0126]
整个难样本采样优化方法(hard-sample refinement)的公式表示如下：
[0127][0128][0129]
其中，gali表示第i个图注意力层，w和w代表全连接层的参数矩阵，代表输入特
征，e代表图表示中的边的连接关系。
[0130]
进一步地，所述训练后的显著性目标检测模型；具体训练过程包括：
[0131]
构建训练集，所述训练集为已知显著性目标检测结果的图像；
[0132]
将训练集输入到显著性目标检测模型中，对模型进行训练，当总损失函数达到最小值时，停止训练，得到训练后的显著性目标检测模型。
[0133]
进一步地，所述总损失函数使用显著性目标检测中二元交叉熵损失(bce)和交并比损失(iou)来训练模型，并为不同的输出设置不同的权重。其中二元交叉熵损失在像素层面对预测结果进行约束，而交并比损失从区域层面出发，衡量预测结果和真值图之间的距离。
[0134]
进一步地，所述总损失函数为：
[0135]
l＝l
final
0.5*(l
mls1
l
mls2
) 0.25*l
mls3
0.125*(l
mls4
l
mls5
),
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1.11)
[0136]
其中，l
final
表示最终显著图，l
mls1
,...,l
mls5
分别代表不同层级的损失。不同损失的权重集合均和之前的经典工作f3net、ldf保持一致。
[0137]
实施例二
[0138]
本实施例提供了显著性目标检测系统；
[0139]
显著性目标检测系统，包括：
[0140]
获取模块，其被配置为：获取待处理的原始图像；
[0141]
特征提取模块，其被配置为：对待处理的原始图像进行特征提取；
[0142]
输出模块，其被配置为：将特征提取结果输入到训练后的显著性目标检测模型中，输出最终的显著性目标预测结果；
[0143]
其中，显著性目标检测模型的工作原理包括：对提取的特征进行动态尺度感知，得到显著目标的初始预测显著图；基于待处理原始图像和显著目标的初始预测显著图，利用难样本采样优化模块进行优化，得到显著目标的最终预测结果。
[0144]
此处需要说明的是，上述获取模块、特征提取模块和输出模块对应于实施例一中的步骤s101至s103，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
[0145]
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
[0146]
所提出的系统，可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。
[0147]
实施例三本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。
[0148]
应理解，本实施例中，处理器可以是中央处理单元cpu，处理器还可以是其他通用处理器、数字信号处理器dsp、专用集成电路asic，现成可编程门阵列fpga或者其他可编程
逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0149]
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
[0150]
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
[0151]
实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
[0152]
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0153]
实施例四本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。
[0154]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。