显著性目标检测方法及系统

技术特征：
1.显著性目标检测方法，其特征是，包括：获取待处理的原始图像；对待处理的原始图像进行特征提取；将特征提取结果输入到训练后的显著性目标检测模型中，输出最终的显著性目标预测结果；其中，显著性目标检测模型的工作原理包括：对提取的特征进行动态尺度感知，得到显著目标的初始预测显著图；基于待处理原始图像和显著目标的初始预测显著图，利用难样本采样优化模块进行优化，得到显著目标的最终预测结果。2.如权利要求1所述的显著性目标检测方法，其特征是，所述显著性目标检测模型，包括：动态尺度感知模块和难样本采样优化模块；其中，动态尺度感知模块，包括：若干个依次连接的残差神经网络，和若干个依次连接的自适应尺度模块；每个残差神经网络与对应的自适应尺度模块通过卷积模块进行连接；每个卷积模块还与相邻的自适应尺度模块连接；第一残差神经网络的输入端用于输入待处理的原始图像；第五自适应尺度模块的输出端用于输出显著目标的初始预测显著图；所述难样本采样优化模块，包括：依次连接的编码器和采样单元；所述采样单元的输出端与若干个并联分支连接；所有并联分支的输出端均与第六卷积模块的输入端连接；第六卷积模块的输出端用于输出显著目标的最终预测结果。3.如权利要求2所述的显著性目标检测方法，其特征是，所述自适应尺度模块，包括：依次连接的第一加法器、第八卷积模块、并联的若干支路、第二加法器和第九卷积模块；所述并联的若干支路包括n 2个支路；其中，第一个支路，为gate_conv模块，该模块根据尺度变化的不同目标生成不同的特征融合权重，其中包括依次连接的卷积层、自适应池化层、tanh激活函数层和relu激活函数层；其中，第二个支路，包括：依次连接的平均池化层、第十卷积模块和乘法器；其中，第三个支路到第n 1个支路均包括：依次连接的平均池化层、第十一卷积模块和乘法器；每个乘法器的输入端均与gate_conv模块的输出端连接；其中，第n 2个支路，包括identity分支，该分支将特征图恒等映射，保留原特征图的语义信息。4.如权利要求2所述的显著性目标检测方法，其特征是，所述动态尺度感知模块，工作原理包括：为不同尺寸的显著目标生成相应的特征融合权重，根据自适应生成的权重系数，指导同一特征生成不同尺度视角并进行多尺度信息聚合，得到在相应尺度判别性更强的特征映射。5.如权利要求1所述的显著性目标检测方法，其特征是，所述难样本采样优化模块，工作原理包括：假设确定性误差设置为e
ce
，对于显著性目标检测任务来说，显著值为[0,e
ce
)和(1-e
ce
,1]的像素为置信的易分样本，其他显著值为[e
ce
,1-e
ce
]的像素则为难样本；通过对难样本以及设定范围内的置信度高于设定阈值的显著样本和置信度高于设定阈值的背景样本进行随机采样；使用残差神经网络提取对应位置在原始图像和显著图中的特征；根据位置信息利用图注意力机制对采样得到的样本建立图表示，并在图上传播和融合特征；对融合特征进行分类，得到显著目标的最终预测结果。
6.如权利要求5所述的显著性目标检测方法，其特征是，所述通过对难样本以及设定范围内的置信度高于设定阈值的显著样本和置信度高于设定阈值的背景样本进行随机采样；具体包括：首先将初始预测显著图分解为可信背景图、可信显著图和难样本图；为了使高置信度样本接近不确定区域，对初始预测显著图中的不确定区域执行平均池化操作，得到的图像称为引导图；并将引导图乘以高置信区域，以增加在不确定区域附近的采样概率；假设输入初始预测显著图中所有像素的数量为：n
node
＝h
×
w，其中，h和w表示初始预测显著图的高度和宽度；根据可信背景的引导图、可信显著目标的引导图和难样本图，对样本像素进行随机采样，得到n
cb
个可信背景样本、n
cs
个可信显著样本和n
hard
个难样本的空间位置索引，所以采样得到的样本总数为：n
sampled
＝n
hard
n
cs
n
cb
；通过多次采样以获得不同的结果。7.如权利要求5所述的显著性目标检测方法，其特征是，所述使用残差神经网络提取对应位置在原始图像和显著图中的特征；根据位置信息利用图注意力机制对采样得到的样本建立图表示，并在图上传播和融合特征；具体包括：使用残差神经网络提取对应位置在原始图像和显著图中的特征；建立图表示：首先将所有像素视为节点，并展平空间维度；在图表示中，输入特征从c
×
h
×
w转换为c
×
n
node
，其中每个节点具有c维特征；对于每个采样得到的节点，找到其k个最近的采样得到的节点，并生成从邻居节点到中心节点的有向边，同时为每个节点添加自环；因此，图中的边表示为由此，获得图表示g＝(n,e)；图推理：通过图注意层中的自注意力机制，根据两个节点的特征动态地学习权重向量；或者，所述训练后的显著性目标检测模型；具体训练过程包括：构建训练集，所述训练集为已知显著性目标检测结果的图像；将训练集输入到显著性目标检测模型中，对模型进行训练，当总损失函数达到最小值时，停止训练，得到训练后的显著性目标检测模型；所述总损失函数使用显著性目标检测中二元交叉熵损失和交并比损失来训练模型，并为不同的输出设置不同的权重；其中二元交叉熵损失在像素层面对预测结果进行约束，而交并比损失从区域层面出发，衡量预测结果和真值图之间的距离。8.显著性目标检测系统，其特征是，包括：获取模块，其被配置为：获取待处理的原始图像；特征提取模块，其被配置为：对待处理的原始图像进行特征提取；输出模块，其被配置为：将特征提取结果输入到训练后的显著性目标检测模型中，输出最终的显著性目标预测结果；其中，显著性目标检测模型的工作原理包括：对提取的特征进行动态尺度感知，得到显
著目标的初始预测显著图；基于待处理原始图像和显著目标的初始预测显著图，利用难样本采样优化模块进行优化，得到显著目标的最终预测结果。9.一种电子设备，其特征是，包括：存储器，用于非暂时性存储计算机可读指令；以及处理器，用于运行所述计算机可读指令，其中，所述计算机可读指令被所述处理器运行时，执行上述权利要求1-7任一项所述的方法。10.一种存储介质，其特征是，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行权利要求1-7任一项所述方法的指令。

技术总结
本发明公开了显著性目标检测方法及系统；其中，所述方法包括：获取待处理的原始图像；对待处理的原始图像进行特征提取；将特征提取结果输入到训练后的显著性目标检测模型中，输出最终的显著性目标预测结果；其中，显著性目标检测模型的工作原理包括：对提取的特征进行动态尺度感知，得到显著目标的初始预测显著图；基于待处理原始图像和显著目标的初始预测显著图，利用难样本采样优化模块进行优化，得到显著目标的最终预测结果。按照人工标注真值图的思路，首先定位显著目标，其次处理难样本问题。题。题。


技术研发人员：高珊珊 张晨昊 毛德乾 刘峥 迟静
受保护的技术使用者：山东财经大学
技术研发日：2022.06.09
技术公布日：2022/8/19