多线索融合的图像聚类方法、设备及存储介质与流程
本申请涉及图像处理,特别是涉及一种多线索融合的图像聚类方法、设备及存储介质。
背景技术:
1、在图像聚类任务中,为了提高图像聚类效果,一般提取图像的多模态信息进行聚类判断,而在多模态信息融合方式主要分为三类:数据级融合、结果级融合和特征级融合。
2、其中,数据级融合是通过拼接或者加权的方式,将多模态原始数据融合成一个复合表达,但是,这种数据层面的融合比较粗糙,无法建模跨模态数据间的依赖,不同模态数据间存在语义鸿沟;结果级融合是先处理单模态信息,然后基于多模态数据的关联关系合并不同模态的处理结果,与数据级融合类似,虽然这种方式避免了语义鸿沟的影响,但并未对多模态数据间的依赖进行建模;特征级融合是通过模型将不同模态的特征投影到统一的特征空间,然后在该空间中进行信息融合,这种方式虽然考虑了多模态信息间的依赖关系,但需要多模态信息在语义层面是一致的,难以融合存在语义鸿沟的特征。
3、因此,如何对多模态特征进行有效融合以提高图像聚类准确性,是本领域技术人员亟待解决的问题。
技术实现思路
1、为了解决上述技术问题,本申请至少提供一种多线索融合的图像聚类方法、设备及存储介质。
2、本申请第一方面提供了一种多线索融合的图像聚类方法,方法包括:从每个待聚类图像中提取出不同语义的图像区域的图像特征,得到每个待聚类图像分别对应的多个线索特征;计算每个待聚类图像分别在同一语义图像区域的线索特征之间的相似度,得到语义对应的相似度矩阵;将不同语义分别对应的相似度矩阵作为不同通道的图像矩阵,构建得到多通道的相似度热力图;将相似度热力图输入至预先训练的视觉理解模型,基于视觉理解模型输出的每个待聚类图像属于同一类别的概率,得到图像聚类结果。
3、在一实施方式中,待聚类图像中含有目标对象,不同语义图像区域是指目标对象的不同部位对应的图像区域:从每个待聚类图像中提取出不同语义的图像区域的图像特征,得到每个待聚类图像分别对应的多个线索特征,包括:将待聚类图像输入至不同部位对应的图像特征提取器中,获取每个图像特征提取器分别输出的不同部位对应的图像区域的图像特征,得到待聚类图像对应的多个线索特征。
4、在一实施方式中,方法还包括:检测待聚类图像中是否提取到目标对象的每个部位对应的图像特征,若否,则将提取到图像特征的部位作为基准部位,将未提取到图像特征的部位作为缺失部位;计算待聚类图像与候选参考图像中基准部位对应的图像特征之间的相似度,得到基准部位相似度;选取基准部位相似度满足预设条件的候选参考图像,得到目标参考图像;基于目标参考图像中缺失部位对应的图像特征,计算待聚类图像中缺失部位对应的图像特征。
5、在一实施方式中,计算每个待聚类图像分别在同一语义图像区域的线索特征之间的相似度,得到语义对应的相似度矩阵,包括:计算每个待聚类图像在同一语义图像区域的线索特征之间的相似度,得到每个语义对应的全局相似度矩阵;从全局相似度矩阵中提取出预设数量个相似度最高的矩阵元素的索引,得到目标索引集合;分别从每个全局相似度矩阵中提取出与目标索引集合中索引关联的矩阵元素,分别构建得到多个局部相似度矩阵;将不同语义分别对应的相似度矩阵作为不同通道的图像矩阵,构建得到多通道的相似度热力图,包括:将每个局部相似度矩阵作为不同通道的图像矩阵,构建得到多通道的相似度热力图。
6、在一实施方式中,待聚类图像中含有目标对象,不同语义图像区域是指目标对象的不同部位对应的图像区域:从全局相似度矩阵中提取出预设数量个相似度最高的矩阵元素的索引,得到目标索引集合,包括:基于目标对象的不同部位分别对应的判别力,选择判别力最高的部位作为对齐部位;针对对齐部位对应的全局相似度矩阵,从中提取出预设数量个相似度最高的矩阵元素的索引,得到目标索引集合。
7、在一实施方式中,视觉理解模型设置有通道注意力机制,通道注意力机制基于相似度热力图中不同通道对应的判别力,调整不同通道对应的权重参数。
8、在一实施方式中,基于视觉理解模型输出的每个待聚类图像属于同一类别的概率,得到图像聚类结果,包括:将视觉理解模型输出的每个待聚类图像属于同一类别的概率和预设概率阈值进行大小对比,将大于或等于预设概率阈值的待聚类图像划分到同一聚类簇。
9、在一实施方式中,将视觉理解模型输出的每个待聚类图像属于同一类别的概率和预设概率阈值进行大小对比,将大于或等于预设概率阈值的待聚类图像划分到同一聚类簇,包括:针对视觉理解模型的输出,将属于同一类别的概率大于或等于预设概率阈值的矩阵元素值赋值为1,将属于同一类别的概率小于预设概率阈值的矩阵元素值赋值为0,得到连接决策矩阵;基于图搜索算法获取连接决策矩阵中的连通分量,每个连通分量代表一个聚类簇。
10、本申请第二方面提供了一种多线索融合的图像聚类装置,装置包括:特征提取模块,用于从每个待聚类图像中提取出不同语义的图像区域的图像特征,得到每个待聚类图像分别对应的多个线索特征;相似度计算模块,用于计算每个待聚类图像分别在同一语义图像区域的线索特征之间的相似度,得到语义对应的相似度矩阵;热力图构建模块,用于将不同语义分别对应的相似度矩阵作为不同通道的图像矩阵,构建得到多通道的相似度热力图;结果获取模块,用于将相似度热力图输入至预先训练的视觉理解模型,基于视觉理解模型输出的每个待聚类图像属于同一类别的概率,得到图像聚类结果。
11、本申请第三方面提供了一种电子设备,包括存储器和处理器,处理器用于执行存储器中存储的程序指令,以实现上述多线索融合的图像聚类方法。
12、本申请第四方面提供了一种计算机可读存储介质,其上存储有程序指令,程序指令被处理器执行时实现上述多线索融合的图像聚类方法。
13、上述方案,通过从每个待聚类图像中提取出不同语义的图像区域的图像特征,得到每个待聚类图像分别对应的多个线索特征;计算每个待聚类图像分别在同一语义图像区域的线索特征之间的相似度,得到语义对应的相似度矩阵;将不同语义分别对应的相似度矩阵作为不同通道的图像矩阵,构建得到多通道的相似度热力图;将相似度热力图输入至预先训练的视觉理解模型,基于视觉理解模型输出的每个待聚类图像属于同一类别的概率,得到图像聚类结果,可以将多线索特征的相似度关系编码为二维结构化热力图,该热力图不仅包含目标节点与其邻域节点的相似度,还显式编码了邻域节点间的拓扑关系,然后将热力图作为视觉理解模型的图像输入,以对多线索特征间的复杂非线性依赖关系进行充分建模,避免不同模态特征之间的语义鸿沟,实现不同线索特征关系的深度挖掘和多线索特征的深层融合,提高图像聚类的准确性。
14、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请。
1.一种多线索融合的图像聚类方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述待聚类图像中含有目标对象,所述不同语义图像区域是指所述目标对象的不同部位对应的图像区域:所述从每个待聚类图像中提取出不同语义的图像区域的图像特征,得到所述每个待聚类图像分别对应的多个线索特征,包括:
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
4.根据权利要求1所述的方法,其特征在于,所述计算所述每个待聚类图像分别在同一语义图像区域的线索特征之间的相似度,得到所述语义对应的相似度矩阵,包括:
5.根据权利要求4所述的方法,其特征在于,所述待聚类图像中含有目标对象,所述不同语义图像区域是指所述目标对象的不同部位对应的图像区域:所述从所述全局相似度矩阵中提取出预设数量个相似度最高的矩阵元素的索引,得到目标索引集合,包括:
6.根据权利要求1所述的方法,其特征在于,所述视觉理解模型设置有通道注意力机制,所述通道注意力机制基于所述相似度热力图中不同通道对应的判别力,调整所述不同通道对应的权重参数。
7.根据权利要求1所述的方法,其特征在于,所述基于所述视觉理解模型输出的所述每个待聚类图像属于同一类别的概率,得到图像聚类结果,包括:
8.根据权利要求7所述的方法,其特征在于,所述将大于或等于所述预设概率阈值的待聚类图像划分到同一聚类簇,包括:
9.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,处理器用于执行存储器中存储的程序指令,以实现如权利要求1-8任一项所述方法中的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有程序指令,所述程序指令能够被处理器执行以实现如权利要求1-8任一项所述方法中的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com