一种基于图像文本对齐的类型不感知二维姿态估计方法
本发明涉及了一种姿态估计方法,涉及计算机视觉和物体二维姿态估计领域,具体涉及一种基于图像文本对齐的类型不感知二维姿态估计方法。
背景技术:
1、二维姿态估计也称为关键点定位,其主要任务是预测二维图像上物体的部件位置,广泛应用于自动驾驶、虚拟现实、机器人等领域。传统的二维姿态估计方法通常针对特定的物体类型,仅能处理训练过程中预定义的物体类型,无法适应涉及新物体类型的真实场景姿态估计任务。类型不感知的二维姿态估计方法能够处理任意物体类型的姿态估计需求,极大扩展了姿态估计的应用范围。然而,当前类型不感知二维姿态估计依赖少量含有姿态关键点标注的支持图像,通过支持图像和查询图像之间的视觉特征匹配实现对查询图像中姿态关键点的预测,无法适用于目标类型图像难以获取的姿态关键点检测场景。少量的支持图像和丰富的查询图像之间存在固有差异,查询图像的多样性和不可预知性导致查询图像和支持图像很难在视觉空间上完全保持一致,带来了次优的姿态估计结果。另外,当前方法通常利用姿态关键点掩膜提取每个姿态关键点的局部特征,没有考虑不同姿态关键点之间的内在逻辑关系,难以准确表达姿态关键点与物体视觉特征之间的对应关系,降低了姿态关键点的估计精度。
技术实现思路
1、为了解决背景技术中存在的问题,本发明所提供一种基于图像文本对齐的类型不感知二维姿态估计方法。方法通过姿态关键点文本描述表达物体的姿态关键点语义特征,避免对支持图像的依赖,提高模型的泛化性能和场景适应性。另外,设计图像文本交互模块,利用交叉注意力机制和图神经网络捕获不同姿态关键点之间的内在逻辑信息。同时,设计可学习参数,改善文本编码器对姿态关键点文本特征的提取能力,提高姿态关键点图像特征和文本特征之间的对齐程度。
2、本发明采用的技术方案是:
3、本发明的基于图像文本对齐的类型不感知二维姿态估计方法,包括:
4、步骤1:构建包括可学习参数模块、特征提取模块、图像文本交互模块、初始姿态关键点坐标计算模块、姿态关键点解码模块的姿态关键点估计网络,并建立姿态关键点估计网络的姿态估计损失函数。
5、步骤2:基于可学习参数模块构建初始的可学习参数并插入特征提取模块中,然后获取待估计物体的查询图像及其姿态关键点文本描述输入特征提取模块中,处理后输出关键点特征和查询图像特征,再依次经图像文本交互模块和初始姿态关键点坐标计算模块处理后获得信息交互关键点特征和初始关键点坐标,进而输入姿态关键点解码模块中迭代处理,直至姿态估计损失函数收敛或达到预设迭代次数,获得最终的姿态关键点坐标,实现查询图像的类型不感知二维姿态估计。
6、所述的步骤1中,可学习参数模块用以构建初始的可学习参数p,可学习参数p为由若干随机赋值的可学习向量组成的矩阵,初始的可学习参数p在姿态估计损失函数的监督下不断迭代更新。
7、所述的步骤1中,特征提取模块包括文本编码器和图像编码器,将查询图像输入图像编码器中处理后输出包含各姿态关键点的图像特征作为查询图像特征,将初始的可学习参数插入文本编码器中,然后输入查询图像的姿态关键点文本描述,处理后输出各姿态关键点的关键点特征;查询图像中标注有待估计物体的各姿态关键点及其相互之间的连接关系作为标签,姿态关键点文本描述即各姿态关键点的描述文本。
8、所述的步骤1中,图像文本交互模块包括依次连接的图卷积网络和第一交叉注意力机制,以促进姿态关键点特征之间的信息交互以及姿态关键点与图像特征的信息交互,将查询图像的各关键点特征及连接关系输入图卷积网络中处理后输出各姿态关键点的自感知特征,将自感知特征和查询图像特征共同经第一交叉注意力机制处理后输出,再与自感知特征求和后获得各姿态关键点的信息交互关键点特征。
9、所述的步骤1中,初始姿态关键点坐标计算模块获得信息交互关键点特征和查询图像特征之间的余弦相似度作为当前姿态关键点的预测的坐标热图,进而基于预测的坐标热图获得当前姿态关键点的初始关键点坐标。
10、所述的步骤1中,姿态关键点解码模块包括自注意力机制、第一多层感知机mlp(multilayer perceptron)、第二交叉注意力机制、第二多层感知机mlp、正则化处理和第三多层感知机mlp,基于每个姿态关键点,将姿态关键点的信息交互关键点特征经自注意力机制处理后再与自身求和获得注意力特征,将姿态关键点的初始关键点坐标输入第一多层感知机mlp中处理后再与注意力特征进行拼接,然后与姿态关键点的查询图像特征共同经第二交叉注意力机制处理后获得交叉注意特征,将交叉注意特征输入第二多层感知机mlp处理后再与自身求和,然后进行正则化处理后获得当前的新关键点特征,将新关键点特征输入第三多层感知机mlp中处理后输出当前的关键点坐标偏置,将当前的关键点坐标偏置叠加至初始关键点坐标或上一更新的关键点坐标中获得当前更新的关键点坐标,进而将当前的新关键点特征代替信息交互关键点特征或上一更新的新关键点特征,将更新的关键点坐标代替初始关键点坐标或上一次更新的关键点坐标,重新输入姿态关键点解码模块中进行迭代处理,直至获得最后一次迭代更新的关键点坐标作为最终的姿态关键点坐标。
11、所述的步骤1中,姿态估计损失函数l具体如下:
12、
13、
14、
15、其中,λ表示超参数;lh和lo分别表示热图损失和定位损失;k表示姿态关键点的数量,h和w分别表示姿态关键点的坐标热图的高和宽;和表示第j个姿态关键点的预测的和真实的坐标热图,真实的坐标热图基于预先构造的标签获得;pj和分别表示第j个姿态关键点的预测的和真实的关键点坐标,g表示姿态关键点解码模块的迭代次数。
16、本发明的电子设备,包括:相互耦接的存储器和处理器,其中,所述存储器存储有程序数据,所述处理器调用所述程序数据以执行如上述所述的方法。
17、本发明的计算机可读存储介质,其上存储有程序数据,所述程序数据被处理器执行时实现如上述所述的方法。
18、本发明的有益效果是:
19、本发明方法通过姿态关键点文本描述表达物体各姿态关键点的语义特征,有效避免了对姿态关键点图像信息的依赖,扩大了姿态估计模型的场景适应性。另外,设计的图像文本交互模块增强了姿态关键点之间的内在联系,并促进了姿态关键点文本特征对物体图像特征的感知能力,有效改善了图像和文本特征之间的对齐程度。同时,设计的可学习参数显著提高了预训练文本编码器在姿态估计任务上的迁移能力。
1.一种基于图像文本对齐的类型不感知二维姿态估计方法,其特征在于,包括:
2.根据权利要求1所述的基于图像文本对齐的类型不感知二维姿态估计方法,其特征在于:所述的步骤1中,可学习参数模块用以构建初始的可学习参数p,可学习参数p为由若干随机赋值的可学习向量组成的矩阵,初始的可学习参数p在姿态估计损失函数的监督下不断迭代更新。
3.根据权利要求1所述的基于图像文本对齐的类型不感知二维姿态估计方法,其特征在于:所述的步骤1中,特征提取模块包括文本编码器和图像编码器,将查询图像输入图像编码器中处理后输出包含各姿态关键点的图像特征作为查询图像特征,将初始的可学习参数插入文本编码器中,然后输入查询图像的姿态关键点文本描述,处理后输出各姿态关键点的关键点特征;查询图像中标注有待估计物体的各姿态关键点及其相互之间的连接关系作为标签,姿态关键点文本描述即各姿态关键点的描述文本。
4.根据权利要求3所述的基于图像文本对齐的类型不感知二维姿态估计方法,其特征在于:所述的步骤1中,图像文本交互模块包括依次连接的图卷积网络和第一交叉注意力机制,将查询图像的各关键点特征及连接关系输入图卷积网络中处理后输出各姿态关键点的自感知特征,将自感知特征和查询图像特征共同经第一交叉注意力机制处理后输出,再与自感知特征求和后获得各姿态关键点的信息交互关键点特征。
5.根据权利要求4所述的基于图像文本对齐的类型不感知二维姿态估计方法,其特征在于:所述的步骤1中,初始姿态关键点坐标计算模块获得信息交互关键点特征和查询图像特征之间的余弦相似度作为当前姿态关键点的预测的坐标热图,进而基于预测的坐标热图获得当前姿态关键点的初始关键点坐标。
6.根据权利要求3所述的基于图像文本对齐的类型不感知二维姿态估计方法,其特征在于:所述的步骤1中,姿态关键点解码模块包括自注意力机制、第一多层感知机mlp、第二交叉注意力机制、第二多层感知机mlp、正则化处理和第三多层感知机mlp,基于每个姿态关键点,将姿态关键点的信息交互关键点特征经自注意力机制处理后再与自身求和获得注意力特征,将姿态关键点的初始关键点坐标输入第一多层感知机mlp中处理后再与注意力特征进行拼接,然后与姿态关键点的查询图像特征共同经第二交叉注意力机制处理后获得交叉注意特征,将交叉注意特征输入第二多层感知机mlp处理后再与自身求和,然后进行正则化处理后获得当前的新关键点特征,将新关键点特征输入第三多层感知机mlp中处理后输出当前的关键点坐标偏置,将当前的关键点坐标偏置叠加至初始关键点坐标或上一更新的关键点坐标中获得当前更新的关键点坐标,进而将当前的新关键点特征代替信息交互关键点特征或上一更新的新关键点特征,将更新的关键点坐标代替初始关键点坐标或上一次更新的关键点坐标,重新输入姿态关键点解码模块中进行迭代处理,直至获得最后一次迭代更新的关键点坐标作为最终的姿态关键点坐标。
7.根据权利要求3所述的基于图像文本对齐的类型不感知二维姿态估计方法,其特征在于:所述的步骤1中,姿态估计损失函数l具体如下:
8.一种电子设备,其特征在于,包括:相互耦接的存储器和处理器,其中,所述存储器存储有程序数据,所述处理器调用所述程序数据以执行如权利要求1-7中任一项所述的方法。
9.一种计算机可读存储介质,其上存储有程序数据,其特征在于,所述程序数据被处理器执行时实现如权利要求1-7中任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com