一种基于多知识协同学习的手绘草图三维模型检索方法与流程
本发明涉及草图三维模型检索,更具体的说是涉及一种基于多知识协同学习的手绘草图三维模型检索方法。
背景技术:
1、目前,手绘草图三维模型检索作为计算机视觉和人机交互领域的重要分支,旨在通过手绘2d草图从大规模数据库中检索匹配的3d模型,在工业设计、数字娱乐、医疗成像以及创意内容生成等领域具有重要的现实意义。基于手绘草图的3d模型检索(sketch-based3d shape retrieval, sbsr)的核心挑战在于如何弥补稀疏、抽象的2d草图与稠密、精确的3d几何表示之间的巨大模态鸿沟。草图不仅在信息密度上远低于3d模型,且存在由于徒手绘制带来的投影畸变和主观抽象,这要求模型既要有极强的特征特化建模能力,又要在数据稀缺的情况下具备良好的泛化性能。目前的sbsr方法主要分为基于传统机器学习的检索方法和基于深度学习的检索方法。
2、但是,基于传统机器学习的检索方法通常将三维模型投影为二维轮廓图或剪影图,通过降维使其与草图视觉特征相近。在特征建模上,常采用词袋模型处理局部图像块以降低表示复杂度,或利用gabor滤波器捕捉局部线条方向特征。
3、虽然此类方法计算开销较小,但其特征表达高度依赖主观设计,仅能捕捉底层的几何或纹理信息,难以克服跨模态间的语义鸿沟。同时,由于浅层特征难以建模模态间复杂的非线性映射关系,导致模型在面对高度抽象的手绘表达及海量数据时,泛化能力和检索精度受到较大限制,难以应用于复杂的真实场景。
4、而基于深度学习的检索方法已成为sbsr领域的主流研究方向。深度学习模型可以通过训练大规模数据集,自动学习草图与3d模型的高层语义特征,从而有效缩小模态间的鸿沟。目前的深度学习表示范式主要包括:基于图像的卷积神经网络,其继承了imagenet的泛化能力但在处理稀疏笔划时存在偏差;基于序列的模型,其能捕捉笔划的动态时序信息但易出现类别过拟合;以及基于图的神经网络,其擅长建模拓扑关系但对训练数据规模要求较高。在模态对齐方面,现有方法常采用孪生网络结构,通过中心优化策略将不同模态映射到统一的语义空间。
5、总体来说,虽然基于深度学习的sbsr取得了显著成果,但仍面临“特化-泛化”权衡的挑战,即模型难以同时兼顾草图特有的时序细节与跨模态的通用几何特征,且单一的度量对齐策略难以捕捉复杂的多维相关性。
6、因此,如何解决手绘草图的抽象性、稀疏性与三维模型的精确性、密集性之间的模态鸿沟导致检索匹配困难是本领域技术人员亟需解决的问题。
技术实现思路
1、鉴于上述问题,本发明提出了一种克服上述问题或者至少部分地解决上述问题的一种基于多知识协同学习的手绘草图三维模型检索方法。
2、为了实现上述目的,本发明采用如下技术方案:
3、本发明实施例提供一种基于多知识协同学习的手绘草图三维模型检索方法,包括以下步骤:
4、s1、获取手绘草图的图像、所述手绘草图的笔画点序列,以及待检索的三维模型数据库中的三维模型;
5、s2、将所述手绘草图的笔画点序列输入至时空特化知识编码器,提取所述手绘草图的时空特化特征;
6、s3、将所述手绘草图的图像和所述三维模型分别输入至跨模态泛化知识编码器,提取所述手绘草图的跨模态泛化特征和所述三维模型的跨模态泛化特征;
7、s4、将所述时空特化特征、所述手绘草图的跨模态泛化特征以及所述三维模型的跨模态泛化特征输入至多源知识蒸馏器,通过知识蒸馏将所述时空特化特征中的判别性知识和所述三维模型的跨模态泛化特征中的类间结构知识迁移至所述手绘草图的跨模态泛化特征,得到增强后的草图泛化特征;
8、s5、基于所述增强后的草图泛化特征与所述三维模型的跨模态泛化特征之间的相似度,从所述三维模型数据库中检索并输出与所述手绘草图相匹配的三维模型。
9、进一步地,步骤s2中,所述时空特化知识编码器包括依次连接的笔画编码器、跨笔画局部编码器以及全局编码器;
10、其中,所述笔画编码器以点级嵌入作为初始状态,采用堆叠的n个注意力模块捕捉笔画内部动态,通过多层感知器与全局最大池化提炼笔画级语义,再通过广播操作将笔画语义回传至点级特征;
11、所述跨笔画局部编码器通过将所有笔画特征拼接为统一序列,采用固定尺度及重叠度进行窗口化,每个窗口附加一个可学习的局部窗口token,通过堆叠的跨笔画局部注意力模块对窗口进行迭代处理;
12、所述全局编码器将各窗口的局部窗口token构成序列,添加可学习的全局token并注入位置嵌入,通过堆叠的transformer编码器进行全局注意力建模,输出时空特化特征。
13、进一步地,步骤s2中,所述将所述手绘草图的笔画点序列输入至时空特化知识编码器的过程中包括定义点级嵌入:
14、
15、
,
16、
17、其中,为第i个手绘草图中第k个笔画的点级嵌入集合,为第i个手绘草图中第j个采样点的嵌入特征,为第m个笔画中的采样点数量,为累计索引,表示截至第k个笔画的点总数,分别为点坐标、笔画状态及时序索引,和为可学习的编码层。
18、进一步地,步骤s3中,所述跨模态泛化知识编码器采用权重共享的双分支卷积神经网络架构,包括草图分支以及三维模型分支;
19、其中,所述草图分支通过卷积网络提取基础泛化特征;
20、所述三维模型分支使用多视图卷积神经网络经视图最大池化聚合多视角信息;
21、所述草图分支与所述三维模型分支通过全连接层汇聚,输出统一的跨模态泛化特征。
22、进一步地,所述跨模态泛化知识编码器通过分层损失函数进行约束;
23、所述分层损失函数同时作用于所述全连接层前后的特征,包括:
24、作用于全连接层之前的自适应多类中心损失和域间对比损失;
25、作用于全连接层之后的分类损失和跨模态度量损失。
26、进一步地,步骤s4中,所述多源知识蒸馏器采用在线知识蒸馏,在预测分布层引入软约束,所述多源知识蒸馏器包括两条蒸馏路径:
27、模态内蒸馏,用于使所述手绘草图的跨模态泛化特征模仿所述时空特化特征的输出分布;
28、跨模态关系蒸馏,用于使所述手绘草图的跨模态泛化特征模仿所述三维模型的跨模态泛化特征的输出分布;
29、所述两条蒸馏路径均采用kullback-leibler散度与交叉熵的蒸馏损失函数。
30、进一步地,所述蒸馏损失函数的表达式为:
31、
32、其中,为softmax函数,为温度参数,为平方项,用于补偿softmax缩放带来的梯度量级变化,为分类损失,为学生分支的输出特征,为教师分支的输出特征,为交叉熵损失与kl散度损失的平衡因子,
kl(p‖q)为以概率分布p相对于概率分布q的kullback-leibler散度。
33、进一步地,还包括训练阶段和测试阶段:
34、在训练阶段,联合优化所述跨模态泛化知识编码器的分层损失、所述时空特化知识编码器的组合损失以及所述多源知识蒸馏器的蒸馏损失;
35、在测试阶段,仅保留所述跨模态泛化知识编码器,丢弃所述时空特化知识编码器和所述多源知识蒸馏器,基于所述跨模态泛化知识编码器提取的草图泛化特征和三维模型泛化特征进行检索。
36、进一步地,步骤s1中,所述笔画点序列中每个点至少包括坐标、绘制状态、时序索引和所属笔画标识;
37、所述绘制状态包括起笔、运笔和收笔状态。
38、进一步地,所述自适应多类中心损失采用softtriple公式,允许每个类别包含多个可学习的中心;
39、所述域间对比损失利用梯度反转层最小化草图特征与三维模型特征的分布差异;
40、所述跨模态度量损失采用三元中心损失。
41、经由上述的技术方案可知,与现有技术相比,本发明公开提供了一种基于多知识协同学习的手绘草图三维模型检索方法,具备以下有益效果:
42、本发明基于协同学习与知识蒸馏的思想,设计一种新的多知识协同学习框架mkcl;引入时空特化知识编码器,通过多级注意力模块逐级聚合微观笔划动态至宏观语义结构;提出多源知识蒸馏器,通过在线融合机制平衡草图的特化与泛化特征,并利用3d模型的类间关系锚点增强草图表示,有效提升了跨模态检索的准确性和鲁棒性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com