面向民族服饰的细粒度视觉-语言联合表征与跨民族关系建模方法

本发明涉及人工智能与数字图像处理，具体是一种面向民族服饰的细粒度视觉-语言联合表征与跨民族关系建模方法，以及应用这种方法的计算机终端和计算机可读存储介质。

背景技术：

1、随着数字化技术与人工智能技术的发展，民族服饰的数字化保护与智能分析逐渐成为民族文化遗产研究的重要方向。民族服饰不仅承载着不同民族的审美观念、工艺传统与文化符号，也是研究民族迁徙、文化传播及区域交流的重要物质载体。在传统民族学研究中，民族服饰的分类与文化关系分析主要依赖专家经验，通过对服饰纹样、色彩、结构及工艺等特征进行人工观察与归纳完成判断。该方式虽然具有一定的文化解释能力，但存在分析效率较低、主观性较强以及难以适应大规模数据处理等问题，尤其在民族服饰数字化资源不断增长的背景下，传统人工分析方法已难以满足智能化与规模化研究需求。因此，研究一种能够兼顾识别精度与文化分析能力的民族服饰智能分析方法，具有重要的研究意义与应用价值。

2、近年来，深度学习技术在图像识别领域取得了较好效果，基于卷积神经网络的民族服饰识别方法逐渐成为相关研究的重要方向。由于民族服饰具有明显的细粒度视觉特征，不同民族服饰在整体服装轮廓与结构形式上往往较为相似，而区分性特征主要体现在局部纹样、色彩搭配、刺绣工艺以及装饰细节等区域，因此传统分类模型容易受到背景干扰、人物姿态变化及局部信息缺失等因素影响，导致模型在细粒度类别之间出现混淆。同时，现有研究大多侧重于服饰类别识别，对服饰背后所蕴含的文化语义信息关注不足，难以揭示不同民族服饰之间在历史交流、工艺传播及地域文化影响下形成的潜在联系。部分视觉语言联合建模方法虽然能够建立图像与文本之间的关联，但在民族服饰场景下仍存在语义描述不统一、结构化程度不足以及文化关系难以量化等问题，难以满足民族服饰文化分析对于可解释性与关联建模的需求。此外，现有方法普遍缺乏视觉特征与文化语义信息之间的统一建模机制，导致模型在分类性能、文化解释能力以及跨民族关系分析方面仍存在一定局限。

技术实现思路

1、为解决现有技术中存在的技术问题，本发明提供了一种面向民族服饰的细粒度视觉-语言联合表征与跨民族关系建模方法，该方法兼顾民族服饰细粒度识别与文化语义分析需求，提高民族服饰识别的准确性与可解释性，为民族文化数字化保护、非物质文化遗产研究以及跨民族文化关系分析提供技术支持。

2、为实现上述目的，本发明提供如下技术方案：

3、本发明公开一种面向民族服饰的细粒度视觉-语言联合表征与跨民族关系建模方法，包括以下步骤：

4、s1.获取待分析的民族服饰图像，将所述民族服饰图像输入至预先训练的深度卷积网络中进行特征提取，获取所述民族服饰图像的多尺度视觉特征表示以及视觉分类结果；

5、s2.根据预设的文化特征提示模板，将所述民族服饰图像输入至预先训练的视觉语言模型中，通过所述文化特征提示模板约束所述视觉语言模型的输出，生成所述民族服饰图像的多维度结构化文化语义描述；

6、s3.对所述多维度结构化文化语义描述进行向量化编码，得到文本语义嵌入向量，并将所述文本语义嵌入向量与所述视觉特征表示进行融合，构建视觉-语义联合特征；

7、s4.获取同一民族类别下多个样本的文本语义嵌入向量进行特征聚合，构建民族级语义表征；基于不同民族类别的所述民族级语义表征计算语义相似度，并据此构建跨民族文化语义关系图结构，用于表征跨民族的服饰文化关联关系；

8、s5.将所述视觉-语义联合特征输入至分类网络中，通过多层感知机结构对所述视觉-语义联合特征进行映射与判别，得到最终的民族服饰类别识别结果；将所述民族服饰类别识别结果与所述跨民族文化语义关系图结构相结合，输出服饰类别识别结果及其对应的跨民族文化关联关系，以提供分类决策的文化层面辅助解释。

9、作为上述方案的进一步改进，步骤s1中，所述深度卷积网络包括依次串联的多个特征提取阶段，相邻的特征提取阶段之间通过下采样操作连接，且每个特征提取阶段包含若干个堆叠的特征变换模块；

10、单个特征变换模块在处理输入特征时，依次通过尺寸为7×7的深度卷积层、层归一化层、第一逐点卷积层、激活函数层以及第二逐点卷积层进行特征映射，并将第二逐点卷积层输出的特征与初始的输入特征进行残差相加，得到该特征变换模块的最终输出。

11、作为上述方案的进一步改进，步骤s2中，所述文化特征提示模板用于将所述视觉语言模型的输出约束为包含预设特征维度的结构化语义单元，并禁止所述视觉语言模型直接输出用于分类的类别标签；所述预设特征维度至少包括以下五个维度的特征描述：颜色特征、图案特征、结构与形制特征、制作工艺特征以及整体风格特征。

12、作为上述方案的进一步改进，步骤s3中，按照如下公式将所述文本语义嵌入向量与所述视觉特征表示进行特征融合：

13、

14、式中，表示视觉-语义联合特征；为视觉特征表示；为文本语义嵌入向量；为权重系数，且。

15、作为上述方案的进一步改进，步骤s4中，构建民族级语义表征的具体过程为：

16、针对第i个民族，将其包含的n个样本的文本语义嵌入向量进行均值聚合，获取该民族的整体语义质心，表达公式为：

17、

18、式中，表示第i个民族的整体语义质心；表示第i个民族中第k个样本的多维度结构化文化语义描述；表示文本嵌入函数。

19、作为上述方案的进一步改进，构建跨民族文化语义关系图结构的具体过程为：

20、采用余弦相似度计算第i个民族与第j个民族的民族级语义表征之间的语义关联度，计算公式为：

21、

22、式中，表示第i个民族与第j个民族之间的语义相似度，表示第j个民族的整体语义质心；为l2范数；

23、构建跨民族文化语义关系图结构，其中节点集合中的每个节点代表一个不同的民族类别，边集合表示民族节点之间的关联，边权重的取值由语义相似度决定。

24、作为上述方案的进一步改进，所述方法还包括以下步骤：

25、获取步骤s1中深度卷积网络输出的分类混淆矩阵，并提取所述分类混淆矩阵中第一民族类别被误判为第二民族类别的误判概率；

26、当所述误判概率大于第一预设阈值，且步骤s4中计算的第一民族类别与第二民族类别之间的语义相似度大于第二预设阈值时，在所述跨民族文化语义关系图结构中为第一民族类别与第二民族类别对应的节点之间添加强关联数据标签，和/或生成用于表征误判结果来源于多维特征相似性的辅助解释信息并输出。

27、作为上述方案的进一步改进，步骤s4之后，还将所述跨民族文化语义关系图结构作为输入，馈入至图卷积网络模型中进行多层节点特征传播与聚合计算，生成并输出图增强后的跨民族语义联合表征。

28、本发明还公开一种计算机终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的面向民族服饰的细粒度视觉-语言联合表征与跨民族关系建模方法的步骤。

29、本发明还公开一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时，实现如上所述的面向民族服饰的细粒度视觉-语言联合表征与跨民族关系建模方法的步骤。

30、与现有技术相比，本发明的有益效果是：

31、1、本发明通过构建融合深度卷积网络分类与视觉语言模型语义解析的多模态联合分析框架，将多尺度视觉特征提取、多维度结构化文化语义描述生成以及视觉-语义加权融合机制进行协同建模，并基于民族级语义质心的相似度构建跨民族文化语义关系图结构，实现了民族服饰细粒度图像分类与跨民族演化关联推理的统一输出。这一框架解决了传统依靠单一视觉特征难以区分廓形相似、细节重叠的民族服饰类别的问题，同时克服了传统图像判别模型无法输出服饰背后文化关联、分类结果缺乏可解释性的工程难题，在输出高精度服饰识别结果的同时，能够量化输出不同民族服饰之间的文化传播与融合关系数据。

32、2、本发明通过在深度卷积网络中采用多阶段下采样结构，并在单个特征变换模块中引入7×7深度卷积、层归一化以及逐点卷积的残差更新机制，配合视觉特征与文本语义嵌入向量的互补加权融合策略，实现了对民族服饰局部纹样、刺绣工艺、色彩组合等微弱细粒度视觉差异的高效捕捉，并能通过权重系数灵活调节图文两类特征的贡献度。该策略减轻了复杂拍摄背景干扰、穿着姿态变化及局部遮挡对分类器的负面影响，降低了模型在不同数据划分下的分类准确率波动性，提升了模型对视觉高度相似类别的区分精度。

33、3、本发明通过文化特征提示模板禁止视觉语言模型直接输出类别标签，将其输出约束为颜色、图案、结构与形制、制作工艺、整体风格这五个特定维度的标准化语义单元，并利用均值聚合构建民族级语义表征及余弦相似度建图策略，实现了对服饰图像中隐性文化信息的连续向量化映射与多模态一致性表达。该策略避免了文本描述流于散乱而导致特征维度不统一的问题，消除了单个图像样本噪声对群体特征的干扰，实现了从工艺传统、审美趋同等维度对跨民族服饰相似性的结构化量化分析。

34、4、本发明通过提取视觉分类混淆矩阵中的类间误判概率，将其与跨民族语义相似度进行双重阈值判别和映射关联，并将构建的关系图结构输入至图卷积网络中进行多层节点特征传播与聚合，实现了对模型视觉判别决策的算法层面自动辅助解释。这一机制能够通过数据证明视觉空间的类间误判源于地理、历史语境下的实际特征重叠，而非系统的随机预测误差，同时提升了对复杂拓扑图网络中潜在文化交流路径和群体聚类簇的深度挖掘与自动推理能力。