一种文化遗产景观基因自动化识别与动态谱系构建方法与流程

摘要: 本技术涉及文化遗产数字化,具体涉及一种文化遗产景观基因自动化识别与动态谱系构建方法。背景技术:1、文化景观遗产是指被联合国教科文组织和世界遗产委员会确认的人类罕...
一种文化遗产景观基因自动化识别与动态谱系构建方法与流程

本技术涉及文化遗产数字化,具体涉及一种文化遗产景观基因自动化识别与动态谱系构建方法。

背景技术:

1、文化景观遗产是指被联合国教科文组织和世界遗产委员会确认的人类罕见的、无法替代的文化景观,是全人类公认的具有突出意义和普遍价值的自然和人类的共同作品。在现有文化遗产景观基因的识别中,主要依赖专业人员使用全站仪、卷尺、铅垂线等工具进行现场手工测量,记录建筑物的尺寸、方位、构件关系。同时,通过手绘、拍照等方式记录装饰纹样、色彩等非几何信息。或者研究人员查阅地方志、历史档案、家族谱牒等文献,并对当地工匠、居民进行口述史访谈,获取文化遗产的营造法式、文化禁忌、历史沿革等非物质信息。或者领域专家(如建筑历史学者、考古学家)基于测量数据和文献口述资料,凭借自身知识储备,进行人工分析和归纳。他们总结出该文化遗产的典型特征,例如:歇山式屋顶、抬梁式构架、六椽栿通檐用二柱、和玺彩画等,并尝试建立一套分类编码系统(如采用线分类法,将屋顶分为一级类,其下的庑殿顶、歇山顶等为二级类)

2、因此,可以确定现有技术主要依赖人去完成,技术工具仅作为辅助测量和记录的手段,是一个高度主观且非标准化的过程,从而导致现有技术对文化遗产景观基因识别过程中,存在效率较低、识别结果不统一和/或容易出现误识别的问题。

技术实现思路

1、本技术目的在于提供一种文化遗产景观基因自动化识别与动态谱系构建方法,解决了现有技术存在效率较低、识别结果不统一和/或容易出现误识别的问题。

2、本技术通过下述技术方案实现:

3、一种文化遗产景观基因自动化识别与动态谱系构建方法,包括:

4、构建多模态特征编码器,并采用所述多模态特征编码将文化遗产景观对应的训练集中的已有多模态数据映射至统一语义空间;

5、采集待分类文化遗产景观对应的目标多模态数据,并对所述目标多模态数据进行时空配准,得到时空配准之后的目标多模态数据;

6、采用语义空间中的语义特征以及多模态特征编码器对所述处理之后的目标多模态数据进行多维度评价,得到多维度评价结果,并根据所述多维度评价结果对所述处理之后的目标多模态数据进行过滤,得到过滤之后的目标多模态数据;

7、采用多尺度特征金字塔网络对所述过滤之后的目标多模态数据进行特征提取,得到多模态特征,并提取所述多模态特征对应的空间关系以及采用层次分类架构对所述多模态特征进行基因分类识别,得到文化遗产景观基因以及文化遗产景观基因之间的连接关系;

8、构建基因编码,将所述基因编码、文化遗产景观基因以及文化遗产景观基因之间的连接关系关联存储,建立基因知识库,并根据所述基因知识库构建时态知识图谱,完成文化遗产景观基因自动化识别与动态谱系构建。

9、在一种可能的实施方式中,构建多模态特征编码器之后,还包括:

10、采用多模态特征编码器构建双模态编码查询架构;

11、采用双模态编码查询架构对用户输入的查询模态数据与所述已有多模态数据中的目标模态数据进行匹配,并反馈查询到的目标模态数据给用户;所述查询模态是指用户输入的且作为检索条件的模态数据,所述目标模态数据是指用户需要的模态数据。

12、在一种可能的实施方式中,构建多模态特征编码器,并采用所述多模态特征编码将文化遗产景观对应的训练集中的已有多模态数据映射至统一语义空间,包括:

13、采用vision transformer构建对视觉模态数据进行编码的视觉编码器;采用point transformer构建对点云模态数据进行编码的点云编码器;采用bert构建对文本模态数据进行编码的文本编码器;

14、将所述视觉编码器、点云编码器以及文本编码器共同作为多模态特征编码器,且所述视觉编码器、点云编码器以及文本编码器编码得到的语义特征维度相同;

15、采用视觉编码器对已有视觉模态数据进行编码映射,采用点云编码器对已有点云模态数据进行编码映射,采用文本编码器对已有文本模态数据进行编码映射,形成多模态语义特征构成的统一语义空间;所述多模态特征编码将文化遗产景观对应的训练集中的已有多模态数据包括同一文化遗产景观基因对应的已有视觉模态数据、已有点云模态数据以及已有多模态数据。

16、在一种可能的实施方式中,采集待分类文化遗产景观对应的目标多模态数据,并对所述目标多模态数据进行时空配准,得到时空配准之后的目标多模态数据,包括:

17、采集待分类文化遗产景观对应的目标点云数据、目标图像数据以及历史文献资料,得到目标多模态数据;

18、对所述目标点云数据与所述目标图像数据进行空间配准,并采用动态时间规整算法对齐不同采集时间点的数据,得到时空配准之后的所述目标点云数据以及所述目标图像数据;

19、对所述历史文献资料进行预处理以及文字识别处理,得到数字化之后的历史文献资料;

20、将数字化之后的历史文献资料、时空配准之后的所述目标点云数据以及所述目标图像数据共同作为时空配准之后的目标多模态数据。

21、在一种可能的实施方式中,对所述目标点云数据与所述目标图像数据进行空间配准之后,还包括:

22、对空间配准之后的所述目标点云数据与所述目标图像数据进行异常检测,确定异常数据区域,并在所述异常数据区域生成异常掩码,以进行异常提醒。

23、在一种可能的实施方式中,采用语义空间中的语义特征以及多模态特征编码器对所述处理之后的目标多模态数据进行多维度评价,得到多维度评价结果,并根据所述多维度评价结果对所述处理之后的目标多模态数据进行过滤,得到过滤之后的目标多模态数据,包括:

24、采用多模态特征编码器对所述处理之后的目标多模态数据提取在统一语义空间中的多目标语义特征,并计算多目标语义特征之间的两两相似度,并在处理之后的目标多模态数据的两两相似度均大于预设阈值时,确定数据质量合格,否则确定数据质量不合格;

25、采用语义空间中的语义特征获取所述多目标语义特征对应的跨模态对比损失,并在所述跨模态对比损失满足损失限定条件时,确定数据质量合格,否则确定数据质量不合格;

26、滤除数据质量不合格的目标多模态数据,得到过滤之后的目标多模态数据。

27、在一种可能的实施方式中,采用多尺度特征金字塔网络对所述过滤之后的目标多模态数据进行特征提取,得到多模态特征,并提取所述多模态特征对应的空间关系以及采用层次分类架构对所述多模态特征进行基因分类识别,得到文化遗产景观基因以及文化遗产景观基因之间的连接关系,包括:

28、以所述过滤之后的目标多模态数据为基础,采用多尺度特征金字塔网络提取时空配准之后的目标图像数据的图像特征,同时提取数字化之后的历史文献资料的文本特征,并采用层次分类架构对图像特征以及文本特征进行基因分类识别,得到层次化的文化遗产景观基因;

29、采用时空配准之后的所述目标点云数据提取文化遗产景观基因之间的空间关系,并以所述文化遗产景观基因作为图节点,以空间关系作为边,通过消息传递机制聚合邻域信息,学习基因之间的依赖关系,输出文化遗产景观基因以及文化遗产景观基因之间的连接关系。

30、在一种可能的实施方式中,构建基因编码,将所述基因编码、文化遗产景观基因以及文化遗产景观基因之间的连接关系关联存储,建立基因知识库,并根据所述基因知识库构建时态知识图谱,包括:

31、构建基因编码,将所述基因编码、文化遗产景观基因以及文化遗产景观基因之间的连接关系关联存储,得到文化遗产景观基因信息,并采用所述文化遗产景观基因信息建立基因知识库;

32、根据时空配准之后的所述目标点云数据、时空配准之后的所述目标图像数据以及基因知识库中的文化遗产景观基因信息,采用时态知识图谱构建时态知识图谱。

33、在一种可能的实施方式中,该方法还包括:

34、以同一文化遗产景观在历史数据中对应的所有文化遗产景观基因信息组成的文化基因序列为基础,采用动态时间规整算法计算不同文化基因序列的相似度,识别相似的演化模式;

35、基于,通过谱系聚类算法将具有共同祖先或相似发展路径的文化基因序列归为同一谱系,构建文化基因的家族树。

36、在一种可能的实施方式中,该方法还包括:

37、基于所述时态知识图谱,生成多个候选设计方案;

38、采用nsga-ii算法对多个候选设计方案进行迭代更新,求解帕累托最优解集,输出最优候选设计方案作为推荐方案,并将推荐方案推送给用户。

39、本技术与现有技术相比,具有如下的优点和有益效果:

40、本技术提供了一种文化遗产景观基因自动化识别与动态谱系构建方法,该方法通过构建多模态特征编码器,将文化遗产景观的多模态数据映射至统一语义空间;采集并时空配准目标多模态数据,经多维度评价过滤后,采用多尺度特征金字塔网络提取特征,通过层次分类架构识别文化遗产景观基因及其连接关系;构建基因编码,关联存储并建立基因知识库,进而构建时态知识图谱,完成自动化识别与动态谱系构建。本技术解决了传统方法效率低、结果不统一、易误识别的问题,实现了文化遗产景观基因的高效、精准识别与动态谱系构建,为文化遗产的保护、研究和活化利用提供了有力支持。