一种基于多级级联检测的古建筑智能研学方法及系统

摘要: 本发明涉及人工智能与文化遗产数字化的,尤其涉及一种古建筑智能研学方法及系统。背景技术:1、中国古代建筑是中华文明绵延数千年的物质见证,其营造体系以木构架为核心,...
一种基于多级级联检测的古建筑智能研学方法及系统

本发明涉及人工智能与文化遗产数字化的,尤其涉及一种古建筑智能研学方法及系统。

背景技术:

1、中国古代建筑是中华文明绵延数千年的物质见证,其营造体系以木构架为核心,形成了区别于西方石构建筑的独立技术传统与美学范式。随着城市化进程的加速,大量具有历史价值的古建筑实体正以每年数百座的速度消失,文化遗产的数字化保护已上升为国家层面的紧迫课题。在古建筑研学领域,普通公众尤其是来华留学生在认知中国古建筑时面临着双重障碍:其一是语言隔阂导致的建筑术语理解困难,其二是传统研学方式缺乏沉浸感与智能化支撑。

2、现有技术中,部分数字文化平台以图文展示、三维浏览或在线课程为主,能够提供一定的文化资源展示,但通常缺少面向用户输入图像的自动识别能力,也缺少识别结果与文化解释、知识图谱、学习路径和复习任务之间的联动机制。部分图像识别系统可以对建筑图像进行分类或目标检测,但其输出通常停留在类别标签和置信度,难以进一步生成适合研学场景的文化解读内容。单一目标检测模型在光照变化、拍摄角度变化、图像遮挡或建筑局部构件输入场景下容易出现低置信度或误识别,识别鲁棒性不足。

3、此外,文化解读内容与识别结果之间缺乏约束关系,生成内容容易偏离用户上传图像所对应的建筑类型或构件特征,出现内容泛化问题。古建筑知识通常以静态文本形式呈现,缺少基于知识图谱的节点关联、路径推荐和中外建筑对比能力。研学平台通常只提供一次性浏览或答题功能,缺少根据用户学习记录自动生成复习任务和测验反馈的连续学习机制。

技术实现思路

1、针对现有技术存的古建筑图像识别方法单一面对复杂场景识别精度不足,缺少识别结果与文化解释、知识图谱、学习路径和复习任务之间的联动机制的技术问题,本发明提出一种基于多级级联检测的古建筑智能研学方法及系统,通过目标检测、上下文特征推断与启发式回退相结合的三级级联识别策略,提高古建筑图像识别的鲁棒性;同时通过知识图谱语义关联将单次识别结果转化为连续研学过程,从而提高古建筑智能研学的识别准确性和学习持续性。

2、为了达到上述目的,本发明的技术方案是这样实现的:

3、在第一方面,提出了一种基于多级级联检测的古建筑智能研学方法,包括:

4、s1:获取用户输入的古建筑图像,并进行预处理,得到预处理后的古建筑图像;

5、s2:基于目标检测、上下文特征推断和启发式回退相结合的三级级联识别策略确定古建筑图像的识别结果;

6、s3:以古建筑图像的识别结果作为约束条件构建提示词,通过大语言模型生成多层级、多维度、多语言的文化解读内容;

7、s4:采用双轨知识图谱架构对古建筑图像的识别结果进行关联查询并根据查询结果进行个性化学习路径推荐;

8、s5:以所述个性化学习路径推荐为基础进行个性化学习并设置降级处理策略;在个性化学习过程中基于间隔重复规则生成复习任务以动态调整学习任务和复习任务的优先级,。

9、进一步,所述三级级联识别策略,包括:

10、s21:利用预训练的目标检测模型对预处理后的古建筑图像进行识别获取识别后的古建筑图像,得到第一候选识别结果、边界框位置和第一置信度,当第一置信度达到预设第一阈值时,输出第一候选识别结果作为最终古建筑图像的识别结果,所述最终古建筑图像的识别结果包括建筑类型或构件类别;

11、s22:当第一置信度低于预设第一阈值时,提取识别后的古建筑图像中的多维度的图像上下文特征,基于多维度的图像上下文特征通过加权评分计算第二置信度,当第二置信度达到预设第二阈值时,输出对应的第一候选识别结果作为最终古建筑图像的识别结果;

12、s23:当第二置信度低于预设第二阈值时,采用启发式回退规则识别所述识别后的古建筑图像,获取最终古建筑图像的识别结果。

13、进一步,步骤s22包括:

14、s221、对识别后的古建筑图像进行hsv颜色空间转换,计算转换后各通道的分布统计量作为颜色直方图特征;所述分布统计量至少包括均值、方差、偏度、峰度;

15、s222、对识别后的古建筑图像进行灰度化处理,计算多方向灰度共生矩阵,提取纹理glcm特征;所述纹理glcm特征至少包括对比度、相关性、能量和同质性;

16、s223、计算识别后的古建筑图像中边界框区域的宽高比特征;

17、s224、对颜色直方图特征、纹理glcm特征和宽高比特征分别与各类建筑的预设参考特征模板进行相似度计算,得到颜色直方图特征得分、纹理glcm特征得分和宽高比特征得分,并进行加权,得到加权评分;

18、s225、将加权评分通过分段阈值映射函数映射到0-1区间,得到第二置信度,当所述第二置信度达到预设第二阈值时,输出对应的第一候选识别结果;

19、进一步,骤s23包括:

20、s231、计算识别后的古建筑图像的整体亮度均值;

21、s232、使用高通滤波器提取识别后的古建筑图像的高频纹理成分,以预设阈值对高频纹理成分进行二值化处理,得到高频纹理区域二值图,统计高频纹理区域的面积占总面积的比例作为纹理密度;

22、s233、使用边缘检测算法提取识别后的古建筑图像的图像边缘,统计边缘像素占总像素的比例,得到边缘占比;

23、s234:通过预设规则映射表将亮度均值、纹理密度和边缘占比的特征组合映射为建筑类型或构件类别,生成最终古建筑图像的识别结果。

24、进一步,步骤s3包括:

25、s31、将最终古建筑图像的识别结果为约束条件构建提示词模板,所述提示词模板包含建筑类型约束、构件类别约束和识别置信度约束;建筑类型约束指定生成内容必须围绕该类型建筑展开,构件类别约束指定生成内容必须涵盖该构件的技术特征和文化意义,识别置信度约束当置信度低于预设第三阈值时,在生成内容中增加"以下解读仅供参考"的提示;

26、s32、调用大语言模型基于所述提示词模板生成至少三个深度层级的文化解读内容,所述三个深度层级包括初识层级、理解层级和深究层级;每个深度层级的文化解读内容至少涵盖建筑概要总结、感官叙事、中西建筑对比故事、学习建议、讨论引导问题、双语简要和记忆口诀七个维度;采用中文、英文和双语对照三种输出模式。

27、进一步,所述双轨知识图谱架构包括第一轨专业引擎和第二轨学习引擎;

28、第一轨专业引擎基于图数据库构建,用于将古建筑图像的识别结果映射为知识图谱中的对应节点,通过多跳关联查询和最短路径查询,沿语义关系边遍历相邻节点,基于最短路径跳数计算各节点的关联权重并获取建筑专业节点的关联节点列表,关联权重=1/最短路径跳数;

29、第二轨学习引擎基于关系型数据库和图计算库构建,分为数据存储和学习路径推荐两个阶段:

30、数据存储阶段:存储来自于第一轨专业引擎的建筑专业节点的关联节点列表及各节点的关联权重、预设知识节点难度系数、用户学习行为这三类结构化数据;用户学习行为至少包括学习时间、学习时长、答题记录、复习频次和掌握程度,掌握程度至少包括未学习、学习中、已掌握三种状态;

31、学习路径推荐阶段:图计算库从关系型数据库中读取所述三类结构化数据,构建以识别结果对应节点为起点的学习路径有向图,综合用户历史学习记录、知识节点难度、节点关联权重、用户测验结果对相邻知识节点进行综合评分排序,按综合评分降序排列得到个性化学习路径。

32、进一步,步骤s5中,在个性化学习过程中基于间隔重复规则生成复习任务以动态调整学习任务和复习任务的优先级,包括:

33、s51、根据所述个性化学习路径推荐中用户当前学习内容的知识点,查询学习进度记录,判断当前知识点是否进入复习周期;

34、s52、若当前知识点进入复习周期,则生成对应复习任务,所述复习任务包括判断题、选择题和简答题三种题型,若当前知识点未进入复习周期,按所述个性化学习路径推荐进行下一个知识点的学习;

35、s53、根据用户答题正确率动态调整后续学习内容的难度和复习优先级,当用户正确率低于预设下限阈值时降低难度并缩短复习间隔,当用户正确率高于预设上限阈值时提高难度并延长复习间隔;

36、s54、基于艾宾浩斯遗忘曲线设计间隔重复算法安排下次复习,重复步骤s51,形成学习、复习、测验的研学闭环;

37、进一步,降级处理策略包括:

38、当目标检测模型服务不可用时,切换至启发式图像特征分析模式,基于启发式回退规则进行兜底识别;

39、当大语言模型服务不可用时,降级至本地模板生成机制,基于预设的文化解读模板和识别结果生成基础文化解读内容;

40、通过websocket协议向客户端实时推送分析进度状态,所述分析进度状态包括模型加载、推理中和解读生成中阶段状态。

41、进一步,步骤s1中,还包括文字描述输入方式,包括输入建筑类型、构件类型或对古建筑图像的自然语言描述;

42、步骤s21中的目标检测模型,采用yolov8目标检测模型或faster r-cnn目标检测模型;

43、步骤s232中的高通滤波器,采用sobel算子或laplacian算子;

44、步骤s233中的边缘检测算法,采用canny边缘检测算法;

45、步骤s225中分段阈值映射函数的映射规则为:当综合评分大于0.8时,第二置信度设为0.82;当综合评分大于0.5时,第二置信度设为0.72;当综合评分大于0.2时,第二置信度设为0.62;当综合评分大于0.05时,第二置信度设为0.55;当综合评分小于等于0.05时,第二置信度设为0.45;

46、第一轨专业引擎构建时的图数据库,采用neo4j图数据库;

47、第二轨学习引擎构建时的关系型数据库,采用mysql数据库,图计算库,采用networkx数据库;

48、所述间隔重复算法采用0天、1天、7天、14天、30天和90天的递进间隔复习策略,每次复习完成后,根据用户的答题表现决定是否进入下一个间隔周期或重置间隔:如果用户在某次复习中答题正确率达到预设概率以上,则进入下一个间隔周期;如果正确率低于预设概率,则重置至前一个间隔周期重新复习。

49、在第二方面,提出了一种基于多级级联检测的古建筑智能研学系统,用于实现所述的基于多级级联检测的古建筑智能研学方法,包括:

50、输入和预处理模块,用于获取用户输入的古建筑图像,并进行预处理,得到预处理后的古建筑图像;

51、级联识别模块,用于基于目标检测、上下文特征推断和启发式回退相结合的三级级联识别策略确定古建筑图像的识别结果;

52、文化解读生成模块,用于以古建筑图像的识别结果作为约束条件构建提示词,通过大语言模型生成多层级、多维度、多语言的文化解读内容;

53、知识图谱模块,用于构建双轨知识图谱;

54、学习路径生成模块,用于采用双轨知识图谱架构对古建筑图像的识别结果进行关联查询并根据查询结果进行个性化学习路径推荐;

55、间隔复习模块,用于以所述个性化学习路径推荐为基础进行个性化学习;在个性化学习过程中基于间隔重复规则生成复习任务以动态调整学习任务和复习任务的优先级;

56、降级处理模块,用于实现降级处理策略。

57、本发明的有益效果为:

58、本发明采用目标检测、上下文特征推断和启发式回退相结合的三级级联识别策略确定古建筑类型或构件类别。首先目标检测模型能够快速识别大多数标准场景下的古建筑图像,提供高效的第一级识别能力。其次当目标检测模型置信度不足时,通过提取颜色直方图、纹理glcm和宽高比上下文特征进行加权评分,利用多维度图像信息对低置信度结果进行修正,从而有效提高了古建筑图像在光照变化、拍摄角度变化和建筑局部构件输入场景下的识别鲁棒性。最后当上下文推断仍无法给出可靠结果时,通过基于亮度、纹理密度和边缘占比的启发式回退规则进行兜底识别,逐级提升召回率,确保系统在各种场景下均能输出识别结果,从而提高了古建筑识别的稳定性和全面性。

59、本发明将古建筑识别结果作为约束条件生成多层级文化解读内容,并映射至双轨知识图谱中的对应节点,基于节点语义关系生成个性化学习路径和间隔复习任务,形成连续研学闭环。首先通过将识别结果作为约束条件注入文化解读生成过程,使生成内容与用户上传图像所对应的建筑类型或构件特征保持一致,避免了通用大语言模型生成内容偏离实际识别对象的问题,从而提高了文化解读内容的准确性和针对性。其次通过双轨知识图谱架构,将建筑类型、构件、朝代、地域和中外建筑对比关系组织为可查询的语义网络,使系统能够从单次识别扩展到关联学习和对比学习,从而提高了研学内容的系统性和关联性。最后通过结合间隔重复规则和用户答题正确率动态调整学习内容难度和复习优先级,将一次性识别结果转化为连续学习任务,从而提高了古建筑智能研学的学习持续性和个性化程度。