面向水利防洪减灾场景的多模态知识与防洪大模型构建方法、系统、电子设备和存储介质与流程

本发明涉及智慧水利与人工智能，具体地涉及一种面向水利防洪减灾场景的多模态知识与防洪大模型构建方法、系统、电子设备和存储介质。

背景技术：

1、洪涝灾害是我国危害最大、损失最严重的自然灾害，其造成的损失占全部自然灾害损失的70%以上。近年来，水利部大力推动智慧水利建设，按照“需求牵引、应用至上、数字赋能、提升能力”的要求，构建具有预报、预警、预演、预案（四预）功能的智慧水利体系。数字孪生平台以时空数据为底座、水利模型为核心、水利知识为驱动，是智慧水利核心任务之一，为防洪减灾、水资源调度等业务应用提供算据、算法等支撑，对防洪科学决策、减灾精准调度、系统安全运行具有重要意义。

2、目前，水利防洪减灾领域已积累了大量多模态数据，包括水文监测数据、地理空间数据、历史洪水记录文本、抢险案例表格、卫星遥感图像等。同时，水利行业内已整编大量的预报调度方案、历史场景、业务规则、专家经验等非结构化知识。然而，现有技术存在以下问题：

3、（1）多模态知识整合困难：形式多样、规模庞大的数据底板及水利知识整合困难，缺乏统一管理，难以有效利用。针对结构化知识虽初步尝试建立知识图谱，但全面大规模利用数据库表、文本、表格等多模态知识尚无成熟方案。

4、（2）现有通用大模型无法理解水利专业语言：通用大语言模型缺少水利领域的微调，很难理解水利行业专有名词，在面向专业性较强的水利领域时，经常出现语义幻象和答非所问的问题，专业问答认知推理难。

5、（3）缺乏面向防洪减灾场景的智能推理能力：传统知识图谱构建周期长、自动化程度低、知识对齐难。现有“四预”平台在洪涝灾害风险场景预演、防御预案动态生成等关键环节因需要耦合大量专业知识和模型，只能通过人工逐级点击操作实现，时效性和精准性无法保证。知识平台目前仍以将业务规则转化为知识库为主，无法按照防洪业务逻辑进行知识抽取和推理。

6、因此，现有技术亟需一种能够将多模态水利知识与大模型深度融合，并具备高效、可解释推理能力的防洪大模型构建方法。

技术实现思路

1、本发明的旨在至少在一定程度上解决现有技术中的上述技术问题之一。

2、为此，本发明提供了一种面向水利防洪减灾场景的多模态知识与防洪大模型构建方法，包括以下步骤：

3、构建水利防洪减灾场景约束下的多模态知识库与知识图谱；

4、基于多模态水利知识对防洪大模型进行有监督微调与强化学习微调；

5、构建多智能体推理框架，执行基于多模态知识的防洪大模型推理，所述多智能体推理框架包括意图识别模块、任务规划模块、智能体行动模块和协同执行模块；所述意图识别模块解析用户输入，识别核心意图并拆解复杂需求；所述任务规划模块根据意图识别结果制定知识检索策略和推理路径；所述智能体行动模块至少执行以下三种推理方式中的一种或多种：知识库检索增强推理、知识图谱推理、业务表格问答推理；所述协同执行模块整合所述智能体行动模块的输出，生成决策支持结果。

6、优选地，构建多模态知识库与知识图谱的具体步骤包括：收集水利防洪减灾相关的多模态数据，对所述多模态数据进行预处理、特征提取与多模态语义对齐，生成融合多模态特征的知识表示并存入向量知识库，形成多模态水利知识库和抢修知识库；基于水利业务约束，利用大模型端到端自动提取非结构化文本中的实体和关系，结合专家审核，构建水利防洪减灾知识图谱。

7、优选地，所述多模态语义对齐具体包括：采用多模态预训练模型，通过对比学习和共享嵌入空间，结合多层注意力机制，将文本、图像、表格数据以及水利专业名词映射至同一特征空间，实现模态间的信息互通与语义一致性。

8、优选地，所述构建水利防洪减灾知识图谱包括：利用大模型提示工程筛选与防洪减灾相关的实体类型和关系，生成候选三元组，再由水利专家对所述候选三元组进行审核校验，形成最终的知识图谱。

9、优选地，基于多模态水利知识对防洪大模型进行有监督微调与强化学习微调的步骤包括：构建水利专业数据集，采用智能预标注与人工校正相结合的方式，对通用大模型进行有监督微调；构建奖励信号模型，引入多源反馈数据，通过强化学习对防洪大模型进行微调。

10、优选地，所述有监督微调包括：研究不同任务场景下的最小有效标注数据集构建方法，采用任务自适应微调技术，针对不同防洪任务调整学习率和优化器参数，通过自动化评估指标进行多轮迭代优化。

11、优选地，所述强化学习微调包括：构建基于人工反馈和机器预标注数据的多维度奖励信号系统，优化折扣因子和采样方法，提高模型训练的稳定性和收敛速度；通过大模型提示词和篇章召回技术，确保知识召回准确率达到95%以上，知识问答准确率达到90%以上。

12、优选地，所述知识库检索增强推理包括：将用户查询与向量知识库中的文档块进行相似度匹配，检索相关文档块，与查询共同输入大模型生成答案；

13、所述知识图谱推理包括：提取问题中的关键实体，语义泛化后转换为图查询语言，采用深度优先搜索或广度优先搜索遍历知识图谱至多n跳的局部子图，挖掘隐含关系；

14、所述业务表格问答推理包括：通过相似度匹配或bm25算法定位目标表格，将表格结构信息输入提示词，引导大模型生成结构化查询语言进行数据检索。

15、本发明还提供了一种面向水利防洪减灾场景的多模态知识与防洪大模型构建系统，用于执行上述的面向水利防洪减灾场景的多模态知识与防洪大模型构建方法，所述多模态知识与防洪大模型构建系统包括：

16、多模态知识构建模块，用于收集水利防洪减灾相关的多模态数据，进行预处理、特征提取与多模态语义对齐，生成向量知识库、多模态水利知识库和抢修知识库，并用于构建水利防洪减灾知识图谱；

17、大模型微调模块，用于对通用大模型进行有监督微调和强化学习微调，输出防洪大模型，所述有监督微调基于水利专业数据集，所述强化学习微调基于奖励信号函数和多源反馈数据；以及

18、多智能体推理引擎，用于执行基于多模态知识的防洪大模型推理；

19、其中，所述多智能体推理引擎包括意图识别单元、任务规划单元、智能体行动单元和协同执行单元，所述意图识别单元用于解析用户输入并识别核心意图，所述任务规划单元用于制定知识检索策略和推理路径，所述智能体行动单元用于执行知识库检索增强推理、知识图谱推理和/或业务表格问答推理，所述协同执行单元用于整合各智能体的输出，生成决策结果。

20、优选地，所述智能体行动单元包括检索增强生成子单元、图谱查询子单元和表格查询子单元；所述检索增强生成子单元用于从向量知识库中检索相关文档块并联合大模型生成答案；所述图谱查询子单元用于将自然语言问题转换为图查询语言并执行子图遍历；所述表格查询子单元用于将表格结构信息输入提示词，生成结构化查询语言进行数据检索。

21、优选地，所述大模型微调模块包括有监督微调子模块和强化学习微调子模块，所述有监督微调子模块内置任务自适应微调算法和自动化评估反馈机制；所述强化学习微调子模块内置多维度奖励信号生成器和训练稳定性优化器。

22、优选地，所述多模态知识构建模块包括数据预处理单元、特征提取单元、多模态对齐单元和知识图谱构建单元，所述数据预处理单元用于对文本、图像、表格及水利专业名词进行标准化处理，所述特征提取单元用于提取文本语义向量、图像视觉特征、表格时序特征及水利专业名词特征，所述多模态对齐单元基于对比学习和共享嵌入空间，利用多层注意力机制实现模态语义对齐，所述知识图谱构建单元用于大模型端到端实体关系抽取及专家审核。

23、本发明还提供一种电子设备，包括处理器和存储器，所述存储器中存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现上述的面向水利防洪减灾场景的多模态知识与防洪大模型构建方法。

24、本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的面向水利防洪减灾场景的多模态知识与防洪大模型构建方法。

25、与现有技术相比，本发明提供的技术方案具有以下技术效果：

26、（1）本发明针对水利知识规模庞大、形式多样、结构复杂、来源广泛导致显示表达困难、信息可用率低的问题，首先收集水利防洪减灾相关的多模态数据，进行预处理、特征提取与多模态语义对齐，生成融合多模态特征的知识表示并存入向量知识库，形成多模态水利知识库和抢修知识库；在此基础上，利用大模型端到端自动提取非结构化文本中的实体和关系，结合专家审核，构建水利防洪减灾知识图谱，该方案解决了水利多模态知识整合困难、缺乏统一管理的问题，为后续防洪大模型提供了坚实的知识底座。

27、（2）本发明基于多模态水利知识，采用智能预标注与人工校正相结合的方式构建水利专业数据集，对通用大模型进行有监督微调；同时构建奖励信号模型，引入人工反馈和机器预标注等多源数据，通过强化学习对模型进一步微调。经微调后，模型可利用大模型prompt技术、篇章召回技术综合提升知识问答准确率，确保知识召回准确率达到95%以上，知识问答准确率达到90%以上；基于本发明构建的防洪大模型，防洪灾害风险场景推演时间可控制在5分钟以内，满足实时决策需求。本发明提供的方案有效克服了通用大模型在水利领域“语义幻象、答非所问”的缺陷，使得防洪大模型能够真正理解水利行业专有名词和业务逻辑。

28、（3）本发明针对水利防洪减灾场景交叉性强、知识结构复杂的问题，采用“意图识别-任务规划-智能体行动-协同执行”的多智能体推理技术。其中，智能体行动模块至少执行知识库检索增强推理、知识图谱推理、业务表格问答推理中的一种或多种。具体的，知识库检索增强推理能够利用大语言模型的上下文理解和检索增强技术，从复杂的水利知识库中提取关键信息，提升生成结果的可解释性和可控性；知识图谱推理能够整合业务知识图谱，借助大模型提取问题中的关键信息并进行语义泛化，采用深度优先搜索或广度优先搜索遍历至多n跳的局部子图，挖掘数据集中隐含的、与查询间接相关的知识；业务表格问答推理能够针对水利防洪场景中复杂的表格数据，采用符号推理引导的表格结构化查询语言生成方案，通过相似度匹配或bm25算法定位目标表格，将表格结构信息输入prompt，引导大模型生成结构化查询语言，实现高效、精准的数据检索；协同执行模块整合各智能体的输出，形成全面、多维度的决策支持，确保在面对复杂水利防洪减灾场景时，对多源异构数据的有效检索及推理，提升决策支持系统的可解释性、可控性和实时性。该方案解决了现有“四预”平台中因需耦合大量专业知识和模型导致只能人工逐级操作、时效性和精准性无法保证的问题。

29、总体而言，本发明通过以上三个方面的协同创新，以服务水利防洪减灾决策支持为目标，围绕水利防洪减灾知识平台构建关键技术开展全链条创新研究，支撑数字孪生水利防洪减灾知识平台实现知识搜索、智能问答、智能推荐、方案优选等功能，能够显著提升防洪减灾精准化决策和新一代水利业务应用的智慧化水平，具有显著的社会经济效益。