一种多模态搜索智能体构建方法、装置、设备及介质与流程

本发明涉及人工智能，尤其涉及一种多模态搜索智能体构建方法、装置、设备及介质。

背景技术：

1、在多模态大模型的应用实践中，模型需要针对复杂的具体问题进行推理和应答，而这类任务往往要求模型具备处理动态信息的能力。例如在金融科技场景中，模型需要结合财报图表、实时行情数据及新闻文本进行综合研判；在医疗健康场景中，模型则需同时理解医学影像、病历文本及最新诊疗指南。然而，现有技术中存在以下缺陷。

2、现有技术中，纯文本大语言模型智能体受限于单一模态，无法处理包含图像或视觉元素的查询，应用场景较为狭窄。进一步地，多模态大模型虽然提供了更强大的感知能力，但其内部知识在训练完成后即固定不变，无法随外部信息的变化而更新。上述传统方法在面对需要同时理解视觉与文本信息并进行多步推理的复杂任务时，难以给出准确可靠的答案。

技术实现思路

1、本发明提供一种多模态搜索智能体构建方法、装置、设备及介质，以解决的技术问题是：如何使多模态模型能够在真实网络环境中自主获取实时信息并完成复杂任务，提高多模态模型输出的准确性和可靠性。

2、第一方面，提供了一种多模态搜索智能体构建方法，包括：

3、响应于接收到模型构建指令，生成包含多模态问答任务的任务数据集；

4、基于所述任务数据集，通过预设的教师模型生成正确解题轨迹，并利用所述正确解题轨迹对预设的基础模型进行监督微调，生成微调模型；

5、将所述微调模型部署至真实互联网环境，基于所述微调模型针对同一多模态查询进行多次搜索尝试，根据每次搜索尝试的最终答案的正确性确定奖励值，并根据所述奖励值更新所述微调模型的策略参数，得到多模态搜索智能体。

6、第二方面，提供了一种多模态搜索智能体构建装置，包括：

7、生成单元，用于响应于接收到模型构建指令，生成包含多模态问答任务的任务数据集；

8、微调单元，用于基于所述任务数据集，通过预设的教师模型生成正确解题轨迹，并利用所述正确解题轨迹对预设的基础模型进行监督微调，生成微调模型；

9、更新单元，用于将所述微调模型部署至真实互联网环境，基于所述微调模型针对同一多模态查询进行多次搜索尝试，根据每次搜索尝试的最终答案的正确性确定奖励值，并根据所述奖励值更新所述微调模型的策略参数，得到多模态搜索智能体。

10、第三方面，提供了一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述多模态搜索智能体构建方法的步骤。

11、第四方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述多模态搜索智能体构建方法的步骤。

12、上述多模态搜索智能体构建方法、装置、计算机设备及存储介质所实现的方案中，通过生成包含多模态问答任务的任务数据集，为模型提供了必要的训练基础；进一步地，利用教师模型生成的正确解题轨迹对基础模型进行监督微调，使模型获得长程工具调用的初始能力；进一步地，将微调模型部署至真实互联网环境，通过多次搜索尝试并基于答案正确性确定奖励值，以奖励值驱动策略参数更新，最终使模型能够在真实网络环境中自主执行多轮搜索、实时获取外部信息并完成复杂多模态任务。本发明克服了静态多模态模型无法自适应获取最新信息的局限，实现了智能体从被动应答到主动探索的质变，提升了复杂视觉-文本多步推理任务的准确性与可靠性。

1.一种多模态搜索智能体构建方法，其特征在于，包括：

2.根据权利要求1所述的多模态搜索智能体构建方法，其特征在于，所述生成包含多模态问答任务的任务数据集，包括：

3.根据权利要求2所述的多模态搜索智能体构建方法，其特征在于，所述对所述初始文本问题进行多轮实体隐藏与替换，生成目标文本问题，包括：

4.根据权利要求1所述的多模态搜索智能体构建方法，其特征在于，所述基于所述任务数据集，通过预设的教师模型生成正确解题轨迹，包括：

5.根据权利要求1所述的多模态搜索智能体构建方法，其特征在于，所述基于所述微调模型针对同一多模态查询进行多次搜索尝试，根据每次搜索尝试的最终答案的正确性确定奖励值，包括：

6.根据权利要求5所述的多模态搜索智能体构建方法，其特征在于，所述根据所述奖励值更新所述微调模型的策略参数，包括：

7.根据权利要求1所述的多模态搜索智能体构建方法，其特征在于，在得到所述多模态搜索智能体之后，所述方法还包括：

8.一种多模态搜索智能体构建装置，其特征在于，包括：

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述多模态搜索智能体构建方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述多模态搜索智能体构建方法的步骤。