一种基于多智能体与统计抽样质检的信息采集与验证方法与流程
本发明属于人工智能、机器学习,尤其涉及一种基于多智能体与统计抽样质检的信息采集与验证方法。
背景技术:
1、在产业信息研究、市场情报监测、政策法规跟踪及学术文献监测等信息密集型领域,研究人员需要每日从海量的互联网公开数据中,高频采集特定产业在多个维度的动态信息(如颠覆性技术发布、企业重要经营动态、相关政策法规等)。传统的采集方式高度依赖人工定向检索与筛选,存在效率低下、覆盖面有限且人力成本高昂等问题。
2、近年来,随着人工智能技术的飞速发展,大语言模型与人工智能体(ai agent)被引入到自动化信息检索与处理场景中。现有的技术方案通常采用多智能体(multi-agent)协同或角色分配的方式,将检索任务下发给不同的智能体并行执行,并通过语义向量相似度等算法对检索结果进行去重,从而生成汇总报告。
3、然而,在面对大规模、跨日高频增量的实际产业信息自动化采集场景时,现有的技术方案暴露出以下显著缺陷与局限性:
4、第一,多智能体并行执行搜索的质量不可控,缺乏低成本且系统的质量检验机制。在大规模并发搜索任务中,大模型驱动的智能体极易出现“偷工减料”等规避执行行为(如:直接跳过部分搜索任务、未实际搜索即批量标记为“无结果”,甚至编造不存在的数据)。目前,现有技术针对智能体生成内容的质量控制,要么采用100%全量人工或机器复核(计算与时间成本极高,无法规模化),要么完全依赖多智能体间的“投票一致性”(无法从根源上发现未执行搜索的偷懒行为),处于一种“非全即零”的极端状态。此外,一旦发现数据质量不合格,现有技术往往只能触发全局任务重跑,无法实现针对局部不合格任务的定向纠正。
5、第二,现有的多智能体调度架构鲁棒性差,难以应对大规模并发带来的上下文溢出与接口限流问题。现有的多智能体调度方案多采用单一的角色分配机制,未能区分不同智能体对上下文传递的差异化需求。这导致在复杂任务下发时,极易产生上下文信息冗余与溢出风险。同时,大规模并行的智能体在向外部搜索引擎或知识库发起请求时,极易触发api限流错误。现有的调度系统缺乏底层的限流恢复与并发控制机制,一旦某个节点遭遇限流,往往导致整个采集进程意外终止,任务容错率极低。
6、第三,跨日增量采集场景下的去重机制不精确,在时间跨度下难以区分“旧闻”与“新进展”。现有的信息去重方案通常依赖于文本的语义向量相似度,本质上属于一种“概率性去重”。在生成“产业日报”这种同一事件可能在不同日期被反复报道的场景下,单纯依靠语义相似度无法精确区分“昨日已报道的同一事件”与“今日更新的同一事件新进展”。这导致系统在跨日增量采集中,经常出现严重的数据误删(漏掉新进展)或漏删(重复播报旧闻)问题,缺乏一条具备绝对确定性的多级判定优先级链条。
7、第四,缺乏针对大语言模型“时间幻觉”的强制工程护栏。大语言模型在提取和总结信息时,普遍存在“时间漂移”与“时间幻觉”的固有缺陷(例如将去年的新闻识别为今日动态)。现有的自动化采集系统高度依赖模型自身的输出,缺乏在最终成果输出前的“强制性、硬编码”的时间一致性过滤网。这导致不符合时间窗口要求的过期数据或无日期数据经常混入最终的产业报告中,严重影响了情报的时效性与准确性。
8、综上所述,现有技术会导致基于多智能体与统计抽样质检的信息采集与验证的效率和准确率较低。
技术实现思路
1、本发明提供一种基于多智能体与统计抽样质检的信息采集与验证方法,可以提高基于多智能体与统计抽样质检的信息采集与验证的效率和准确率。
2、为实现上述目的,本发明提供的一种基于多智能体与统计抽样质检的信息采集与验证方法,包括:
3、利用全局调度智能体创建多个阶段调度智能体,所述阶段调度智能体接收启动指令与预设执行参数后,采用分批启动策略并行创建多个搜索执行智能体;
4、所述搜索执行智能体根据阶段调度智能体上下文的模式运行,并根据分配的搜索任务清单执行网络搜索,在网络搜索过程中执行限流恢复策略,并更新搜索任务清单的条目状态得到搜索产出结果;
5、所述阶段质检智能体接收搜索执行智能体的搜索产出结果,依次执行全量初检和统计抽样检查,其中全量初检基于预设文本异常规则扫描搜索任务清单,统计抽样检查基于预设抽样参数提取抽样样本并计算不合格加权总分;
6、当不合格加权总分大于或等于预设不合格阈值时,触发定向纠正机制终止对应的原搜索执行智能体,并创建新的搜索执行智能体;
7、全局质检智能体接收每个阶段质检智能体审核通过的报告数据,执行二次独立抽样复核,并对通过复核的数据依次执行基于多级判定优先级的跨日增量去重步骤以及日期强制一致性校验步骤,去重与校验完成后得到输出信息数据。
8、为了解决上述问题,本发明还提供一种基于多智能体与统计抽样质检的信息采集与验证装置,所述装置包括:
9、分层调度模块,用于利用全局调度智能体创建多个阶段调度智能体,所述阶段调度智能体接收启动指令与预设执行参数后,采用分批启动策略并行创建多个搜索执行智能体;所述搜索执行智能体根据阶段调度智能体上下文的模式运行,并根据分配的搜索任务清单执行网络搜索,在网络搜索过程中执行限流恢复策略,并更新搜索任务清单的条目状态得到搜索产出结果;
10、统计抽样质检模块,用于所述阶段质检智能体接收搜索执行智能体的搜索产出结果,依次执行全量初检和统计抽样检查,其中全量初检基于预设文本异常规则扫描搜索任务清单,统计抽样检查基于预设抽样参数提取抽样样本并计算不合格加权总分;当不合格加权总分大于或等于预设不合格阈值时,触发定向纠正机制终止对应的原搜索执行智能体,并创建新的搜索执行智能体;
11、去重校验模块,用于全局质检智能体接收每个阶段质检智能体审核通过的报告数据,执行二次独立抽样复核,并对通过复核的数据依次执行基于多级判定优先级的跨日增量去重步骤以及日期强制一致性校验步骤,去重与校验完成后得到输出信息数据。
12、为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:
13、至少一个处理器;以及,
14、与所述至少一个处理器通信连接的存储器;其中,
15、所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述所述的基于多智能体与统计抽样质检的信息采集与验证方法。
16、为了解决上述问题,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个计算机程序,所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的基于多智能体与统计抽样质检的信息采集与验证方法。
17、本发明通过利用全局调度智能体创建多个阶段调度智能体,所述阶段调度智能体接收启动指令与预设执行参数后,采用分批启动策略并行创建多个搜索执行智能体,通过多个阶段调度智能体可以避免全局上下文向下一层级传递,可以防止上下文污染;此外,所述搜索执行智能体根据阶段调度智能体上下文的模式运行,并根据分配的搜索任务清单执行网络搜索,在网络搜索过程中执行限流恢复策略,并更新搜索任务清单的条目状态得到搜索产出结果,可以实现智能体的休眠重试,防止整个上层调度进程崩溃,并结合任务清单条目状态的实时更新,可以保证执行过程的高可用性和高容错率;另外,所述阶段质检智能体接收搜索执行智能体的搜索产出结果,依次执行全量初检和统计抽样检查,其中全量初检基于预设文本异常规则扫描搜索任务清单,统计抽样检查基于预设抽样参数提取抽样样本并计算不合格加权总分,利用全量初检和统计抽样检查可以避免对每一条数据都进行昂贵的大模型深度复核,提升验证效率;再者,当不合格加权总分大于或等于预设不合格阈值时,触发定向纠正机制终止对应的原搜索执行智能体,并创建新的搜索执行智能体,可以及时发现数据质量不合格,实现局部定向纠正,降低了时间损耗;最后,全局质检智能体接收每个阶段质检智能体审核通过的报告数据,执行二次独立抽样复核,并对通过复核的数据依次执行基于多级判定优先级的跨日增量去重步骤以及日期强制一致性校验步骤,去重与校验完成后得到输出信息数据,可以保证输出信息数据的准确性,并且可以提高基于多智能体与统计抽样质检的信息采集与验证的效率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com