一种基于大模型的招投标文档标注方法、设备及介质与流程

摘要: 本申请涉及计算机,尤其涉及一种基于大模型的招投标文档标注方法、设备及介质。背景技术:1、招标投标是分配各类公共资源、公平挑选合作企业的重要规则,其交易活动贯穿招...
一种基于大模型的招投标文档标注方法、设备及介质与流程

本申请涉及计算机,尤其涉及一种基于大模型的招投标文档标注方法、设备及介质。

背景技术:

1、招标投标是分配各类公共资源、公平挑选合作企业的重要规则,其交易活动贯穿招、投、开、评、定及现场服务、监管等全过程。随着数字化交易平台的持续建设和“人工智能+”行动的深入推进,招标投标领域正加快推动人工智能在招标策划、文件编制与检测、投标服务、开评标辅助、定标决策、现场管理及协同监管等重点环节的应用,以提升交易效率、保障阳光交易、助力竞争择优并增强监管效能。然而实际落地过程中普遍面临依赖付费通用大模型所导致的成本高昂、数据安全风险突出、业务适配性不稳定等问题,行业更倾向于训练可自主掌控、本地化部署的专用小模型。但专用小模型训练高度依赖高质量标注数据,而招标投标涉及多类业务场景,其样本类型、标签体系和判定标准差异显著,所需样本量巨大,且领域专家,如评标专家、招标管理人员,因承担实际业务工作难以长期大规模参与人工标注,导致高质量训练数据供给严重不足,成为制约专用小模型研发与多场景规模化应用的核心技术瓶颈。

技术实现思路

1、为了解决上述问题,本申请提出了一种基于大模型的招投标文档标注方法,包括:获取招投标文档,对所述招投标文档进行预处理,并对预处理后的所述招投标文档进行解构,以得到多个文本数据块;确定预先设置的标注任务,根据所述标注任务确定所述文本数据块对应的自然语言指令;通过大语言模型对所述文本数据块和对应的所述自然语言指令进行处理,以对所述文本数据块进行标注,并得到结构化标注结果;将所述结构化标注结果与所述招投标文档进行关联,以形成带语义标签的招投标文档。

2、在一个示例中,对预处理后的所述招投标文档进行解构,以得到多个文本数据块,具体包括:按照预先设置的拆分指标对所述招投标文档进行拆分,以将长文档切分为多个可独立处理的文本片段,所述拆分指标包括章节、条款、评分项、业务规则;将所述文本片段转换为结构化文本块,其中,招标文件的结构化文本块包括块标识、所属章节、页码范围、文本内容、引用关系,投标文件的结构化文本块包括投标主体标识。

3、在一个示例中,确定预先设置的标注任务,根据所述标注任务确定所述文本数据块对应的自然语言指令,具体包括:确定所述招投标文档对应的应用场景,根据所述应用场景确定对应的场景类型和任务类型,所 述场景类型包括招标策划场景、招标文件检测场景、智能辅助评标场景、投标合规自查场景、围串标识别场景、投诉处理场景;根据所述任务类型确定所述文本数据块对应的标注任务类型,所述标注任务类型包括问答任务、分类任务、抽取任务、判定任务;根据所述场景类型和所述标注任务类型及所述文本数据块的语义类型,生成对应的自然语言指令,所述自然语言指令包括结构化提示词、待分析文本内容、领域分级规则。

4、在一个示例中,通过预先确定的大语言模型基于所述自然语言指令对所述文本数据块进行标注,以得到结构化标注结果,具体包括:将所述自然语言指令及对应的所述文本数据块输入至所述大语言模型,通过所述大语言模型进行语义处理,以生成标注结果,所述语义处理的步骤包括语义理解、要素抽取、规则匹配、样本生成;对所述标注结果进行格式校验和结构化转换,以得到符合预设数据模式的结构化标注结果,所述结构化标注结果包括标注标签、标注内容、置信度得分、标注依据的原文引用片段、推理依据。

5、在一个示例中,所述方法还包括:对所述带语义标签的招投标文档中的标注结果进行数据集清晰化治理,所述数据集清晰化治理的步骤包括去重处理、归一化处理、冲突消解处理、场景归属校验处理、标签一致性校验处理、低置信样本隔离处理;将经过清晰化治理的标注结果按照场景类型和任务类型进行分类存储,以形成可供小模型训练调用的训练数据集。

6、在一个示例中,所述方法还包括:通过预设的多维度质量评估机制对分类存储后的训练数据集进行自动化质量评估,所述多维度质量评估的机制包括任意一项或多项:规则校验、模型一致性核验、样本难度分层评估、场景覆盖度分析、抽样指标复核;根据所述自动化质量评估的评估结果对训练数据集中的样本进行筛选,以剔除不合格样本,保留适配模型训练的高价值样本。

7、在一个示例中,所述方法还包括:根据所述自动化质量评估的评估结果确定各样本的风险等级和场景重要性等级;根据所述风险等级和所述场景重要性等级从所述训练数据集中抽取样本,以对所述抽取样本进行审核;将审核通过的抽取样本纳入高质量训练数据集,并将审核不通过的抽取样本回流至样本池,以用于后续的再标注和再训练。

8、在一个示例中,所述方法还包括:基于所述高质量训练数据集对预设的小模型进行训练,以使所述小模型具备垂直业务能力,所述垂直业务能力包括问答能力、抽取能力、分类能力、判定能力;通过知识蒸馏将所述大语言模型中的领域推理能力和规则解释能力迁移至所述小模型;将蒸馏后的小模型部署至目标招投标业务场景,并收集模型输出结果、用户修订意见及业务反馈,以确定新样本回流数据;根据业务变化、规则更新及场景扩展情况,周期性执行智能标注、数据更新、人工审核、模型再训练及再蒸馏,以实现小模型能力的持续演进。

9、另一方面,本申请还提出了一种基于大模型的招投标文档标注设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述一种基于大模型的招投标文档标注设备能够执行:如上述示例中任意一项示例所述的方法。

10、另一方面,本申请还提出了一种非易失性计算机存储介质,存储有计算机可执行指令,所述计算机可执行指令设置为:如上述示例中任意一项示例所述的方法。

11、本申请通过结构化解构招投标文档并基于场景自适应生成自然语言指令,使大模型能够精准执行问答、分类、抽取、判定等多类型标注任务,大幅提升了标注的自动化程度和语义理解的准确性,显著缓解了传统人工标注效率低、成本高、标准不统一等痛点。方案进一步引入数据集清晰化治理与多维度自动化质量评估机制,结合风险等级和场景重要性进行差异化人工抽检,确保了训练数据的高质量与合规性,有效解决了单一模型自评失真及低质量样本污染模型的问题。在此基础上,通过知识蒸馏将大模型的推理能力高效迁移至专用小模型,既降低了推理成本和部署门槛,又保留了垂直领域的专业判别能力。最终,通过部署后的业务反馈回流和周期性迭代训练,实现了模型能力的持续演进和自适应优化,从而为招投标全流程的智能化应用提供了一套可工程化落地、可长期运维、兼具高性价比与高可靠性的技术路径。

1.一种基于大模型的招投标文档标注方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,对预处理后的所述招投标文档进行解构,以得到多个文本数据块,具体包括:

3.根据权利要求1所述的方法,其特征在于,确定预先设置的标注任务,根据所述标注任务确定所述文本数据块对应的自然语言指令,具体包括:

4.根据权利要求1所述的方法,其特征在于,通过预先确定的大语言模型基于所述自然语言指令对所述文本数据块进行标注,以得到结构化标注结果,具体包括:

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

7.根据权利要求6所述的方法,其特征在于,所述方法还包括:

8.根据权利要求7所述的方法,其特征在于,所述方法还包括:

9.一种基于大模型的招投标文档标注设备,其特征在于,包括:

10.一种非易失性计算机存储介质,存储有计算机可执行指令,其特征在于,所述计算机可执行指令设置为:如权利要求1-8中任意一项权利要求所述的方法。