一种基于任务配置和训练-推理双侧架构适配的政策领域模型全流程定制方法、系统、存储介质及设备
本发明涉及政策领域模型定制。具体地说是一种基于任务配置和训练-推理双侧架构适配的政策领域模型全流程定制方法、系统、存储介质及设备。
背景技术:
1、政策文本的机构、地区、政策工具、适用对象等实体结构化抽取,是政策智能解析、合规研判、智能问答等政务人工智能应用的核心基础。当前业内普遍采用原文字符区间方式完成政策实体标注,再将标注数据转换为适配token分类、span分类及token+span联合模型的监督数据,实现命名实体识别模型训练。
2、现有技术已公开序列与span联合学习、多源标注聚合、标注版本管理、模型制品校验及ner主动学习等技术方案,能够实现基础标注处理与模型训练优化。但在政策垂域模型全流程定制场景中,仍存在诸多技术缺陷。
3、首先,多标注者、多批次外部标注产生的标签差异、边界偏移与漏标问题,仅依靠统计展示、人工裁决或简单投票处理,缺乏标准化的冲突候选生成与来源追溯机制,标注治理规范性不足。其次,现有技术未设置标注数据动态有效性校验机制,源标注更新后,过期的裁决与合并结果易流入训练样本,导致相同任务配置产生差异化训练输入,模型训练不可复现。
4、同时,传统方案无法实现标注版本与训练快照的精准适配,难以保证模型消费治理后的统一格式标注数据。且字符标注向多模型监督表示转换过程缺乏确定性约束,易出现token、字符坐标错位问题。此外,训练配置、模型架构、标签映射与推理解码逻辑独立维护,极易引发训练与推理失配,多模型分支输出也无法实现统一字符坐标融合,叠加主动学习链路缺乏审计约束,极大降低了政策领域模型定制的稳定性与可靠性,难以满足高精度、可复现、可管控的政策实体识别落地需求。
5、因此,亟需提供一种基于任务配置和训练-推理双侧架构适配的政策领域模型全流程定制方法、系统、存储介质及设备,以解决多源标注不可复核、训练-推理失配、异构模型难以统一评估、反馈链路不可控等问题。
技术实现思路
1、为此,本发明所要解决的技术问题在于提供一种基于任务配置和训练-推理双侧架构适配的政策领域模型全流程定制方法、系统、存储介质及设备,通过运行规范编译、源标注集合指纹动态校验、独立合并版本隔离标注变更、统一偏移映射下双分支监督信号生成、共享编码器联合训练、运行时契约约束制品、原文字符坐标映射回投确定性融合、显式请求驱动的主动学习迭代闭环,实现政策领域实体模型全流程定制,解决多源标注不可复核、训练-推理失配、异构模型难以统一评估、反馈链路不可控等问题,提升整套模型定制流程的稳定性、可复现性与安全性。
2、为解决上述技术问题,本发明提供如下技术方案:
3、一种基于任务配置和训练-推理双侧架构适配的政策领域模型全流程定制方法,包括如下步骤:
4、步骤p1、获取任务配置、标签快照和分词器信息,并将所属任务配置、标签快照和分词器信息编译为统一的训练运行规范;
5、步骤p2、采集多来源字符区间标注数据,统一计算多标注一致性指标,对相交实体区间聚类生成冲突候选集合并基于多源标注关键字段生成源标注集合指纹;
6、步骤p3、在数据合并与裁决环节动态校验源标注集合指纹,阻断过期标注结果,依据策略合并或人工裁决生成独立合并版本;
7、步骤p4、训练快照定向读取独立合并版本以隔离原始标注变动干扰,并在统一字符偏移映射下生成bio与span双重监督信号;
8、步骤p5、采用共享编码器同步训练token序列分支与span预测分支,通过联合损失优化模型,训练后将训练与推理约束固化为模型运行时契约并完成制品校验;
9、步骤p6、依据运行时契约自适应解码,将双分支结果统一映射回原文字符坐标,执行实体确定性融合并生成统一置信特征,完成实体筛选与不确定性评估;
10、步骤p7、基于置信特征开展主动学习样本筛选,人工校验更新标注并留存审计信息,所有迭代操作均由显式请求触发,构建可复核的模型持续迭代闭环。
11、上述一种基于任务配置和训练-推理双侧架构适配的政策领域模型全流程定制方法,步骤p1的具体过程为:
12、获取机器可执行任务配置、标签快照和支持字符偏移映射的分词器信息,校验基础模型能力、架构类型、解码方式与参数组合,将一次训练实际使用的架构、转换参数、数据选择和训练参数编译为运行规范;统一后的规范化实体表示为:
13、
14、式(1)中,e表示规范化实体;d表示文档标识;s表示实体在原始文本中的字符起点;t表示实体在原始文本中的字符终点;l表示实体标签;
15、对span或联合架构,以最大输入序列长度作为有效token数的保守上界,分别估算单记录候选数和单批候选数;任一估计值超过对应上限即阻断配置。
16、上述一种基于任务配置和训练-推理双侧架构适配的政策领域模型全流程定制方法,步骤p2中,多来源字符区间标注数据为按标注者标识区分的多来源字符区间标注数据,采集按标注者标识区分的多来源字符区间标注数据时,保留标注标识、文档标识、标签标识、字符起点、字符终点、标注者标识和更新时间;源标注集合指纹表示为:
17、
18、式(2)中,i表示标注标识,d表示文档标识,l表示标签标识,s表示字符起点,t表示字符终点,a表示标注者标识,u表示更新时间,c表示置信度,hs表示参与某一致性报告的源标注集合指纹;
19、步骤p2的具体过程为:
20、针对所选标注者计算标注文档集合相似度、边界相似度、共享边界标签一致率、cohen kappa和fleiss kappa;按文档对不同标注者的相交实体形成连通聚类,再按精确文档、起点、终点和标签形成候选,每位标注者对同一候选最多计一票;冲突依次判定为标签冲突、边界冲突和缺失标注。
21、上述一种基于任务配置和训练-推理双侧架构适配的政策领域模型全流程定制方法,步骤p3的具体过程为:
22、在读取标注一致性报告、执行标注裁决或执行标注合并的任一操作触发时,重新计算当前源标注的源标注集合指纹,当指纹发生变化时判定对应历史报告失效并阻断其继续参与合并与训练流程;当指纹未发生变化时,生成独立可固化的合并标注版本;生成独立可固化的合并标注版本的方式包括完全一致合并策略、多数投票合并策略、宽松边界合并策略以及人工复核裁决策略,前三种无人工参与的自动策略可生成独立合并版本;标注质量综合得分表示为:
23、
24、式(3)中,aqs表示标注质量综合得分;针对同一文档,全部标注者所形成的全部二人配对组合对应的全文标注片段sha-1集合的jaccard指数的算术平均值,取;表示针对同一文档,全部标注者所形成的全部二人配对组合对应的字符起止边界集合的jaccard指数的算术平均值,取,当两个参与比较的集合均为空时,所述jaccard相似度取1;为全部标注者所形成的全部二人配对组合,在共享边界上的标签一致率的算术平均值,取;当某一配对组合对应的区域之间不存在共享边界时,若该配对组合内的两名标注者均未进行标注,则将该配对组合的指标取值置为1;表示所有标注者对cohen kappa的平均;表示全体所选标注者的fleiss kappa;其中,的计算口径为:针对中每一标注者,选取相应标注者至少提交过一条标注的文档,把每一文档的全文计算sha-1后形成集合,再对所有无序标注者对的两个集合计算jaccard相似度,并取算术平均值,表示同一次一致性计算所选标注者集合;当不存在标注者对时,、、和均采用默认值1,当所选标注者少于两个时,同样取1;
25、执行合并计票时,对同一计票分组内同一标注者产生的多条标注记录,仅选取置信度最高的一条作为该标注者的唯一有效投票;若置信度相同,则优先保留先到达的记录;
26、生成的独立合并版本固化保存标签信息、实体字符边界、来源标注标识、合并策略信息及裁决信息,所述独立合并版本为独立生成的数据副本,与原始多来源标注数据相互独立存储。
27、上述一种基于任务配置和训练-推理双侧架构适配的政策领域模型全流程定制方法,步骤p4中,所述训练快照生成器读取数据版本时,识别数据版本的来源标记;当来源标记带有预设前缀时,读取该版本对应的合并标注及历史标签信息,基于该版本数据开展快照构建;
28、构建训练快照时,针对联合架构,复用同一分词结果、同一重叠滑动窗口以及同一字符偏移映射关系,同步生成bio序列监督信号与span预测监督信号;针对纯token架构或纯span架构,分别生成相适配的单一形式监督信号;
29、生成span正例的过程包括:当规范化实体完整落入当前滑动窗口内,选取与该实体字符区间相交的首个有效token与末个有效token,在该滑动窗口内确定一个span正例;同一源实体被多个重叠滑动窗口完整覆盖时,各滑动窗口分别生成对应的span正例;系统记录各源实体的正例生成状态,使得每一个源实体均能够在至少一个滑动窗口内完成完整生成;
30、构建训练快照过程中,当存在源实体未完成完整生成,或者实体超出最大span长度阈值时,终止当前训练快照的生成流程;
31、执行候选数量校验包括配置阶段校验以及推理阶段校验;配置阶段以模型最大输入序列长度作为有效token数的保守上界,估算单记录候选数量与单批次候选数量,并分别与对应的第一阈值、第二阈值比对;推理阶段基于窗口内实际有效token数,对单记录候选数量执行再次校验;其中,所述第一阈值为65536,所述第二阈值为131072;训练表示投影为:
32、
33、式(4)中,文档d的原始文本;表示文档d的规范化实体集合;表示支持字符偏移映射的分词器;表示架构a及其训练表示转换参数;表示架构a的训练表示投影;表示架构a所需训练监督;表示架构a在训练表示投影阶段生成的滑窗、token与字符偏移对应信息;
34、对一个含n个有效token、最大span长度为m的窗口:
35、
36、式(5)中,表示当前滑窗可枚举的span候选数;n表示一个滑窗中的有效token数;m表示最大span token长度;q表示n与m的较小值;在时由得到;当时枚举长度从1到q,不会生成负数或越过窗口末端;由于实际有效token数满足,配置校验以作保守估计,并同时要求以及;推理阶段再以实际n检查单记录上限;正例仅由单个完整窗口内首末有效token确定,多个重叠完整窗口可以分别生成,但每个源实体必须至少完整生成一次。
37、上述一种基于任务配置和训练-推理双侧架构适配的政策领域模型全流程定制方法,步骤p5中,依据训练运行规范选定基础模型,通过共享编码器对数据批次执行单次前向计算,使token任务组件与span任务组件复用同一上下文表征;其中token分支采用交叉熵或带bio约束的crf条件负对数似然损失,span分支采用候选分类交叉熵损失,两支损失通过正向权重归一化融合形成联合损失,并基于联合损失同步迭代更新共享编码器与各任务组件参数;正权重归一化联合损失表示为:
38、 (6)
39、式(6)中,表示 token+span 联合总损失;表示token分支损失;表示span分支损失;表示token分支损失权重且;表示span分支损失权重且;
40、模型训练采用分阶段策略,依次执行仅训练任务组件、解冻编码器末端指定网络层、完全解冻编码器的三阶段训练流程;每进入下一训练阶段时,根据当前可训练参数范围重新初始化优化器与学习率调度器;仅在编码器完全解冻阶段累计评估未改善次数并执行早停策略;
41、超参候选在单一gpu环境下顺序执行训练,通过运行效果比对持续更新全局最优模型候选;仅通过离线加载校验、标签映射校验及最佳权重摘要校验的模型候选,被晋升并登记为正式模型;
42、训练完成后保存编码器、分词器、双任务组件及标签映射信息,并绑定模型运行时契约,所述模型运行时契约包含架构类型、最大输入序列长度、最大span长度、解码方式、预测阈值及分支损失权重;推理过程依据模型运行时契约中的架构字段自适应匹配预置的窗口重叠规则与实体融合规则,完成推理逻辑适配;
43、模型登记入库前,基于对应架构执行离线重载校验,核对标签快照一致性与最佳权重摘要完整性,完成模型制品合规核验。
44、上述一种基于任务配置和训练-推理双侧架构适配的政策领域模型全流程定制方法,步骤p6中,推理阶段依据运行时契约分别加载token分支解码逻辑与span分支解码逻辑,并根据契约架构字段匹配预置窗口重叠量,重新执行分词处理并构建推理窗口偏移映射;其中token+softmax架构依据类别得分与bio序列生成实体结果,token+crf架构基于满足bio约束的viterbi解码路径输出实体结果并依托边缘概率构建置信特征,span架构通过候选区间分类筛选得到实体结果;各分支均基于当前推理生成的窗口偏移映射,将窗口内预测结果统一映射至原始文本字符坐标;推理结果归一化表示为:
45、
46、式(7)中,表示架构a的推理结果归一化映射;表示架构a的特有模型输出;表示架构a在推理阶段按预置窗口规则重新生成的 token 与字符偏移对应信息;表示与架构a模型制品关联的运行时契约;表示文档d的统一字符区间实体集合;表示架构a的统一不确定性特征;
47、对字符起点、字符终点及实体标签完全匹配的双分支实体,计算得到确定性融合得分,并将该融合得分赋值为对应融合实体的置信度;其余实体候选保留各自分支来源与对应分支得分;完全一致实体的确定性融合得分表示为:
48、
49、token与span分支实体在字符起点、字符终点和标签上完全一致时才使用式(8),其中,表示完全一致双分支实体的确定性融合得分;写入融合实体 confidence,取;表示完全一致实体的token分支输出得分,取;表示完全一致实体的span分支输出得分,取;写入该融合实体的confidence,用于实体候选及重叠冲突的确定性排序;入选融合实体的 还进入运行时mean_confidence和min_confidence,并由低置信度策略通过式(9)的参与文档排序;低置信度表示为:
50、
51、式(9)中,表示低置信度评分,取;表示运行时输出的mean_confidence;联合路径有最终实体时为实体confidence均值,纯架构多窗口时按有效token数聚合窗口特征,无可用得分时取 0;
52、对所有实体候选按照分支一致性优先级、实体置信度降序、实体区间长度升序、字符起始位置升序及标签预设顺序进行多维度排序,逐次筛选出与已选定实体无区间重叠的实体,形成最终有序实体集合;
53、将token分支softmax概率、crf边缘概率、span候选概率以及双分支联合融合特征,统一转换为统一格式的实体置信特征、类别间隔特征、边界竞争度特征与实体密度特征;标签竞争表示为:
54、
55、式(10)中,表示标签竞争评分,取;表示同一token分支得分张量输出位置或span候选的第一类别得分;表示同一token分支得分张量输出位置或span候选的第二类别得分;当无可用token输出位置或span候选时,式(10)中的平均间隔按0处理,;表示的算术平均运算,即对当前推理窗口内参与计算的各token分支得分张量输出位置或各span候选,分别计算其第一类别得分与第二高类别得分之差,再对所得差值取算术平均值;
56、针对token+span 联合推理路径,完成跨窗口全局融合且存在有效最终实体集合时,基于最终实体置信度计算得到均值置信度与最小值置信度,其中完全一致融合实体采用确定性融合得分参与计算;未生成有效最终实体集合时,调用对应架构适配的有效得分源进行特征填充,无有效得分源时将均值置信度与最小值置信度置零;
57、纯token架构或纯span架构的多窗口推理路径,依据各窗口内有效token数量对单窗口置信特征进行加权聚合,得到全局统一格式的置信特征;
58、基于统一格式的置信特征执行候选文档排序,支持低置信度、边界不确定性、标签竞争、实体密度及多模型实体分歧多种排序策略;其中多模型实体分歧比对仅在不同模型的标签名称集合一致时执行,依据选定策略输出有序候选文档列表;
59、步骤p7的具体过程为:
60、接收人工确认或者人工修改的操作指令,执行标签有效性校验、字符边界范围校验以及实体文本与文档原文切片一致性校验;在校验完成之后,将处理结果写入普通标注集合,留存操作者信息与变更内容的审计记录,并通过标注标识字段建立主动学习条目与新增标注之间的关联对应关系;标注写入完成后保持当前状态,标注质量治理、数据版本生成、训练快照生成与模型训练均接收独立的显式触发请求才得以执行;多模型实体集合分歧评分表示为:
61、
62、式(11)中,表示多模型实体集合分歧评分;k表示参与分歧计算且标签名称集合相同的模型数量,k≥2且k为整数;g、h为参与分歧计算的模型索引;表示g个模型对文档 d的统一实体集合。
63、一种基于上述全流程定制方法的政策领域模型全流程定制系统,包括:
64、任务配置与运行规范编译模块,用于整合领域语义、模型架构及训练任务配置,结合标签快照与分词器信息编译生成单次训练对应的运行规范,约束训练表征方式、架构组件、损失函数及参数空间;
65、多来源标注治理模块,用于接收带标注者标识的多源字符区间标注,计算标注一致性指标,对跨标注者相交实体进行聚类生成稳定候选集合,并留存候选投票信息、来源标注及标注者关联关系;
66、源标注集合指纹校验模块,用于基于源标注的标注标识、文档标识、标签标识、字符起点、字符终点、标注者标识和更新时间生成确定性摘要值,在报告读取、裁决操作及合并执行前动态重算该摘要值并完成有效性校验;
67、合并版本模块,用于通过多种合并策略或人工裁决生成合并标注数据,构建独立的数据版本并对重复计算请求进行版本复用;
68、训练快照与训练侧架架构适配模块,用于依据数据版本来源标记分流读取标注数据,构建不可变训练快照,并结合架构类型生成匹配的监督表征与字符偏移映射,同时完成候选数量前置阈值校验;
69、共享编码联合训练模块,用于基于共享编码器实现token任务与span任务的双分支联合训练,通过归一化联合损失更新模型参数,并兼容单分支训练适配模式;
70、制品契约与校验模块,用于将训练超参、架构属性、解码规则与权重信息固化为绑定模型制品的运行时契约,并在模型登记前执行多维度合规校验;
71、推理侧架构适配模块,用于依据运行时契约匹配对应解码路径与推理窗口规则,将窗口内预测结果统一映射回原始文本字符坐标,生成统一格式的实体集合与不确定性特征;
72、确定性融合与评估模块,用于对双分支一致实体计算融合置信度,按固定排序规则筛选非重叠实体,并根据架构类型差异化聚合全局置信特征,支撑模型评估与样本排序;
73、主动学习与反馈模块,用于基于多类不确定性策略筛选并排序候选文档,将人工校验后的标注结果入库留存审计溯源信息,并建立主动学习条目与新增标注的关联映射。
74、一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述政策领域模型全流程定制方法。
75、一种计算机设备,包括可读存储介质、处理器以及存储在可读存储介质上并可在处理器上运行的计算机程序,所述计算机程序被处理器执行时实现上述政策领域模型全流程定制方法
76、本发明的技术方案取得了如下有益的技术效果:
77、本发明实现了协作标注治理结果可复核,为模型训练提供可靠确定输入。本发明并非仅输出标注一致性统计结果或者简单投票运算,而是将不同标注者的相交标注转换为携带来源关联关系的冲突候选;借助源标注集合指纹,在源标注发生变更时动态拦截失效旧报告对裁决、合并流程的调用,再通过独立的合并版本模块输出确定字符区间实体数据,向训练快照提供可追溯、可复核的标准化训练输入,解决传统多源标注方案中间结果不可溯源、旧报告污染后续处理流程的问题。
78、本发明实现了源标注变更与已生成训练版本之间相互隔离,保障了训练输入稳定性。合并处理与人工裁决得到的结果不会改写原始普通标注数据;训练快照依据版本来源前缀定向读取指定版本的合并标注与历史标签信息,普通标注后续发生修改不会无意改动已经固化的训练输入数据,保障历史实验、模型复现时训练数据集不受后期标注入库操作的干扰,提升实验复现性。
79、本发明保障了同一字符坐标下双重监督信号的一致性。bio监督分支与span监督分支复用同一套分词结果、推理滑窗配置以及字符偏移映射关系;span正例仅在实体完整落入窗口的条件下依据首尾有效token确定,并且通过完整正例生成校验机制,规避训练中正例样本静默丢失的风险,保证双分支监督针对同一原始文本字符坐标输出对齐的监督信号,减少分支之间的监督噪声。
80、本发明降低了联合模型架构的编码计算开销。token任务组件与span任务组件共享编码器单次前向计算得到的上下文表征,基于正权重归一化后的联合损失同步更新共享编码器以及任务组件参数,不需要维护两套完全独立的编码网络,在实现双分支联合建模能力的同时,减少参数量,降低训练阶段算力消耗,提升训练效率。
81、本发明规避了训练-推理阶段架构、超参、解码逻辑失配问题。训练阶段通过运行规范约束模型架构组件选型、损失函数类型以及合法参数空间;训练完成的模型制品绑定运行时契约,对架构类型、标签映射、最大输入序列长度、最大span长度、解码方式、预测阈值、分支损失权重进行约束;推理阶段依据契约内部架构字段自适应调用预置窗口重叠规则与实体融合规则;结合离线重载校验、标签快照校验共同拦截不兼容的模型制品入库登记,从训练、制品保存、推理、入库多个环节避免架构-解码-参数不匹配引发的推理异常。
82、本发明支持异构模型输出结果的统一比对评估。softmax、bio-crf、span以及联合架构产生的预测结果,全部映射回原始文档字符坐标形成统一格式的实体集合;实体级指标计算、多模型之间实体分歧度量、主动学习样本排序均在统一字符坐标系下开展,打破不同模型输出格式不兼容的壁垒,实现异构模型之间可横向对比的评估与样本筛选。
83、本发明实现了联合路径融合结果与置信特征的确定性、可复现计算。对于双分支完全匹配的实体采用固定规则计算确定性融合得分并赋值给融合实体置信度;全部实体候选依据预设多维度排序键完成非重叠实体筛选;token+span联合路径在存在有效输出实体集合时,基于入选实体置信度计算得到均值置信度与最小值置信度,支撑可复核的低置信度文档排序;该融合得分不依赖分支统计独立的先验假设;纯token或纯span架构的多窗口推理路径,按照窗口有效token数量对窗口置信特征做加权聚合,整套融合与置信聚合逻辑确定可控,保证预测结果、置信特征、样本排序结果可复现。
84、本发明实现了主动学习反馈闭环的人工可控边界。人工确认或者修改得到的标注,经过标签有效性、字符边界、实体文本-原文切片一致性多重校验之后写入普通标注集合,同步留存操作审计记录并建立主动学习条目和新增标注的关联关系;标注写入之后不会自动触发标注质量治理、数据版本生成、训练快照构建以及模型训练,上述操作均需要接收用户显式请求才执行,避免人工标注反馈被无意自动触发为后台模型更新,提升标注反馈链路的安全性与可控性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com