基于DDPG的文本关系图动态优化控制方法及系统
本发明属于自然语言处理与深度学习的交叉研究范畴,具体涉及一种以深度确定性策略梯度(deepdeterministicpolicygradient,ddpg)为核心的文本关系图动态优化控制方法及配套系统。
背景技术:
1、文本分类和多标签预测是自然语言处理中的常见任务。以bert为代表的预训练语言模型,由于具有捕获上下文语义信息的能力,已经被广泛用于各类文本理解任务。
2、但这类预训练语言模型也存在不足。例如,其对词语之间结构化关系的显式建模能力相对有限,训练和推理成本较高,在知识表达稳定性、逻辑推理能力、泛化表现及可解释性方面也仍有改进空间。图卷积网络(gcn)将文本转化为图结构后进行信息传递,对局部结构信息和长程依赖关系具有补充作用。因此,bert与gcn结合的混合架构逐渐被用于文本分类等任务,并取得了一定效果。
3、然而现有bert加gcn方案仍有几方面限制。第一,图结构通常在预处理阶段静态构建,形式多为固定图、双图或标签图,输入文本发生变化时,图拓扑难以及时适配。第二,推理流程缺少弹性控制,不同复杂度的文本往往使用相同的gcn层数和图参数,容易产生冗余计算。第三,文本关系图调整和推理流程控制多为分离设计,二者之间缺少协同优化。第四,在多标签场景下,固定分类阈值和简单排序策略难以同时兼顾标签层级约束、错误代价、预测精度和计算成本。
技术实现思路
1、为实现上述目标,本发明提供一种基于ddpg的文本关系图动态优化控制方法,其主要步骤如下:
2、步骤s1:对输入文本序列做分词与编码处理,得到对应的词元序列与注意力掩码。
3、步骤s2:将词元序列送入预训练bert编码器,得到具有上下文感知能力的词元级隐层表示矩阵与句子级汇聚向量。
4、步骤s3:依据文本语义关联、词共现关系或句法依存关系实现动态文本关系图的初始化,动态文本关系图包含节点特征向量、初始边连接关系,以及初始边权、稀疏阈值、邻居采样率、子图扩展跳数和子图预算等图结构参数,针对图结构无法动态适配文本特征的问题,本步骤采用ddpg连续控制策略替代传统的静态图构建方案。
5、步骤s4:搭建以ddpg为核心的连续动作优化网络,网络由actor策略网络和critic价值网络共同构成,状态输入包含文本特征、文本关系图结构复杂度、模型推理置信度和计算资源消耗状态,动作空间输出包含三大类参数,分别为文本关系图结构调整参数、gcn推理控制参数和多标签决策参数,文本关系图结构调整参数包含边权调整系数、邻居采样率、稀疏阈值、子图扩展跳数与子图预算,gcn推理控制参数包含推理层深度选择、推理路径切换指令和提前退出决策阈值,多标签决策参数包含标签分类阈值、候选裁剪比例和预测优先级顺序,所有动作参数都会被映射到[0,1]区间内的连续实数值,不包含离散分类或二值决策,标签预测优先级顺序通过对标签分类分数做连续加权排序实现,推理路径切换指令以[0,1]内的连续实数表示切换倾向,再由系统设定的阈值映射为实际可执行的路径选择。
6、步骤s5:以bert隐层表示矩阵作为节点特征,经过多层边类型感知图卷积网络实现图结构信息传播,每层图卷积对不同类型边使用独立权重矩阵实现信息聚合后做加权求和,同时包含残差连接和层归一化,图卷积过程中会实时接收ddpg网络的动作参数,以此动态调整文本关系图结构。
7、步骤s6:通过可学习注意力机制对图卷积输出做加权池化,得到序列级图特征向量。
8、步骤s7:将图特征向量和bert句子级汇聚向量实现拼接融合,经过多层全连接分类头输出类别预测或多标签预测结果。
9、步骤s8:推理阶段执行自适应计算与文本关系图动态控制操作,ddpg连续动作控制网络实时感知当前文本关系图状态与计算资源的使用状态,同时输出连续动作参数,实现文本关系图边权分布、邻居采样范围、稀疏化程度、子图扩展跳数与预算分配的动态调整,与此同时还能依据当前推理置信度与文本复杂度,实现gcn推理层调用深度、推理路径切换时机与推理流程提前退出决策的有效控制。
10、步骤s9:针对多标签长文本场景,执行标签连续决策控制,ddpg连续动作控制网络输出连续型标签分类阈值、候选标签裁剪比例与标签预测优先级顺序,并将标签错标代价、标签层级约束条件、分类精度、推理时延、显存占用和功耗共同纳入奖励函数,对整个标签决策过程进行联合优化。
11、步骤s10:训练阶段实现奖励反馈与策略网络迭代更新,基于步骤s8与步骤s9执行后的文本关系图分类精度、计算资源消耗、标签预测准确率、错标代价及层级约束满足度,计算综合奖励值,将综合奖励值输入critic价值网络,通过反向传播更新actor策略网络和critic价值网络参数,构成文本关系图结构优化、推理流程控制和标签决策优化协同的闭环自适应控制体系,上述奖励反馈与参数更新仅在训练阶段有效,推理阶段ddpg网络只执行动作输出,不进行任何参数更新。
12、此外,本发明还提供一种基于ddpg的文本关系图动态优化控制系统,用于实现上述方法。该系统包括文本编码模块、bert表示模块、动态文本关系图构建模块、ddpg连续控制模块、边类型感知图卷积模块、注意力池化模块、特征融合分类模块、推理自适应控制模块、标签连续优化模块和奖励计算模块。
13、本发明的有益效果为:
14、1、文本关系图结构进行连续调节。采用ddpg后,系统根据文本特性调整图拓扑、边权分布和邻居采样策略,缓解传统静态图难以适配不同输入的问题,使文本关系图配置更贴近实际文本特征。
15、2、推理计算流程按状态进行调整。ddpg连续动作控制网络可结合推理置信度和资源使用情况,调节gcn推理层深度、模型路径和提前退出阈值,在保持分类效果的同时减少推理时延、显存占用和设备功耗。
16、3、文本关系图结构和推理流程实现在同一奖励框架下协同优化。通过综合奖励函数,将图结构调整、推理流程控制和标签决策纳入统一的ddpg框架,降低各模块相互割裂带来的性能损失。
17、4、多标签场景下的决策方式更加灵活。ddpg可输出连续的标签分类阈值、候选标签筛选比例和标签预测顺序,从而在标签错误代价、层级约束和计算成本之间进行更细致的权衡。
1.一种基于深度确定性策略梯度(ddpg)的文本关系图动态优化控制方法,其特征在于,所述方法包括如下步骤:
2.根据权利要求1所述的方法,其特征在于,步骤s8还包括推理阶段的自适应计算与文本关系图动态控制机制,ddpg连续动作控制网络持续感知当前运行状态,实时输出动作参数以调整文本关系图结构,并依据推理置信度与文本复杂度,动态控制gcn推理深度、推理路径切换时机与推理流程的提前退出决策。
3.根据权利要求1所述的方法,其特征在于,步骤s9还包括多标签场景下的连续决策控制方法,ddpg连续动作控制网络输出连续型标签分类阈值、候选标签裁剪比例与标签预测优先级顺序,将标签错标代价、标签层级约束条件、分类精度、推理时延、显存占用和功耗共同纳入奖励函数,对标签决策过程进行联合优化。
4.根据权利要求1所述的方法,其特征在于,步骤s10还包括训练阶段实现奖励反馈与策略网络的迭代更新,依据步骤s8与步骤s9中控制动作执行后的综合指标计算奖励数值,通过反向传播更新actor与critic网络参数,构建文本关系图结构优化、推理流程控制和标签决策优化协同的闭环自适应控制体系。
5.根据权利要求1所述的方法,其特征在于,步骤s3中的动态文本关系图属于bert与gcn融合架构下的文本语义图,节点对应文本的词级、句级或段落级特征向量,边权初始值选取节点间语义相似度或注意力权重,这类动态文本关系图不局限于固定图、双图或标签图,可依据ddpg输出的动作参数对图结构进行实时调整,初始化过程中还可结合中文句法分析器提取的依存关系三元组构建句法依存边,同时保留滑动窗口邻近边作为局部上下文的补充,并为两类边分配不同的可学习边权重。
6.根据权利要求1所述的方法,其特征在于,步骤s4的状态输入还包含已处理文本长度占比、当前gcn推理层数(gcn的具体层数范围在3-6层)、已消耗显存比例、已占用推理时长、标签层级约束满足度,连续动作空间的具体参数包括文本关系图边权调整系数、邻居采样率 、稀疏阈值、子图扩展跳数、子图预算、标签分类阈值、候选标签裁剪比例、标签预测优先级顺序、gcn推理层深度、推理路径切换指令、推理提前退出决策阈值,其中通过对标签分类分数做连续加权排序实现,以连续实数权重替代离散排列方式,以[0,1]内的连续实数表示路径切换倾向,由系统设定的阈值映射为实际可执行的路径选择结果。
7.根据权利要求1所述的方法,其特征在于,步骤s5中边类型感知图卷积网络每一层的运算方式为,针对不同类型的边分别使用独立的可学习参数矩阵,将各类边传递的邻居信息单独聚合后再做加权求和,叠加当前层自身特征作为残差结构,经过层归一化后得到下一层节点特征,每层输出后通过gelu激活函数实现非线性变换,输入与输出维度相同时可直接执行残差相加,以此保证特征传播的稳定性。
8.根据权利要求1所述的方法,其特征在于,步骤s6中注意力加权池化的具体方式为,先通过两个可学习参数矩阵对每个词元的隐层表示进行打分,具体公式为,得到当前词元的重要性分数,再对填充位置赋予极大负值,确保其经过softmax归一化后权重趋近于零,对所有有效词元的分数做softmax归一化处理,得到各词元对应的注意力权重,最后将各词元特征按权重实现加权求和,得到整个序列对应的图特征向量。
9.根据权利要求1所述的方法,其特征在于,步骤s7中的分类头由三段线性变换层依次堆叠构成,第一段将拼接后的融合特征做升维处理,依次经过批归一化、gelu激活与dropout正则化后实现输出,第二段进一步压缩至中间维度,经过gelu激活与dropout正则化后输出,第三段将中间维度映射至类别数或标签数,输出的分类预测分数或标签预测分数。
10.根据权利要求1所述的方法,其特征在于,步骤s8中推理阶段的自适应计算与文本关系图动态控制分为两种情形,当文本复杂度超出预设阈值且模型推理置信度低于预设阈值时,ddpg连续动作控制网络输出增大邻居采样率、降低稀疏阈值、扩展子图跳数与增加子图预算的动作参数,增强文本关系图的特征提取能力,同时启用深层大参数量gcn以保证推理精度;当文本复杂度低于预设阈值且模型推理置信度高于预设阈值时,ddpg连续动作控制网络输出减小邻居采样率、提高稀疏阈值、缩减子图预算的动作参数,并依据退出阈值判断是否提前终止推理,转而启用浅层小参数量gcn实现快速推理。
11.根据权利要求1所述的方法,其特征在于,步骤s9中多标签长文本场景下的标签图连续决策控制方式为,ddpg连续动作控制网络输出连续型标签分类阈值,用于动态筛选达到标准的候选标签,输出候选标签裁剪比例,控制候选标签数量以降低计算成本,输出标签预测优先级顺序,按优先级依次给出预测结果,对具有层级关系的标签施加层级约束违反惩罚,将错标代价权重、层级约束违反惩罚值、推理精度增益值、推理时延降低值、显存占用降低值、功耗降低值做加权组合,构成奖励函数中的核心奖励项。
12.根据权利要求1所述的方法,其特征在于,步骤s10中综合奖励函数的表达式如下:,其中为归一化分类精度,为归一化推理时延,为归一化显存占用,为平衡系数,该函数可在保证精度的同时,实现计算成本的联合优化。
13.根据权利要求1所述的方法,其特征在于,步骤s10中ddpg连续动作控制网络的训练机制具体为,通过经验回放缓冲区保存历史交互的四元组数据,内容包含状态、动作、奖励与下一状态,每轮训练会从缓冲区中随机抽取小批量样本实现参数更新,actor网络与critic网络分别设置在线网络与目标网络,一共形成四个网络副本,目标网络采用软更新策略实现参数同步,模型在探索阶段会对动作输出叠加ornstein-uhlenbeck噪声,以此保证足够的探索范围,ddpg图超参数控制与动态标签决策控制分别使用相互独立的经验回放缓冲区与目标网络,两套子系统的actor及critic网络均采用adam优化器实现参数更新。
14.根据权利要求1所述的方法,其特征在于,步骤s3中可在句法依存边与滑动窗口边的基础上进一步引入外部中文知识图谱语义关系边,构成三通道异构图,具体实现方式为,构建知识图谱语义边时,对词元序列中的每个词元,检索外部中文知识图谱中与之对应的概念实体,提取任意两词元对应实体间存在的语义关系,涵盖上下位关系、同义关系及属性关系,据此建立双向知识图谱语义边集合,对知识图谱中未收录的词元,跳过该词元的知识图谱语义边构建环节,生成三通道异构邻接矩阵时,对三类边分别做对称归一化,并为每类边分配独立的可学习融合权重系数,经加权求和合并为三通道异构邻接矩阵,三个融合权重系数在训练过程中通过端到端梯度自动调整,扩展边类型感知图卷积时,为知识图谱语义边额外分配一组独立的可学习参数矩阵,每层图卷积对三类边分别聚合后做加权求和,ddpg网络可同步调整三类边的相关控制参数。
15.一种基于ddpg的文本关系图动态优化控制系统,用于实现权利要求1至14中任意一项所述的方法,其特征在于,所述系统包括以下模块:
16.根据权利要求12所述的系统,其特征在于,边类型感知图卷积模块中各层图卷积单元的参数矩阵采用均匀分布方式实现随机初始化,偏置项初始数值设为零,不同类型边对应的独立参数矩阵各自实现单独初始化操作,多通道融合系数在初始阶段赋予均等权重,在训练过程中实现自动调整。
17.根据权利要求12所述的系统,其特征在于,bert表示模块中所有参数参与端到端梯度更新,学习率采用2e-5的adamw优化方案,并启用早停机制避免过拟合,ddpg连续控制模块的actor及critic网络均使用adam优化器更新参数,目标网络软更新系数设为0.005,经验回放缓冲区采用先进先出策略,以此保证样本的多样性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com