融合情感分析的微短剧对白智能生成与润色方法与流程
本发明涉及自然语言处理,特别涉及一种融合情感分析的微短剧对白智能生成与润色方法。
背景技术:
1、近年来,微短剧因其节奏快、冲突强、情绪表达极致等特点迅速发展。在利用大语言模型等自动生成或润色微短剧对白时,现有技术面临多项底层算法与工程落地的技术瓶颈。首先,微短剧对台词物理播放时长要求极高,但现有时序评估未能还原微短剧中与情绪张力强相关的动态停顿延迟等时序特征。其次,在长剧情上下文处理中,现有技术常采用固定的常数作为剪枝阈值,这会导致关键情感词元被误删,且在自回归长序列中进行全路径积分极易导致算力爆炸。再次,为了同时压缩时长和保留情感,传统多目标优化常采用梯度线性相加或直接修改张量数值,这不仅会遇到“离散文本采样天然不可导而导致梯度断裂”的共性障碍,还会导致梯度方向抵消、特征漂移,进而引发长尾噪声干扰与严重的“语义崩塌”现象。最后,在推理阶段采用传统梯度下降法进行多目标约束求解面临极高的计算延迟,且在局部极小值处易发生无限震荡,无法保障极端剧情数据下的时序完备性。
技术实现思路
1、本发明提供了一种融合情感分析的微短剧对白智能生成与润色方法,解决离散文本多目标优化中梯度断裂与语义崩塌的技术问题,在极低算力开销下实现微短剧对白物理时序极致压缩与多维情感高保真的跨模态协同生成与润色。
2、本发明提供了一种融合情感分析的微短剧对白智能生成与润色方法,包括:
3、s1、获取微短剧场景上下文文本进行自回归网络解码,生成初始对白序列以及所述初始对白序列对应的概率张量、自注意力矩阵,并计算所述初始对白序列的预估物理耗时及实际情感特征向量;
4、s2、若所述预估物理耗时大于预设的物理时间约束阈值,或所述实际情感特征向量与预设的预期情感特征向量之间的距离大于预设散度阈值,则根据所述自注意力矩阵中对应各词元的分布信息熵生成保留词元集合以定位敏感词元;
5、s3、根据所述敏感词元从所述概率张量中提取对应的目标对数概率,以构建局部候选域集合并分别计算时序压缩梯度、情感特征损失梯度,将所述时序压缩梯度向所述情感特征损失梯度的零空间进行正交投影,得到时序压缩投影梯度;
6、s4、提取所述局部候选域集合内的原始情感概率分布,以维持所述原始情感概率分布的相对结构为约束条件构建极小化目标泛函,并结合所述时序压缩投影梯度进行求解,得到校正候选域概率分布对所述敏感词元进行重新采样,生成润色后的对白词元以更新所述初始对白序列;
7、s5、对更新后的所述初始对白序列重新计算其预估物理耗时和实际情感特征向量,并循环执行步骤s2至步骤s4,直至满足预设条件后将当前更新的所述初始对白序列作为定稿的微短剧对白序列输出;其中,所述预设条件为更新后的预估物理耗时小于或等于所述物理时间约束阈值,且更新后的实际情感特征向量与所述预期情感特征向量之间的距离小于或等于所述预设散度阈值。
8、进一步地,所述s1具体包括:
9、获取微短剧场景上下文文本,并解析确定微短剧视频切片的物理时间约束阈值与预期情感特征向量;其中,所述物理时间约束阈值根据微短剧视频切片的视听节奏要求设定;所述预期情感特征向量的设定为:通过获取微短剧场景上下文文本的语义实体,结合微短剧视听知识图谱,将离散的语义标签映射为多维情感特征向量空间中四个连续维度的浮点型数值,建立预期情感特征向量;
10、将所述微短剧场景上下文文本输入预训练的自回归网络进行解码,生成初始对白序列,并在解码过程中同步提取所述初始对白序列对应的概率张量、自注意力矩阵;
11、将所述初始对白序列切分为发音音节词元,并通过查询预设的文本转语音发音物理时间查找表,提取各音节词元的标准发音时长,根据停顿符所在的语法位置,并结合预期情感特征向量中的戏剧张力约束计算得到动态权重系数,进而通过该动态权重系数与基础停顿常数计算得到所述初始对白序列的预估物理耗时;
12、将所述初始对白序列输入预设的多维情感特征提取网络,计算得到所述初始对白序列的实际情感特征向量。
13、进一步地,所述s2具体包括:
14、若所述预估物理耗时大于预设的物理时间约束阈值,或所述实际情感特征向量与预设的预期情感特征向量之间的距离大于预设散度阈值,则提取自注意力矩阵,并计算对应各词元的列向注意力分布信息熵;
15、基于所述列向注意力分布信息熵,动态计算生成自适应剪枝阈值,并根据所述动态剪枝阈值执行词元过滤,生成保留词元集合;
16、对所述保留词元集合执行高斯-勒让德近似稀疏积分梯度计算,量化归因分数并定位敏感词元。
17、进一步地,所述列向注意力分布信息熵的计算公式为:
18、;
19、式中,为词元的归一化注意力权重,n为词元总数;基于计算出的,采用如下指数衰减公式计算动态剪枝阈值:
20、;
21、式中,为基准控制系数,为灵敏度缩放因子;
22、遍历初始对白序列中的所有词元,将其归一化注意力权重与计算得到的动态剪枝阈值进行逐一比对操作,将满足的词元实施掩码屏蔽,从归因候选池中滤除;对于满足的词元,将其索引及对应的词元嵌入向量提取出来,构建形成保留词元集合。
23、进一步地,所述s3具体包括:
24、针对目标敏感词元所在的时间步位置,调取深拷贝保留的原始对数概率张量,利用索引在该原始对数概率张量上执行切片操作,提取原始目标对数概率向量;
25、对提取出的目标对数概率向量中的概率数值进行降序排列,按概率值大小截取排在最前面的前预设数量个词元,提取所述前预设数量个词元的特征维度及其对应的对数概率子集以构建局部候选域集合;
26、通过连续化松弛近似机制克服离散梯度断裂,在局部候选域集合的子空间内分别计算时序压缩梯度与情感特征损失梯度;
27、将时序压缩梯度向情感特征损失梯度的零空间进行正交投影,获取消除冲突的时序压缩投影梯度。
28、进一步地,计算时序压缩梯度与情感特征损失梯度,具体包括:
29、利用带退火温度系数的连续概率分布重建期望函数,令代表连续化的概率权重,其中为局部候选对数概率;
30、将时序预估模型连续化为,其中为各词元标准发音时长的物理向量;
31、基于损失函数与对数概率张量之间建立的处处连续可微的数学通路,利用自动微分引擎分别计算时序惩罚损失函数对局部候选对数概率的偏导数以得到时序压缩梯度,以及计算情感特征散度损失函数对局部候选对数概率的偏导数以得到情感特征损失梯度;
32、所述时序压缩投影梯度的计算公式为:;
33、其中,为时序压缩投影梯度,表示向量内积运算,表示向量的二范数,为引入正交投影分母项中的极小非负阻尼常数。
34、进一步地,所述s4具体包括:
35、获取局部候选域集合中截断保留词元的目标对数概率子集,提取所述局部候选域集合内原始的离散情感概率分布;
36、以维持原始情感概率分布的相对结构为约束条件,构建包含相对熵惩罚项的极小化目标泛函;
37、结合所述时序压缩投影梯度对极小化目标泛函进行求解,获取校正候选域概率分布的闭式解析解;
38、基于校正候选域概率分布对敏感词元执行重新采样操作,生成润色后的对白词元以更新初始对白序列;
39、调用随机采样算子,以校正后的概率分布作为采样权重,从局部候选域集合中抽取出一个新的词元作为润色后的对白词元,利用润色后的对白词元替换初始对白序列中原目标敏感词元,完成对初始对白序列的局部动态更新。
40、进一步地,所述离散情感概率分布的公式为:
41、;
42、式中,为目标对数概率子集,通过提取操作将未归一化的数值强制映射到(0,1)区间,且保证,使得候选词元的相对语义倾向形成一个封闭的局部概率单纯形;
43、所述极小化目标泛函引入kullback-leibler散度作为惩罚项:
44、;
45、式中,代表k-1维的合法概率单纯形空间,为期望求解的校正候选域概率分布,为时序压缩投影梯度,为更新步长常数,为预设的情感分布保真度系数;
46、利用拉格朗日乘子法对带有单纯形约束的目标泛函求导,推导并利用其闭式解析解进行单步矩阵运算,求解得到的校正候选域概率分布闭式更新解公式为:
47、;
48、式中,k与j均指代属于局部候选域集合的词元索引。
49、进一步地,所述s5具体包括:
50、采用增量计算优化机制,将原本的预估物理耗时减去被替换掉的原敏感词元的物理耗时,并加上新采样词元的物理耗时,得到更新后的预估物理耗时,将更新后的初始对白序列再次输入至多维情感特征提取网络中,提取得到当前序列在四维情感空间中的新坐标,作为更新后的实际情感特征向量;
51、若时序收敛条件与特征收敛条件中任一条件未满足,将当前更新后的序列视为新的初始对白序列,触发控制流跳转,循环执行步骤s2至步骤s4,在控制器中初始化循环计数器,设定最大安全迭代阈值,每次循环执行时所述循环计数器加一;
52、当循环满足预设条件时正常退出,若所述循环计数器达到最大安全迭代阈值仍未满足收敛条件,则强制跳出循环,并回溯提取历次迭代中散度距离最小且物理耗时最接近物理时间约束阈值的序列作为次优解,得到定稿的微短剧对白序列。
53、本发明还提供了一种融合情感分析的微短剧对白智能生成与润色装置,基于如上所述的融合情感分析的微短剧对白智能生成与润色方法,所述装置包括:
54、文本获取模块,用于获取微短剧场景上下文文本进行自回归网络解码,生成初始对白序列以及所述初始对白序列对应的概率张量、自注意力矩阵,并计算所述初始对白序列的预估物理耗时及实际情感特征向量;
55、词元生成模块,用于若所述预估物理耗时大于预设的物理时间约束阈值,或所述实际情感特征向量与预设的预期情感特征向量之间的距离大于预设散度阈值,则根据所述自注意力矩阵中对应各词元的分布信息熵生成保留词元集合以定位敏感词元;
56、梯度投影模块,用于根据所述敏感词元从所述概率张量中提取对应的目标对数概率,以构建局部候选域集合并分别计算时序压缩梯度、情感特征损失梯度,将所述时序压缩梯度向所述情感特征损失梯度的零空间进行正交投影,得到时序压缩投影梯度;
57、重采样模块,用于提取所述局部候选域集合内的原始情感概率分布,以维持所述原始情感概率分布的相对结构为约束条件构建极小化目标泛函,并结合所述时序压缩投影梯度进行求解,得到校正候选域概率分布对所述敏感词元进行重新采样,生成润色后的对白词元以更新所述初始对白序列;
58、循环输出模块,用于对更新后的所述初始对白序列重新计算其预估物理耗时和实际情感特征向量,并循环执行步骤s2至步骤s4,直至满足预设条件后将当前更新的所述初始对白序列作为定稿的微短剧对白序列输出;其中,所述预设条件为更新后的预估物理耗时小于或等于所述物理时间约束阈值,且更新后的实际情感特征向量与所述预期情感特征向量之间的距离小于或等于所述预设散度阈值。
59、本发明还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
60、本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法的步骤。
61、本发明的有益效果为:
62、本发明通过在解码过程中引入分离缓存机制和连续化松弛近似机制,有效克服离散文本不可导导致的梯度断裂问题;通过计算自注意力分布信息熵动态生成自适应剪枝阈值,结合高斯-勒让德近似稀疏积分,在避免长序列算力爆炸的同时精准定位敏感词元,防止关键情感的误删;通过构建局部候选域并引入正交投影约束与带相对熵惩罚项的极小化目标泛函,不仅在极低时间复杂度下获取闭式解析解,还从底层解耦时序压缩与情感特征目标,避免直接修改张量引发的长尾噪声与语义崩塌现象;最终配合防死循环保护机制,确保微短剧对白在物理时序约束下,能够实现多维情感张力的高保真智能润色与输出。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com