基于阶段-层联合低秩调制与草图条件残差补偿的少步文本生成图像方法、系统、终端及存储介质
本发明涉及人工智能与计算机视觉,尤其涉及一种基于阶段-层联合低秩调制与草图条件残差补偿的少步文本生成图像方法、系统、终端及计算机可读存储介质。
背景技术:
1、扩散模型、score-based model(基于分数的生成模型)及rf(rectified flow,矫正流)等文本生成图像方法通常先将文本提示词编码为语义条件,再从随机噪声出发,通过多次神经网络前向计算逐步生成图像。为获得高质量结果,常规推理通常需要数十个采样步骤,因而存在推理时间长、显存占用高及计算成本大的问题。
2、当采样过程压缩至4步、6步或8步时,单步跨越的时间区间增大,生成轨迹与高步结果之间的偏差会逐步累积,易出现构图偏差、轮廓破碎、细节缺失、纹理过度平滑及提示词对齐下降。不同采样阶段及不同网络功能层组对全局布局、语义关系和局部细节的贡献不同,因此,统一的采样策略或参数修正难以同时补偿阶段差异与层组差异。
3、因此,现有技术还有待于改进和发展。
技术实现思路
1、本发明的主要目的在于提供一种基于阶段-层联合低秩调制与草图条件残差补偿的少步文本生成图像方法、系统、终端及计算机可读存储介质,旨在解决现有技术少步文本生成图像中推理效率与生成质量难以兼顾的问题。
2、为实现上述目的,本发明提供一种基于阶段-层联合低秩调制与草图条件残差补偿的少步文本生成图像方法,所述基于阶段-层联合低秩调制与草图条件残差补偿的少步文本生成图像方法包括如下步骤:
3、冻结生成主干中的线性层的原始权重矩阵后,对所述线性层进行低秩调制,以建立所述线性层的阶段-层组投影,得到目标线性层;
4、从符合正态分布的随机噪声中采样初始潜变量,基于少步时间序列,利用所述目标线性层对所述初始潜变量和文本提示词进行迭代更新,并对最终更新结果进行解码,得到少步草图;
5、对所述文本提示词进行高步采样,得到高步教师图像,利用结构提取算子构建所述文本提示词的草图结构条件,根据所述高步教师图像、所述少步草图和所述草图结构条件构建监督元组;
6、基于所述监督元组,将所述少步草图和所述草图结构条件输入到残差精修器进行残差预测,根据输出结果对所述少步草图进行裁剪,得到经过校正残差后的少步图像;
7、根据所述少步图像和所述高步教师图像构建像素重建损失和结构边界损失,根据所述少步图像和所述少步草图构建精修结果损失,根据所述少步图像和所述高步教师图像的层归一化特征构建相似度损失,根据冻结的生成主干的多层特征差异构建相似度补量,并利用所述重建损失、所述结构边界损失、所述精修结果损失、所述相似度损失和所述相似度补量对所述残差精修器进行优化;
8、冻结优化后的目标残差精修器的精修参数,对已获取的目标提示词进行少步采样,得到目标少步草图,并利用所述目标残差精修器对所述目标少步草图进行残差精修,得到目标少步图像。
9、本发明中,冻结生成主干中的线性层的原始权重矩阵后,对所述线性层进行低秩调制,以建立所述线性层的阶段-层组投影,得到目标线性层;从符合正态分布的随机噪声中采样初始潜变量,基于少步时间序列,利用所述目标线性层对所述初始潜变量和文本提示词进行迭代更新,并对最终更新结果进行解码,得到少步草图;对所述文本提示词进行高步采样,得到高步教师图像,利用结构提取算子构建所述文本提示词的草图结构条件,根据所述高步教师图像、所述少步草图和所述草图结构条件构建监督元组;基于所述监督元组,将所述少步草图和所述草图结构条件输入到残差精修器进行残差预测,根据输出结果对所述少步草图进行裁剪,得到经过校正残差后的少步图像;根据所述少步图像和所述高步教师图像构建像素重建损失和结构边界损失,根据所述少步图像和所述少步草图构建精修结果损失,根据所述少步图像和所述高步教师图像的层归一化特征构建相似度损失,根据冻结的生成主干的多层特征差异构建相似度补量,并利用所述重建损失、所述结构边界损失、所述精修结果损失、所述相似度损失和所述相似度补量对所述残差精修器进行优化;冻结优化后的目标残差精修器的精修参数,对已获取的目标提示词进行少步采样,得到目标少步草图,并利用所述目标残差精修器对所述目标少步草图进行残差精修,得到目标少步图像。本发明在压缩采样步数的同时改善语义一致性、结构完整性、边缘质量和纹理细节,从而构建更精确的图像。
1.一种基于阶段-层联合低秩调制与草图条件残差补偿的少步文本生成图像方法,其特征在于,所述基于阶段-层联合低秩调制与草图条件残差补偿的少步文本生成图像方法包括:
2.根据权利要求1所述的基于阶段-层联合低秩调制与草图条件残差补偿的少步文本生成图像方法,其特征在于,所述冻结生成主干中的线性层的原始权重矩阵后,对所述线性层进行低秩调制,以建立所述线性层的阶段-层组投影,得到目标线性层,具体包括:
3.根据权利要求1所述的基于阶段-层联合低秩调制与草图条件残差补偿的少步文本生成图像方法,其特征在于,所述从符合正态分布的随机噪声中采样初始潜变量,基于少步时间序列,利用所述目标线性层对所述初始潜变量和所述文本提示词进行迭代更新,并对最终更新结果进行解码,得到少步草图,具体包括:
4.根据权利要求1所述的基于阶段-层联合低秩调制与草图条件残差补偿的少步文本生成图像方法,其特征在于,所述对所述文本提示词进行高步采样,得到高步教师图像,利用结构提取算子构建所述文本提示词的草图结构条件,根据所述高步教师图像、所述少步草图和所述草图结构条件构建监督元组,具体包括:
5.根据权利要求4所述的基于阶段-层联合低秩调制与草图条件残差补偿的少步文本生成图像方法,其特征在于,所述在离线训练阶段,利用结构提取算子构建所述文本提示词的草图结构条件,之后还包括:
6.根据权利要求4所述的基于阶段-层联合低秩调制与草图条件残差补偿的少步文本生成图像方法,其特征在于,所述基于所述监督元组,将所述少步草图和所述草图结构条件输入到残差精修器进行残差预测,根据输出结果对所述少步草图进行裁剪,得到经过校正残差后的少步图像,具体包括:
7.根据权利要求1所述的基于阶段-层联合低秩调制与草图条件残差补偿的少步文本生成图像方法,其特征在于,所述根据所述少步图像和所述高步教师图像构建像素重建损失和结构边界损失,根据所述少步图像和所述少步草图构建精修结果损失,根据所述少步图像和所述高步教师图像的层归一化特征构建相似度损失,根据冻结的生成主干的多层特征差异构建相似度补量,并利用所述重建损失、所述结构边界损失、所述精修结果损失、所述相似度损失和所述相似度补量对所述残差精修器进行优化,具体包括:
8.一种基于阶段-层联合低秩调制与草图条件残差补偿的少步文本生成图像系统,其特征在于,所述基于阶段-层联合低秩调制与草图条件残差补偿的少步文本生成图像系统用于实现如权利要求1-7任一项所述的基于阶段-层联合低秩调制与草图条件残差补偿的少步文本生成图像方法,所述基于阶段-层联合低秩调制与草图条件残差补偿的少步文本生成图像系统包括:
9.一种终端,其特征在于,所述终端包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于阶段-层联合低秩调制与草图条件残差补偿的少步文本生成图像程序,所述基于阶段-层联合低秩调制与草图条件残差补偿的少步文本生成图像程序被所述处理器执行时实现如权利要求1-7任一项所述的基于阶段-层联合低秩调制与草图条件残差补偿的少步文本生成图像方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有基于阶段-层联合低秩调制与草图条件残差补偿的少步文本生成图像程序,所述基于阶段-层联合低秩调制与草图条件残差补偿的少步文本生成图像程序被处理器执行时实现如权利要求1-7任一项所述的基于阶段-层联合低秩调制与草图条件残差补偿的少步文本生成图像方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com