面向文化传媒的AI多模态文案创作辅助系统的制作方法

本发明涉及数字内容生成，尤其涉及一种面向文化传媒的ai多模态文案创作辅助系统。

背景技术：

1、随着移动互联网和社交媒体的飞速发展，文化传媒行业对内容生产的效率和质量提出了更高的要求。在日常传媒创作中，创作者往往需要基于图片、视频、音频、文本等多种模态的原始素材，撰写适配不同平台风格的文案。传统的内容创作主要依赖人工完成，耗时费力且高度依赖个人经验。

2、近年来，基于大语言模型的文本生成技术取得了显著进展，但在文化传媒领域的实际应用中仍存在以下技术痛点：

3、1）多模态融合深度不足：现有的文案生成系统多基于单一文本或简单的图文配对，难以充分挖掘和融合视频中的动态视觉、音频节奏及文本元数据之间的深层关联语义，导致生成的文案与原始多模态素材存在割裂感。

4、2）缺乏领域知识与热点结合：通用大模型缺乏文化传媒领域的专业知识（如平台风格指南、违禁词库、爆款结构），且难以实时融入互联网热点话题，导致生成的文案往往“味不对”或缺乏吸引力。

5、3）文素联动编辑困难：当创作者对人工智能（artificial intelligence，ai）生成的文案进行修改时，现有系统无法将文案的修改意图反向映射到原始素材上。例如，用户删除了某句文案，系统无法智能提示裁剪对应的视频片段，导致“文改图/视频不改”，增加了后期剪辑的成本。

6、4）模型缺乏自适应进化能力：现有系统生成文案后，无法根据用户的最终采纳率和修改幅度进行闭环反馈学习，导致模型无法针对特定用户的风格和偏好进行持续优化。

技术实现思路

1、本发明提供了一种面向文化传媒的ai多模态文案创作辅助系统，旨在解决现有技术中存在的多模态融合深度不足、缺乏领域知识与热点结合、文素联动编辑困难以及模型缺乏自适应进化能力的问题。

2、第一方面，本发明实施例提供了一种面向文化传媒的ai多模态文案创作辅助系统，所述系统包括：

3、多模态特征对齐与融合模块、传媒知识增强与热点检索模块、多维度文案生成模块以及跨模态联动编辑模块；

4、所述多模态特征对齐与融合模块，用于获取用户输入的多模态素材集，对所述多模态素材集进行跨模态特征提取，并在共享潜空间中进行特征对齐与融合，得到全局多模态语义表征；

5、所述传媒知识增强与热点检索模块，用于根据所述全局多模态语义表征，在预置的文化传媒知识库与实时热点库中进行检索，获取关联的领域知识增强数据与实时热点标签；

6、所述多维度文案生成模块，用于将所述全局多模态语义表征、领域知识增强数据、实时热点标签及用户设定的创作约束输入预训练的多模态大语言模型，生成适配特定传媒平台风格且包含多模态对齐标签的多维度的候选文案；

7、所述跨模态联动编辑模块，用于响应于用户对候选文案的编辑操作，得到编辑后的候选文案，计算候选文案与编辑后的候选文案的语义差异，反向映射至多模态素材集中相关联的片段，并提供素材的编辑建议。

8、本技术实施例提供的技术方案至少带来以下有益效果：

9、通过视觉、听觉、文本的独立编码及共享潜空间的对齐与融合，能够全面捕捉多模态素材的全局语义，避免信息丢失，使生成的文案更贴合素材原意，实现了深度的跨模态语义融合；引入文化传媒专属知识库与实时热搜库，通过混合检索与重排算法，保证了文案既符合平台调性与合规要求，又能借势热点流量，实现了专业知识与实时热点双轮驱动；打破了传统“单向生成”的壁垒，通过多模态对齐标签和语义差分反向映射，实现了“改文即改图/视频”的联动编辑体验，极大提高了创编效率；基于强化学习与知识蒸馏的在线微调机制，将用户的采纳率和修改幅度转化为反馈奖励，使模型在实际使用中越用越聪明，越用越懂用户。

10、在一种可选的实现方式中，所述多模态特征对齐与融合模块包括图像视觉编码单元、音频听觉编码单元、文本语义编码单元以及跨模态对齐融合单元；

11、所述图像视觉编码单元，用于获取用户输入的多模态素材集，并使用视觉变换器网络，对多模态素材集中的图像与视频关键帧进行编码，捕捉画面空间布局与对象特征，得到视觉语义特征；

12、所述音频听觉编码单元，用于使用音频频谱分析模型，对多模态素材集中的音轨数据进行编码，提取声学频谱特征与语音文本内容，得到听觉节奏特征；

13、所述文本语义编码单元，用于使用文本嵌入模型，对多模态素材集中包含标题、字幕以及元数据的文本信息进行向量化编码，得到文本元数据特征；

14、所述跨模态对齐融合单元，用于基于对比学习机制，将所述视觉语义特征、听觉节奏特征以及文本元数据特征映射至共享潜空间中进行对齐，并采用多头跨模态注意力机制，以文本元数据特征为查询向量，以视觉语义特征和听觉节奏特征为键向量和值向量进行融合，得到全局多模态语义表征。

15、在一种可选的实现方式中，所述传媒知识增强与热点检索模块包括特征向量化检索单元、领域知识匹配单元以及实时热点聚合单元；

16、所述特征向量化检索单元，用于将所述全局多模态语义表征作为查询向量，在预置的文化传媒知识库中进行近邻检索，获取候选知识条目；

17、所述领域知识匹配单元，用于从所述候选知识条目中提取与传媒平台风格指南、违禁词库以及爆款文案结构模板对应的数据，作为领域知识增强数据；

18、所述实时热点聚合单元，用于基于所述全局多模态语义表征中的核心语义标签，在预置的实时热点库中匹配关联度最高的标签，作为实时热点标签。

19、在一种可选的实现方式中，所述多维度文案生成模块包括约束拼接与提示构建单元、大模型推理生成单元以及多维度对齐标签嵌入单元；

20、所述约束拼接与提示构建单元，用于将所述全局多模态语义表征、领域知识增强数据、实时热点标签以及用户设定的创作约束进行结构化拼接，构建多模态大语言模型的输入提示词；所述创作约束包括目标平台约束、字数限制约束以及受众人群约束；

21、所述大模型推理生成单元，用于将所述输入提示词输入预训练的多模态大语言模型，推理生成包含标题、正文以及排版标记的初始文案内容；

22、所述多维度对齐标签嵌入单元，用于在生成的初始文案内容的语句中，自动嵌入与原多模态素材时间轴或空间区域相对应的时间戳与模态来源标记，生成包含多模态对齐标签的多维度的候选文案。

23、在一种可选的实现方式中，所述跨模态联动编辑模块包括编辑差异计算单元、反向映射定位单元以及联动修改建议单元；

24、所述编辑差异计算单元，用于实时捕获用户在编辑界面中对候选文案的修改操作，并利用文本嵌入模型计算修改前后的文本语义向量差值；

25、所述反向映射定位单元，用于基于所述文本语义向量差值，结合候选文案中嵌入的多模态对齐标签，在共享潜空间中搜索最近邻的非文本特征簇，定位原多模态素材中对应的时间片段或空间区域；

26、所述联动修改建议单元，用于根据用户修改的语义方向和定位到的原多模态素材片段，生成针对原素材的编辑建议，并在编辑界面中进行高亮提示；所述编辑建议包括同步裁剪建议和替换建议。

27、在一种可选的实现方式中，所述联动修改建议单元具体用于：

28、当监测到用户删除候选文案中的任一描述时，自动高亮原多模态素材中通过反向映射定位到的对应片段，并生成建议裁剪该片段的交互提示，即同步裁剪建议；

29、当监测到用户将候选文案中的第一描述修改为具有相反语义的第二描述时，计算第一描述与第二描述的修改语义向量差值，基于所述修改语义向量差值在预设素材库中检索符合第二描述语义的新素材，并生成将原多模态素材中定位到的对应片段替换为所述新素材的交互提示，即替换建议。

30、在一种可选的实现方式中，所述系统还包括在线自适应微调模块；

31、所述在线自适应微调模块，用于在用户完成文案编辑并导出后，收集用户对系统生成的候选文案的最终采纳率与修改幅度日志；

32、将所述最终采纳率与修改幅度日志转化为反馈奖励信号，利用低秩自适应微调技术对所述多模态大语言模型的参数进行增量更新，以优化所述系统对后续多模态素材的文案生成策略。

33、在一种可选的实现方式中，所述在线自适应微调模块具体用于：

34、构建针对文案生成质量的评价函数，所述评价函数的变量包括候选文案文本流畅度得分、平台风格匹配度得分、用户修改编辑距离以及最终采纳率；

35、对所述评价函数进行加权求和计算，得到反馈奖励信号；

36、基于所述反馈奖励信号，构建模型微调的交叉熵损失函数，通过反向传播算法计算所述多模态大语言模型中低秩适配矩阵的梯度，并仅对所述低秩适配矩阵的参数进行更新，保持多模态大语言模型的基础权重冻结。

37、在一种可选的实现方式中，所述系统还包括多模态一致性校验模块；

38、所述多模态一致性校验模块，用于在用户执行跨模态联动编辑并确认修改建议后，对修改后的文案与替换后的素材进行多模态语义一致性校验；

39、计算修改后文案的文本语义向量与替换后素材的视觉和/或听觉特征向量在共享潜空间中的余弦相似度；

40、若所述余弦相似度低于预设的一致性阈值，则向用户发出音画文不匹配的预警提示，并重新触发联动修改建议单元生成新的替换建议。

41、在一种可选的实现方式中，所述多模态一致性校验模块具体用于：

42、提取修改后候选文案中每一语句的句级文本向量，以及替换后素材中对应片段的模态特征向量；

43、依次计算各语句的句级文本向量与对应模态特征向量的局部余弦相似度；

44、针对局部余弦相似度低于预设局部阈值的目标语句，判定该目标语句与对应素材片段存在语义冲突；

45、生成针对所述目标语句的语义冲突标识，将所述语义冲突标识在编辑界面上进行可视化展示，并基于所述目标语句的语义重新检索匹配的素材以覆盖替换后的素材。

46、本发明实施例第二方面提出一种电子设备，电子设备包括：

47、至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，

48、存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本发明实施例第一方面提出系统。

49、本发明实施例第三方面提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例第一方面提出系统。