一种在约束下的LLM输出与结构化资源系统的语义对齐方法与流程

本发明涉及人工智能内容生成与结构化数据管理，更具体地说，它涉及一种在约束下的llm输出与结构化资源系统的语义对齐方法。

背景技术：

1、当前市面上主流的ai agent编排框架（langgraph、 swarm、 crewai、 dify、autogen）均未提供llm输出与结构化资源系统的自动对齐机制。

2、此外，与本发明技术方向最相关的专利文献如下：

3、公开号为cn122029536a的专利公开了一种基于实体资源标识符的生成式语言模型的语境化，该专利公开了将实体资源标识符（eri）填充至链接实体数据库，并基于此生成语境化提示数据结构，使llm响应以链接实体上下文信息为条件的技术方案。

4、公开号为cn120764523a"的专利公开了一种修复llms输出格式不可控的方法"，该专利公开了三步流程： s1在llm生成文本前将用户定义的格式规则动态转化为元数据模板嵌入原始输入生成带格式约束的增强型提示文本； s2在llm生成文本过程中实时校验格式通过轻量级规则引擎或语法树分析检测潜在错误； s3对llm输出的格式错误文本分类并匹配修复策略库结合上下文语义生成修复指令。

5、公开号为cn121327044a的专利公开了一种基于大模型知识增强的多模态实体链接方法，该专利涉及多模态大语言模型进行提及增强描述与实体的语义相似度计算、候选实体筛选及差异性对比。

6、公开号为cn120181077b的专利公开了一种基于大语言模型的实体链接方法及其系统，该专利采用llm生成候选实体列表和构建单项选择题问答任务进行实体链接。

7、公开号为cn121960467a的专利公开了一种命名实体识别方法、设备、装置、存储介质及程序产品，该专利涉及针对不同任务维护不同实体类型的ner方法。

8、公开号为cn121327044a的专利公开了一种基于大模型知识增强的多模态实体链接方法，该专利涉及多模态大语言模型进行提及增强描述与实体的语义相似度计算、候选实体筛选及差异性对比。

9、公开号为cn120181077b的专利公开了一种基于大语言模型的实体链接方法及其系统，该专利采用llm生成候选实体列表和构建单项选择题问答任务进行实体链接。

10、公开号为cn121960467a的专利公开了命名实体识别方法、设备、装置、存储介质及程序产品，该专利涉及针对不同任务维护不同实体类型的ner方法。

11、上述专利存在以下缺陷：

12、缺陷1： llm输出可能包含不在数据库中的实体名称，llm可以自由输出任何名称（如自造角色名"张三"而非已有的"男主"），自造名称无法映射到数据库中的已有实体，导致后续资源绑定和视频生成失败。所有5种框架均无"在llm生成前约束其只能使用已有实体名称"的机制。

13、缺陷2： llm可能输出过多的实体引用视频模型对参考图数量有硬上限（如7张），llm可能引用过多实体，超出视频模型处理能力。所有框架均无"限制llm输出的实体引用数量并按优先级取舍"的机制。

14、缺陷3：角色音色绑定依赖人工操作每个角色需要手动选择音色，在批量场景中需要数百次手动操作。所有框架均无"对角色实体自动追加默认音色"的机制。

15、缺陷4： llm输出中的实体信息无法自动持久化实体列表需要手动整理和存储，无法自动写入分镜记录的结构化资源字段。所有框架均无"llm输出→自动实体识别→数据库映射→jsonb持久化"的管线。

16、核心痛点：llm自由输出与结构化资源系统之间存在"语义鸿沟"。当llm输出一个不在数据库中的名称，后续的资源绑定和视频生成就会失败。在视频分镜生成这一特定场景中，还存在视频模型参考图数量硬上限这一物理约束——llm可能引用过多实体超出上限，现有解决方案依赖人工手动操作，在批量场景中效率极低。本发明所解决的技术问题不仅是"llm输出与实体对齐"这一通用问题，更是"在视频生成这一特定物理约束（参考图数量硬上限）下的llm输出对齐"这一特定技术问题。

技术实现思路

1、本发明要解决的技术问题是针对现有技术的不足，提供一种在约束下的llm输出与结构化资源系统的语义对齐方法，解决现有处理llm自由输出与结构化资源系统之间的语义鸿沟的方式导致后续资源绑定和视频生成失败、视频模型参考图数量存在硬上限且人工手动操作效率低下的技术问题。

2、本发明所述的一种在约束下的llm输出与结构化资源系统的语义对齐方法，该方法为，

3、s1：在llm生成内容前，构建资源映射表，将所述资源映射表中所有实体名称按类别格式化为约束提示文本，将所述约束提示文本注入llm system prompt中以约束llm只使用已有名称；同时对所述llm附加与视频模型参考图数量硬上限匹配的实体引用上限约束及优先级取舍规则；

4、s2：使用正则表达式“@名称”对llm的输出文本进行解析，将解析结果中所述实体名称与资源映射表中实体名称进行匹配，当匹配成功时，则保留所述实体名称对应的角色实体的完整信息；当匹配失败时，则将匹配失败的所述实体名称作为自造名称，对所述自造名称静默忽略，形成对上述s1约束不完全性的容错补偿；

5、s3：对所述角色实体收集手动绑定音色信息，查询所述手动绑定音色信息获取角色默认音色信息，通过双源音色解析方式对所述角色默认音色信息追加音色条目；

6、s4：对所述实体名称对应的实体列表进行持久化存储。

7、作进一步的改进，在s1中，构建所述资源映射表的方法为，

8、从数据库中查询包括角色实体、场景实体、道具实体在内的三类实体，对每个所述角色实体、场景实体和道具实体获取基础参考图，根据所述基础参考图构建以实体名称为键以及实体信息为值的资源映射表。

9、进一步的，在s1中，所述优先级取舍规则为，设置所述角色实体为第一优先级，设置所述场景实体为第二优先级，设置所述道具实体为第三优先级；

10、获取s2中静默忽略后的实体数量，将所述实体数量与视频模型参考图数量硬上限比较，当所述实体数量大于或等于视频模型参考图数量硬上限时，则优先舍弃道具实体；当舍弃所述道具实体且实体数量仍大于或等于视频模型参考图数量硬上限时，则根据所述场景实体在剧本片段出场先后舍弃靠后的次要场景实体。

11、更进一步的，在s1中，将所述资源映射表中所有实体名称按类别格式化为约束提示文本的方法为，

12、对所述资源映射表中的实体信息筛选出包括角色实体列表、场景实体列表和道具实体列表在内的三种实体名称列表，将三种所述实体名称列表制成约束提示文本。

13、更进一步的，在s2中，使用所述正则表达式“@名称”对llm的输出文本进行解析的方法为，

14、获取llm输出文本中的分镜脚本文本，使用所述正则表达式“@名称”对分镜脚本文本进行findall操作，提取所述分镜脚本文本中所有“@”前缀后跟随的中英文字符序列，将所述 “@”前缀后跟随的中英文字符序列作为解析结果。

15、更进一步的，在s2中，将解析结果中所述实体名称与资源映射表中实体名称进行匹配的方法为，

16、初始化seen集合，遍历解析结果中每个实体名称，若所述实体名称已在seen集合中，则表明匹配成功；以所述实体名称为键查找资源映射表，若所述实体名称不在资源映射表中，则表明匹配失败。

17、更进一步的，在s3中，通过双源音色解析方式对所述角色默认音色信息追加音色条目的方法为，

18、从所述角色实体中提取角色直接匹配的音色oss存储键，将所述音色oss存储键去除空白字符，当去除所述空白字符的音色oss存储键非空时，则将所述去除空白字符的音色oss存储键转换为临时预签名访问url；

19、当去除所述空白字符的音色oss存储键为空时，设置筛选条件，根据所述筛选条件查询标准音色目录表获取音色目录记录，将所述音色目录记录中的存储键去除空白后赋值给去除所述空白字符的音色oss存储键，将赋值后的所述音色oss存储键转换为临时预签名访问url，将所述临时预签名访问url追加到角色实体的列表中。

20、更进一步的，在s3中，通过调用entities功能组件对所述角色实体收集手动绑定音色信息并跳过自动追加；创建已自动追加集合，将所述角色默认音色信息和已自动追加集合比对，当所述角色默认音色信息位于已自动追加集合内时，则跳过自动追加。

21、更进一步的，在s4中，对所述实体名称对应的实体列表进行持久化存储的方法为，将全部所述实体信息序列化为json写入分镜记录的source_resources字段。

22、更进一步的，所述source_resources字段存储json格式字符串，每个所述json格式字符串的条目包括实体数据库id、实体类型、参考图记录id、oss存储键和预签名访问url。

23、有益效果

24、本发明的优点在于：

25、1.本发明使用"@名称"作为特定标记语法， "@前缀+中文名称"的格式设计为步骤s2的正则解析提供了明确锚点，两者形成协同设计而非独立步骤且涉及视频生成场景中的参考图数量硬上限约束及优先级取舍规则，本发明将实体约束与视频模型物理限制形成适配组合，本发明通过步骤s1和步骤s2的协同组合实现了"预防+容错"的双重保障。

26、2.本发明在llm生成前约束其输出与数据库实体对齐，从源头避免自造名称；在llm生成后自动解析实体提及并映射到数据库实体，获取参考图信息；对角色实体自动追加默认音色，实现文本→图像→音频的跨模态自动绑定；将实体列表自动写入jsonb字段，供前端渲染和视频生成直接使用。

27、3. 本发明单独使用步骤s1无法完全杜绝自造名称， llm作为概率性模型对"禁止自造名称"指令的遵守率并非100%。若不组合步骤s2的容错机制，实体识别的失败率将导致后续资源绑定和视频生成频繁失败，需要大量人工修正，单独使用s2（正则解析）也无法保证llm以@名称格式输出实体提及，命中率将大幅下降。只有两者协同组合，才能以低成本实现可靠对齐。

28、4. 本发明在llm生成后，通过正则表达式解析llm输出文本中以@前缀标记的实体提及，将解析结果与资源映射表进行匹配，匹配成功的实体保留其完整信息，匹配失败的自造名称被静默忽略，形成对资源约束注入模块约束不完全性的容错补偿。