一种融合租户知识库人设直播解说词生成方法及系统与流程

本发明提供一种融合租户知识库人设直播解说词生成方法及系统，属于人工智能直播内容生成应用。

背景技术：

1、随着直播电商、数字虚拟直播、自动无人直播技术的快速普及，ai自动解说已成为降低直播运营成本、实现7×24小时不间断直播的核心技术。当前主流ai直播解说方案多依托通用视觉大模型生成解说文本，仅能实现基础的画面内容描述，在实际商用落地过程中存在诸多缺陷与不足。

2、首先，现有技术缺乏多租户数据隔离与专属内容适配能力。商用直播服务多为多租户共享服务架构，不同商家、不同品牌租户的商品知识、直播风格、话术规范完全不同，通用解说模型无法适配各租户的专属人设，易出现解说风格混乱、商品信息错配、话术不符合品牌定位等问题，且多租户数据混杂存储易产生信息串扰，无法满足企业级商用直播的数据隔离需求。

3、其次，现有直播解说抽帧触发机制灵活性差、播报节奏紊乱。传统固定间隔抽帧生成解说的方式，未结合语音播报时长、直播音频缓冲状态、后台任务负载动态调整生成时机，极易出现解说话术重叠、音频堆积、频繁重复播报、任务拥堵卡顿等问题，无法适配多路直播并发场景，单路直播解说节奏生硬、贴合直播画面度低。

4、再次，现有解说文本生成精准度与规范性不足。通用模型生成的解说词常存在商品参数生硬罗列、文本长短不一、包含推理思考语句、分段符号、数字编号等冗余内容，同时无标准化去重、清洗机制，短时间内重复输出相同话术，严重影响观众观看体验。此外，现有技术无法实现自动解说与弹幕问答的风格、信息统一，直播输出内容碎片化、一致性差。

5、最后，现有并发调度机制不完善，多路直播并发运行时易出现任务抢占、串行混乱问题，无法兼顾多路并行高效运行与单路直播任务有序执行，系统稳定性与并发承载能力难以满足大规模商用直播场景需求。

6、综上，现有ai直播解说技术存在多租户适配性差、数据隔离性不足、解说节奏不可控、文本质量杂乱、内容一致性弱、并发调度不稳定等技术缺陷，亟需一种可实现多租户数据隔离、人设定制、自适应节奏调控、文本精准规范生成的直播解说词生成方案。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种融合租户知识库人设直播解说词生成方法及系统，解决现有技术多租户数据串扰、人设适配性差、解说节奏僵化、文本不规范、内容不一致、并发调度混乱的技术问题，实现多租户物理隔离、人设专属适配、自适应精准抽帧、标准化高质量解说生成、多路直播稳定并发运行的技术效果。

2、本发明为了解决上述问题，所提出的技术方案为：一种融合租户知识库人设直播解说词生成方法，包括以下步骤：

3、s1、初始化直播流参数与多租户专属数据：针对单路直播视频流持续解码，维护单调递增的当前帧号cur_seq，初始化用于标记下一次解说生成触发时机的下一狙击帧号next_trigger_seq；为每一租户配置物理隔离的独立向量知识库，所述独立向量知识库存储对应租户的商品知识向量；录入各租户专属人设数据，所述人设数据包含解说风格、观众称谓、允许使用的口头禅、禁用词汇清单；

4、s2、执行基于语音播报时长反馈的自适应狙击抽帧控制：持续解析直播流画面并实时更新所述当前帧号cur_seq，先执行狙击前置抑制校验；若所述前置抑制校验全部通过，且所述当前帧号cur_seq≥所述下一狙击帧号next_trigger_seq，则对当前帧编码生成图像，发起解说生成任务并记录本次触发帧号；当解说文本完成语音合成后，获取对应音频播放时长duration，按照如下关系式更新所述下一狙击帧号next_trigger_seq：next_trigger_seq＝本次触发帧号＋duration×视频帧率；若本次狙击未生成有效解说文本，则采用预设兜底帧数对所述下一狙击帧号进行增量更新；多路直播并发运行时，通过认领锁将任务状态校验、锁定直播流、标记处理中设置为原子操作，实现多路直播并行处理、单路直播内部串行执行；

5、s3、融合租户商品知识与人设生成原始解说文本：以上一条有效解说文本作为检索查询语句；直播首帧无前置解说时，采用预设通用商品检索词查询当前租户对应的独立向量知识库，采用内积相似度匹配方式检索商品知识片段，并剔除相似度低于预设阈值的无效知识；将检索得到的商品知识、租户人设数据共同写入系统提示词，并在系统提示词中设置多层约束规则：第一，仅当画面内容与商品知识相关时将商品知识融入解说，禁止生硬罗列商品参数；第二，限定视觉大模型仅输出12～28字的单句口播文本，关闭模型推理思考输出，禁止输出分析语句、数字编号、分段符号；将编码后的关键帧图像与配置完成的系统提示词共同输入视觉大模型，输出原始解说文本；

6、s4、解说文本规整去重、语音播报与数据复用反馈：对原始解说文本执行标准化清洗：剔除推理标签、排版符号、提示词关键字、引导类开场套话，以句末标点为分隔截取有效首句；若清洗后文本长度不足或仍残留提示词回显内容，则判定为无效解说并舍弃；在预设时长的去重时间窗内比对历史有效解说文本，若文本内容完全一致，则跳过本次播报；将清洗去重后的有效解说文本送入tts语音合成模块生成播报音频并混入直播流，采集音频时长回传至步骤s2用于更新所述下一狙击帧号；租户独立向量知识库以及租户人设数据同步提供给弹幕问答模块调用，使得画面自动解说与弹幕互动问答输出的商品信息、语言风格保持统一。

7、进一步的，步骤s2中所述狙击前置抑制校验，满足以下任一条件时，跳过当前帧且不发起解说生成任务：当前直播链路存在待处理弹幕问答任务；解说任务队列中存在未完成任务或正在执行解说生成流程；实时计算得到的待播音频剩余总时长大于预设缓冲深度阈值。

8、进一步的，步骤s3中基于内积相似度检索时，返回相似度排序前n条商品知识片段，n为预设正整数。

9、进一步的，所述去重时间窗预设为20秒。

10、进一步的，一种融合租户知识库人设直播解说词生成系统，包括自适应狙击抽帧模块、多租户数据存储模块、多模态图文生成模块、输出规整去重模块、语音合成播报模块、并发管控模块；

11、所述自适应狙击抽帧模块分别与直播流输入设备、并发管控模块、多模态图文生成模块、语音合成播报模块通信连接，内置帧序号维护单元、狙击触发校验单元、帧号反馈推演单元、缓冲深度监测单元；所述帧序号维护单元用于生成并持续更新单调递增的当前帧号；所述狙击触发校验单元用于执行狙击前置抑制校验；所述帧号反馈推演单元根据音频时长及视频帧率计算并更新下一狙击帧号；所述缓冲深度监测单元实时统计待播音频剩余时长，在超出阈值时执行生成侧节流；

12、所述多租户数据存储模块分别与多模态图文生成模块、弹幕问答模块相连，包括多租户隔离向量知识库单元、租户人设存储单元；所述多租户隔离向量知识库单元为各租户分配独立向量存储空间，实现不同租户商品向量数据物理隔离，并支持基于内积相似度的知识检索；所述租户人设存储单元持久化存储各租户的解说风格、观众称谓、允许使用的口头禅、禁用词汇清单；

13、所述多模态图文生成模块输入端接收自适应狙击抽帧模块输出的关键帧图像，双向通信连接多租户数据存储模块，内置知识库检索单元、提示词构造单元、视觉大模型调用单元；所述知识库检索单元完成租户商品知识检索与低相似度片段过滤；所述提示词构造单元整合商品知识、租户人设并写入多层输出约束规则；所述视觉大模型调用单元输入关键帧图像与系统提示词，输出原始解说文本；

14、所述输出规整去重模块输入端连接多模态图文生成模块，输出端分别连接语音合成播报模块、自适应狙击抽帧模块，内置文本清洗单元、限时去重判断单元；所述文本清洗单元完成原始文本冗余内容剔除、有效文本截取；所述限时去重判断单元在预设时间窗内识别并过滤重复解说文本；

15、所述语音合成播报模块接收输出规整去重模块输出的有效解说文本，内置tts语音合成单元、音频时长采集单元；所述tts语音合成单元生成播报音频并推送至直播输出流；所述音频时长采集单元采集合成音频的播放时长并回传给自适应狙击抽帧模块；

16、所述并发管控模块与自适应狙击抽帧模块通信连接，内置认领锁单元，通过原子化操作完成多路直播任务调度，保障单路直播串行处理、多路直播并行运行。

17、进一步的，所述多租户隔离向量知识库单元通过独立存储空间区分不同租户数据，各租户之间商品知识检索互不产生信息串扰。

18、由于采用了上述技术方案，本发明一种融合租户知识库人设直播解说词生成方法及系统的有益效果为：

19、1、实现多租户数据物理隔离与专属人设定制化适配。本发明为每个租户配置独立的向量知识库，实现商品知识数据物理隔离，彻底杜绝多租户数据串扰问题；同时定制存储各租户专属解说风格、称谓、口头禅、禁用词汇，可精准适配不同品牌、商家的直播人设，解决通用模型解说风格同质化、不符合租户品牌定位的问题。

20、2、构建自适应狙击抽帧机制，实现解说节奏动态可控。本发明摒弃传统固定周期抽帧模式，基于tts音频实际播放时长、视频帧率动态推演下一解说触发帧号，结合前置抑制校验、音频缓冲深度监测、任务状态检测实现智能节流，有效避免解说重叠、音频堆积、任务拥堵问题，解说播报节奏贴合直播画面变化，自然流畅。

21、3、大幅提升解说文本规范性与精准度。本发明通过多层模型输出约束规则，严格限定解说文本字数、句式、输出格式，禁止冗余推理内容与符号；搭配标准化文本清洗、20秒限时去重机制，彻底解决无效解说、重复播报、话术杂乱的问题，输出口播文本简洁、规范、适配直播场景。

22、4、实现直播全场景内容高度统一。本发明将租户知识库与人设数据同步共享给画面自动解说与弹幕问答模块，使直播画面解说、弹幕互动问答的商品信息、语言风格完全统一，解决现有技术直播输出内容碎片化、风格割裂的问题，提升直播整体专业性与观众体验。

23、5、优化多路直播并发调度能力，提升系统稳定性。本发明通过认领锁原子化操作实现任务调度管控，保障多路直播并行高效运行、单路直播任务串行有序执行，避免任务抢占、混乱冲突，大幅提升大规模商用直播场景下的系统承载能力与运行稳定性。