一种语音与非语音ASMR的统一多模态数据处理及结构化标注方法

摘要: 本发明涉及asmr音频数据领域,尤其涉及语音与非语音asmr的统一多模态数据处理及结构化标注方法。背景技术:1、自主感觉经络反应(autonomoussenso...
一种语音与非语音ASMR的统一多模态数据处理及结构化标注方法

本发明涉及asmr音频数据领域,尤其涉及语音与非语音asmr的统一多模态数据处理及结构化标注方法。

背景技术:

1、自主感觉经络反应(autonomous sensory meridian response,asmr)内容通常包括两大类声音来源:一类是低强度、近距离、带有明显气声和弱振动特征的语音 asmr;另一类是敲击、刮擦、摩擦、揉捏、刷扫、挤压、倾倒和液体转移等非语音 asmr。二者共同构成真实 asmr 视频中的主要触发源,并在放松、助眠、沉浸式陪伴和数字内容生成等场景中具有重要价值。

2、现有公开数据处理流程通常分别面向普通语音数据集或一般环境声音数据集设计,尚未形成适用于 asmr 的统一数据工程方案。对于语音 asmr,现有语音语料库主要关注正常朗读或情感语音,通常采用标准自动语音识别与静音清理流程,容易滤除呼吸声、贴近拾音细节和弱发声片段,难以保留 asmr 语音的关键风格信息。与此同时,asmr 原始视频时长往往较长,包含多语言、跨话题、长停顿、轻声耳语和混合背景声,直接转写与切分会带来识别错误、边界不稳和标签粗糙等问题。对于非语音 asmr,现有文本到音频或音频理解数据集大多采用粗粒度声音类别或自由文本描述,难以表达交互动作、参与实体及材料属性之间的细粒度差异;同一事件在网络元数据中还常常伴随品牌名、别名、社区黑话、简称和口语化描述,导致标签难以统一和比较。

3、进一步地,真实 asmr 视频往往同时包含语音触发与非语音触发,且两类片段在同一节目中交替出现。现有工作通常分别构建语音语料和非语音语料,缺乏统一的模态路由、事件分段、字段定义和质量追踪机制,导致后续训练、检索、统计和评测无法共享同一结构化语义空间。尤其在评测方面,针对语音 asmr 的自然度、可懂度、说话人一致性和 asmr强度,与针对非语音 asmr 的动作、实体、材料对齐程度,仍然分散在不同指标体系中,缺乏统一的数据对象和审计框架。

4、因此,有必要提出一种面向语音与非语音 asmr 的统一数据处理与标注系统,在同一流程中完成数据获取、模态识别、事件分段、语音转写、结构化标注、标签归一化、质量控制和细粒度评测数据构建,以同时支持 asmr 语音生成、非语音 asmr 生成、跨模态检索及相关音频理解任务。

技术实现思路

1、有鉴于现有技术的上述缺陷,本发明所要解决的技术问题是如何实现统一。

2、为实现上述目的,本发明提供了一种语音与非语音asmr的统一多模态数据处理及结构化标注方法,其特征在于,包括以下步骤:

3、步骤s1、数据获取,接收源视频、音轨、视频元数据,所述元数据包含标题、描述、上传者时间线、创作者信息;若源视频无独立音轨,则从视频容器解复用提取音频;

4、步骤s2、主题与创作者质量筛选,根据预设asmr主题分类筛除低价值样本,并对候选创作者抽样质检,仅保留符合音频一致性、清晰度标准的创作者对应的视频数据;

5、步骤s3、粗分段与模态路由,基于上传者时间线、固定滑动窗口、语音活动检测、静音比例、关键词匹配生成粗候选片段;对每一粗候选片段计算语音占比、静音占比、声学事件密度、重叠声源概率,判定片段为语音主导、非语音主导或混合主导;混合主导片段拆分后分别送入对应处理支路;

6、步骤s4、分支并行处理;

7、步骤s5、统一结构化导出,构建统一结构化记录,每条记录包含全局共享字段与模态专属字段;所述共享字段至少包含片段id、节目id、来源链接、起止时间、模态类型、标注置信度、证据来源;所述模态专属字段为步骤s4专属字段;混合主导片段选择存储主导模态字段或拆分为两条独立子记录;

8、步骤s6、统一细粒度质量评测构建,基于统一结构化记录分别生成语音评价子集、非语音评价子集;对非语音评价子集执行音频依赖性筛选,仅保留依赖真实音频声学特征才可正确判别的评价项目;整合两类子集输出统一质量诊断报告,支持分层抽样人工复核。

9、进一步地,所述步骤s4还包括以下步骤:

10、步骤s4.1、语音asmr支路处理,对语音主导粗片段执行长音频分块、分块自动语音识别并输出带时间戳转写文本;采用呼吸保留式清洗策略,删除长纯静音区间,保留呼吸声、弱振动气声、近场轻微asmr细节;依据时间戳、停顿能量变化、语义连续性切分生成独立语音asmr单元,提取语言、说话人、转写文本、起止时间、无声带振动比例的语音专属字段;

11、步骤s4.2、非语音asmr支路处理,对非语音主导粗片段提取多维度声学特征,通过变化点检测算法修正事件边界得到细化asmr事件;提取事件中间区间代表帧识别实体、工具、材料;根据元数据完整性分双路径结构化标注:元数据完整走高精度路径,从原始元数据抽取主体、动词、客体并结合视觉帧消歧补全材料;元数据缺失走补全路径,联合文本视觉识别实体、材料、交互上位类,再由音频声学判别器确定细粒度交互动词;对标注结果执行标签归一化后切分固定时长片段,生成包含主体、动词、客体、材料属性的非语音专属字段。

12、进一步地,在所述步骤s3判定片段模态时,若粗候选片段语音占比≥第一阈值,判定为语音主导;若语音占比≤第二阈值且声学事件密度≥第三阈值,判定为非语音主导;其余区间判定为混合主导。

13、进一步地,在步骤s4.1中,所述呼吸保留式清洗策略具体为:设置静音持续时长阈值,仅删除超过该阈值的连续纯静音段;通过音频过零率、低频能量阈值区分长静音与呼吸声、口腔弱摩擦声,将呼吸、气声片段标记保留,不执行滤除操作。

14、进一步地,在步骤s4.2中变化点检测采用pelt算法搭配rbf核代价函数,设置最小片段长度约束与惩罚系数,过滤时长低于预设下限的短暂声学过渡子段,修正粗分段边界得到声学特征稳定的细化asmr事件。

15、进一步地,所述高精度路径执行步骤:从上传者时间线、视频标题、描述文本抽取原始动作动词、主体实体、客体实体;利用代表帧视觉信息对多义实体消歧,补充主体材料、客体材料属性,将原始文本作为标注证据来源留存;所述补全路径执行步骤:通过文本语义识别、代表帧图像识别得到候选主体、客体、材料集合,匹配预设交互上位类词表生成候选动词集合;将细化事件音频输入声学机制判别器,从候选动词集合中匹配与音频声学特征匹配的细粒度交互动词。

16、进一步地,所述步骤s4.2所述标签归一化包括:对交互动词构建上下位层级词表统一映射;将主体、客体标准化为“材料属性+核心实体”格式;对品牌别名、社区黑话、简称、单复数、词形变形做等价归一映射;对多证据冲突、低置信度标注项增加冲突标记,用于人工复核筛选。

17、进一步地,所述语音评价子集的评价维度包含文本可懂度、说话人嵌入相似度、asmr风格无声带振动比例、主观舒适强度;所述非语音评价子集以主体、动词、客体、主体材料、客体材料作为独立评价属性,针对每一属性构造正确样本与干扰样本形成属性级音频识别试题;所述音频依赖性筛选方式:将试题分别匹配真实事件音频、静音音频、无关干扰音频,仅保留真实音频答题准确率远高于静音、无关音频准确率的评价试题。

18、进一步地,所述步骤s2创作者质量筛选方式为:对每一位创作者随机抽取n个音频片段,当满足预设质量标准的片段占比≥80%时,保留该创作者全部视频进入批量处理;语音类创作者筛选标准为单说话人、耳语发音稳定、录音背景噪声低;非语音类创作者筛选标准为交互声源突出、语音干扰占比低、事件实体清晰。

19、一种语音与非语音asmr的统一多模态数据处理及结构化标注系统,用于实现权利要求1-9任一项所述方法,其特征在于,包括以下木块:

20、数据获取模块,用于读取源视频、音轨、标题、描述、上传者时间线、创作者元数据,完成音轨解复用;

21、主题与创作者质量控制模块,用于asmr主题过滤、创作者抽样质检,输出合格视频数据;

22、粗分段与模态路由模块,用于生成粗候选音频片段,计算声学特征指标并判定片段主导模态,分流至语音支路、非语音支路;

23、语音asmr处理模块,与粗分段与模态路由模块输出端连接,用于长音频分块、带时间戳自动转写、呼吸保留式静音清洗、语音单元切分,提取语音专属结构化字段;

24、非语音asmr处理模块,与粗分段与模态路由模块输出端连接,用于声学特征提取、变化点事件边界修正、代表帧提取、高精度与补全双路径结构化标注、标签归一化、固定时长切片,输出非语音专属结构化字段;

25、标签归一化模块,分别与语音asmr处理模块、非语音asmr处理模块连接,完成模态字段标准化、别名映射、冲突标记;

26、统一导出模块,接收归一化后语音、非语音字段,生成包含共享字段、模态专属字段的统一结构化记录;

27、统一评测与人工审计模块,与统一导出模块连接,用于构建语音、非语音两类评价子集,执行音频依赖性筛选,生成质量诊断报告并支持分层抽样复核。

28、从技术优势角度看,本发明能够在同一系统内完成源视频采集、主题筛选、创作者质量控制、粗分段、模态路由、语音转写、非语音事件细化、标签归一化、统一导出及细粒度质量评测数据构建。该方案既能保留语音 asmr 的文本、说话人和耳语风格信息,也能保留非语音 asmr 的动作、实体和材料语义信息。

29、从技术应用角度看,本发明可直接服务于 asmr 语音生成、非语音触发音生成、混合节目素材管理、跨模态检索、自动质检和人工复核等场景。由于该方案采用共享字段与模态专属字段共存的结构化设计,便于后续模型训练、版本迭代、统计分析和产业落地,具有明确的工程实施价值和数据资产转化前景。