一种支持多终端音频内容同步与差异化分发的智能导览方法与流程
本发明涉及博物馆智能导览,属于存一种支持多终端音频内容同步与差异化分发的智能导览方法。
背景技术:
1、博物馆、科技馆等文旅场馆广泛使用无线导览讲解设备,包含 fm 红外广播导览器、蓝牙一拖多讲解器、手机 app 自助导览、无线团队讲解系统等。
2、fm、红外广播式导览设备只能向全部接收终端下发完全相同音频流,无法针对成人、儿童提供分级解说内容;同时接收终端缺少统一时钟基准,不同耳机链路时延、解码缓冲不一致,多终端播放存在时间错位,游客相邻佩戴耳机时会出现回声、串音,收听体验差。
3、现有蓝牙点对点一拖多方案,主机设备和每一副从机耳机建立独立点对点音频链路,传输完整混音音频流。当从机耳机数量增加,设备连接数量、带宽占用快速上升,蓝牙本身并发连接数受限,无法支持多路高质量音频同时传输;各个链路相互独立,没有统一播放时钟,多副从机耳机播放错位明显;公共背景音乐、主叙事剧情会向每一台从机耳机重复传输,造成无线带宽大量浪费。
4、手机扫码自助导览方案依靠游客个人手机播放,每一台设备独立播放,终端之间完全无法同步,不能实现家庭、团队共享沉浸式收听体验,还依赖手机网络、游客终端设备,讲解员无法统一管控播放内容。
5、部分多频道广播系统为成人、儿童分别广播一套完整混音音频流,公共背景、主剧情在每个频道重复发送,带宽开销随身份类别数量线性增加;各个频道独立时钟,终端之间播放不同步;讲解模式、音频内容需要人工手动切换,走到不同展品面前需要操作人员手动切换模式,打断讲解过程。
技术实现思路
1、为实现上述目的,本发明提供如下技术方案:
2、一种支持多终端音频内容同步与差异化分发的智能导览方法,基于主机、从机,主机包括私有主机无线通信模块、分层音频内容存储模块、身份标签管理模块、音频同步调度模块、模式控制模块、场景触发模块、主控处理器;
3、从机包括从机私有无线通信模块、身份标签寄存器、时钟同步单元、抖动缓冲区、音频解码与本地混音模块、扬声器;
4、s1:主控处理器接受触发信号、基于所述触发信号形成模式控制信号、向所述模式控制模块下发所述模式控制信号;
5、s2:模式控制模块105基于所述模式控制信号控制音频同步调度模块104读取分层音频内容存储模块中对应的编码音频数据;
6、读取差异化模式时,读取背景音层、主剧情层 、每一个活跃分组 id对应的解说层;一次读取对应播放游标区间[n,n+480)的 lc3 码流;
7、读取同频模式时:读取合并后公共层 lc3 码流,标签层时隙标记为空闲;
8、s3:身份标签管理模块 向音频同步调度模块 输出当前活跃分组 id 列表;
9、s4:音频同步调度模块 按照当前活跃分组 id 列表分配超帧内标签层时隙,同时读取硬件计数器获取主时钟基准 t_master,音频同步调度模块 基于编码音频数据、内标签层时隙、主时钟基准 t_master组装形成主机报文发送至主机私有无线通信模块;
10、s5:主机私有无线通信模块将所述主机报文转换为射频信号向空中无线链路发送;
11、s6:所述空中无线链路接收主机报文处理成传输报文;
12、s7:从机私有无线通信模块接收到所述传输报文,完成报文校验,接收其适配的报文分发至时钟同步单元、抖动缓冲区与音频解码与本地混音模块 进行处理之后经过解码、加权混音、防削波处理;在统一时刻输出合成音频发送至扬声器完成播放。
13、具体地,所述触发信号包括场景触发模块106采集nfc 、二维码或定位信号,经过防抖过滤输出 16bit的场景标识以及人机交互模块 接收用户操作形成的上报数据,所述上报数据包括选择展品场景、指定耳机为儿童或成人身份、修改背景增益。
14、具体地,主控处理器基于所述触发信号形成模式控制信号步骤为:
15、主控处理器基于场景标识查询本地映射表形成模式控制信号,所述本地映射表中单条映射记录字段包括16bit场景标识,1bit模式标记、16bit公共层音轨id、16bit×k标签层音轨id列表、8bit分组策略、8bit×3默认增益g_bg、g_main、g_tag;所述模式控制信号包括包括模式标记、公共层音轨id、标签层音轨id列表、时隙分组策略。
16、进一步地,所述传输报文包括广播报文、公共层多播报文、标签分组多播报文;
17、广播报文,目标分组id=0xffff,全部从机必须接收,报文包含同步帧、prepare帧、commit 帧、信道切换通知帧;同步帧携带\(t_{master}\)、超帧序号、信道号、活跃分组列表;
18、公共层多播报文,目标分组 id=0x0000,承载背景音层、主剧情层音频数据帧,所有从机必须接收;
19、标签分组多播报文,目标分组 id∈[0x0001-0xfffe],承载各分组解说层音频帧;从机硬件比较器做 id 比对,不匹配直接丢弃报文,不向上传递。
20、进一步地,其中,所述适配的报文包括同步帧、音频数据帧、prepare、commit 控制帧
21、其中,同步帧送入时钟同步单元 ;音频数据帧经过分组 id 硬件过滤,有效帧送入抖动缓冲区;prepare、commit 控制帧分发至抖动缓冲区与音频解码与本地混音模块;
22、抖动缓冲区接收音频数据帧,以三元组作为索引写入环形数组,乱序包按采样索引n重排;区分旧纪元、新纪元存储分区;收到硬件中断触发信号后输出同一采样索引 n 对应的公共层 pcm 样本、本组解说层 pcm 样本;缓冲区下溢执行丢失隐藏,上溢丢弃最旧样本;。
23、时钟同步单元持续输出校正后本地时钟 t_local_alignment 给音频解码与本地混音模块 205 内部硬件比较器;比较条件:t_local_alignment ≥ pts (e,n)-cdac,条件成立立刻触发硬件中断;cdac=70 微秒为 dac 输出固定延迟补偿常数;
24、音频解码与本地混音模块收到硬件中断,读取抖动缓冲区 输出 pcm 样本,执行lc3 解码、增益加权混音、软限幅防削波;收到切换指令时执行淡入淡出;输出 16bit pcm流送至扬声器 206 电声播放。
25、进一步地,还包括s8:
26、s8:场景触发模块检测展项场景发生变更时,通过准备-提交两阶段原子切换机制,完成播放纪元、工作模式、音轨资源的全局同步切换;全部从机在同一个时刻完成切换,具体的步骤包括:
27、场景触发模块检测到场景标识发生改变,上报 16bit 新场景标识至主控处理器;主控处理器查询本地映射表,取出新模式、新公共层音轨 id、标签层音轨 id 列表,下发模式控制模块 ;
28、模式控制模块向音频同步调度模块 下发切换指令;音频同步调度模块 向分层音频内容存储模块预读取新场景前 5 个音频帧存入预缓冲队列,生成新播放纪元编号 e+1;
29、音频同步调度模块 组装 prepare 广播控制帧,交由主机私有无线通信模块 连续 3 个超帧重复广播;
30、所有从机私有无线通信模块 接收 prepare 控制帧;抖动缓冲区开辟新纪元 e+1独立环形存储分区,接收预加载音频帧;解码器完成上下文初始化;计算缓冲区填充样本数,生成 ready 就绪回执上行发送主机。
31、进一步地,还包括s9:
32、s9:从机首次入网绑定处理,具体包括以下步骤:
33、从机耳机上电监听同步帧;时钟同步单元 采集至少 3 个同步帧样本完成时钟粗对齐;从机在分配的反馈时隙发送入网请求帧,载荷:6 字节 mac、设备能力。 本步骤功能:新耳机捕获主机时钟基准完成粗同步;上报设备硬件地址与硬件解码能力,向主机发起入网申请。
34、主机私有无线通信模块 接收入网请求,上交音频同步调度模块,转发身份标签管理模块;
35、身份标签管理模块分配 8bit 身份标签、未占用 16bit 分组 id;在内存映射表写入记录:{mac,身份标签,分组 id,状态 = 待确认};
36、身份标签管理模块 输出参数给音频同步调度模块,组装标签配置控制帧;由主机私有无线通信模块空中下发给目标从机;
37、从机耳机私有无线通信模块接收配置帧;将 8bit 身份标签、16bit 分组 id、32bit 凭据有效期写入身份标签寄存器;生成绑定确认回执帧上行反馈主机;
38、主机收到确认回执,身份标签管理模块将该记录状态更新为「已绑定」;把更新后的活跃分组 id 列表输出至音频同步调度模块,更新 tdma 时隙分配。
39、进一步地,还包括s10:
40、s10:运行过程身份改绑处理,具体包括以下步骤:
41、人机交互模块接收用户改绑操作,上报主控处理器,上报数据:{目标设备 mac,新8bit 身份标签};
42、主控处理器 转发至身份标签管理模块 ,分配新 16bit 分组 id;确定生效时刻= 当前 pts+30ms;输出改绑参数给音频同步调度模块 ,组装标签更新控制帧空中下发;
43、从机私有无线通信模块接收标签更新控制帧,暂存新身份参数,不立即改写身份标签寄存器 ;
44、时钟同步单元 输出 t_local_alignment 到达生效时刻,从机更新身份标签寄存器 内分组 id;硬件比较器立刻切换 id 比对条件;
45、主机音频同步调度模块在同一生效时刻,停止旧分组 id 标签层时隙发送,切换发送新分组 id 解说层帧;从机公共层音频播放不间断;解说层最多产生 10ms 静音;从机发送改绑完成回执。
46、进一步地,还包括s11:
47、s11:身份失配校验处理,具体步骤包括:
48、从机私有无线通信模块 201 接收音频数据帧,硬件比较器比对包头 16bit 目标分组 id 与身份标签寄存器 202 存储的分组 id;不匹配,则直接丢弃该标签层解说数据包,仅保留公共层音频播放, 本步骤功能中,硬件实时校验分组 id 匹配关系;出现错配时舍弃错误解说音频,保证不会播放错误版本解说,仅保留公共层音频。
49、从机生成状态上报帧,状态码置为「分组 id 失配」,在反馈时隙上报主机;
50、主机音频同步调度模块接收告警,转发身份标签管理模块,触发重新绑定流程,重新下发标签配置控制帧;
51、 s12:掉线判定处理:
52、主机判定掉线:主机连续 6 个超帧即 60ms 没有收到该从机反馈帧,定向探询帧无应答;将该设备标记为掉线,移出活跃从机集合;
53、从机判定失联:主机连续8个超帧即 80ms 接收不到同步帧;进入低功耗扫描模式,每 100ms 唤醒一次射频扫描同步帧。
54、进一步地,还包括s13和s14:
55、 s13:新从机中途加入会话处理,具体包括以下步骤:
56、新从机耳机监听空中同步帧,时钟同步单元 采集大于等于 3 组同步样本完成粗时钟对齐;
57、完整入网绑定流程,完成身份标签寄存器配置;
58、从机生成加入请求帧,载荷携带设备 mac、未来加入采样索引 njoin,上行发送主机;
59、主机音频同步调度模块接收加入请求;从 njoin 向前回退 3 帧,读取公共层与该分组解说层 lc3 音频帧作为预滚动数据下发;发送上下文快照帧,携带当前播放纪元e、采样率 48000hz、njoin、pts (e,njoin);
60、从机抖动缓冲区接收补发音频数据;当缓冲区填充样本大于等于 0.5×btar,等待本地对齐时钟到达 pts (e,njoin);到达该时间点,音频解码与本地混音模块 205 开始输出音频,与其他在线从机同步播放。
61、s14:掉线从机重连流程,具体包括以下步骤:
62、掉线从机重新捕获空中同步帧;时钟同步单元快速完成时钟对齐;读取身份标签寄存器中 32bit 凭据有效期,若凭据未过期,则跳过完整入网绑定流程;
63、从机发送重连请求帧上行,载荷:设备 mac、本机现存 16bit 分组 id。 本步骤功能:向主机发起重连请求,上报本机保存的身份分组信息;
64、主机身份标签管理模块校验 mac-分组 id 映射表记录有效;音频同步调度模块向从机补发当前播放位置公共层、本组解说层音频,下发上下文快照帧;
65、从机抖动缓冲区 填充样本达到 50% btar 阈值;等待未来 pts (e,njoin) 时刻开始播放;掉线期间历史音频数据不补发,直接跟随系统当前播放进度,不干扰其余从机输出。
66、本发明的有益效果是:
67、实现多从机耳机高精度音频同步播放,消除串音与回声现象:本发明通过主机设备周期性广播主时钟基准 t_master,从机耳机的时钟同步单元 203 校正得到校正后本地时钟 t_local_alignment,结合音频数据包携带的目标播放时间戳 pts、抖动缓冲区 204吸收无线链路时延抖动,全部从机耳机统一在目标播放时间戳 pts 时刻输出音频样本,将多从机耳机之间播放时间偏差控制在 5ms 以内,达到人耳无法感知的同步水平。在多副从机耳机近距离佩戴的亲子、团体讲解场景下,能够有效避免链路时延、解码缓冲差异带来的播放错位,消除相邻耳机之间产生的回声、串音,显著提升收听体验。
68、支持同场景下分级差异化解说,兼顾共享沉浸体验与个性化收听需求:本发明采用音频分层架构,将音频划分为公共的背景音层、主剧情层和按身份标签划分的多版本解说层。公共层音频以多播方式仅传输一份,全体从机耳机均可接收;解说层按照目标分组id 进行分组投递,不同身份标签对应的从机耳机在本机完成本地混音。在亲子参观场景中,成人从机耳机播放成人版解说,儿童从机耳机播放儿童版解说,所有从机耳机共享完全一致的背景音乐与主叙事剧情,既保障家庭共同参观的沉浸式体验,又能够匹配成人、儿童不同认知水平的收听需求。同时身份标签可扩展语言、年龄段、无障碍标签,适配多语种、特殊人群等多元化导览场景。
69、带宽开销不随从机耳机数量线性增长,系统并发可扩展性好:本发明公共层音频全网仅发送一次,同一目标分组 id 内无论接入多少台从机耳机,对应解说层音频也仅发送一次,系统整体带宽开销仅由公共层以及活跃身份分组的数量决定,而与实际接入的从机耳机总数量无关。当活跃身份分组数量超出默认时隙上限时,主机设备可通过延长超帧周期或者提升空口传输速率两种方式实现时隙资源扩展,无需对硬件进行升级,在有限2.4ghz 无线带宽条件下,可以支撑更多终端接入,克服传统点对点传输、全频道独立混音广播方案带宽占用随终端数量暴涨的缺陷。
70、展项场景自动驱动模式与音轨切换,两阶段原子切换保障播放连续性:本发明依托场景-模式-音轨映射表,通过 nfc、二维码、定位或者人工操作识别场景标识,自动完成同频模式、差异化模式切换与对应音轨资源加载。采用 prepare-commit 准备-提交两阶段原子切换机制,全部从机耳机在统一目标提交时刻 t_commit 完成纪元切换,新旧音频执行淡入淡出处理。切换过程无需讲解员手动操作,不会产生爆音、卡顿、音频中断现象,跟随游客移动至不同展项自动适配讲解策略,保障讲解流程连贯顺畅。
71、具备身份标签绑定校验机制,抑制音轨错发故障,接入重同步机制健壮可靠:主机设备的身份标签管理模块完成身份标签、目标分组 id 分配,从机耳机通过身份标签寄存器存储身份配置;从机耳机硬件层直接比对数据包目标分组 id,不匹配直接丢弃解说数据包,仅保留公共层音频,并向主机设备上报目标分组 id 失配告警,自动触发重新绑定流程,避免儿童耳机播放成人解说、成人耳机播放儿童解说的音轨错配问题。针对从机耳机中途入网、掉线重连场景,系统提供完整的重同步流程;身份凭据在有效期内的从机耳机可跳过完整入网绑定快速接入;从机耳机只需要缓存到最低限度音频样本,即可在统一目标播放时间戳 pts 对齐全场播放进度,不需要所有终端整机重启;掉线期间历史音频不予补发,不会干扰其他正常从机耳机播放,提升系统现场运行容错能力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com