一种移动直播实时语音识别生成字幕的方法及装置与流程

1.本技术涉及移动直播技术领域，特别的，尤其涉及一种移动直播实时语音识别生成字幕的方法及装置。


背景技术：

2.移动直播是主播使用移动设备推送音视频数据，观众使用播放设备观看接收到的音视频内容的一种直播方式。对于直播来讲，由于现场环境、不同语言等原因，一些直播需要进行实时添加文字字幕，添加直播实时字幕。而目前移动直播内容很少有实时字幕，因此，直播字幕的需求越来越强烈，一方面可以满足观众观看直播时能够更好得理解视频内容，另一方面直播字幕产品具备以语音转写为核心的实时转写功能，可以从一定程度上帮助媒体工作者提高工作效率。
3.传统的直播字幕实现原理是，给原有直播信号加5-10分钟的延时，用这个延时时间，由同声传译的老师匹配速记员进行文字输出，然后字幕机接收文字文本，根据字幕导演要求，匹配文字字幕，再通过流编码器叠加好字幕的信号，完成直播推流。这种传统的实现方案需要配备的人员较多、设备较多、成本较高。
4.随着技术发展出现了一种智能语音识别合成字幕技术，通过在一个设备中部署智能语音识别程序，自动的将音频内容转写为字幕内容，即：主播端的采集模块和推流模块将直播内容推送到直播cdn(content delivery network，即内容分发网络)，由部署此技术的设备从直播cdn拉取直播音视频流，传输到语音识别程序进行语音识别，推流模块再将语音识别模块识别到的字幕内容合流到音视频流中，重新推送到直播cdn。此方案相对于传统方案在延时方面有了很大提升，并且人员和设备上都有大幅节约。但是由于采用了拉流合流再推流的实现方法，仍然会存在5秒左右的直播延时；并且，由于字幕仍然是合流到音视频流中的，因此，观众端无法自由展示字幕。


技术实现要素：

5.鉴于上述内容中的问题，本技术提供了一种移动直播实时语音识别生成字幕的方法及装置，用以解决现有直播字幕解决方案中，引入的音视频直播内容延时，以及观众端展示字幕不自由的问题。
6.为了实现上述目的，本技术提供了以下技术方案：
7.一种移动直播实时语音识别生成字幕的方法，包括：
8.实时采集主播端移动设备中的音视频数据流，所述音视频数据流中包括音频和视频源，并携带有当前时间的时间戳；
9.通过预设格式对所述音视频数据流进行音频流格式转码，得到特定格式的待识别音频数据；
10.对所述待识别音频数据进行语音识别，获得对应文本格式的字幕数据，所述字幕数据中携带所述音视频数据流中对应的时间戳；
11.将所述音视频数据流与所述字幕数据同步推送至直播内容分发网络。
12.进一步的，所述将所述音视频数据流与所述字幕数据同步推送至直播内容分发网络，包括：
13.获取所述音视频数据流对应的时间戳和所述字幕数据中对应音视频数据流的时间戳；
14.通过协调所述音视频数据流对应的时间戳和所述字幕数据中对应音视频数据流的时间戳来调节音视频进度，以实现所述音视频数据流与所述字幕数据的同步；
15.将同步后的所述音视频数据流与所述字幕数据推送至所述直播内容分发网络。
16.进一步的，还包括：
17.接收所述直播内容分发网络的边缘节点的音视频数据，通过解码器将所述音视频数据解码为音视频内容；
18.提取所述音视频数据流中的时间戳，按照预设展示方式将所述音视频内容展示在观众端移动设备的显示屏幕上。
19.一种移动直播实时语音识别生成字幕的装置，包括：
20.第一处理单元，用于实时采集主播端移动设备中的音视频数据流，所述音视频数据流中包括音频和视频源，并携带有当前时间的时间戳；
21.第二处理单元，用于通过预设格式对所述音视频数据流进行音频流格式转码，得到特定格式的待识别音频数据；
22.第三处理单元，用于对所述待识别音频数据进行语音识别，获得对应文本格式的字幕数据，所述字幕数据中携带所述音视频数据流中对应的时间戳；
23.第四处理单元，用于将所述音视频数据流与所述字幕数据同步推送至直播内容分发网络。
24.进一步的，所述第四处理单元用于：
25.获取所述音视频数据流对应的时间戳和所述字幕数据中对应音视频数据流的时间戳；
26.通过协调所述音视频数据流对应的时间戳和所述字幕数据中对应音视频数据流的时间戳来调节音视频进度，以实现所述音视频数据流与所述字幕数据的同步；
27.将同步后的所述音视频数据流与所述字幕数据推送至所述直播内容分发网络。
28.进一步的，还包括：
29.第五处理单元，用于接收所述直播内容分发网络的边缘节点的音视频数据，通过解码器将所述音视频数据解码为音视频内容；
30.第六处理单元，用于提取所述音视频数据流中的时间戳，按照预设展示方式将所述音视频内容展示在观众端移动设备的显示屏幕上。
31.一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在的设备执行如上述所述的移动直播实时语音识别生成字幕的方法。
32.一种电子设备，所述电子设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如上述所述的移动直播实时语音识别生成字幕的方法。
33.本技术所述的移动直播实时语音识别生成字幕的方法及装置，该方法实时采集主播端移动设备中的音视频数据流，所述音视频数据流中包括音频和视频源，并携带有当前时间的时间戳；通过预设格式对所述音视频数据流进行音频流格式转码，得到特定格式的待识别音频数据；对所述待识别音频数据进行语音识别，获得对应文本格式的字幕数据，所述字幕数据中携带所述音视频数据流中对应的时间戳；将所述音视频数据流与所述字幕数据同步推送至直播内容分发网络。通过本技术使移动设备开播的主播可以做到直播实时说话的过程中，将语音内容实时转为字幕，并分发至观看直播的观众端，且观众端可以自由选择展示字幕的方式，解决了现有直播字幕解决方案中，引入的音视频直播内容延时，以及观众端展示字幕不自由的问题。
附图说明
34.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
35.图1为本技术实施例公开的一种移动直播实时语音识别生成字幕的方法流程示意图；
36.图2为本技术实施例公开的主播端和观众端的结构示意图；
37.图3为本技术实施例公开的一种移动直播实时语音识别生成字幕的装置结构示意图；
38.图4为本技术实施例公开的一种电子设备的结构示意图。
具体实施方式
39.移动直播作为一种有很强互动性的直播形式，主播与观众之间的互动可以最大限度地调动观众的存在感、参与感和积极性，从而实现平台引流变现的最终目的，那么就要求直播尽可能的做到直播字幕低延时。传统的直播字幕技术需要增加5-10分钟的延时，智能语音识别合成字幕技术虽然在延时发面有了很大的提升，但是仍然存在5秒左右的直播延时，都会降低观众观看直播的体验。同时，传统的直播字幕技术和智能语音合成字幕技术都是将字幕合成到音视频流中的，观众端不能自由展示字幕，直播间中的其他组件道具等等都会对字幕造成遮挡，不但观众观看直播字幕的体验不好，也会影响观众使用直播间其他功能。
40.本技术提供一种移动直播实时语音识别生成字幕的方法及装置，用以解决现有直播字幕解决方案中，引入的音视频直播内容延时，以及观众端展示字幕不自由的问题。
41.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
42.请参见附图1，为本技术实施例提供的一种移动直播实时语音识别生成字幕的方法流程示意图。如图1所示，本技术实施例提供了一种移动直播实时语音识别生成字幕的方
法，该方法包括如下步骤：
43.s101：实时采集主播端移动设备中的音视频数据流，所述音视频数据流中包括音频和视频源，并携带有当前时间的时间戳。
44.本技术实施例中，主播端通过采集实时音视频流，并通过编码器合成特定格式的音视频数据流，其中音视频数据流中会携带当前时间的时间戳。
45.s102：通过预设格式对所述音视频数据流进行音频流格式转码，得到特定格式的待识别音频数据。
46.s103：对所述待识别音频数据进行语音识别，获得对应文本格式的字幕数据，所述字幕数据中携带所述音视频数据流中对应的时间戳。
47.s104：将所述音视频数据流与所述字幕数据同步推送至直播内容分发网络。
48.本步骤中，主播端可以将采集的音视频数据流推送到直播cdn的节点上面，利用直播cdn的中心平台的负载均衡、内容分发、调度能力，观众可以就近接收音视频数据，降低网络拥塞，提高用户访问响应速度和命中率。
49.本技术实施例中，上述所述将所述音视频数据流与所述字幕数据同步推送至直播内容分发网络，包括：
50.获取所述音视频数据流对应的时间戳和所述字幕数据中对应音视频数据流的时间戳；
51.通过协调所述音视频数据流对应的时间戳和所述字幕数据中对应音视频数据流的时间戳来调节音视频进度，以实现所述音视频数据流与所述字幕数据的同步；
52.将同步后的所述音视频数据流与所述字幕数据推送至所述直播内容分发网络。
53.本步骤中，通过实时获取音视频数据流对应的时间戳和字幕数据中对应音视频数据流的时间戳；通过协调以上两个时间戳调节进度，当播放音视频数据的时候，获取到音视频数据的时间戳，同时在已接收到的字幕数据中找到对应相等时间戳的字幕数据，系统按照观众的操作要求展示字幕数据，这样，同步模块就将音视频数据和字幕数据对应起来了，达到了音视频数据和字幕数据同步的目的。
54.s105：接收所述直播内容分发网络的边缘节点的音视频数据，通过解码器将所述音视频数据解码为音视频内容。
55.s106：提取所述音视频数据流中的时间戳，按照预设展示方式将所述音视频内容展示在观众端移动设备的显示屏幕上。
56.本步骤中，观众端可以就近接收直播内容分发网络的边缘节点的音视频数据，通过解码器将音视频数据解码为音视频内容，同时提取到主播端编码进来的时间戳，最终按照预设展示方式将所述音视频内容展示在观众端移动设备的显示屏幕上。
57.需要说明的是，如图2所示，本技术实施例在主播端集成了采集模块、推流模块、转码模块、识别模块、通讯模块。主播端通过采集模块采集实时音视频流，并直接将音视频数据输入到转码模块，通过转码模块转换为识别模块需要的音频流格式后，将已转码音频流输入到识别模块，通过识别模块获得对应的字幕内容。在推流模块推送音视频流的同时，将识别后的字幕内容通过即时通讯模块上传。观众端包括拉流模块、播放模块、通讯模块、字幕模块、同步模块。观众端通过拉流模块和通讯模块分别接收音视频数据和字幕数据，经同步模块进行同步后由播放模块和字幕模块展示给观众。
58.如图2所示，图中虚线单向箭头所示流程为通过直播cdn推流拉流音视频数据流程：主播端采集模块采集主播端移动设备中的音频和视频源，通过编码器合成特定格式的音视频数据流，其中音视频数据流中会携带当前时间的时间戳。主播端推流模块将采集模块中的数据流推送到直播cdn的节点上面，利用直播cdn的中心平台的负载均衡、内容分发、调度能力，观众可以就近接收音视频数据，降低网络拥塞，提高用户访问响应速度和命中率。观众端拉流模块就近接收直播cdn的边缘节点的音视频数据，通过解码器将音视频数据解码为音视频内容，同时提取到主播端编码进来的时间戳。观众端播放模块将音视频内容展示到观众的移动设备的显示屏幕上面。
59.如图2所示，图中实线单向箭头所示流程为实时语音识别并通过通讯模块发送接收字幕数据流程：主播端采集模块将步骤a中的音视频数据同时在本地传输到转码模块中。主播端转码模块将原始的音视频数据转码为语音识别模块所需的特定格式的音频数据格式并输入到语音识别模块中。主播端语音识别模块将已经转码好的音视频数据，进行实时语音识别，转换为文本格式的字幕数据，其中字幕数据中会携带音视频数据中对应的时间戳。主播端通讯模块将文本格式的字幕数据通过通讯服务分发到所有观众端的通讯设备的通讯模块中。观众端字幕模块将字幕数据提供给观众，由观众自由选择如何展示。
60.如图2所示，图中虚线框内实线双向箭头所示流程为分别接收实时音视频数据和字幕数据并进行同步的流程：同步模块实时获取如上a(3)中拉流模块解码音视频数据时的音视频数据的时间戳。同步模块实时获取如上b(3)提到的字幕数据中对应音视频数据的时间戳。同步模块通过协调以上两个时间戳调节进度，当播放音视频数据的时候，获取到音视频数据的时间戳，同时在已接收到的字幕数据中找到对应相等时间戳的字幕数据，系统按照观众的操作要求展示字幕数据。这样，同步模块就将音视频数据和字幕数据对应起来了，达到了音视频数据和字幕数据同步的目的。
61.本技术实施例中，直播字幕的音频数据源是从主播端采集到的音视频数据流中同步获取的，后续的转码识别发送流程是在主播端立即执行的，避免了从cdn拉取音视频流后再进行后续流程带来的cdn分发延时，使得生成字幕更加高效。同时，字幕生成过程不会影响音视频数据流的流程，因此不会引入音视频直播内容的延时。
62.另外，本技术实施例在观众端分别接收实时音视频数据和字幕数据并进行同步和自由展示的方法，由于字幕数据是通过通讯模块单独接收的，所以字幕数据可以按照观众的意愿独立展示，解决了观众端展示字幕不自由的问题。
63.本技术实施例提供的移动直播实时语音识别生成字幕的方法，该方法实时采集主播端移动设备中的音视频数据流，所述音视频数据流中包括音频和视频源，并携带有当前时间的时间戳；通过预设格式对所述音视频数据流进行音频流格式转码，得到特定格式的待识别音频数据；对所述待识别音频数据进行语音识别，获得对应文本格式的字幕数据，所述字幕数据中携带所述音视频数据流中对应的时间戳；将所述音视频数据流与所述字幕数据同步推送至直播内容分发网络。通过本技术实施例使移动设备开播的主播可以做到直播实时说话的过程中，将语音内容实时转为字幕，并分发至观看直播的观众端，且观众端可以自由选择展示字幕的方式，解决了现有直播字幕解决方案中，引入的音视频直播内容延时，以及观众端展示字幕不自由的问题。
64.请参阅图3，基于上述实施例公开的一种移动直播实时语音识别生成字幕的方法，
本实施例对应公开了一种移动直播实时语音识别生成字幕的装置，该装置包括：
65.第一处理单元31，用于实时采集主播端移动设备中的音视频数据流，所述音视频数据流中包括音频和视频源，并携带有当前时间的时间戳；
66.第二处理单元32，用于通过预设格式对所述音视频数据流进行音频流格式转码，得到特定格式的待识别音频数据；
67.第三处理单元33，用于对所述待识别音频数据进行语音识别，获得对应文本格式的字幕数据，所述字幕数据中携带所述音视频数据流中对应的时间戳；
68.第四处理单元34，用于将所述音视频数据流与所述字幕数据同步推送至直播内容分发网络。
69.进一步的，所述第四处理单元34用于：
70.获取所述音视频数据流对应的时间戳和所述字幕数据中对应音视频数据流的时间戳；
71.通过协调所述音视频数据流对应的时间戳和所述字幕数据中对应音视频数据流的时间戳来调节音视频进度，以实现所述音视频数据流与所述字幕数据的同步；
72.将同步后的所述音视频数据流与所述字幕数据推送至所述直播内容分发网络。
73.进一步的，还包括：
74.第五处理单元35，用于接收所述直播内容分发网络的边缘节点的音视频数据，通过解码器将所述音视频数据解码为音视频内容；
75.第六处理单元36，用于提取所述音视频数据流中的时间戳，按照预设展示方式将所述音视频内容展示在观众端移动设备的显示屏幕上。
76.所述移动直播实时语音识别生成字幕的装置包括处理器和存储器，上述第一处理单元、第二处理单元、第三处理单元和第四处理单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
77.处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来达到提高诱导性广告识别能力，提升审核效率及准确率的目的。
78.本技术实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述移动直播实时语音识别生成字幕的方法。
79.本技术实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述移动直播实时语音识别生成字幕的方法。
80.本技术实施例提供了一种电子设备，如图4所示，该电子设备40包括至少一个处理器401、以及与所述处理器连接的至少一个存储器402、总线403；其中，所述处理器401、所述存储器402通过所述总线403完成相互间的通信；处理器401用于调用所述存储器402中的程序指令，以执行上述的所述移动直播实时语音识别生成字幕的方法。
81.本文中的电子设备可以是服务器、pc、pad、手机等。
82.本技术还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：
83.实时采集主播端移动设备中的音视频数据流，所述音视频数据流中包括音频和视频源，并携带有当前时间的时间戳；
84.通过预设格式对所述音视频数据流进行音频流格式转码，得到特定格式的待识别音频数据；
85.对所述待识别音频数据进行语音识别，获得对应文本格式的字幕数据，所述字幕数据中携带所述音视频数据流中对应的时间戳；
86.将所述音视频数据流与所述字幕数据同步推送至直播内容分发网络。
87.进一步的，所述将所述音视频数据流与所述字幕数据同步推送至直播内容分发网络，包括：
88.获取所述音视频数据流对应的时间戳和所述字幕数据中对应音视频数据流的时间戳；
89.通过协调所述音视频数据流对应的时间戳和所述字幕数据中对应音视频数据流的时间戳来调节音视频进度，以实现所述音视频数据流与所述字幕数据的同步；
90.将同步后的所述音视频数据流与所述字幕数据推送至所述直播内容分发网络。
91.进一步的，还包括：
92.接收所述直播内容分发网络的边缘节点的音视频数据，通过解码器将所述音视频数据解码为音视频内容；
93.提取所述音视频数据流中的时间戳，按照预设展示方式将所述音视频内容展示在观众端移动设备的显示屏幕上。
94.本技术是根据本技术实施例的方法、设备(系统)、计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
95.在一个典型的配置中，设备包括一个或多个处理器(cpu)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。
96.存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
97.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。
98.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要
素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
99.本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
100.以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。