信息处理方法、设备和介质与流程

本公开涉及数据处理技术领域，尤其涉及一种信息处理方法、设备和介质。

背景技术：

用户在观看视频时，可以通过视频显示界面上的字幕理解视频内容。视频提供者可以录制视频，以及制作与该视频对应的字幕文件，再将视频与字幕文件进行合成，以得到添加有字幕的视频。

相关技术中，字幕文件采用离线非线性编辑的方式得到。但是，这种方式存在效率低的问题。

技术实现要素：

本公开提供了一种信息处理方法、设备和介质。

根据本公开的一方面，提供了一种信息处理方法，包括：将字幕对应的语音转换为声学基元，以及，确定所述语音的时间信息；根据预先建立的映射关系，确定与所述声学基元对应的内容单元，所述内容单元为所述字幕对应的文本中的内容单元，所述映射关系包括所述声学基元与所述内容单元之间的映射关系；基于所述时间信息和所述内容单元，构建包含时间信息的文本，并基于所述包含时间信息的文本，构建字幕文件。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任一方面的任一项所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述任一方面的任一项所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述任一方面的任一项所述的方法。

根据本公开的技术方案，通过对字幕的语音进行处理，基于语音对应的声学基元以及时间信息，构建字幕文件，可以提高字幕文件的生成效率。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开一实施例提供的信息处理方法的流程示意图；

图2是本公开另一实施例提供的信息处理方法的流程示意图；

图3是本公开实施例中语音转换为拼音的流程示意图；

图4是本公开实施例中建立汉字信息与关联信息的对应关系的流程示意图；

图5是用来实现本公开实施例的信息处理方法中任一方法的电子设备的示意图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是本公开一实施例提供的信息处理方法的流程示意图，如图1所示，该方法包括：

101、将字幕对应的语音转换为声学基元，以及，确定所述语音的时间信息。

102、根据预先建立的映射关系，确定与所述声学基元对应的内容单元，所述内容单元为所述字幕对应的文本中的内容单元，所述映射关系包括所述声学基元与所述内容单元之间的映射关系。

103、基于所述时间信息和所述内容单元，构建包含时间信息的文本，并基于所述包含时间信息的文本，构建字幕文件。

本实施例的执行主体可以为单侧主体，比如为终端或者服务器。具体地，可以基于应用程序(application，app)或者插件的形式实现。

以app形式实现为例，用户可以在移动终端上安装app客户端，用户可以在app客户端中录入字幕对应的语音，app客户端将语音传输给部署app服务端，app服务端接收到语音后，可以对语音进行处理，以得到字幕文件。

进一步地，为了方便用户录入语音，该app还可以具有提词功能，即，该app可以称为提词器app，假设字幕对应的文本称为台词文本，该提词器app具有显示台词文本和将语音转换为字幕文件的功能。

本公开实施例中，是基于声学基元，将语音转换为字幕文件。

声学基元是指发音单元，在不同的语言体系中，声学基元可以是不同的，比如，针对中文，声学基元可以具体为拼音，又比如，针对日文，声学基元可以为假名(包括片假名和平假名)。

内容单元是指组成字幕对应的文本的单元，以中文为例，内容单元可以为汉字；或者，对应日文，内容单元可以为假名对应的日文文字。

比如，可以预先建立拼音与汉字的映射关系，在采集到语音后，将语音转换为拼音，再根据映射关系，将拼音映射为对应的汉字。比如，语音是“啊”的语音，对应的拼音为“a”，预先建立拼音与汉字的映射关系中，“a”与“啊”存在映射关系，则可以基于“a”获取对应的汉字“啊”。可以理解的是，本实施例以映射关系中为拼音为例，为了便于查询，映射关系中可以是拼音对应的数字索引，比如，当前拼音为“a”，则可以先获取“a”对应的数字索引，比如为“28”，在映射关系中，假设“28”映射到“啊”，则可以基于拼音的数字索引确定对应的汉字。

将语音转换为拼音时，可以采用各种相关技术实现，比如，采用已有的声学模型对语音进行处理，以得到对应的拼音。已有的声学模型比如为循环神经网络(recurrentneuralnetwork,rnn) 连接时间分类(connectionisttemporalclassification，ctc)结构。

语音识别是指将语音识别为文字，将语音输入到语音识别模型中，输出为文字。但是，语音识别模型采用的算法较为复杂，并且准确度也较低。如果采用语音识别的方式，就需要较为复杂的算法，或者准确度较低。

而本公开实施例中，是基于声学基元的处理，相对来讲，将语音识别为声学基元(如，拼音)的过程是较为简单和准确的，因此可以降低实现复杂度，以及提高准确度。

进一步地，基于声学基元确定内容单元时，是根据预先建立的声学基元与内容单元之间的映射关系确定的。比如，可以预先建立拼音与汉字的映射关系，基于该映射关系，可以将拼音映射到汉字。

通过映射关系，确定声学基元对应的内容单元，可以进一步提高准确度。比如，语音识别会存在一个拼音对应多个汉字的情况，在语音识别时，即使确定出了准确的拼音，但是，由于一音多字的问题，可能存在识别出错误的汉字的问题。而本公开实施例中，基于上述的映射关系确定汉字，由于映射关系中的汉字是字幕对应的文本中的汉字，拼音是汉字的拼音，因此，基于该映射关系可以从拼音映射到字幕文本中的汉字，确定础的汉字是准确的，并且相对于语音识别时，采用复杂的算法从拼音生成汉字，本实施例中采用映射关系的方式，可以简单实现。

用户录入语音时，还可以记录对应的时间，比如，用户录入语音形式的“今天天气很好”时，记录“今”对应的时间信息为第1秒，“好”对应的时间信息为第3秒等。

获取到内容单元以及语音的时间信息后，可以基于内容单元和时间信息构建包含时间信息的文本。在构建包含时间信息的文本时，可以逐句构建，具体地，可以对应所述内容单元组成的句子，添加所述句子对应的时间信息，以得到包含时间信息的句子；按所述包含时间信息的句子时间顺序，依序排列所述包含时间信息的句子，组成包含时间信息的文本。

比如，字幕对应的文本称为台词文本，在台词文本中，“今天天气很好”是一句话，则可以对应“今天天气很好”添加时间信息为“第1秒到第3秒”。进一步地，可以依据台词文本中的标点区分内容单元是否组成一句话，比如，在台词文本中“今天天气很好”之后有逗号，则可以在确定出“好”后，发现“好”的后面是一个逗号，从而将“好”之前的汉字组成一句话，即，“今天天气很好”作为一句话。另外，基于该逗号，还可以将“好”之后的汉字，作为下一句话的起点，比如，“今天天气很好”之后的汉字为“我”，则“我”可以作为“今天天气很好”的下一句的起点。类似地，“今天天气很好”中的“今”可以是依据“今天天气很好”的上句话确定出的。可以理解的是，不限于台词文本的标点识别，还可以对语音的静音识别，比如，将两个相邻静音点之间的语音对应的文本作为一句话。在添加时间信息时，按句添加时间信息。

依此类推，用户可以一直录入语音，直至录音结束，针对每个句子都添加上时间信息。之后，可以按照每个句子的时间顺序，对每个包含时间信息的句子进行排列，组成包含时间信息的文本。并且在组成包含时间信息的文本时，还可以包含各个句子的序号。比如，台词文本中包括“今天天气很好”和“我去打羽毛球”，相应的时间信息为“第1秒到第3秒”，“第3秒到第5秒”，则可以组成如下的包含时间信息的文本：

1，1秒～3秒

今天天气很好

2，3秒～5秒

我去打羽毛球

...

依次类推，直至录音结束。

获取到包含时间信息的文本后，可以将其保存为标准字幕格式的文件，将该文件作为字幕文件。比如，得到上述的包含时间信息的文本后进行保存，并且将保存的文件的后缀名修改为标准字幕格式，标准字幕格式比如为srt格式。

本实施例中，通过将字幕对应的语音转换为声学基元，基于声学基元和语音的时间信息构建字幕文件，不需要进行人为编辑，而是基于用户的语音自动生成字幕文件，从而实现字幕文件的高效生成。

一些实施例中，在生成字幕文件后，还可以将字幕文件与对应的视频进行合成，以得到包含字幕的视频。在合成时，可以采用各种相关技术实现，比如，依据每个句子的时间信息，采用文字渲染的方式，将文字渲染到该句子的时间信息对应的图像帧上。

本实施例中，通过将字幕文件与视频进行合成，可以得到包含字幕的视频，方便用户观看视频。

图2是本公开另一实施例提供的信息处理方法的流程示意图，本实施例以中文为例，如图2所示，该方法包括：

201、获取台词文本。

本实施例中，待添加到视频中的字幕对应的文本称为台词文本。具体地，本实施例可以提供一种app，该app可以称为提词器app，用户打开提词器app后，点击台词文本导入按钮后，可以显示导入界面，以便用户通过该界面导入台词文本。或者，用户还可以通过输入的方式向app中输入台词文本，比如，app提供输入按钮，用户点击输入按钮后，可以进行台词文本的输入。其中，导入是指当前已有台词文本，用户从本地数据库中导入已有的台词文本，输入是指需要当前没有台词文本，需要用户进行在线的台词输入。

202、确定台词文本中的每个汉字的汉字信息与关联信息的对应关系。

其中，汉字信息可以为汉字编码，比如为unicode码。

关联信息可以是拼音，或者拼音对应的数字索引。本实施例中，以关联信息为数字索引为例。

比如，台词文本中包括“今天天气很好”，则可以依据每个汉字(“今”等)确定对应的数字索引，以建立汉字编码与数字索引的对应关系。

对应每个汉字，建立汉字编码与数字索引的对应关系的流程可以参见后续图3的说明。

203、采集用户录入的字幕对应的语音。

比如，app中包含录音按钮，用户点击该录音按钮后，app开始采集用户录入的语音。

进一步地，为了在拍摄时完成字幕文件的生成，可以是用户在拍摄视频时，采集视频中的语音。

具体地，比如，用户在打开某个视频拍摄app后，可以将本公开实施例中的提词器app也打开，且该提词器app可以悬浮在视频拍摄app的界面上，悬浮技术可以采用各种相关技术实现。用户点击视频拍摄app的视频录制按钮后，还可以再点击提词器app的录音按钮，这样，在用户拍摄视频时，视频中的语音可以被采集到提词器app中，以便提词器app对语音进行处理，以生成字幕文件。另外，提词器app上还可以显示台词文本，以便用户在录制视频时按照台词文本发出语音。

本实施例中，通过在拍摄视频时采集语音，可以同步完成视频的拍摄，以及，将视频中的语音转换为字幕文件。

204、记录语音的时间信息。

205、将语音转换为拼音，并确定该拼音对应的关联信息。

假设语音对应的文本为“啊”，则经过转换，拼音为“a”。

以关联信息为数字索引为例，假设“a”对应的数字索引为“28”，则可以确定该拼音对应的关联信息为“28”。

一些实施例中，可以基于深度神经网络模型，将语音转换为拼音。

具体流程可以参见后续图4的说明。

206、在汉字信息与关联信息的对应关系中进行查找，以确定该关联信息对应的汉字。

比如，该关联信息为“28”，在汉字信息与数字索引的对应关系中，“28”对应“啊”的unicode码，则可以确定该关联信息对应的汉字为“啊”。

207、将时间信息添加到汉字组成的句子中，以得到包含时间信息的文本。

其中，可以按句进行时间信息的添加。比如，对应“今天天气很好”添加1秒～3秒。

208、判断录音是否结束，若是，执行209，否则重复执行203及其后续步骤。

其中，可以在检测到用户点击结束录音的按钮后，判断录音结束，否则录音未结束。

209、将包含时间信息的文本，保存为srt格式的字幕文件。

在得到各个包含时间信息的句子后，将各个包含时间信息的句子按照时间顺序排列后，组成包含时间信息的文本，将该文本的格式修改为srt格式，得到srt格式的字幕文件。

本实施例以srt格式的字幕文件为例，也可以将该文本保存为其他标准字幕格式。

本实施例中，基于拼音的数字索引进行汉字的查询，可以提高查询效率。

如图3所示，示出了建立汉字信息与关联信息的对应关系的流程，本实施例中以汉字信息为汉字的unicode码，关联信息为数字索引为例。如图3所示，建立对应关系的方法包括：

301、将汉字转换为unicode码。

其中，汉字是指台词文本中的每个汉字。

302、确定汉字的拼音，并建立汉字的unicode码与汉字的拼音的对应关系。

303、确定汉字的拼音与数字索引的对应关系，并根据汉字的unicode码与汉字的拼音的对应关系，以及，汉字的拼音与数字索引的对应关系，建立汉字的unicode码与数字索引的对应关系。

其中，可以为每个拼音字母定义唯一的数字索引，比如，定义a对应的数字索引为28，从而可以建立“啊”的unicode码与28的对应关系。

进一步地，如果一个汉字包括多个拼音字母，则拼音字母对应的数字索引可以采用拼接的方式，比如，“我”的拼音字母包括w和o，假设w对应的数字索引为12，o对应的数字索引为18，则“我”对应的数字索引为“1218”。另外，数字索引也不限于拼音字母，还可以包括声调，比如，“我”是三声，还可以为各声调定义唯一的数字索引，之后，将汉字的拼音字母对应的数字索引和声调的数字索引拼接作为该汉字对应的数字索引。

本实施例中，通过拼音，建立汉字信息与关联信息的对应关系，以便后续方便查找到当前拼音对应的当前文本。

如图4所示，示出了将语音转换为拼音的流程，如图4所示，将语音转换为拼音的流程可以包括：

401、获取深度神经网络模型，该深度神经网络模型用于将语音转换为拼音。

比如，可以预先训练一个深度神经网络模型，该模型的输入为语音，输出为拼音，以便基于该模型将语音转换为拼音。

具体地，该模型可以采用循环神经网络(recurrentneuralnetwork,rnn)和连接时间分类(connectionisttemporalclassification，ctc)实现，通过深度学习框架建立和使用，深度学习框架比如为google的tensorflow。

402、将语音输入到该深度神经网络模型中，输出为拼音。

比如，将“今”的语音输入到该深度神经网络模型中后，输出为“jin”。

可以理解的是，此处以拼音仅包括拼音字母为例，实际实施时，拼音还可以包括声调。相应的，识别出的当前拼音包括声调时，预先建立的对应关系中的拼音也包括声调。

本实施例中，基于深度神经网络，可以准确地将语音转换为当前拼音，以便提高字幕文件的准确性。

可以理解的是，本公开的不同实施例中相同或相应的内容可以相互参考，一实施例中未做详细说明的内容，可以参见其他实施例的相关内容。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图5所示，电子设备500包括计算单元501，其可以根据存储在只读存储器(rom)502中的计算机程序或者从存储单元508加载到随机访问存储器(ram)503中的计算机程序，来执行各种适当的动作和处理。在ram503中，还可存储电子设备500操作所需的各种程序和数据。计算单元501、rom502以及ram503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。

电子设备500中的多个部件连接至i/o接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许电子设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如信息处理方法。例如，在一些实施例中，信息处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由rom502和/或通信单元509而被载入和/或安装到电子设备500上。当计算机程序加载到ram503并由计算单元501执行时，可以执行上文描述的信息处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行信息处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务("virtualprivateserver"，或简称"vps")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。