字幕的显示方法、装置、电子设备及可读存储介质与流程

1.本公开涉及计算机技术领域，尤其涉及物联网技术领域，具体而言，本公开涉及一种字幕的显示方法、装置、电子设备及可读存储介质。


背景技术：

2.投屏器是一种将手机或电脑等终端设备上的播放内容投屏到电视或者投影仪中播放的设备。
3.一些视频中可能不包含字幕，这些视频在投屏播放时也无法显示字幕，这可能会影响用户的观看效果，导致用户的使用体验差。


技术实现要素：

4.本公开为了解决上述缺陷中的至少一项，提供了一种字幕的显示方法、装置、电子设备及可读存储介质。
5.根据本公开的第一方面，提供了一种字幕的显示方法，该方法包括：
6.接收第一电子设备发送的视频图像，视频图像是第一电子设备在将目标视频投屏至第二电子设备播放的过程中获取的；
7.基于视频图像中的字幕情况，执行相应的字幕处理方式，以使第二电子设备显示目标视频的字幕。
8.根据本公开的第二方面，提供了另一种字幕的显示方法，该方法包括：
9.在将目标视频投屏至第二电子设备播放的过程中，获取目标视频的视频图像；
10.将视频图像发送至服务器，以使服务器基于视频图像中的字幕情况，执行相应的字幕处理方式，使第二电子设备显示目标视频的字幕。
11.根据本公开的第三方面，提供了一种字幕的显示装置，该装置包括：
12.视频图像接收模块，用于接收第一电子设备发送的视频图像，视频图像是第一电子设备在将目标视频投屏至第二电子设备播放的过程中获取的；
13.字幕处理模块，用于基于视频图像中的字幕情况，执行相应的字幕处理方式，以使第二电子设备显示目标视频的字幕。
14.根据本公开的第四方面，提供了另一种字幕的显示装置，该装置包括：
15.视频图像获取模块，用于在将目标视频投屏至第二电子设备播放的过程中，获取目标视频的视频图像；
16.视频图像发送模块，用于将视频图像发送至服务器，以使服务器基于视频图像中的字幕情况，执行相应的字幕处理方式，使第二电子设备显示目标视频的字幕。
17.根据本公开的第五方面，提供了一种电子设备，该电子设备包括：
18.至少一个处理器；以及
19.与上述至少一个处理器通信连接的存储器；其中，
20.存储器存储有可被上述至少一个处理器执行的指令，指令被上述至少一个处理器
执行，以使上述至少一个处理器能够执行上述字幕的显示方法。
21.根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使计算机执行上述字幕的显示方法。
22.根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现上述字幕的显示方法。
23.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
24.附图用于更好地理解本方案，不构成对本公开的限定。其中：
25.图1是本公开实施例提供的一种投屏系统的示例性架构示意图；
26.图2是本公开实施例提供的一种字幕的显示方法的流程示意图；
27.图3是本公开实施例提供的另一种字幕的显示方法的流程示意图；
28.图4是根据本公开提供的一种字幕的显示装置的结构示意图；
29.图5是根据本公开提供的另一种字幕的显示装置的结构示意图；
30.图6是用来实现本公开实施例的字幕的显示方法的电子设备的框图。
具体实施方式
31.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
32.现有的投屏器大部分都是使用通用投屏协议，如安卓手机使用的是数字生活网络联盟(digital living network alliance，dlna)协议，苹果机使用的是飞乐(airplay，ap)协议。基于这些投屏协议，投屏器能够将视频投屏至电视或者投影仪等显示设备中播放。
33.在实际使用中，一些视频的字幕已经被混合压制到视频中，这时通过投屏器投屏播放视频时能够将视频中的字幕进行显示。而对于另一些视频，其字幕是以字幕文件的形式单独存在的，由于通用投屏协议在创建时，字幕文件未有通用规范，使得dlna和airplay等协议均不支持字幕文件的播放，导致投屏器在投屏播放这些视频时无法将视频的字幕进行显示。
34.相关技术中，为了满足投屏器在投屏播放视频时显示字幕的需求，会预先将字幕压入视频文件，这种方式存在诸多缺点，具体如下：
35.(1)需要人工寻找匹配字幕，费时费力；
36.(2)需要及其专业的软件才能够实现将字幕压入视频文件，技术门槛高，对于普通用户难度较高；
37.(3)很多视频为在线视频或者应用程序(application，app)内的视频，无法下载视频文件，也就无法将字幕的压入视频文件；
38.(4)对视频的重新制作可能存在侵权风险。
39.本公开实施例提供的字幕的显示方法、装置、电子设备及可读存储介质，旨在解决
现有技术的如上技术问题中的至少一个。
40.图1中示出了本公开实施例提供的一种投屏系统的示例性架构示意图，该投屏系统包括：服务器110，第一电子设备120，第二电子设备140以及第三电子设备130。
41.可以理解的是，图1中仅为示意性描述，对本公开实施例所涉及的投屏系统的不构成限制，在实际实现中，本公开实施例涉及的投屏系统还可以包括更多或者更少的设备。
42.第一电子设备可以为投屏器，第二电子设备可以为电视、投影仪等显示设备，第三电子设备可以为手机、电脑等终端设备。服务器可以为与第一电子设备交互，当接收到第一电子设备上传的视频图像时，对视频图像进行处理，并向第一电子设备返回字幕数据，使第一电子设备对字幕数据进行处理，实现在第二电子设备真实目标视频的字幕。
43.可选地，第一电子设备与服务器之间，第一电子设备与第二电子设备之间，第一电子设备与第三电子设备之间均可以通过有线或者无线的方式直接或间接连接。
44.图2示出了本公开实施例提供的一种字幕的显示方法的流程示意图，如图2中所示，该方法主要可以包括：
45.步骤s210：接收第一电子设备发送的视频图像，视频图像是第一电子设备在将目标视频投屏至第二电子设备播放的过程中获取的；
46.步骤s220：基于视频图像中的字幕情况，执行相应的字幕处理方式，以使第二电子设备显示目标视频的字幕。。
47.其中，第一电子设备可以为投屏器等投屏设备，第二电子设备可以为电视、投影仪等显示设备，第一电子设备在接收到开始投屏的指令后，可以将目标视频投屏至第二电子设备播放，在目标视频投屏至第二电子设备播放的过程中，第一电子设备可以获取目标视频的视屏图像。例如，可以每隔一段时间(如1s)对投屏播放的目标视频进行截图，实现对视频图像的获取。
48.第一电子设备在获取视频图像后，将视频图像发送给服务器，服务器可以检测视频图像中的字幕情况，而后根据视频图像中的字幕情况执行相应的字幕处理方式，从而使得第二电子设备能够显示目标视频的字幕。
49.本公开实施例提供的方法，通过接收第一电子设备发送的在将目标视频投屏至第二电子设备播放的过程中获取的视频图像，基于视频图像中的字幕情况，执行相应的字幕处理方式，以使第二电子设备显示目标视频的字幕。基于本方案，能够根据目标视频中的字幕情况来执行相应的字幕处理方式，使得第二电子设备在投屏播放目标视频时自动显示字幕，从而保证用户的观看效果，有助于提升用户的使用体验。
50.本公开的一种可选实施方式中，若视频图像中的字幕情况为视频图像中不包含满足预设的字幕规则的字幕，则执行相应的字幕处理方式，以使第二电子设备显示目标视频的字幕，包括：
51.确定目标视频的字幕数据；
52.将字幕数据返回至第一电子设备，以使第一电子设备对字幕数据进行处理，使第二电子设备显示目标视频的字幕。
53.本公开实施例中，视频图像中的字幕情况可以为视频图像中不包含满足预设的字幕规则的字幕，或者，视频图像中包含满足预设的字幕规则的字幕。
54.预设的字幕规则可以根据对字幕的实际需求进行设定，作为一个示例，预设的字
幕规则可以为视频图像中包含字幕，并且字幕属于指定语种。例如，视频图像中存在中文字幕，而指令语种为英文，这时视频图像中的字幕情况不能与预设的字幕规则相匹配。
55.本公开实施例中，在视频图像中的字幕情况为视频图像中不包含满足预设的字幕规则的字幕时，例如视频图像中未包含字幕，或者视频图像中未包含的字幕并非为指定语种的字幕，可以认为视频图像的字幕情况无法满足对字幕的实际需求，这时可以确定目标视频的字幕数据，而后将字幕数据返回至第一电子设备，第一电子设备对字幕数据进行处理，使得第二电子设备能够显示目标视频的字幕。具体而言，第一电子设备可以基于目标视频以及字幕数据生成字幕视频，字幕视频为目标视频添加字幕后得到的视频。第一电子设备将字幕视频投屏至第二电子设备播放，第二电子设备通过播放字幕视频，实现对目标视频字幕的显示。
56.在视频图像中的字幕情况为视频图像中包含满足预设的字幕规则的字幕时，例如视频图像中包含指定语种的字幕，可以认为目标视频中已包含能够满足实际需求的字幕，这时第二电子设备继续进行对目标视频的播放即可实现对目标视频字幕的显示。在实际使用中，服务器可以向第一电子设备返回提示信息，用以提示目标视频中包含满足预设的字幕规则的字幕，第一电子设备可以响应于该提示信息将目标视频继续投屏至第二电子设备播放。
57.本公开的一种可选方式中，确定视频图像中的字幕情况，包括：
58.对视频图像进行光学字符识别ocr识别，得到第一ocr识别结果；
59.基于第一ocr识别结果，确定视频图像中的字幕情况。
60.本公开实施例中，服务器可以通过对视频图像进行ocr识别，得到第一ocr识别结果，第一ocr识别结果中可以包含视频图像中的字符，以及字符在视频图像中的位置等信息，因此，可以基于第一ocr识别结果，确定视频图像中包含的字幕情况。
61.例如，根据第一ocr识别结果确定出视频图像中包含的字符并非位于视频图像的下部，或者视频图像中包含的字符未按照字幕形式排列时，均可以认为视频图像中不包含字幕。
62.在实际使用中，如根据第一ocr识别结果判断出视频图像中包含字幕，可以确定视频图像中包含字幕所属的语种，若其不属于指定语种，则可确定视频图像中的字幕情况不能与预设的字幕规则相匹配。
63.本公开的一种可选方式中确定目标视频的字幕数据，包括：
64.获取目标视频的相关信息；
65.基于相关信息确定目标视频的字幕数据。
66.本公开实施例中，相关信息可以从目标视频中提取，相关信息中可能包含了目标视频的一些特征，因而能够基于相关信息来确定目标视频的字幕数据。
67.本公开的一种可选方式中，相关信息包括以下任一项：
68.从视频图像中提取的第一关键信息；
69.从目标视频的音频数据中提取的第二关键信息。
70.本公开实施例中，第一电子设备可以将视频图像上传至服务器，使得服务器能够提取视频图像中的第一关键信息。
71.服务器也可以获取目标视频的音频数据，对音频数据进行识别，得到音频识别结
果，从音频识别结果中提取第二关键信息。
72.作为一个示例，可以由第一电子设备对正在投屏播放的目标视频进行录音，得到音频数据，也可以由服务器在确定目标视频后，从目标视频中提取音频数据。
73.本公开的一种可选方式中，第一关键信息或者第二关键信息包括：
74.目标视频的视频标识；
75.目标视频的相关人员信息；
76.目标视频的关联信息。
77.本公开实施例中，相关信息可以包括目标视频的视频标识，以目标视频为某一电影为例，视频标识可以电影的名称，电影的审批编号等。以目标视频为某一电视剧为例，视频标识可以电视剧的名称，以及电视剧的集数等。
78.相关人员信息可以包括视频的演职人员的信息，如出品人、导演、演员等信息。
79.目标视频的关联信息可以包括视频中的标志性台词，标志性logo等。
80.本公开的一种可选方式中，若相关信息包括第一关键信息，且第一关键信息包括目标视频的相关人员信息，则获取目标视频的相关信息，包括：
81.基于视频图像的第二ocr识别结果，和/或，视频图像的人脸识别结果，提取目标视频的相关人员信息。
82.本公开实施例中，可以对视频图像进行ocr识别，得到第二ocr识别结果，从第二ocr识别结果中提取目标视频的相关人员信息。以目标视频为电影为例，当视频图像展示的是电影的演职人员表时，基于该视频图像的ocr识别结果能够提取出目标视频的相关人员信息。
83.本公开实施例中，可以通过预配置的人脸库对视频图像中包含的相关人员的人脸图像进行识别，从而确定出相关人员信息。例如，视频图像中包括某演员的人脸图像时，可以基于人脸识别技术识别出该演员，从而得到该演员的信息。
84.本公开的一种可选方式中，基于相关信息确定目标视频的字幕数据，包括：
85.确定能否查找到与相关信息相关联的候选字幕数据；
86.若能，则基于候选字幕数据确定目标视频的字幕数据；
87.若不能，则生成目标视频的字幕数据。
88.本公开实施例中，可以预置字幕数据库，将视频的相关信息与字幕数据相关联，以便在确定目标视频的字幕数据时，根据目标视频的相关信息查找相应的候选字幕数据，在实际使用中，也可以从互联网中查找目标视频的字幕数据。
89.作为一个示例，可以将目标视频的视频名称与字幕数据相关联，以便根据视频名称查找相应的字幕。
90.在实际使用中，如果无法查找到目标视频的字幕数据，则可以由服务器生成目标视频的字幕数据。
91.本公开的一种可选方式中，若候选字幕数据包括至少两个，则基于候选字幕数据确定目标视频的字幕数据，包括：
92.确定各候选字幕数据中所包含的第一字幕信息与目标视频的音频数据的第一音频识别结果的相似性；
93.将所包含的第一字幕信息与目标视频的音频数据的第一音频识别结果的相似性
满足预设相似性条件的候选字幕数据确定为目标视频的字幕数据。
94.本公开实施例中，根据相关信息查找出的候选字幕数据可能存在多个，例如，目标视频为某综艺节目时，相关信息为识别出的综艺节目称，这时可能会查找到该综艺节目的多期节目所对应候选字幕数据。
95.在实际使用中，如果提取出的相关信息有效程度比较高，这时可能会直接查找到目标视频的字幕数据，例如，提取出的相关信息中包含综艺节目的名称以及播出日期，这时则可以根据该综艺节目的名称以及播出日期，准确地确定出目标视频具体为哪一期的综艺节目，从而能够直接查找到该期综艺节目的字幕数据。
96.如果提取出的相关信息有效程度不够高，例如，相关信息仅包括综艺节目名称，这时则可能会查找到该综艺节目的多期节目所对应候选字幕数据。这时可以获取目标视频的音频数据，音频数据中可能包含着视频中演员的台词等字幕信息，使得音频输数据进行音频识别得到的第一音频识别结果中也包括第一字幕信息，将音频识别结果与候选字幕数据所包含的第一字幕信息进行文本的相似性判断，基于二者的相似性，从候选字幕数据中确定目标视频的字幕数据。
97.预设相似性条件可以根据实际需要进行设置，如可以为将与第一音频识别结果的相似度最高的候选字幕数据确定为目标视频的字幕数据。
98.本公开的一种可选方式中，生成目标视频的字幕数据，包括：
99.基于目标视频的音频数据的第二音频识别结果，生成目标视频的字幕数据。
100.本公开实施例中，可以对目标视频的音频数据的进行音频识别，得到第二音频识别结果，第二音频识别结果即相当于字幕信息，而后可以基于第二字幕信息来生成目标视频的字幕数据。
101.本公开的一种可选方式中，基于目标视频的音频数据的第二音频识别结果，生成目标视频的字幕数据，包括：
102.将目标视频的音频数据的第二音频识别结果转换为指定语种的第二字幕信息；
103.基于第二字幕信息，生成目标视频的字幕数据。
104.本公开实施例中，在需要提供指定语种的字幕时，可以将第二音频识别结果进行翻译，得到指定语种的第二字幕信息，而后根据第二字幕信息，生成目标视频的字幕数据，此时得到的字幕数据能够用于展示指定语种的字幕。
105.本公开的一种可选方式中，若目标视频的视频图像中包含第三字幕信息，第三字幕信息对应的语种不属于指定语种，则生成目标视频的字幕数据，包括：
106.将所第三字幕信息转换为指定语种的第四字幕信息；
107.基于第四字幕信息，生成目标视频的字幕数据。
108.本公开实施例中，在需要提供指定语种的字幕时，如果目标视频的视频图像中包含第三字幕信息，且第三字幕信息对应的语种不属于指定语种，则可以将第三字幕信息转换为指定语种的第四字幕信息。
109.例如，如果目标视频的视频图像中包含中文字幕，而指定语种为英文，这时可以识别出中文字幕，将中文字幕翻译为英文字幕。
110.在实际使用中，对字幕的翻译一般基于机器翻译完成，其翻译效果可能较为一般，因此，在需要提供指定语种的字幕，则可以优先尝试从字幕数据库或者互联网中获取该指
定语种的字幕。如无法获取，再通过字幕翻译得到指定语种的字幕。
111.本公开实施例中，指定语种可以由用户进行设定，用户可以通过第三电子设备向第一电子设备发送由用户设定的指定语种信息。
112.本公开的一种可选方式中，上述方法还包括：
113.基于第三字幕信息在视频图像中的第一字幕位置，确定字幕视频中字幕的第二字幕位置。
114.本公开实施例中，在提供指定语种的字幕时，如果目标视频中存在原字幕，则可以根据原字幕的第一字幕位置来确定指定语种的字幕的第二字幕位置。
115.例如，如果目标视频的视频图像中包含中文字幕，而指定语种为英文，在获取到英文字幕后，可以根据中文字幕的位置来确定英文字幕的位置，如将英文字幕的置于中文字幕上方或下方。
116.本公开的一种可选方式中，查找与相关信息相关联的候选字幕数据，包括：
117.确定相关信息中是否包括目标视频的视频标识；
118.若包括，则查找与视频标识相关联的候选字幕数据；
119.若不包括，则基于相关信息确定目标视频的视频标识，查找与视频标识相关联的候选字幕数据。
120.本公开实施例中，可以将视频标识与字幕数据相关联，用于查找字幕数据。在实际使用中，相关信息中可能包括目标视频的视频标识，这时可以根据视频标识查找候选字幕数据。相关信息中也可能不包括目标视频的视频标识，这时可以先根据相关信息确定视频标识，而后据视频标识查找候选字幕数据。
121.作为一个示例，相关信息为演员信息，可以由多张视频图像识别演员信息，而后构建目标视频的演员表，将构建的演员表与预配置的数据库中各视频的演员表进行匹配，将演员表匹配度最高的视频所对应视频名称作为目标视频的视频名称。
122.作为一个示例，相关信息为通过目标视频的音频数据识别出的某综艺节目的标志性台词时，可以根据该标志性台词确定出目标视频的视频名称。
123.本公开的一种可选方式中，字幕数据包括以下下任一项：
124.预定格式的字幕文件；
125.字幕图像以及字幕图像对应的展示时段。
126.本公开实施例中，字幕数据可以为预定格式的字幕文件，如文本格式字幕(subrip text，srt)。第一电子设备可以将该预定格式的字幕文件进行播放。
127.在实际使用中，部分投屏器(即第一电子设备)可能不支持字幕文件的播放，当存在这种情况时，提供的字幕数据可以包括字幕图像以及字幕图像对应的展示时段。
128.字幕图像中可以包含字幕，除字幕区域之外的区域可以为透明。展示时段可以为各字幕图像的显示时间，第一电子设备可以通过在展示时段显示对应的字幕图像实现对字幕的展示，从而解决了无法直接播放预定格式的字幕文件的问题。
129.本公开的一种可选方式中，若字幕数据包括字幕图像以及字幕图像对应的展示时段，则上述方法还包括：
130.若接收到第一电子设备发送的用户指定的第三字幕位置，则基于第三字幕位置生成字幕图像。
131.本公开实施例中，可以由用户指定字幕所处的第三字幕位置，服务器可以根据第三字幕位置来生成字幕图像，即将字幕置于字幕图像中的第三字幕位置。
132.在实际使用中，用户可以通过第三电子设备来配置第三字幕位置，而后通过第三电子设备将第三字幕位置发送至第一电子设备。例如，用户可以在第三设备中通过拖拽字幕的方式来配置第三字幕位置。
133.本公开实施例提供的方案，能够根据视频内容自动确定字幕，无需人工查找匹配字幕，节省人力，并且能够替代现有技术中将字幕压入视频文件的方式，避免复杂操作以及可能存在的侵权风险。
134.图3示出了本公开实施例提供的另一种字幕的显示方法的流程示意图，如图3中所示，该方法主要可以包括：
135.步骤s310：在将目标视频投屏至第二电子设备播放的过程中，获取目标视频的视频图像；
136.步骤s320：将视频图像发送至服务器，以使服务器基于视频图像中的字幕情况，执行相应的字幕处理方式，使第二电子设备显示目标视频的字幕。
137.其中，第一电子设备可以为投屏器等投屏设备，第二电子设备可以为电视、投影仪等显示设备，第一电子设备在接收到开始投屏的指令后，可以将目标视频投屏至第二电子设备播放，在目标视频投屏至第二电子设备播放的过程中，第一电子设备可以获取目标视频的视屏图像。例如，可以每隔一段时间(如1s)对投屏播放的目标视频进行截图，实现对视频图像的获取。
138.第一电子设备在获取视频图像后，将视频图像发送给服务器，服务器可以检测视频图像中的字幕情况，而后根据视频图像中的字幕情况执行相应的字幕处理方式，从而使得第二电子设备能够显示目标视频的字幕。
139.本公开实施例提供的方法，通过在将目标视频投屏至第二电子设备播放的过程中，获取目标视频的视频图像，将视频图像发送至服务器，以使服务器基于视频图像中的字幕情况，执行相应的字幕处理方式，使第二电子设备显示目标视频的字幕。基于本方案，能够根据目标视频中的字幕情况来执行相应的字幕处理方式，使得第二电子设备在投屏播放目标视频时自动显示字幕，从而保证用户的观看效果，有助于提升用户的使用体验。
140.本公开的一种可选实施方式中，若视频图像中的字幕情况为视频图像中不包含满足预设的字幕规则的字幕，服务器执行相应的字幕处理方式为确定目标视频的字幕数据，将字幕数据返回至第一电子设备，则使第二电子设备显示目标视频的字幕，包括：
141.基于目标视频以及字幕数据生成字幕视频；
142.将字幕视频发送至第二电子设备，使第二电子设备播放字幕视频，以显示目标视频的字幕。
143.本公开实施例中，视频图像中的字幕情况可以为视频图像中不包含满足预设的字幕规则的字幕，或者，视频图像中包含满足预设的字幕规则的字幕。
144.预设的字幕规则可以根据对字幕的实际需求进行设定，作为一个示例，预设的字幕规则可以为视频图像中包含字幕，并且字幕属于指定语种。例如，视频图像中存在中文字幕，而指令语种为英文，这时视频图像的字幕情况不能与预设的字幕规则相匹配。
145.本公开实施例中，在视频图像中的字幕情况为视频图像中不包含满足预设的字幕
规则的字幕时，例如视频图像中未包含字幕，或者视频图像中未包含的字幕并非为指定语种的字幕，可以认为视频图像的字幕情况无法满足对字幕的实际需求，这时服务器可以确定目标视频的字幕数据，而后将字幕数据返回至第一电子设备，第一电子设备可以基于目标视频以及字幕数据生成字幕视频，字幕视频为目标视频添加字幕后得到的视频。第一电子设备将字幕视频投屏至第二电子设备播放，第二电子设备通过播放字幕视频，实现对目标视频字幕的显示。
146.在视频图像中的字幕情况为视频图像中包含满足预设的字幕规则的字幕时，例如视频图像中包含指定语种的字幕，可以认为目标视频中已包含能够满足实际需求的字幕，这时第二电子设备继续进行对目标视频的播放即可实现对目标视频字幕的显示。在实际使用中，服务器可以向第一电子设备返回提示信息，用以提示目标视频中包含满足预设的字幕规则的字幕，第一电子设备可以响应于该提示信息将目标视频继续投屏至第二电子设备播放。
147.本公开的一种可选方式中，基于目标视频以及字幕数据生成字幕视频，包括：
148.基于字幕数据生成字幕视频图层；
149.将字幕视频图层与目标视频进行视频合成，得到字幕视频。
150.本公开实施例中，可以基于字幕数据生成字幕视频图层，该字幕视频图层中包括字幕，除字幕区域以外的图层区域为透明，将字幕视频图层置于目标视频的帧图像的上层进行视频编码合成，得到字幕视频。
151.本公开的一种可选方式中，若接收到用户指定的第三字幕位置，则上述方法还包括以下任一项：
152.基于第三字幕位置生成字幕图像；
153.将第三字幕位置发送至服务器，使服务器基于第三字幕位置生成字幕图像。
154.本公开实施例中，字幕数据可以为预定格式的字幕文件，或者为字幕图像以及字幕图像对应的展示时段。
155.在实际使用中，部分投屏器(即第一电子设备)可能不支持字幕文件的播放，当存在这种情况时，提供的字幕数据可以包括字幕图像以及字幕图像对应的展示时段。
156.字幕图像中可以包含字幕，除字幕区域之外的区域可以为透明。展示时段可以为各字幕图像的显示时间，第一电子设备可以通过在展示时段显示对应的字幕图像实现对字幕的展示，从而解决了无法直接播放预定格式的字幕文件的问题。
157.本公开实施例中，第三字幕位置即字幕图像中字幕的位置。
158.在实际使用中，用户可以通过第二电子设备来配置第三字幕位置，而后通过第二电子设备将第三字幕位置发送至第一电子设备。
159.在接收到第三字幕位置之后，可以由第一电子设备基于第三字幕位置生成字幕图像，也可以由第一电子设备将第三字幕位置发送至服务器，使服务器基于第三字幕位置生成字幕图像。
160.基于与图2中所示的方法相同的原理，图4示出了本公开实施例提供的一种字幕的显示装置的结构示意图，如图4所示，该字幕的显示装置40可以包括：
161.视频图像接收模块410，用于接收第一电子设备发送的视频图像，视频图像是第一电子设备在将目标视频投屏至第二电子设备播放的过程中获取的；
162.字幕处理模块420，用于基于视频图像中的字幕情况，执行相应的字幕处理方式，以使第二电子设备显示目标视频的字幕。
163.本公开实施例提供的装置，通过接收第一电子设备发送的在将目标视频投屏至第二电子设备播放的过程中获取的视频图像，基于视频图像中的字幕情况，执行相应的字幕处理方式，以使第二电子设备显示目标视频的字幕。基于本方案，能够根据目标视频中的字幕情况来执行相应的字幕处理方式，使得第二电子设备在投屏播放目标视频时自动显示字幕，从而保证用户的观看效果，有助于提升用户的使用体验。
164.可选地，若视频图像中的字幕情况为视频图像中不包含满足预设的字幕规则的字幕，则字幕处理模块在执行相应的字幕处理方式，以使第二电子设备显示目标视频的字幕时，具体用于：
165.确定目标视频的字幕数据；
166.将字幕数据返回至第一电子设备，以使第一电子设备对字幕数据进行处理，使第二电子设备显示目标视频的字幕。
167.可选地，字幕处理模块在确定视频图像中的字幕情况时，具体用于：
168.对视频图像进行光学字符识别ocr识别，得到第一ocr识别结果；
169.基于第一ocr识别结果，确定视频图像中的字幕情况。
170.可选地，字幕处理模块在确定目标视频的字幕数据时，具体用于：
171.获取目标视频的相关信息；
172.基于相关信息确定目标视频的字幕数据。
173.可选地，相关信息包括以下任一项：
174.从视频图像中提取的第一关键信息；
175.从目标视频的音频数据中提取的第二关键信息。
176.可选地，第一关键信息或者第二关键信息包括：
177.目标视频的视频标识；
178.目标视频的相关人员信息；
179.目标视频的关联信息。
180.可选地，若相关信息包括第一关键信息，且第一关键信息包括目标视频的相关人员信息，则字幕处理模块在获取目标视频的相关信息时，具体用于：
181.基于视频图像的第二ocr识别结果，和/或，视频图像的人脸识别结果，提取目标视频的相关人员信息。
182.可选地，字幕处理模块在确定目标视频的字幕数据时，具体用于：
183.确定能否查找到与相关信息相关联的候选字幕数据；
184.若能，则基于候选字幕数据确定目标视频的字幕数据；
185.若不能，则生成目标视频的字幕数据。
186.可选地，若候选字幕数据包括至少两个，则字幕处理模块在基于候选字幕数据确定目标视频的字幕数据时，具体用于：
187.确定各候选字幕数据中所包含的第一字幕信息与目标视频的音频数据的第一音频识别结果的相似性；
188.将所包含的第一字幕信息与目标视频的音频数据的第一音频识别结果的相似性
满足预设相似性条件的候选字幕数据确定为目标视频的字幕数据。
189.可选地，字幕处理模块在生成目标视频的字幕数据时，具体用于：
190.基于目标视频的音频数据的第二音频识别结果，生成目标视频的字幕数据。
191.可选地，字幕处理模块在基于目标视频的音频数据的音频识别结果，生成目标视频的字幕数据时，具体用于：
192.将目标视频的音频数据的第二音频识别结果转换为指定语种的第二字幕信息；
193.基于第二字幕信息，生成目标视频的字幕数据。
194.可选地，若目标视频的视频图像中包含第三字幕信息，第三字幕信息对应的语种不属于指定语种，则字幕处理模块在生成目标视频的字幕数据时，具体用于：
195.将所第三字幕信息转换为指定语种的第四字幕信息；
196.基于第四字幕信息，生成目标视频的字幕数据。
197.可选地，上述装置还包括：
198.第二字幕位置确定模块，用于基于第三字幕信息在视频图像中的第一字幕位置，确定字幕视频中字幕的第二字幕位置。
199.可选地，字幕处理模块在查找与相关信息相关联的候选字幕数据时，具体用于：
200.确定相关信息中是否包括目标视频的视频标识；
201.若包括，则查找与视频标识相关联的候选字幕数据；
202.若不包括，则基于相关信息确定目标视频的视频标识，查找与视频标识相关联的候选字幕数据。
203.可选地，字幕数据包括以下下任一项：
204.预定格式的字幕文件；
205.字幕图像以及字幕图像对应的展示时段。
206.可选地，若字幕数据包括字幕图像以及字幕图像对应的展示时段，则上述装置还包括：
207.字幕图像生成模块，用于在接收到第一电子设备发送的用户指定的第三字幕位置时，基于第三字幕位置生成字幕图像。
208.可以理解的是，本公开实施例中的字幕的显示装置的上述各模块具有实现图2中所示的实施例中的字幕的显示方法相应步骤的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。上述模块可以是软件和/或硬件，上述各模块可以单独实现，也可以多个模块集成实现。对于上述字幕的显示装置的各模块的功能描述具体可以参见图2中所示实施例中的字幕的显示方法的对应描述，在此不再赘述。
209.基于与图3中所示的方法相同的原理，图5示出了本公开实施例提供的一种字幕的显示装置的结构示意图，如图5所示，该字幕的显示装置50可以包括：
210.视频图像获取模块510，用于在将目标视频投屏至第二电子设备播放的过程中，获取目标视频的视频图像；
211.视频图像发送模块520，用于将视频图像发送至服务器，以使服务器基于视频图像中的字幕情况，执行相应的字幕处理方式，使第二电子设备显示目标视频的字幕。
212.本公开实施例提供的装置，通过在将目标视频投屏至第二电子设备播放的过程
中，获取目标视频的视频图像，将视频图像发送至服务器，以使服务器基于视频图像中的字幕情况，执行相应的字幕处理方式，使第二电子设备显示目标视频的字幕。基于本方案，能够根据目标视频中的字幕情况来执行相应的字幕处理方式，使得第二电子设备在投屏播放目标视频时自动显示字幕，从而保证用户的观看效果，有助于提升用户的使用体验。
213.可选地，若视频图像中的字幕情况为视频图像中不包含满足预设的字幕规则的字幕，服务器执行相应的字幕处理方式为确定目标视频的字幕数据，将字幕数据返回至第一电子设备，则视频图像发送模块在使第二电子设备显示目标视频的字幕时，具体用于：
214.基于目标视频以及字幕数据生成字幕视频；
215.将字幕视频发送至第二电子设备，使第二电子设备播放字幕视频，以显示目标视频的字幕。
216.可选地，视频图像发送模块在基于目标视频以及字幕数据生成字幕视频时具体用于：
217.基于字幕数据生成字幕视频图层；
218.将字幕视频图层与目标视频进行视频合成，得到字幕视频。
219.可选地，若接收到用户指定的第三字幕位置，则上述装置还包括字幕图像生成模块，字幕图像生成模块用于以下任一项：
220.基于第三字幕位置生成字幕图像；
221.将第三字幕位置发送至服务器，使服务器基于第三字幕位置生成字幕图像。
222.可以理解的是，本公开实施例中的字幕的显示装置的上述各模块具有实现图3中所示的实施例中的字幕的显示方法相应步骤的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。上述模块可以是软件和/或硬件，上述各模块可以单独实现，也可以多个模块集成实现。对于上述字幕的显示装置的各模块的功能描述具体可以参见图3中所示实施例中的字幕的显示方法的对应描述，在此不再赘述。
…
223.本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
224.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
225.该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如本公开实施例提供的字幕的显示方法。
226.该电子设备与现有技术相比，通过接收第一电子设备发送的在将目标视频投屏至第二电子设备播放的过程中获取的视频图像，基于视频图像中的字幕情况，执行相应的字幕处理方式，以使第二电子设备显示目标视频的字幕。基于本方案，能够根据目标视频中的字幕情况来执行相应的字幕处理方式，使得第二电子设备在投屏播放目标视频时自动显示字幕，从而保证用户的观看效果，有助于提升用户的使用体验。
227.该可读存储介质为存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如本公开实施例提供的字幕的显示方法。
228.该可读存储介质与现有技术相比，通过接收第一电子设备发送的在将目标视频投
屏至第二电子设备播放的过程中获取的视频图像，基于视频图像中的字幕情况，执行相应的字幕处理方式，以使第二电子设备显示目标视频的字幕。基于本方案，能够根据目标视频中的字幕情况来执行相应的字幕处理方式，使得第二电子设备在投屏播放目标视频时自动显示字幕，从而保证用户的观看效果，有助于提升用户的使用体验。
229.该计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如本公开实施例提供的字幕的显示方法。
230.该计算机程序产品与现有技术相比，通过接收第一电子设备发送的在将目标视频投屏至第二电子设备播放的过程中获取的视频图像，基于视频图像中的字幕情况，执行相应的字幕处理方式，以使第二电子设备显示目标视频的字幕。基于本方案，能够根据目标视频中的字幕情况来执行相应的字幕处理方式，使得第二电子设备在投屏播放目标视频时自动显示字幕，从而保证用户的观看效果，有助于提升用户的使用体验。
231.图6示出了可以用来实施本公开的实施例的示例电子设备2000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
232.如图6所示，设备2000包括计算单元2010，其可以根据存储在只读存储器(rom)2020中的计算机程序或者从存储单元2080加载到随机访问存储器(ram)2030中的计算机程序，来执行各种适当的动作和处理。在ram 2030中，还可存储设备2000操作所需的各种程序和数据。计算单元2010、rom 2020以及ram 2030通过总线2040彼此相连。输入/输出(i/o)接口2050也连接至总线2040。
233.设备2000中的多个部件连接至i/o接口2050，包括：输入单元2060，例如键盘、鼠标等；输出单元2070，例如各种类型的显示器、扬声器等；存储单元2080，例如磁盘、光盘等；以及通信单元2090，例如网卡、调制解调器、无线通信收发机等。通信单元2090允许设备2000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
234.计算单元2010可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元2010的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元2010执行本公开实施例中所提供的字幕的显示方法。例如，在一些实施例中，执行本公开实施例中所提供的字幕的显示方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元2080。在一些实施例中，计算机程序的部分或者全部可以经由rom 2020和/或通信单元2090而被载入和/或安装到设备2000上。当计算机程序加载到ram 2030并由计算单元2010执行时，可以执行本公开实施例中所提供的字幕的显示方法的一个或多个步骤。备选地，在其他实施例中，计算单元2010可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行本公开实施例中所提供的字幕的显示方法。
235.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系
统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
236.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
237.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd
‑
rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
238.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
239.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
240.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端
‑
服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
241.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
242.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。